Родился в шахтерской семье в станице Ермаковская Тацинского района Ростовской области 30 января 1957 года.
В 1980 году окончил Московский институт управления им. С. Орджоникидзе по специальности инженер-экономист. По распределению был направлен в подмосковный город Видное. Свой трудовой путь начал в Видновском грузовом автопредприятии, откуда был выдвинут на руководящую работу в партийные органы. В 1991 году был назначен, а в 1996-м избран главой Ленинского района Московской области.
С апреля 1999 года занимал пост вице-губернатора Московской области, с марта 2000 года — первого заместителя председателя правительства Подмосковья. Курировал вопросы развития научно-промышленного комплекса, сельского хозяйства и продовольствия, жилищно-коммунального хозяйства, топлива и энергетики, строительного комплекса Московской области.
В декабре 2003 года вновь избран главой Ленинского района Московской области, в марте 2008 года переизбран на очередной срок.
21 мая 2010 года по представлению президента РФ наделен депутатами Законодательного Собрания Ростовской области полномочиями главы администрации (губернатора) Ростовской области. В связи с истечением полномочий и до вступления в должность лица, избранного губернатором Ростовской области с 14 июня 2015 года назначен временно исполняющим обязанности Губернатора Ростовской области.
13 сентября 2015 года жителями региона Голубев избран губернатором Ростовской области.
13 сентября 2020 года вновь избран губернатором Ростовской области.
Сложил полномочия губернатора по собственному желанию в ноябре 2024 года.