Родился в шахтерской семье в станице Ермаковская Тацинского района Ростовской области 30 января 1957 года.
В 1980 году окончил Московский институт управления им. С. Орджоникидзе по специальности инженер-экономист. По распределению был направлен в подмосковный город Видное. Свой трудовой путь начал в Видновском грузовом автопредприятии, откуда был выдвинут на руководящую работу в партийные органы. В 1991 году был назначен, а в 1996-м избран главой Ленинского района Московской области.
С апреля 1999 года занимал пост вице-губернатора Московской области, с марта 2000 года — первого заместителя председателя правительства Подмосковья. Курировал вопросы развития научно-промышленного комплекса, сельского хозяйства и продовольствия, жилищно-коммунального хозяйства, топлива и энергетики, строительного комплекса Московской области.
В декабре 2003 года вновь избран главой Ленинского района Московской области, в марте 2008 года переизбран на очередной срок.
21 мая 2010 года по представлению президента РФ наделен депутатами Законодательного Собрания Ростовской области полномочиями главы администрации (губернатора) Ростовской области. В связи с истечением полномочий и до вступления в должность лица, избранного губернатором Ростовской области с 14 июня 2015 года назначен временно исполняющим обязанности Губернатора Ростовской области.
13 сентября 2015 года жителями региона Голубев избран губернатором Ростовской области.
13 сентября 2020 года вновь избран губернатором Ростовской области.