Во время кампании 1861 года в составе Адагумского отряда генерал-майора Бабыча он принимал участие в ряде экспедиций против горцев. В весенние месяцы в Абинском ущелье Голицын занимался исправлением дорог между лагерем Адагумского отряда и Николаевским, Крымским и Ольгинским укреплениями, вступая при этом со своими подчиненными в многочисленные перестрелки с горцами. В конце мая при движении к Геленджикской бухте он отличился во время овладения неприятельских позиций на хребте Кецегур. За отличие в кампании 1861 года его наградили орденом Святой Анны 3-й степени с мечами и бантом (январь 1861 г.).
Через года Голицын был произведен в подполковники; прослужив весну и лето 1862 года на штабных должностях в Тифлисе, 16 сентября он был переведен в лейб-гренадерский Эриванский полк, приняв в нем должность командира сводно-стрелкового батальона. В продолжение Кавказской войны Голицын в составе того же Адагумского отряда в 1863–1864 годах принял участие в походе против горцев в Абхазию, при этом с декабря 1863 года по январь 1864 года он временно командовал полком. В декабре 1865 года Голицын, к тому времени произведенный в полковники, был назначен командиром 14-го гренадерского Грузинского полка. Командуя этим воинским подразделением в течение шести лет, он привел его в образцовое состояние, за что в августе 1868 года был пожалован орденом Святой Анны 2-й степени с мечами.
В сентября 1871 года Г. С. Голицын получил назначение флигель-адъютантом к его императорскому величеству Александру II с оставлением в занимаемой должности, а в апреле следующего года он стал командиром лейб-гвардии Финляндского полка. 30 августа 1873 года, произведенный в генерал-майоры, он был назначен в свиту Александра II. В августе 1876 года князь Голицын был удостоен очередной высокой награды – ордена Святого Владимира 3-й степени.
В августе 1876 года Голицын был назначен военным губернатором и командующим войсками Уральской области и наказным атаманом Уральского казачьего войска.
В сентябре 1880 года временно исполнял должность командующего войсками Оренбургского военного округа и Оренбургского генерал-губернатора. В январе 1885 года произведенный в генерал-лейтенанты (1883) Голицын был уволен от занимаемой должности военного губернатора и наказного атамана и назначен присутствовать в 1-м департаменте Сената. Сенаторская деятельность Голицына прервалась, в 1892 году, когда по случаю неурожая его командировали в Тобольскую губернию для устройства продовольственной части. Через год справившийся с возложенной на него обязанностью Голицын был назначен членом Государственного совета.
