Как пиетист, полагавший, что все науки должны быть заменены чтением Священного Писания, Голицын обратил внимание на распространение грамотности в народе, старался открывать народные училища и заботился о введении в России бывшего тогда в ходу ланкастерского метода обучения.
Внимания заслуживает филантропическая деятельность А. Н. Голицына. С 1817 года он был президентом Человеколюбивого общества и содействовал устройству при этом обществе медико-филантропического отделения. При его же участии и содействии образовалось Попечительное о тюрьмах общество с его многочисленными разветвлениями, а также получило развитие попечительство о бедных и приют для неизлечимо больных. Когда в 1823 году случился в Белоруссии голод, князь Голицын обратился с воззванием к общественной благотворительности. Он был известен и как частный благотворитель, охотно помогавший неимущим. В светском обществе на него смотрели как на человека благочестивого, почти святого; к нему подводили детей, и он их благословлял, возложив им на голову руки. Но его мистицизм восстановил против него высшее православное духовенство. В итоге, желая нейтрализовать влияние министра на императора, А. А. Аракчеев организовал против него интригу с участием митрополита Серафима и архимандрита Фотия, которые убедили Александра I, что управление Голицына пагубно для церкви и государства. И в мае 1824 года недруги князя торжествовали: А. Н. Голицыну пришлось выйти в отставку по обоим ведомствам. Правда, за Голицыным осталось звание главноначальствующего над почтовым департаментом вопреки всем настояниям Фотия. Последнюю должность он занимал и при Николае I, ценившем в Голицыне «вернейшего друга своего семейства».
Император Александр I никогда не лишал князя Голицына личной дружбы, он даже посвятил его в тайну отречения от престола великого князя Константина Павловича. С воцарением Николая Павловича А. Н. Голицын нисколько не утратил своего прежнего положения. Он был осыпан милостями, назначен канцлером российских орденов (1830). Когда император и императрица уезжали из Петербурга, то попечение о своем семействе они передавали Голицыну. Он довольствовался относительно скромной должностью главноначальствующего над почтовым департаментом, дававшей ему право присутствовать в комитете министров. С 1839 по 1841 год он председательствовал в общих собраниях Государственного совета, членом которого состоял с 1810 года.
В 1843 году Александр Николаевич из-за ухудшения зрения оставил столицу и удалился в Крым, где и умер в своем имении Гаспра (здесь Лев Толстой позднее напишет повесть «Хаджи-Мурат»).
