В феврале 1884 года Горемыкин занял место обер-прокурора второго департамента Правительствующего сената. Грамотного юриста и добросовестного чиновника нещадно эксплуатировали, привлекая ко множеству других дел. Он одновременно исполнял обязанности обер-прокурора первого департамента и председателя хозяйственного комитета при нем, заведовал обер-прокурорскими делами первого общего собрания Сената, входил от Министерства юстиции в Особую комиссию при Государственном совете, созданную для «всестороннего обсуждения способов кодификации Особого приложения к законам о состояниях», а также в другую особую комиссию, но образованную уже при Министерстве внутренних дел, — эта занималась разработкой вопросов «о мерах к прекращению наплыва иностранцев в западные окраины», но и это еще не все, Горемыкин как опытный специалист подготовил и издал Сборник решений Правительствующего сената по крестьянским делам (1889 год). Следующим был солидный Свод узаконений и распоряжений правительства об устройстве сельского населения и учреждений по крестьянским делам, к нему прилагались разъяснения, содержащиеся в решениях Правительствующего сената и в постановлениях и распоряжениях высших правительственных учреждений в двух томах (1891 год). Этот Свод представлял большую ценность для практических судебных и прокурорских работников и выдержал за несколько лет пять изданий, каждый раз пополняясь новыми материалами. Свод узаконений хорошо раскупался и принес его составителю немало денежных дивидендов.
27 ноября 1891 года Горемыкин становится товарищем министра юстиции (министром тогда был Н. А. Манасеин), с 1894 года — сенатором и управляющим межевой частью на правах товарища министра. В апреле 1895 года он покидает Министерство юстиции и переходит в Министерство внутренних дел на должность товарища министра, оставаясь при этом сенатором. Этим назначением он был обязан обер-прокурору Святейшего синода К. П. Победоносцеву, который рекомендовал его императору, хотя сам министр И. Н. Дурново предпочел бы видеть на этом месте других кандидатов. Карьера продолжает складываться блестяще — спустя полгода Горемыкин становится управляющим Министерством внутренних дел, а 6 декабря 1895 года, опять же с помощью Победоносцева, его утверждают в должности министра внутренних дел.
Как происходило это назначение, рассказал в своих воспоминаниях С. Ю. Витте, в то время министр финансов, а впоследствии — председатель Совета министров: «— А что вы думаете по поводу назначения Горемыкина? — спросил меня государь. Я ответил, что Горемыкина я сравнительно очень мало знаю, ничего о нем определенного сказать не могу, но что вообще Горемыкин производит на меня впечатление человека порядочного, причем добавил, что, по всей вероятности, Константин Петрович (Победоносцев. — Авт.), между прочим, рекомендует Горемыкина потому, что Горемыкин правовед и Константин Петрович тоже правовед, а известно, что правоведы, так же как и лицеисты, держатся друг за друга, все равно как евреи в своем кагале. И если, — сказал я, — у вашего величества никого больше не имеется в виду, то, может быть, вы решитесь назначить Горемыкина? Государь ответил: — Да, я назначу Горемыкина».
