В апреле 1894 года Александр Александрович возглавил прокуратуру Нижегородского окружного суда, где выслужил чин статского советника. В начале 1897 года Макаров стал прокурором Московского окружного суда. Дел у московского прокурора всегда было немало: контроль за товарищами прокуроров и судебными следователями, участие во всевозможных комиссиях и заседаниях, прием посетителей и многое другое. Прокуратура тогда вела наступательную борьбу с преступностью, особое внимание уделяя разоблачению расхитителей и растратчиков.
В Москве А. А. Макаров оставался около двух лет. 24 мая 1899 года в чине действительного статского советника он был переведен в Киев на должность председателя окружного суда, прокурором которого был талантливый юрист С. Н. Цемш, а освободившееся место Макарова в Москве занял А. В. Степанов.
В новой должности А. А. Макаров служил до 14 марта 1901 года, удостоившись за свою деятельность ордена Святого Владимира 3-й степени, а затем вновь перешел в прокуратуру. Теперь он стал прокурором Саратовской судебной палаты. Здесь ему пришлось работать вместе с губернатором Петром Аркадьевичем Столыпиным.
7 апреля 1906 года А. А. Макаров в качестве старшего председателя возглавил Харьковскую судебную палату, но на этой ответственной должности пробыл только полтора месяца. После многих лет тихого карьерного роста судьба сделала неожиданный поворот. Назначенный в правительстве И. Л. Горемыкина министром внутренних дел П. А. Столыпин, успевший за время совместной работы в Саратове по достоинству оценить деловые качества Макарова, в мае 1906 года пригласил Александра Александровича к себе заместителем. В восхождении Макарова по ступеням служебной лестницы начался следующий, гораздо более ответственный период.
Время было не самое спокойное — назначение Макарова товарищем министра внутренних дел совпало, с одной стороны, с усилением террористической деятельности социалистов-революционеров, а с другой — с введением военно-полевых судов и наступлением царизма на революционное движение. Ему достался самый боевой участок — как заместитель министра он курировал департаменты полиции и духовных дел иностранных исповеданий, а также состоящий при министерстве техническо-строительный комитет.
Результаты его деятельности устраивали далеко не всех. Например, С. Ю. Витте считал серьезной ошибкой назначение на эти посты П. А. Столыпина и А. А. Макарова и утверждал, что со времени вступления Столыпина на пост министра «последовала полная дезорганизация полиции». Действительно, в это время работа полиции строилась в основном на провокациях. «Вся полиция в такое трудное время очутилась в руках лиц, совершенно не знакомых с тем делом, которым они должны были заниматься», — Витте.
