Когда в 1874 году граф Пален, не удовлетворенный деятельностью суда присяжных, стал «подкапываться» под него и потребовал от прокуроров представления сведений о числе оправдательных приговоров, вынесенных присяжными, Кони использовал совещание для выработки согласованных действий. По результатам обсуждения он издал циркуляр, в котором предлагал своим подчиненным искать причины оправдательных приговоров в фактических обстоятельствах каждого конкретного дела, не входя при этом в оценку «организации судебных учреждений и правильности деятельности их отдельных органов».
За время службы в качестве прокурора Санкт-Петербургского окружного суда Кони достиг чина коллежского асессора и был награжден орденом Святого Владимира 4-й степени.
В июле 1875 года Кони становится вице-директором департамента Министерства юстиции. Граф К. И. Пален, назначая Кони, сказал, что ему нужна в министерстве «судебная совесть». Кони становится одним из ведущих сотрудников министерства, участвует во всех совещаниях у графа Палена. Он получает новые чины, сначала надворного советника, затем коллежского советника. Его имя приобретает известность при Высочайшем дворе. В 1875 году он вошел в Совет управления учреждений великой княгини Елены Павловны, затем стал членом Высочайше учрежденной комиссии для исследования железнодорожного транспорта в России.
В качестве профессора Кони начинает читать лекции по уголовному судопроизводству в Императорском училище правоведения (с 1876 по 1883 год). В 1876 году он стал одним из учредителей юридического общества при Санкт-Петербургском университете. С самого начала своей прокурорской деятельности он активно сотрудничал в «Журнале Министерства юстиции», «Правительственном вестнике», «Русской старине», «Вестнике Европы» и других периодических изданиях.
29 апреля 1877 года Кони назначается директором департамента Министерства юстиции. В июне того же года определением Правительствующего сената он утверждается почетным мировым судьей по Санкт-Петербургу.
24 декабря 1877 года Анатолий Федорович возглавил Санкт-Петербургский окружной суд. В этом качестве ему пришлось 31 марта 1878 года председательствовать на известном процессе В. Засулич, стрелявшей в градоначальника Трепова. Несмотря на явно политическую подоплеку этого преступления, прокурор Санкт-Петербургской судебной палаты А. А. Лопухин убедил министра юстиции вести дело как обычное уголовное, передав по окончании на рассмотрение суда присяжных.
