Восхождение Кони по служебной лестнице началось со скромной должности товарища прокурора Сумского окружного суда, которую он занял 7 ноября 1867 года, а затем Харьковского окружного суда. На мировоззрении молодого юриста не могло не отразиться общее приподнятое настроение в обществе в связи с проведением Судебной реформы. Анатолий Федорович стал одним из самых горячих и искренних сторонников
Судебных уставов 1864 года и впоследствии всегда тяжело переживал любое их «коверканье». Начинающий прокурор громко заявил о себе уже в первые годы.
Он целые дни проводил за работой, изучая уголовные дела, руководя следствием, участвуя в раскрытии преступлений, наставляя и инструктируя судебных следователей, направляя работу присяжных заседателей. Уже в то время при раскрытии преступлений он старался опираться на научные изыскания ученых, судебных медиков. Он требовал от всех неукоснительного соблюдения закона, и сам всегда бережно относился к нему. Часто выступал в судебных заседаниях в качестве обвинителя, получив прозвище «свирепого прокурора».
В ноябре 1868 года молодой прокурор получает свою первую награду — орден Святого Станислава 2-й степени с императорской короной. В феврале следующего года он стал титулярным советником.
На дальнейшей карьере Кони благоприятно отразилась встреча с министром юстиции графом К. И. Паленым. Министр не любил отсиживаться в кабинете генерал-прокурорского дома. Он постоянно посещал судебные палаты и окружные суды, лично ревизовал их, мог заглянуть даже в провинциальные присутственные места. Летом 1868 года граф Пален во время ревизионной поездки посетил Харьков. Служивший там товарищем прокурора Кони произвел на него хорошее впечатление. По просьбе министра он представил подробные характеристики на всех судебных следователей своего участка.
Некоторые дела, которые возникали в Харькове, были довольно сложные и объемные. Так, дело о подделке и продаже рекрутских квитанций, жертвою коего стали 26 человек, составляло в общей сложности более двух тысяч листов. По нему проходили 14 обвиняемых и было свыше 150 свидетелей.
Не менее сложным было и дело о так называемой подделке серий (кредитных бумаг), которое возникло еще в старых судебных установлениях, но за взятки было приостановлено. Только после вмешательства Государственного совета следствие возобновилось. Министр юстиции граф Пален поручил руководить следствием лично Кони. Это дело он довел до суда.
