30 января 1885 года Анатолий Федорович все же назначается обер-прокурором уголовного кассационного департамента Правительствующего сената. Он пробыл на этой должности до 1897 года (в 1891–1892 годах временно был сенатором). За это время Кони дано почти 700 заключений по различным делам, а в качестве прокурора он выступил во многих процессах (по делам князей Щербатова и Мещерского, земского начальника Протопопова и др.).
По словам Кони, он стремился придать обер-прокурорской деятельности «влиятельный и благотворный характер». И ему это в полной мере удалось. Его заключения стали появляться в печати, на заседания кассационного департамента «повалила» публика. Да и сами сенаторы, сначала встретившие Кони чуть ли не враждебно, стали все чаще и чаще прислушиваться к его мнению. Кони писал, что в последние пять лет его обер-прокурорства не было случая, когда Сенат с ним бы не согласился, несмотря на то, что он давал заключения каждый вторник по всем делам, вносимым в департамент, исключая питейных, лесных и строительных. Кони частенько приходилось «воевать» с сенаторами, ломая застарелую практику, особенно по делам о клевете в печати и о преступлениях против веры.
В 1888 году по Высочайшему повелению Кони был командирован в Харьков для расследования причин крушения царского поезда, произошедшего 17 октября недалеко от станции Борки. В результате катастрофы погибли 19 человек, ранено — 14. Члены царской семьи, по счастливой случайности, не пострадали. В изорванной одежде, перепачканные они благополучно выбрались из искореженных вагонов. Александр III, проявляя самообладание и выдержку, сразу же отдал необходимые распоряжения об оказании помощи пострадавшим.
Следствие продолжалось три месяца, его материалы составили четыре больших тома, не считая многочисленных приложений. Все трудности и тяготы по «громадному и сложному следствию» Анатолий Федорович разделил с судебным следователем по особо важным делам Харьковского окружного суда Николаем Ивановичем Марки и прокурором того же суда Николаем Андреевичем Дублянским. О всех следственных действиях Кони регулярно докладывал сменившему Набокова новому министру юстиции Н. А. Манасеину в шифрованных телеграммах. Все же свои предложения, сомнения, наблюдения он излагал в частных письмах к нему. Докладывая императору о деле, министр однажды сослался на одно из таких писем, а впоследствии по просьбе Александра III, давал их ему на прочтение, не решившись сообщить об этом Кони.
