Гримм сознался сразу же и стал давать показания. Впрочем, улик против него было достаточно. Во время допросов он каялся, плакал, делал заявления о своих патриотических чувствах. Он категорически отрицал соучастие Серафимы Бергстрем, ясно понимая, что чем шире круг сообщников, тем тяжелее наказание. Доказать виновность Бергстрем не удалось, и в конце концов дело против нее было прекращено. Во время следствия была полностью доказана невиновность Руппа, Фитисова и писарей штаба округа. Австрийский консул Геккинг-о-Карроль и военный агент майор Эрвин Мюллер были в ультимативном порядке высланы за пределы России. В последнем «мы потеряли энергичного и толкового работника», с горечью констатировал глава австрийских спецслужб. По свидетельству начальника Разведывательного бюро австрийского Генерального штаба Макса, Ронге, «в 1902 г. разведывательной деятельности против России был нанесен тяжелый удар». Разоблачение А.Н. Гримма совпало по времени с вербовкой сотрудника австрийского разведывательного отделения Альфреда Редля. Можно предположить, что именно он пресек губительную деятельность русского иуды.
Следствие проводилось под личным контролем военного министра А. Н. Куропаткина. Оно вскрыло серьезный ущерб, нанесенный деятельностью Гримма русской армии. Документы, переправленные в Вену и Берлин, содержали важную секретную информацию об организации, мобилизационных способностях русской армии. Успешной работе шпиона во многом способствовал плохой контроль за хранением документов секретного делопроизводства. Частным определением военного министра начальнику Штаба Варшавского военного округа предлагалось навести здесь порядок.
Вина Гримма была полностью доказана, и предателя ожидал суровый приговор. По существующему российскому законодательству смертный приговор мог быть вынесен только в случае, когда российский подданный «будет возбуждать какую-либо иностранную державу к войне или иным неприязненным действиям против России или с тем же намерением сообщать государственные тайны иностранному правительству». В действиях Гримма не было обнаружено намерения подтолкнуть Австрию к войне с Россией, и поэтому казнить его было нельзя. 30 мая 1902 г. состоялось заседание Варшавского военно-окружного суда. По его решению подполковник армейской пехоты, старший адъютант Штаба Варшавского военного округа А. Н. Гримм был приговорен к лишению воинского звания, дворянского достоинства, чинов, орденов и всех прав состояния, исключен из военной службы и сослан на каторжные работы сроком на 12 лет. Приказ об этом по войскам Варшавского округа был объявлен 27 июня 1902 г.
