Летом 1896 г. он отправился в Германию. В Берлине Гримм нашел здание Генерального штаба и долго объяснял швейцару, что желает встретиться с офицером, говорящим на русском языке. После длительных препирательств, так как Гримм не знал иностранных языков, его приняли представители германской разведывательной службы. Старший из них выслушал его предложение и сообщил, что германский Генштаб охотно воспользуется его услугами. Новоявленному шпиону вручили 10 тыс. марок и взяли обещание выслать по условленному адресу все, что он сможет достать в ближайшее время. Ему вручили перечень документов, которые необходимо добыть. В первую очередь немцев интересовали карты укрепленных районов, стратегические сведения, информация о крепостях и о русской агентуре в Германии. По занимаемой им должности старшего адъютанта инспекторского отделения Гримм попросту не имел доступа к подобной информации, однако разуверять своих новых хозяев он не стал. Копии документов ему готовили писари штаба, считавшие, что выполняют казенную работу. «Гонорары» за выполненные задания он получал через банкирские конторы Вавельберга в Варшаве и Петербурге.
Для германской разведки Гримм явился весьма ценным агентом. В секретных агентурных списках он значился под номером два. В 1899 г. хозяева потребовали от Гримма подлинники подробных отчетов по всем отраслям деятельности военного ведомства за год. Это были так называемые «Всеподданнейшие доклады по военному министерству» и «Расписание сухопутных войск». На этот раз шпион прихватил с собой для маскировки жену. 15 июля он прибыл в Берлин. История снова повторилась. Через швейцара вновь вызвали первого попавшегося офицера, который отвел его прямо к начальнику «русского отделения». Документы, доставленные Гриммом, произвели на немецких разведчиков сильное впечатление. За привезенную информацию предатель получил 6 тыс. марок и новое задание: немцам требовались топографические карты и фотоснимки ряда железнодорожных станций. Гримм тут же потребовал аванс в размере 2 тыс. марок.
Однако эти деньги очень быстро кончились, и Гримм решил пойти на очередную авантюру: выйти на связь с австрийской разведкой. В конце 1899 г. он составил письмо, аналогичное берлинскому, а затем, явившись в Варшаве домой к австрийскому консулу барону Геккингу-о-Карроль, попросил срочно переправить это письмо начальнику Генерального штаба. Дипломат сам был опытным шпионом и явно опешил от такого предложения. Однако после некоторых колебаний согласился — и через пять дней вручил Гримму конверт с приглашением лично приехать в Вену для переговоров. Через неделю, взяв недельный отпуск, Гримм выехал курьерским поездом в Вену, прихватив с собой документы, которые прошли апробацию в немецкой разведке.
