Обер-Шальме как особа, приближенная к императору, сломя голову неслась вместе с французской армией по бескрайним просторам как всегда долго запрягающей России. С кухаркой Бонапарте были и два ее сына, Федор и Лаврентий, родившиеся в Москве и добравшиеся уже после смерти матери во Францию. Особняк в Глинищевском опустел, но не надолго. А в Москве подсчитывали убытки. Одним из немногих уцелевших домов был бывший особняк Обера. Его и заняла канцелярия московского обер-полицмейстера Ивашкина. Граф Ростопчин приказал ему: «Магазин Обер-Шальме… конфисковать и продать с публичного торгу, вырученные же деньги употребить на вспоможение разоренным московским жителям». Не прошло и пяти лет после окончания войны, как уцелевшие Оберы – Николай и два его подросших сына – вернулись в наш гостеприимный город. Москва оказалась незлопамятной. Да и понять возвращенцев можно – родились мальчики в России, тянуло их на родину. Дом в Глинищевском опять стал принадлежать французам-эмигрантам. После смерти Николая Обера в 1826 году особняк перешел по наследству одному из его сыновей – Лаврентию. С него-то и начинается «пушкинский» период в истории здания. В находившейся здесь гостинице поэт останавливался шесть раз.
Не стоит, однако, приуменьшать возможности французской разведки по внедрению своих лазутчиков в Москве. Шпионов действительно было немало. Одним из них был губернский секретарь Иван Щербачев, числящийся в списке членов муниципалитета, созданного французами в оккупированной Москве. О Щербачеве говорилось, что он «имел особенные препоручения от Наполеона и Мюрата». Эти «особенные препоручения» можно трактовать как разведывательную и шпионскую деятельность. На это указывают и некоторые обстоятельства его поведения. Так, подав прошение о зачислении в Московское ополчение, Щербачев «по болезни» в свой полк не явился, оставшись в Москве. Вместо этого, он, якобы, пытался дать отпор вступающим в город захватчикам, взяв из Арсенала оружие. Впоследствии Щербачева не раз видели среди свиты Наполеона, разъезжающего по Москве. Тем не менее, просидев до ноября 1814 года в заключении, он был прощен и не понес наказания.
Очевидец происходящих событий писал:
«Когда появились неприятельские шпионы в Москве, старавшиеся возбудить жителей к мятежу, рассеивая в народе разные злонамеренные слухи, московский градоначальник граф Растопчин предпринял против их козней строгие меры, с неутомимою бдительностью преследовал незваных гостей, между прочим, объясняя: «Хотя у меня и болел глаз, но теперь смотрю в оба».
