Между тем лето незаметно подошло к концу. В августе полили дожди, жить в Павловске стало неуютно, и двор переехал в Петербург. Император был недоволен этим переездом. Он мечтал въехать в свой новый замок и никогда более не возвращаться в ненавистный ему Зимний дворец, созданный по приказу его матери. Однако Михайловский замок все еще не был готов. И виновником этого был сам Павел. Он требовал от строителей все новых переделок, улучшений, и это затягивало окончание работ. Теперь перед архитекторами и строителями был поставлен новый окончательный срок — сделать замок к Рождеству, чтобы Новый год уже точно справлять на новом месте.
С возвращением двора в Петербург перед Анной встала задача: где жить. Окончательно покинуть дом мужа она не могла — это было бы вызывающим, скандальным поступком. Значит, надо было жить в особняке князя Гагарина, ежедневно видеть князя. При этом она оставалась его женой, а значит, князь в любую минуту мог потребовать от нее исполнения супружеских обязанностей. И она не имела причин ему отказать.
Однако ей недолго пришлось ломать себе голову над решением этой задачи. Как оказалось, император еще летом подумал над этим обстоятельством. И уже спустя два дня после возвращения в Петербург (эти дни она ночевала в доме родителей) Анна узнала, что князь Гагарин получил повеление вернуться в Италию и приступить к своим обязанностям посла. Для него это было существенным понижением по службе. Чтобы подсластить «горькую пилюлю», государь повелел передать князю обширное поместье в Малороссии и деньги на обустройство этого поместья. Князю также было разрешено сперва навестить вновь приобретенную собственность и только затем отправляться в Италию. В любом случае он удалялся из Петербурга, и Анна могла, на выбор, жить либо в его особняке, либо в доме родителей. Она, разумеется, выбрала последнее.
Впрочем, в родительском доме она только ночевала, да и то далеко не всегда. Все дни она проводила в Зимнем дворце — якобы в свите императрицы, на самом же деле, готовая встретить императора, вернувшегося из Сената или от других важных дел и настроенного пообщаться с ней. А иногда Павел говорил ей: «Сегодня останься», — и она оставалась во дворце на ночь. На этот случай у нее были особые покои на первом этаже, куда Павел приходил обычно около полуночи и оставался до утра.
Эти осенние месяцы были отмечены для нее несколькими событиями. По повелению государя французский художник Жан Вуаля стал писать ее портрет. Работа заняла около двух недель в октябре. Каждый день Анне приходилось по нескольку часов позировать. Конечно, ей льстило, что известный художник будет писать ее портрет, и этот портрет, по всей видимости, украсит один из залов дворца. Но ее несколько смущало, что этим фактом ее особое положение при дворе уже совсем выставляется напоказ.
