В первых числах апреля, когда умерла бабушка Марья Ивановна, а молодому графу Петру сделалось полегче, Наталья Борисовна решилась не откладывать далее свадьбы. «Сам Бог выдавал меня замуж, больше никто», — писала она — и совершенно справедливо. Свадьба совершилась в Горенках, куда приехала молодая графиня без всякого кортежа, провожаемая только одним братом Сергеем. Венчальное торжество более походило на похороны: одинокая невеста плакала до потери сознания, а семья Долгоруковых, вся собравшаяся в Горенках к Алексею Григорьевичу, казалась словно приговорённой к казни.
И казнь действительно была близка; она подвигалась медленно, но верно. Через три дня после свадьбы приехал в Горенки сенатский секретарь с объявлением указа о ссылке князя Алексея Григорьевича со всем семейством в пензенскую его деревню Касимовского уезда, в село Никольское, куда вся семья и принуждена была, по настоянию секретаря, выехать на другой же день. Но это были первые удары грома, отдалённые и безопасные; опальность как будто постепенно приучала к своим железным иглам. Одновременно со ссылкой Алексея Григорьевича и Сергея Григорьевича с их семьями в деревни состоялся указ о почётных ссылках для всех почти родичей Долгоруковых: князь Василий Лукич назначен был губернатором в Сибирь, князь Михаил Владимирович в Астрахань, князь Иван Григорьевич воеводой в Вологду.
Кроме объявления указа сенатский секретарь имел ещё и другое поручение — допросить Алексея Григорьевича и Ивана Алексеевича «о завещательном письме Петра II». На этом полуофициальном допросе оба, как отец, так и сын, объявили, что «ни о какой духовной или завещательном письме или проектах никогда ни от кого не слыхали и у самих у них не бывало». Давая такие объяснения, оба князя оставались покойными; они уверены были в полнейшей бесследности своей попытки. Правда, духовные были сочинены, но никто из посторонних их не видел и были они уничтожены тогда же. Иван Алексеевич, без особенного насилия над совестью, отрёкся от всякого участия, убаюкивая себя тем, что подписывал один экземпляр под руку государя в уверенности полнейшей безуспешности затеи отца и вовсе не имел намерения предлагать духовную для подписи государю, а если и сделал фальшивую подпись, то единственно как шалость, для избежания вечных упрёков отца.
Опалу свою Долгоруковы приписывали интригам Ягужинского, нисколько не подозревая, что за кулисами действовала другая рука, более опытная, рука Андрея Ивановича, невидимо, но исключительно заправлявшая всеми действиями правительства Анны Ивановны в первое время. Остерман знал ненасытную алчность Алексея Григорьевича, не любил его по личным отношениям и ненавидел за грустную историю своего воспитанника.
