Оба уже взрослых сына А. И. Остермана также понесли наказание за отца, будучи разжалованы в капитаны армии. Младший, Иван, поспешил уехать за границу. С 1757 до 1759 года он числится членом русского посольства в Париже, затем до 1774 года является посланником и полномочным министром в Стокгольме. В последний год правления Екатерины II его ждала даже должность канцлера, хотя, по единодушному отзыву современников, дипломатические способности И. А. Остермана оставляли желать много лучшего. Деловых черт отца сын не унаследовал ни в чем, разве что скрытность.
Своим укрепившимся в екатерининские годы положением и карьерой И. А. Остерман обязан прежде всего родне жены — Александры Ивановны Талызиной.
Это тесть Остермана, И. Л. Талызин, в прошлом пенсионер Петра I, изучавший за границей мореходное дело, был тем вице-адмиралом, который захватил для Екатерины Кронштадт. Это ему Екатерина вручила собственноручную записку: „Господин адмирал Талызин от нас уполномочен в Кронштадте, и что он прикажет, то исполнять“. Екатерина награждает И. Л. Талызина орденом Андрея Первозванного, делает его своим докладчиком по морским делам. Но взаимопонимание оказывается очень недолгим. В 1765 году И. Л. Талызин выходит в отставку и навсегда уезжает в Москву. В старой столице он волей-неволей оказывается среди тех, кто составлял дворянскую оппозицию правительству Екатерины. Москва могла с неприязнью относиться к памяти Остермана-старшего, но зять Талызина был здесь безусловно своим человеком.
Становится москвичкой по мужу и сестра И. А. Остермана Анна, вышедшая замуж за генерал-аншефа Матвея Андреевича Толстого. Рокотовские портреты, написанные, по всей вероятности, как парные, — свидетельство дружбы, которая соединяла брата и сестру Остерманов. Они удивительно похожи друг на друга, с одинаковыми вытянутыми лицами, длинными носами, разрезом глаз с характерной косинкой и одинаковым выражением холодной, отчужденной замкнутости — у брата более сдержанной, у сестры с откровенной презрительностью. И как точно отвечают этим характерам цветовые предельно скупые и сдержанные решения портретов. А. А. Остерман-Толстая в переливах серых тонов, чуть оживленных мерцанием жемчужного ожерелья и серег — серое платье с бантами, белая тюлевая косынка, густо пудренные волосы, И. А. Остерман в голубовато-сером с позументами кафтане и с той же пудрой на волосах, на редкость моложавый для своих сорока с лишним лет.
