Чуть позже, вспоминая об этих событиях, Неплюев писал:
«В начале 1742 года прислан мне приказ, чтоб я у двора явился, что я и исполнил, и при сем случае поставлен я был на колена пред церковью в то время, когда императрица Елизавета Петровна проходила в оную; она изволила, остановясь, возложить на меня орден св. Александра Невского и пожаловать меня допустить к руке; я, увидев дщерь государя, мною обожаемого, в славе ей принадлежащей и в лице ее черты моего отца и государя Петра Первого, так обрадовался, что забыл все минувшее и желал ей от истинной души всех благ… Потом сделал я визиты всем знатным благодетелям. Старый мой благодетель Григорий Петрович Чернышев принял меня как родного и все силы употребил к защищению моей невинности. Чрез несколько дней сделана мне от Сената повестка, чтоб я в оный явился, где мне объявлен именной указ, чтоб ехать в Оренбургскую экспедицию командиром».
Придворным завистникам не удалось очернить заслуженного человека, отмеченного самим преобразователем. Но, как известно, клевета наносит удары и достойным людям: в Оренбургский край Неплюева посылали, чтобы отдалить от двора.
В это же время Иван Иванович претерпел и другие невзгоды.
На 46-м году жизни он овдовел, оставшись с четырьмя детьми. Перед отъездом из Москвы в Оренбург Иван Иванович женился на 23-летней девице Анне Паниной. Молодая жена пришла в отчаяние, когда вскоре же после свадьбы узнала о назначении мужа. Дочь дворянина, она никак не хотела покидать светское общество старой русской столицы и ехать с мужем в «замаскированную ссылку». Она заливалась горькими слезами, будто предчувствовала свое трагическое будущее. И действительно, через три года она, как засвидетельствует в своих записках Неплюев, умрет в Орской крепости от тоски…
В «Истории Оренбургской» Петр Рычков повествует, что, возглавив Оренбургскую комиссию, тайный советник Неплюев первым делом решил выстроить Оренбург. Только не на Красной горе. «Столь знатному и большому городу способнее и пристойнее быть близ устья Сакмары-реки, где Бердская крепость застроена, яко тут место пространнее, ровнее, как водою, так и лесом и лугами и всякими к строению потребными припасами пред Красногорским гораздо довольнее, к российским хлебным жительством ближе, и ко всем новопостроенным крепостям, стало быть, в середине…»
Прежний Оренбург, называемый оплотом России на востоке, представлял собой крепость, окруженную забором из плетня и земляного дерна. Бывший петровский боевой офицер Неплюев с усмешкой обозрел сию цитадель, которую его предшественники Кирилов, Татищев и Урусов отваживались навещать лишь раз или два в году. Обычно летом и под охраной многочисленного отряда. Зимой же вся линия крепостей, так называемая Ново-Московская дорога, тянувшаяся от Оренбурга до Самары, лежала в глубоких снегах — ни пройти, ни проехать.
