Семья Долгоруких была не дружна, часто они ссорились и пререкались друг с другом, говорили много бранных слов. Об этом доносили даже императрице, которая в 1731 году издала специальный указ: «Сказать Долгоруковым, чтоб они впредь от ссор и непристойных слов конечно воздержались и жили смирно, под опасением наистрожайшего содержания».
Вскорости по приезде умерла княгиня Прасковья Юрьевна, а в 1734 году скончался князь Алексей Григорьевич. Главой семьи сделался князь Иван Алексеевич, и все семейные дела и распри легли на плечи его жены, этой хрупкой молодой женщины. Нраву она была тихого, доброго и смогла расположить к себе охрану, которая стала снисходительней к ним. Им разрешили выходить из острога в город, бывать в гостях и принимать у себя. Воевода Березова и его семья сошлись с ними, приглашали к себе и часто проводили время вместе. Жена воеводы присылала Долгоруким «разную харчу», меха. Из оставшихся у них дорогих вещей князь Иван и княжна Наталья делали подарки своим благодетелям. Общительный и веселый от природы князь Иван завел дружбу и знакомство с офицерами гарнизона, с местным духовенством и городскими обывателями. Всем интересно было послушать рассказы о житье при царском дворе столь именитого в прошлом вельможи. Особенно он сошелся с флотским поручиком Овцыным, через которого и принял свою погибель. Они часто вместе кутили, и вино развязывало язык князя. Он проговаривался о многом, неосторожно и резко отзывался об императрице, о цесаревне Елизавете Петровне, о придворных. Последовали доносы и строжайшее предписание не выходить из острога. Но все по-прежнему навещали их, и в числе прочих был приехавший таможенный подьячий Тишин, которому приглянулась «разрушенная» царская невеста княжна Екатерина. Однажды напившись, Тишин высказал ей свои желания, а оскорбленная княжна пожаловалась Овцыну. Тот со своими знакомцами наказал обидчика, жестоко избив. Тишин поклялся отомстить и отправил донос сибирскому губернатору, в котором обвинял Долгоруких и майора Петрова с березовским губернатором в послаблении узникам. Тогда отправили в Березов в 1738 году капитана сибирского гарнизона Ушакова с тайным предписанием под видом лица, присланного по повелению императрицы для улучшения положения Долгоруких, разузнать все об их жизни. Он сумел войти ко многим в доверие, узнал все, что ему было нужно, а по его отъезде был получен строжайший приказ из Тобольска — отделить князя Ивана от сестер, братьев и жены и заключить его в тесную сырую землянку. Там ему давали грубой пищи лишь столько, чтобы он не умер с голоду. Наталья Борисовна выплакала у караульных солдат дозволение тайно по ночам видеться с мужем через оконце, едва пропускавшее свет, и носила ему ужин.
