После того как Голицын вместе со своей семьей отправился в ссылку в город Каргополь, в Москве было предпринято несколько попыток ужесточить наказание для опального князя. Однако двоюродному брату опального князя Борису Алексеевичу Голицыну удалось защитить брата, которому повелели перебраться в Еренский городок (в 1690 г.). Туда ссыльные добрались глубокой зимой, однако и в этом месте им не довелось остаться.
Ложный донос Шакловитого, будто бы Голицын принимал активное участие в заговоре стрельцов в ночь на 8 августа 1689 года, подкрепленный новым ложным доносом о сношениях Василия Васильевича с Софьей уже после ссылки, еще более отягчил его судьбу. Был отдан приказ везти Голицына с семьею в Пустозерский острог, на низовья Печоры, и учинить им жалованье «поденного корма по тринадцать алтын по две деньги на день». Усилиями Бориса Голицына наказание снова удалось смягчить: вместо дальнего острога Василий Васильевич оказался в деревеньке Кеврола, стоящей на далекой северной речке Пинеге примерно в двухстах километрах от Архангельска. Последним же местом его ссылки стал поселок Пинега. Здесь князь вместе со своей второй супругой, Евдокией Ивановной Стрешневой, и шестерыми детьми провел остаток своей жизни. Из ссылки он неоднократно посылал царю челобитные, прося не помилования, а лишь увеличения денежного содержания. Однако Петр свое решение не изменил, хотя он и закрывал глаза на посылки, отправляемые опальному боярину его тещей и братом. Также известно, что Б. А. Голицын как минимум один раз навестил брата – во время поездки царя в Архангельск. Разумеется, без разрешения Петра I он бы на это не отважился.
Постепенно жизнь Василия Васильевича нормализовалась. Благодаря родственникам деньги у него имелись, а местные власти, зная о его влиятельном брате, относились к Голицыну с почтением и делали ему всевозможные послабления. Он получил разрешение на посещение Красногорского мужского монастыря. Всего в северной глуши Василий Васильевич прожил долгие двадцать пять лет, скончавшись 2 мая 1714 года. Голицына похоронили в Красногорском Богородицком монастыре возле поселка Пинега. Вскоре после этого Петр позволил его семье вернуться в Москву. В настоящее время Красно горский Богородицкий монастырь не действует. Что касается надгробия князя, оно хранится в местном музее. На плите написано: «Под камнем сем погребено тело раба Божьего князя московского В. В. Голицына. Скончался 21 дня апреля от роду 70 лет».
