Весной 1934 года В. В. Виноградов был сослан в Вятку (потом это стал город Киров), где прожил два года. Впоследствии ему разрешили поселиться лишь в небольшом подмосковном Можайске, так что в столицу к семье Виктор Владимирович мог приезжать ненадолго да и то нелегально. Жить в Москве он смог перед самой войной, но сразу после ее начала был снова выслан в Тобольск, поскольку считался «неблагонадежным» из-за судимости. Разрешили ему вернуться в Москву только в 1943 году…
Все эти бесконечные переезды не по своей воле, бытовая неустроенность, казалось бы, не могли способствовать нормальной работе ученого. Но именно 30—40-е годы, хотя и были самым тяжелым периодом его жизни, оказались для Виноградова на редкость плодотворными. В эти годы им было написано немало научных трудов, впоследствии принесших ему заслуженную славу. Его работоспособность поражала даже его близких. После ареста, находясь в камере на Лубянке, Виктор Владимирович и там не прекращал своих научных занятий. Когда его сослали в Вятку, он в письмах просил жену присылать ему как можно больше книг, необходимых для работы, которой он не прекращал ни на один день. Надежда Матвеевна старалась исполнять все просьбы мужа, а когда получала возможность навещать его в ссылке, то везла с собой целые кипы книг. В своих воспоминаниях (неопубликованных) она описывает, как Виктор Владимирович, совсем не умея отдыхать, сразу же по приезде в санаторий (это было уже в годы его полного признания) опять садился за стол и продолжал работать.
О том, в каких условиях ему приходилось заниматься наукой в ссылке, говорят его письма жене. С самого момента знакомства началась их переписка (они встретились в середине 1920-х годов). Это потрясающий документ, характеризующий масштаб личности этих истинно русских интеллигентов, удивительный стиль отношений — они всю жизнь уважительно обращались друг к другу на «вы»! Особенно интенсивной была переписка, когда Виктор Владимирович жил в Ленинграде и работал там в университете и в Институте истории искусств, а Надежда Матвеевна жила в родной ей Москве, куда Виноградов переехал лишь в конце 20-х годов. Так же много — иногда по три письма в день — Виктор Владимирович писал жене из Вятки, рассказывая о своей жизни в ссылке, делясь творческими планами, обращаясь с просьбами о присылке книг или интересуясь судьбой своих научных публикаций. В письме от 30 мая 1934 года он пишет ей о работе над «Толковым словарем»: «…Сегодня я освободился на время от словаря, сделал свой майский урок (или оброк): кончил букву «Т» и отослал Ушакову. Завтра я начинаю писать главу о стиле «Повестей Белкина» («Стиль Пушкина»)…»
