Когда они впервые появились на Риверсайд-драйв, Ида, сама довольно способная художница, набросала карандашом их двойной портрет. Вскоре они стали в квартире на Риверсайд-драйв частыми посетителями. Вирджинию наняли вести хозяйство, а Ида смогла наконец взять отпуск от домашних дел и уехала отдыхать. Мишель Горди жил на своей половине и в комнатах Шагала не показывался, Джин всегда находила чем заняться, словом, сложилось так, что довольно скоро Марк с Вирджинией стали любовниками.
Свою книгу воспоминаний о взаимоотношениях с художником Вирджиния назвала «Моя жизнь с Шагалом. Семь лет изобилия» — не слишком уместное название, если учесть, что в подзаголовке содержится явная аллюзия на библейскую историю об Иосифе в Египте: после семи лет изобилия наступили пустые, голодные годы. Рассказ Вирджинии, очень откровенный и честный, свидетельствует о незаурядном уме этой женщины. Шагал очень не хотел, чтобы о его связи с Вирджинией стало известно, об этом знали лишь близкие друзья — впервые биограф Шагала упомянул о ней лишь в 1977 году, через двадцать пять лет после того, как они расстались. Вирджиния действительно прожила с Шагалом семь лет, родила ему сына Давида, но не присутствовала, например, на открытии ретроспективной выставки Шагала в Музее современного искусства в 1946 году (там была лишь Ида), и ей часто приходилось мириться с тем, что другие сочли бы унизительным. Так, через две недели после рождения Давида (Шагал, что неудивительно, специально уехал в Париж за месяц до назначенной даты родов) ей пришлось просить друзей Шагала Иосифа и Адель Опатошу одолжить ей сто долларов, чтобы оплатить счета за телефон, стирку и электричество. Но, вспоминая об этих досадных эпизодах, Вирджиния вовсе не жалуется и не сожалеет, а пишет об этом сдержанно и с пониманием, что большая редкость для подруги, освободившейся от власти «гения». Она была слишком умна, чтобы спорить или осуждать, как поется в песне Боба Дилана «She Belongs to Me».
Отношения с Вирджинией во многих случаях связаны с тем, что Шагал был всерьез озабочен своим положением в еврейском сообществе, — слава еврейского художника и прельщала его, и пугала. Так, например, Шагал ужасно перепугался, когда Вирджиния забеременела, хотя не прошло и года со дня смерти Беллы. Больше всего его беспокоило не то, что он станет отцом или что у него любовница, — он волновался потому, что нарушил еврейский обычай. По словам Вирджинии, Шагал не хотел, чтобы стало известно, что он зачал ребенка во время траура по Белле: по еврейским законам, он длится ровно год. Он постарался сделать все, чтобы о беременности Вирджинии никто из посторонних не узнал, — поэтому они переехали из Нью-Йорка и сняли летний домик в отдаленной деревушке Хай-Фоллз в Катскильских горах.
