Знакомство с Булгаковым изменило жизнь Елены Сергеевны.
В 1967 году она так вспоминала об этом знакомстве: «Я была просто женой генерал-лейтенанта Шиловского, прекрасного, благороднейшего человека. Это была, что называется, счастливая семья: муж, занимающий высокое положение, двое прекрасных сыновей. Вообще все было хорошо. Но когда я встретила Булгакова случайно в одном доме, я поняла, что это моя судьба, несмотря на все, несмотря на безумно трудную трагедию разрыва. Я пошла на все это, потому что без Булгакова для меня не было ни смысла жизни, ни оправдания ее. Это было в 29-м году в феврале, на Масляную. Какие-то знакомые устроили блины. Ни я не хотела идти туда, ни Булгаков, который почему-то решил, что в этот дом он не будет ходить. Но получилось так, что эти люди сумели заинтересовать составом приглашенных и его, и меня. Ну, меня, конечно, его фамилия. В общем, мы встретились и были рядом. Это была быстрая, необычайно быстрая, во всяком случае, с моей стороны, любовь на всю жизнь.
Потом наступили гораздо более трудные времена, когда мне было очень трудно уйти из дома именно из-за того, что муж был очень хорошим человеком, из-за того, что у нас была такая дружная семья. В первый раз я смалодушествовала и осталась, и я не видела Булгакова двадцать месяцев, давши слово, что не приму ни одного письма, не подойду ни разу к телефону, не выйду одна на улицу. Но, очевидно, все-таки это была судьба. Потому что когда я первый раз вышла на улицу, то встретила его, и первой фразой, которую он сказал, было: «Я не могу без тебя жить». И я ответила: «И я тоже». И мы решили соединиться, несмотря ни на что. Но тогда же он мне сказал то, что я, не знаю почему, приняла со смехом.
Он мне сказал: «Дай мне слово, что умирать я буду у тебя на руках». И я, смеясь, сказала: «Конечно, конечно, ты будешь умирать у меня на…» Он сказал: «Я говорю очень серьезно, поклянись». И в результате я поклялась».
Их совместная жизнь сложилась не сразу. Сначала Елена Сергеевна часто бывала в доме Булгаковых, подружилась с женой Михаила Афанасьевича Любовью Евгеньевной. В марте 1930 года она, несмотря на противодействие Шиловского, помогала Булгакову печатать и разносить по адресам знаменитое письмо Правительству СССР.
В конце 1930 или в начале 1931 года муж Елены Сергеевны узнал о ее любовной связи с Булгаковым. Сохранился отрывок письма Булгакова к Шиловскому: «Дорогой Евгений Александрович, я виделся с Еленой Сергеевной по ее вызову, и мы объяснились с нею. Мы любим друг друга так же, как любили раньше. И мы хотим пожениться».
