Женой Оленина стала Елизавета Марковна Полторацкая, дочь директора Придворной певческой капеллы. В приданое он получил трехэтажный особняк на Фонтанке, напротив строящегося дома Державина. Вскоре здесь у гостеприимного, хлебосольного хозяина сам собой образовался литературный салон, ставший на несколько десятилетий одним из притягательнейших творческих оазисов Северной Пальмиры. Его определяющим качеством была литературная «внепартийность». На вечерах у Оленина встречались приверженцы «Беседы любителей русского слова», впоследствии названные архаистами, с молодой порослью карамзинистов, вскоре образовавшими «Арзамас». Сам Оленин не видел большого различия между архаистом Гнедичем и арзамасцами Жуковским и Батюшковым. Для него они были прежде всего первостепенными поэтическими талантами.
На деньги жены Оленин купил в Шлиссельбургском уезде вблизи Охтенских пороховых заводов почти восемьсот десятин земли (скорее болота) и начал строительство усадьбы, которую он в духе времени назвал Приютиным. Первоначально Оленин намеревался создать экономически доходную усадьбу, но вскоре забыл о своих планах. Приютино было недалеко от Петербурга, семейство Олениных проводило здесь половину года (с мая по октябрь). Все это способствовало тому, что в усадьбу Оленина зачастили те же люди, которые были завсегдатаями его петербургского салона. Приютино превратилось как бы в его летний филиал.
Приютино быстро вошло в русскую поэзию. Вот послание К. Н. Батюшкова Н. И. Тургеневу с приглашением на «дачу Олениных»:
Есть дача за Невой,
Верст двадцать от столицы,
У Выборгской границы,
Близ Парголы крутой;
Есть дача или мыза,
Приют для добрых душ,
Где добрая Элиза
И с ней почтенный муж,
С открытою душою
И с лаской на устах,
За трапезой простою,
На бархатных лугах,
Без бального наряда,
В свой маленький приют
Друзей из Петрограда
На праздник сельский ждут:
Там муж, с супругой нежной,
В час отдыха от дел
Под кров свой безмятежный
Муз к грациям привел.
Поэт, лентяй, счастливец,
И тонкий Философ,
Мечтает там Крылов,
Под тению березы,
О басенных зверях,
И рвет парнасски розы
В приютинских лесах,
И Гнедич там мечтает
О греческих богах,
Меж тем как замечает
Кипренский лица их,
И кистию чудесной,
С беспечностью прелестной,
Вандиков ученик,
В один крылатый миг
Он пишет их портреты,
Которые от Леты
Спасли бы образцов,
Когда бы сам Крылов
И Гнедич сочиняли
Как пишет Тянислов
Иль Балдусы писали,
Забыв и вкус и ум!
Но мы забудем шум
И суеты столицы,
