Александр Львович, став обладателем крупного состояния, дал полный простор своей страсти к шумной, расточительной жизни. Устраиваемые им праздники отличались необычайной роскошью и великолепием, стоили ему громадных денег. Он возобновил очень распространенные в царствование Екатерины II так называемые «петербургские серенады». Состояли они из почти ежедневных концертов роговой и духовой музыки, которые в течение трех летних месяцев с шести часов вечера и до поздней ночи разыгрывались его домашними музыкантами, разъезжавшими по Неве перед домом Нарышкиных на Английской набережной. (В 1801 г. А. Л. Нарышкин стал владельцем еще одного дома в Петербурге, современный адрес – Большая Морская ул., 31.)
Еще в 1784 году Александр Львович женился на одной из любимых фрейлин Екатерины II Марии Алексеевне Сенявиной (1762–1822), дочери адмирала А. Н. Сенявина. В 1799 году Мария Алексеевна была пожалована в кавалерственные дамы ордена Св. Екатерины, а 1 января 1808 года – в статс-дамы. Чета Нарышкиных вела роскошный открытый образ жизни, на их балах и приемах бывало все высшее общество. Многие литературоведы и историки Петербурга полагают, что Л. Н. Толстой на страницах романа «Война и мир», посвященных первому балу Наташи Ростовой, описал дом Нарышкиных на Английской набережной: «31-го декабря, накануне нового 1810 года, reveillon [сочельник], был бал у екатерининского вельможи. На бале должен был быть дипломатический корпус и государь. На Английской набережной светился бесчисленными огнями иллюминации известный дом вельможи. У освещенного подъезда с красным сукном стояла полиция, и не одни жандармы, но и полицмейстер на подъезде и десятки офицеров полиции. Экипажи отъезжали, и все подъезжали новые с красными лакеями и лакеями в перьях на шляпах. Из карет выходили мужчины в мундирах, звездах и лентах; дамы в атласе и горностаях осторожно сходили по шумно откладываемым подножкам и беззвучно проходили по сукну подъезда».
У Александра Львовича и Марии Алексеевны было два сына – Лев и Кирилл и две дочери – Мария и Елена. Разумеется, среди постоянных посетителей дома были младший брат Александра Львовича Дмитрий Львович Нарышкин и его супруга Мария Антоновна. Она стала возлюбленной Александра I и матерью внебрачных детей императора.
В феврале 1812 года Нарышкины продали дом на Английской набережной за 125 тысяч рублей графу Александру Ивановичу Остерману-Толстому. На этом закончился нарышкинский период истории дома.
