В 50-е годы Утесов с супругой жили в доме на Красносельской, а их дочь с мужем — в доме на углу Каретного ряда и Садового кольца. Елена Осиповна часто болела, а тут еще начались неприятности с дочерью. Она пела в оркестре отца, однако ее выступления все чаще вызывали раздражение у музыкальных критиков. Вот слова А. M. Ревельс: «Однажды Утесову позвонили из Министерства культуры и велели Диту из оркестра уволить. Это был для Леонида Осиповича страшный удар. Он долго думал, как это сделать безболезненно для дочери. И придумал. Он сказал ей: «Диточка, знаешь, давай мы поступим так. Ты уйдешь из оркестра и создашь свой маленький джаз. И увидишь, все сразу успокоятся, исчезнут эти несправедливые рецензии».
Дита так и сделала. И действительно, рецензии стали совсем другими, травля прекратилась. Ее джаз пользовался большим успехом».
В 1962 году после продолжительной болезни скончалась жена Утесова Елена Осиповна. Жить в одиночестве артист не смог и поэтому переехал к своей дочери в дом в Каретном ряду. Их сосед по дому, известный нам П. Леонидов, так описывает их квартиру: «Семья Утесовых владела в этом доме двумя квартирами, сплошь уставленными трельяжами, комодами и шкафами Буля (один шкаф у них — из двух, сделанных Булем Людовику Четырнадцатому по эскизам самого короля. На верхней притолоке шкафа — эмблема Людовика Четырнадцатого — Солнце)».
Активная творческая жизнь Утесова продолжалась после смерти жены недолго. В марте 1965 года в связи с 70-летием Утесова наконец-то наградили званием народного артиста СССР. В советском эстрадном искусстве это был первый подобного рода прецедент. А буквально через год и девять месяцев с артистом произошло несчастье. В декабре 1966 года во время выступления на сцене ЦДСА у него случился сердечный приступ и он упал без сознания. Врачи спасли ему жизнь, однако на сцену Утесов больше не вернулся. Так в возрасте 71 года Леонид Утесов ушел на пенсию. Как и отставной Н. Хрущев, Утесов увлекся тогда фотоделом, снимал пейзажи и своих друзей, которые его навещали. В 1975 году на концерте, устроенном в честь его 80-летия, Утесов вновь появился перед публикой и даже спел кое-что из своего старого репертуара. Однако и здесь нашлись чиновники, которые постарались испортить знаменитому артисту праздник. Фамилия Утесова была внесена в список тех, кого должны были наградить званием Героя Социалистического Труда. Но чья-то властная рука фамилию Утесова из списка вычеркнула. Точно такой же «отлуп» Утесов получил и в другом случае — когда попытался лечь на обследование в больницу 4-го (кремлевского) управления. Ему в этом отказали, и он с горечью жаловался друзьям: «Какой же я ничтожный человек, если со всеми званиями и наградами не имею права на тщательное обследование в престижной клинике». Трудно понять, чем это было вызвано, можно только строить предположения.
