Однако семейное счастье оказалось недолгим. Виссариону не было еще и тридцати, когда он начал пить, и с тех пор все в семье пошло наперекосяк. Они стали менять место жительства, постоянно кочевали по городу с квартиры на квартиру. Мало того, что отец своим поведением позорил семью, но скоро он перестал приносить домой деньги и появлялся теперь только «разбираться» с женой и «воспитывать» сына. Иосифу было лет десять, когда он во время одной такой сцены бросил в отца ножом, а потом несколько дней прятался у соседей.
По счастью (ибо в том, что пьяница ушел из семьи, для семьи горя нет) — так вот, по счастью, году примерно так в 1890-м Виссарион уехал в Тифлис и оставил их в покое. Правда, предварительно он успел-таки «показать» жене, как большинство пьяниц мечтает, — увез мальчика с собой. Ты, мол, мечтаешь, что твой щенок будет митрополитом? Так вот тебе: я — сапожник, и сын мой будет сапожником, что хочу, то из него и сделаю. Несколько месяцев провел мальчик в Тифлисе, работая на обувной фабрике Адельханова, пока не приехала опомнившаяся мать, потерявшая всякий страх перед мужем, и не увезла его обратно в Гори. Напоследок отец предложил сыну выбор: или мальчик остается с ним, или уезжает с матерью и он, отец, снимает с себя всякую заботу о нем. Тоже мне, нашел чем пугать, много они видели той заботы! Мальчик бестрепетно последовал за матерью, и оба они постарались об отце навсегда забыть. Ни Екатерина, ни Иосиф так Виссариона и не простили. Сын почти никогда не рассказывал об отце, и даже неоднократные просьбы музея в Гори опознать ту единственную фотографию, которая у них была — действительно ли на ней изображен Виссарион, — остались без ответа. Вернувшись домой, Кеке стала всем говорить, что муж ее умер.
Но на самом деле Бесо Джугашвили не умер. Иосиф, когда от него требовали сведений об отце, отвечал, что местонахождение того неизвестно. В 1895 году он писал в заявлении на имя ректора семинарии: «Отец мой уже три года не оказывает мне отцовского попечения в наказание того, что я не по его желанию продолжил образование». Лишь недавно стало известно, что Виссарион дожил почти до 60 лет и умер 7 августа 1909 года в Тифлисе от цирроза печени. Умер он в больнице, куда был доставлен из ночлежного дома, и похоронен на общественный счет. О его могиле ничего не известно, и никто ее не искал.
Теперь мать боролась за жизнь, свою и сына, в одиночку. Екатерина давно, еще до отъезда мужа, вынуждена была работать. Для нее, неграмотной крестьянки, доступным был лишь труд поденщицы, и она мыла полы, стирала белье, пекла хлеб, шила по домам и тем содержала себя и сына. Позднее она выучилась на портниху, тогда стало немного полегче, но все равно тяжело. В 1935 году она вспоминала: «Я работала поденно и воспитывала сына. Трудно было. В маленьком темном домике через крышу протекал дождь и было сыро. Но никогда, никогда я не помню, чтобы сын плохо относился ко мне»
