Вне работы все было иначе. Все, кто знал его, вспоминают о нем как о симпатичном, обаятельном, добром человеке, у которого, однако, было второе лицо, проявлявшееся довольно часто. Он так и оставался таким же неуравновешенным и одиноким, каким и был всегда. Брайан часто здорово выпивал, слишком чувствительно относился к тому, что он еврей, во всех своих бедах обвинял антисемитов, которые, по его мнению, окружали его. Он был подвержен неожиданным эмоциональным взрывам, которые сменялись длительными периодами ледяного молчания. Малейшая обида, реальная или воображаемая, могла вызвать бурю грязных оскорблений с его стороны. К неуравновешенной психике добавлялись его сексуальные наклонности. Гомосексуализм преследовался законом, и Эпстайн, заклейменный и гонимый, был обречен тайком получать удовольствие лишь там, где мог найти.
Во время учебы в Королевской академии драматического искусства Брайана арестовали за приставание к мужчинам в общественном туалете. Семейный адвокат Эпстайнов Рекс Мейкин примчался в Лондон, и только благодаря его вмешательству дело не попало в суд. Вскоре снова понадобилась помощь Мейкина. Уже в Ливерпуле Эпстайн частенько посещал общественный туалет в Уэст-Дерби, где человек с определенными склонностями мог найти анонимного платного партнера. Однажды вечером Брайан совершил ошибку в выборе партнера, его избили, украли часы и бумажник. Вскоре после этого, когда побитый Эпстайн находился дома, окруженный заботами матери, грабитель позвонил по телефону и потребовал еще денег. Мейкин настоял на том, чтобы позвонить в полицию, и с помощью Эпстайна незадачливый шантажист был обнаружен и арестован.
Этот случай только усилил его чувство одиночества и отверженности. Однако он не прекратил свою активность в этом плане и продолжал посещать злачные места Ливерпуля, отыскивая тех, кого привлекал его кошелек и новая темно-бордовая машина марки «Хиллман Калифорния». И вот теперь, в начале ноября, Брайан Эпстайн стоял в зале клуба «Каверн» и, как он сам впоследствии признался, не мог оторвать глаз от «Битлз».
Как считал сам Эпстайн, он впервые решил взглянуть на этот ансамбль после того, как в его магазин зашел симпатичный юноша по имени Реймонд Джонс. Он был одет в узкие джинсы и черную кожаную куртку, и Эпстайну самому захотелось обслужить его. Джонс спросил пластинку с песней «My Bonnie». «А кто исполняет?» - спросил Эпстайн. «Битлз», - услышал он в ответ. Эпстайн честно признался, что никогда не слышал о них. Когда спустя несколько дней в магазин зашли две девушки и спросили ту же пластинку, Эпстайн, верный своему принципу «удовлетворять вкусы всех клиентов», начал наводить справки. Он выяснил, что на пластинке поет Тони Шеридан, пластинку крутят в клубе «Каверн», который находится всего в двухстах ярдах от его магазина (Стюарт Сатклифф прислал пластинку Вулеру), а сами «Битлз» являются ведущей группой клуба. Будучи хорошим бизнесменом, он решил пойти и посмотреть, вокруг кого создается такая, хотя и не слишком сильная, шумиха.
