Старший брат Якова, Зиновий, в результате каких-то сложных душевных процессов пришел к глубокому внутреннему кризису, порвал с революционными кругами (в граверной мастерской старика Свердлова изготовлялись фальшивые печати, по которым потом фабриковались подложные документы), и с семьей, и с иудаизмом. Отец его проклял торжественным еврейским ритуальным проклятием. Его усыновил Максим Горький, и Зиновий стал Зиновием Пешковым. Но, продолжая свой духовный путь, он отошел и от революционного окружения Горького, уехал во Францию и поступил в Иностранный легион для полного разрыва с прошлой жизнью. Когда через некоторое время пришло известие, что он потерял в боях руку, старик Свердлов страшно разволновался: «Какую руку?», и, когда оказалось, что правую, торжеству его не было предела: по формуле еврейского ритуального проклятия, когда отец проклинает сына, тот должен именно потерять правую руку. Зиновий Пешков стал французским гражданином, продолжал служить в армии и дошел до чина полного генерала. От семьи он отрекся полностью. Когда Бажанов, приехав во Францию, хотел сообщить ему новости о его братьях и сестре, живших в России, он ответил, что это не его семья и что он о них ничего знать не хочет.
Второй брат Якова, Вениамин, не питал склонности к революционной деятельности, предпочел эмигрировать в Америку и стал там собственником небольшого банка. Но когда произошла революция в России, Яков спешно затребовал брата. Вениамин ликвидировал свой банк и приехал в Петроград. Его-то, кстати, беспартийного, и предложил Ленину влиятельный братец на пост наркома путей сообщения. Наделав там всякой чепухи и окончательно запутавшись, он был вынужден уйти с этого поста. Но не пропал — братец толкнул его членом Президиума ВСНХ. В дальнейшем, без протекции Якова Михайловича, его карьера медленно, но верно пошла вниз, поскольку деловыми качествами, необходимыми для крупных государственных постов, он не обладал. Вениамин Свердлов женился на актрисе, отбывавшей ссылку вместе с его братом Яковом, которого предпочла в свое время, отвергнув мрачного и угрюмого Сталина. Вениамин погиб в 1937 году.
У четырех братьев Свердловых были сестры — Сарра и Софья. Софья вышла замуж за богатого человека Авербаха, жившего где-то на юге России. У Авербахов были сын и дочь. Сын Леопольд, очень способный и нахальный юноша, открыл в себе призвание руководить литературой и одно время через группу «напостовцев» осуществлял твердый чекистский контроль в литературных кругах. А опирался он при этом главным образом на родственную связь — его сестра Ида вышла замуж за небезызвестного Генриха Ягоду, руководителя ГПУ.
