Данте Конвей, твердо разделявшая позицию церкви, чувствовала себя в семье Джойсов все неуютнее. Смерть Парнелла как бы закрепила его мученичество, но не для нее. Джойс описывает рождественский ужин 1891 года, когда его отец и Джон Келли оплакивали мертвого и преданного вождя, а Данте в ядовитом благочестии поднялась и вышла из-за стола. Спор был таким громким, что его слышали Вэнсы на другой стороне улицы. А «Улисс» свидетельствует, что миссис Конвей через четыре дня покинула их дом навсегда. Более важным следствием для отца и сына было то, что в Ирландии всё отныне было пошлостью и ложью: ни одна политика и ни один политик не стоили того, чтобы на них работать.
Денежные трудности Джона Джойса росли, отчего в июне 1891 года Джеймса пришлось забрать из Кпонгоувза. Семья перебралась ближе к Дублину — в Управлении налогов началась реорганизация, среди уволенных чиновников оказался и Джон. Его не слишком ценили как работника: при сборе налогов он не раз ошибался, допускал значительные дефициты и вынужден был возмещать их генеральному сборщику, продавая свою коркскую недвижимость. Забыта была отвага, с которой он защищал свою сумку сборщика от бандита в Феникс-парке; об этом вспомнил только его сын в «Поминках…». Сперва ему не назначили никакой пенсии, но мистер Джойс воззвал к начальству, и оно согласилось выделить ему пенсион — 132 фунта два шиллинга и четыре пенса в год. В этом круге сорокадвухлетний Джон Джойс будет метаться до конца дней, как тигр в клетке. Он слишком привык к свободной жизни, такой доход был для него унизителен, да и любой из возможных мелких заработков никак не предполагал того обилия свободного времени, что выпадало ему в Налоговом ведомстве. Кляня воображаемых врагов, а порой и собственную семью, он злобно утверждал, что это их попустительство сделало его алкоголиком. Воображение рисовало ему себя не нищим, а джентльменом с временными затруднениями. Семья тоже приняла нищету — упрямо отвергая при этом само слово.
Остатки наследства только оттянули погружение на дублинское дно. В начале 1892 года Джон перевез семью в Блэкрок, на Кэрисфорт-авеню, 23. Дом назывался «Леовилль» из-за каменного льва перед входом. Часть детей была определена в монастырскую школу, но Джеймсу позволили заниматься самому: он то и дело вмешивался в работу матери, требуя проверить его урок. Он также сочинил несколько цветистых стихотворений и начал писать роман в соавторстве с мальчиком-протестантом по имени Рэймонд, жившим по соседству. Все эти произведения не сохранились.
