Было принято решение переехать всей семьей на съемную квартиру в Вильно. Нынешняя столица Литвы в то время представляла собой среднего размера губернский город, со смешанным, большей частью польским и еврейским населением, без единого высшего учебного заведения. Существовавший здесь еще в период автономии Царства Польского университет был в 1832 году закрыт, а его здание отдано под государственную Первую мужскую виленскую гимназию. Именно в ней и предстояло получать образование отпрыскам Пилсудских.
Переезд в город не уберег семью от дальнейшего ухудшения материального положения, о чем свидетельствуют неоднократные переезды с одной квартиры на другую, каждый раз меньшую и худшую. Очередные наполеоновские планы главы семейства по кардинальному изменению ситуации, как и прежде, не давали ожидаемых результатов, а банковские кредиты, получаемые под залог земли, в основном уходили на пропитание большой семьи.
Зюк поступил в гимназию в 1877 году. Он чувствовал себя в школе достаточно уверенно, потому что классом выше учился его старший брат Бронислав, к которому он был очень привязан. Но особой любви к школе он не питал. Ему не нравились царившая там рутина, нежелание педагогов видеть в своих учениках равных себе людей, их бесконечные придирки, стремление унизить, глумление над всем тем, что он ценил и любил. Политика русификации, последовательно проводившаяся после разгрома восстания 1863 – 1864 годов в Западном крае (так назывались области, в результате разделов Речи Посполитой отошедшие к России), не могла не вызывать несогласия и внутреннего протеста в душе мальчика, воспитанного матерью в духе глубокого патриотизма, любви к польской истории и культуре и неприязни ко всему русскому. Известно, что родители при всем своем гостеприимстве никогда не приглашали домой русских и не водили с ними близкого знакомства.
Несомненно, проведенные в гимназии годы также имели громадное значение для формирования личности Юзефа. Он относился к той категории учеников, которые никогда не доставляют особых хлопот ни родителям, ни учителям. Если и прогуливал уроки, то всегда по уважительным причинам – по болезни или семейным обстоятельствам. За все время обучения в гимназии он только три раза был наказан карцером – один раз за разговор по-польски в школьной раздевалке и дважды за то, что не поклонился на улице генерал-губернатору и директору гимназии. Вряд ли в этом следует усматривать какой-то бунт мальчика против школьного регламента, а уж тем более политический протест, как это делали некоторые биографы маршала.
