Его выбор остановился на медицинском факультете Императорского Харьковского университета. Как он сам признавался позже, сделал он это не из-за желания нести помощь больным и страждущим, а наперекор отцу. Некоторые исследователи полагают, что определенное влияние на выбор провинциального университета могли оказать и чисто материальные соображения: жизнь в провинциальном городе была существенно дешевле, чем в столице. Но с таким же основанием можно допустить, что дело было в другом. Юзефу не нравился громадный, не имевший ничего общего с его любимым Вильно Петербург. Ведь не случайно же он после окончания первого курса решил перевестись из Харькова в Дерпт (Тарту), а не в столичный университет. Между тем обучение в Петербурге позволило бы отцу сэкономить на квартирной плате, да и жить вместе с любимым братом было бы намного веселее.
Несмотря на недостаточно хорошее знание русского языка, учеба в Харькове шла достаточно успешно, были сданы все экзамены и зачеты. Пилсудский явно не относился к числу студентов, живших только учебой. Проявившийся в гимназические годы интерес к общественной активности не угас. Пилсудский принял участие в несанкционированной студенческой демонстрации по случаю 25-й годовщины отмены крепостного права в России. За это вместе с девятнадцатью другими задержанными участниками выступления он был наказан шестью днями карцера и предупрежден, что в случае любой новой провинности он будет немедленно исключен из университета. Это был уже второй его арест за время учебы в Харькове; первому, сроком на два дня, он подвергся в зимнем семестре 1885/86 учебного года.
В это же время Юзеф сблизился с группой студентов, находившейся под влиянием идей «Народной воли», и даже участвовал в дискуссии по поводу теории общинного социализма Петра Лаврова. Но очень скоро он отошел от этой группы, якобы потому, что членами кружка были в основном русские и очень мало поляков.
Во время каникул, которые он проводил в семье в Вильно, Пилсудский принимает решение перевестись из Харьковского университета в Дерптский. Подлинные мотивы этого его решения неизвестны. Может быть, ему хотелось учиться ближе к любимому Вильно, а может, как это утверждают польские биографы, свою роль сыграло то, что в Дерптском университете училось больше поляков, он считался более престижным, профессура была более либеральной, да и Дерпт был не столь провинциален, как Харьков. Впрочем, последнее утверждение вряд ли справедливо, поскольку Дерпт был небольшим университетским городком с преобладанием немецкого населения, а Харьков – быстро растущим губернским городом, центром хлеботорговли и развивающейся промышленности. Да и лекции в Дерптском университете в основном читались на немецком языке, который Пилсудский в то время знал плохо. Может быть, причина заключалась в том, что он уже был на заметке у университетского начальства и не очень верил в то, что со своим темпераментом не сорвется за оставшиеся четыре года учебы. Но это всего лишь логические конструкции и домыслы.
