Ю. Шармайтис вступил в ряды Компартии Литвы в 1927 году, в самое трудное время — сразу после фашистского переворота, в условиях разгула жестокого белого террора, которого не испугался.
По заданию партии Юозас в 1929 году поселился в окрестностях города Юрбаркас вблизи границы с Германией и нанялся простым сельскохозяйственным рабочим. Но это была его «крыша». В действительности он занимался тайной доставкой из Германии через границу нелегальной коммунистической литературы. Однажды его на границе задержали полицейские. Во время конвоирования вдоль реки Юозас вдруг прыгнул в воду и скрылся в зарослях тростника. Два часа он пролежал в студеной воде и дышал в тростниковую трубочку. Полицейские обшарили заросли и ушли, решив, что беглец утонул.
28 апреля 1932 года с ним произошел еще один примечательный случай. Пограничная полиция, заметив Шармайтиса с мешком за плечами — он нес в Литву очередную партию коммунистических печатных изданий, — пыталась задержать нарушителя границы. Однако смельчак прыгнул в вышедшую из берегов реку и, раненный полицейской пулей в ногу, все же добрался до противоположного берега — там уже была территория Германии, Восточная Пруссия.
14 февраля 1934 года Юозас был задержан ищейками фашистской охранки в родном городе Укмерге. На этот раз он выполнял особо важное партийное поручение — должен был вручить по назначению полученное в Москве секретное послание руководителя Компартии Литвы Зигмаса Ангаретиса действовавшему в подполье в Каунасе Секретариату ЦК Компартии Литвы. Письмо было запрятано в каблуке ботинка. На следующий день рано утром, когда Шармайтиса вели на допрос по двору арестантского дома, он неожиданно рванулся вперед, перемахнул через высокий забор и под прикрытием густого тумана огородами и лугами выбрался из города. Укрывшись на одном из хуторов в гумне, он пролежал в соломе без пищи и воды трое суток. Вышел из укрытия, только когда убедился, что опасность миновала. Пешком добрался до Каунаса и вручил по назначению письмо. Получив обратную корреспонденцию, он ее благополучно доставил в Советский Союз.
В 1936 году Ю. Шармайтис вместе с каунасскими товарищами по борьбе занимался выпуском печатного органа ЦК Компартии Литвы газеты «Теса» («Правда») и других нелегальных коммунистических изданий. Год спустя Юозас был арестован охранкой. На этот раз революционера осудили к шести годам каторжной тюрьмы, и он вышел на свободу лишь в 1940 году, после свержения фашистской власти. До последнего вздоха Ю. Шармайтис боролся за правое дело трудящихся.
