Йозеф Рыбак печатно впервые заявил о себе в 1924 году, опубликовав ряд стихотворений. Но скоро он переключается на прозу. Воспоминаниями о детстве, родном крае навеян сборник его новелл «Поля и леса» (1928).
Формирование Рыбака проходило в совместной работе с видными общественными деятелями, словацкими писателями, марксистскими критиками и зачинателями нового пролетарского искусства — П. Илемницким, Э. Урксом, В. Клементисом, Л. Новомеским, Ф. Кралем, с которыми он познакомился в 20-е годы в Братиславе, где работал в Управлении помощи пострадавшим во время первой мировой войны. Уже тогда Рыбак входил в круг радикально настроенной молодежи, которая пристально следила за событиями, происходившими в революционной России, жадно ловила каждое слово о советской действительности, организовывала выступления тех, кому посчастливилось воочию увидеть завоевания Октября. Еще шире становится круг его знакомств с передовыми представителями чехословацкого общества, культуры, писателями-коммунистами в Праге, куда Рыбак переезжает в конце 20-х годов в поисках лучшей работы. Прага сближает его с Ю. Фучиком, В. Незвалом, К. Конрадом, Б. Вацлавеком, Л. Штоллом.
В Праге раскрывается, оттачивается в огне политической и литературной борьбы талант Рыбака-репортера, литературного критика, к тому же владеющего еще и искусством карикатуры. Йозеф Рыбак становится одним из активнейших участников коммунистической печати, почти всех прогрессивных изданий Чехословакии 20—30-х годов, а с 1933 года — почти бессменным сотрудником редакции органа КПЧ «Руде право», фучиковских журналов «Творба» и «Гало-новины».
Именно тогда он пишет множество статей, полемических рецензий, рефератов об отечественной литературе, о поэзии П. Безруча и С. К. Неймана, И. Волькера и В. Незвала, Й. Тайовского и Л. Новомеского, о зарубежных писателях, актерах, художниках — Ж. Верне, Р. Роллане, Б. Шоу, Ч. Чаплине и др. В своих публикациях он не раз будет возвращаться к творчеству русского реалиста Л. Толстого, к зачинателю социалистической литературы М. Горькому, произведения которого оценит впоследствии как «неисчерпаемый источник зажигающей творческой смелости, мужества и силы, вдохновляющей новые и новые поколения писателей». Статьями об искусстве, литературе Рыбак не только помогал формированию марксистской эстетики. В них содержится протест против попыток буржуазной прессы исказить смысл советского искусства, творчества таких советских писателей, как Маяковский, Шолохов, Корнейчук. Здесь важно отметить и то, что именно в 30-е годы человеческий и творческий облик Йозефа Рыбака дополняется еще одной существенной чертой — умением откликаться на самые актуальные проблемы эпохи. С той поры в его творческой деятельности всегда проглядывает само время, «которое должно быть выражено
