В 1907 году, после отбытия очередного срока заключения за кражу, устроился токарем на металлический завод в Петербурге. Вскоре занялся там профсоюзной деятельностью. На этом поприще стал преуспевать и вскоре стал секретарём правления профсоюза рабочих-металлистов. Тогда же вступил в ряды РСДРП (б). После своего ареста в Москве в 1909 году под угрозой разоблачения своего уголовного прошлого, он дал согласие на сотрудничество с Московским охранным отделением под агентурными именами "Портной", "Икс" и затем рядом других.
После своей вербовки приступил к активной агентурной деятельности и с 5 июня 1910 по 19 сентября 1913, направил 88 агентурных сообщений, став особо ценным агентом в глазах охранки, принимавшей все меры к его тщательной маскировке, для чего он в 1910–1912 годах трижды подвергался кратковременным арестам. Одновременно с этим ему путём арестов других партийных работников расчищался путь в верхние эшелоны партии.
Благодаря этому, а также собственной энергии и незаурядным способностям, в начале 1912 года, Малиновский был избран делегатом на Пражскую конференцию РСДРП (б), где произвёл хорошее впечатление на большинство членов руководства партии, включая В. И. Ленина, и был избран в члены ЦК. В ЦК РСДРП (б) он стал отвечать за руководство профсоюзным движением в России.
Кроме избрания членом ЦК там же, в Праге, он был намечен в качестве одного из кандидатов на выборы в IV Государственную Думу.
Во время предвыборной кампании большую помощь Малиновскому в его избрании депутатом Думы оказал министр внутренних дел Макаров и директор Департамента полиции Белецкий, лично контролировавшие ход избирательной кампании своего подопечного. Благодаря такому высокому покровительству все встречавшиеся на пути Малиновского препятствия на пути в Думу, в том числе и связанные с его уголовным прошлым, устранялись.
После избрания Малиновского членом ЦК и депутатом Думы его агентурные возможности сильно возросли. Так, в 1912–1914 годах, по его сообщениям были арестованы члены ЦК Свердлов, Сталин, Голощёкин, Орджоникидзе и несколько десятков партийных работников среднего звена.
В целом, несмотря на такие его результаты деятельности никаких серьёзных подозрений в отношении Малиновского в среде партийного руководства не возникало. Попавшая в ЦК РСДРП (б) летом 1913, из тюрем от арестованных членов ЦК информация о том, что охранке из каких-то источников в руководящих кругах партии стало известно о подготовке и проведении ряда крупных конспиративных мероприятий (созыв общепартийного совещания за границей, организация партийной школы во Франции и других), вызвало в ЦК подозрение о наличии у полиции хорошо осведомлённого источника в кругах, близких к большевистской фракции IV Государственной Думы. Однако продвинуться в определении этого источника ЦК не удалось. Во время попыток определить этот источник на Малиновского не пало даже подозрение.
