В начале 60-х прежнее влияние «Колокола» в России резко пошло на убыль. Процесс освобождения крестьянства не оправдал надежд Герцена. Царизм в очередной раз поверг его в ужас кровавым подавлением восстания в Польше в 1863 году. Герцен был в числе сравнительно небольшого числа русских интеллигентов, искренне вставших на сторону поляков. Несмотря на этническую связь (а может, благодаря ей) и всю историю двух этих народов, отношения между поляками и русскими складывались не лучшим образом. В отношении поляков русское общественное мнение придерживалось стереотипов, не слишком отличающихся от тех, которыми иногда награждали евреев. Радикалы видели в польских лидерах аристократов и землевладельцев, которые эксплуатировали своих (а нередко русских) крестьян. Консерваторы считали поляков нацией революционеров, похвалявшейся своей исключительной культурой и предавшей славянскую расу. Герцен, уверенно вставший на защиту польской независимости в тот момент, когда поляки убивали русских солдат, разбудил в России шовинистические чувства.
Герцен катастрофически быстро терял влияние и среди радикалов, готовых приветствовать любое выступление против царизма. Герцен явно отставал от «людей 60-х годов», или «нигилистов», как их иногда называют. Он был продуктом романтизма, а они вообразили себя представителями «научного» коммунизма. На их взгляд, социализм Герцена был излишне гуманным. Во многих случаях «нигилисты» были людьми низкого происхождения; их самолюбие уязвляли аристократические манеры и изысканный язык Герцена. Они прикрывали свою социальную и интеллектуальную неполноценность, как это зачастую происходит в подобных случаях, сарказмом в адрес «людей 40-х годов» с их полными благих намерений, но такими устаревшими и бессмысленными либеральными идеями (в радикальной среде слово «либерал» стало звучать как оскорбление). Новые люди, вроде Чернышевского, вызывали у Герцена скорее эмоциональное, нежели политическое неприятие. Он чувствовал, как, вероятно, почувствовал бы в большевиках, что занятие революцией, скорее всего, является для них не возможностью добиться свободы, а просто самоцелью. За их ярко выраженным материализмом и погруженностью в науку Герцену виделась враждебность к традиционной культуре, ко всему, что не могло стать «полезным», то есть не соответствующему их политическим представлениям и амбициям. В ужасе от новых радикалов Герцен произнес фразу, которая постоянно ставилась ему в вину: молодежь, писал Герцен, сохранила в своей ментальности характерные особенности, присущие «комнате для слуг, духовной семинарии и казарме». Это был прямой намек на их плебейское происхождение, обвинение в грубости и зависти к старшему, более «благородному» поколению. В другом случае Герцен воспользовался приемом, который впоследствии использовался во всех революционных спорах, а сегодня, тщательно отлаженный, прослеживается в отношениях между русскими и китайскими коммунистами, которые, отказавшись от собственной политики, ставшей «крайне» правой, служат интересам реакции. В статье под заголовком «Very Dangerous» (есть какая-то неестественность в том, что название дано на английском языке) Герцен объявил, что нападки на него служат интересам наиболее реакционной части царской бюрократии и за это правительство могло бы наградить молодых радикалов.
