Миновало золотое времечко Царя-Освободителя Александра II, когда наш барон вместе со своим отцом Евзелем Гинцбургом шаг за шагом отвоевывал права для своих многострадальных соплеменников. По стране прокатилась волна неслыханных ранее еврейских погромов, чинимых с молчаливого одобрения властей городским отребьем. И теперь, в эпоху реакции, уже не было речи об эмансипации евреев. Все усилия должны были быть направлены на сохранение того, что было дано им раньше и на предупреждение дальнейших ограничений в правах. А что же Гораций Гинцбург? Очень точно скажет потом о нем юрист М.М. Винавер: «Только он оставался до конца на избранной им дороге и продолжал бороться. Бороться... это слово так не подходило к его доброму, мягкому... лицу, ко всей его грузной, но ребячески кроткой, доброй фигуре. Чем он мог бороться? Меч его – была его добрая, сердечная улыбка, а вся броня против жестоких ударов – бесконечно любящее, неотразимо преданное своему народу сердце. Он просил и убеждал, уходил и опять возвращался. Не раз к нему летело с уст современников и слово осуждения за эти бесконечные и, казалось, бесцельные хлопоты. И те, кто осуждал, не понимали, что легче побеждать громко и даже падать геройски в открытом бою, чем так изо дня в день стучаться и уходить, уходить и вновь возвращаться... Выдержать так всю жизнь, выдержать с достоинством, не сгибая спины, может только душа, исполненная снисхождения даже к ним, к этим надменным и безжалостным, о ледяные сердца которых разбивались все его просьбы. Да, таков он был: он искренне прощал врагов своих, даже врагов своего народа».
Все прошения, ходатайства, меморандумы о правах евреев, которые представлялись правительству, всегда проходили строгую цензуру Горация. Врожденный такт подсказывал барону наиболее подходящие выражения. Он нещадно вычеркивал такие слова, как «весьма», «крайне», «бесспорно». В результате документ под его пером обретал спокойный, деловой, ровный характер и выигрывал в своей эффективности. Сей особый «баронский» стиль был почтительным, но требовательным.
Гораций Осипович пристально наблюдал за жизнью своих соплеменников на местах и всегда вставал на их защиту, отстаивая их интересы в Правительствующем Сенате. Он заручился в этом поддержкой человека, коего современники называли не иначе, как «судьей праведным», а именно начальника первого департамента Сената В.А. Арцимовича. Благодарная память об этом сановнике-юдофиле увековечена в выполненном М.М. Антокольским бюсте Арцимовича, которым Гинцбург украсил свой рабочий кабинет.
