Эти, с позволения сказать, «законодательные предложения» должны были быть внесены в Государственный Совет на утверждение. В таких условиях, казалось, всякая борьба за права евреев должна была быть парализована. Но Гинцбург продолжал работать с удвоенной силой. Он вступает в борьбу, спокойно и терпеливо раскрывая перед правительством всю вредоносность «инициативы» Плеве. Он убеждает министра финансов И.А. Вышнеградского, сколь чудовищна и дика сия средневековая нетерпимость к евреям. В докладе последнего царю ему удалось доказать приносимую евреями пользу для экономической жизни страны; министр обратил также внимание самодержца на то, что проекты Плеве весьма неблагоприятным образом скажутся на финансах империи. И усилия барона увенчались успехом: предложения Плеве не были представлены в Государственный совет и канули в Лету. Так Гинцбург сумел отвратить страшную беду, нависшую над русским еврейством! Если бы за бароном не числилось никакой другой заслуги, кроме этой, то и ее одной было бы достаточно, чтобы его имя осталось навсегда памятным для евреев.
Он жил исключительно интересами еврейства. И евреи всей России обращались к Горацию Осиповичу за помощью, относились к нему с неизменным уважением и благодарностью. «Укажите хоть одно местечко, – говорил о нем раввин В.И. Темкин, – которое в минуту скорби не просило бы барона об участии, о защите. Найдете ли вы хоть одного еврея, который в минуту отчаяния, в минуту горького страдания не взывал к барону?»
Неоценима роль Гинцбурга как созидателя и главы Петербургской еврейской общины. Он организовал строительство столичной синагоги на Офицерской улице, торжественное открытие которой состоялось в 1892 г. Она действует и поныне. Этот архитектурный памятник в еврейском мавританском стиле – одна из ярких достопримечательностей города на Неве. Барон стал председателем Правления синагоги, при коем был устроен отдел общественного призрения, оказывавший помощь бедным. А ранее его жена, Анна Гесселевна, учредила на Васильевском острове еврейский сиротский дом.
Трудно перечислить все дела, по которым барон выступал ходатаем, все еврейские мероприятия, которые он финансировал. Гинцбург щедро помогал жертвам пожаров, неурожаев, погромов, других бедствий. При этом он неизменно оставался русским патриотом, что признавали даже его враги, с коими он боролся. Он любил Россию такой, какая она есть, но с теми надеждами, которая она ему внушала. Патриотизм соединялся в нем с глубокой лояльностью по отношению к царю и правительству. Он знал недостатки режима, но никогда не боролся против существующего строя, следуя заветам Талмуда, что законы государства требуют неукоснительного подчинения. Болью отзывался в его сердце уход многих евреев в революционное движение.
