Заслуги Гинцбурга признало и русское правительство, возведя его в 1889 г. в ранг действительного статского советника, что соответствовало генеральскому чину, и наградив его высшими орденами. Но главное то, что барон был оценен властями как лидер всего российского еврейства.
Гораций Осипович верил в счастливое будущее евреев именно в России, не одобряя ни идеи сионизма, ни эмиграцию в Палестину, Аргентину и США, принявшую тогда массовый характер. Но, уважая выбор многих своих единоверцев и понимая, что без его участия в сем деле (в том числе и материального) переселение евреев из России невозможно, он возглавил в 1893 г. центральный комитет Еврейского колонизационного общества. Вскоре под его патронажем работало 507 эмиграционных комитетов! Впоследствии именем Гинцбурга будет названа земледельческая колония в Аргентине.
Барон ушел в мир иной в 1909 г. на 76-м году жизни. Очень проникновенно сказал о нем на гражданской панихиде Г.Б. Слиозберг: «Красой Израиля был Гораций Осипович. Он был красою не тем, что был богат и знатен, не тем, что влиятелен и свое влияние всегда направлял на пользу других, и не тем еще он был красою, что он щедро уделял для ближних от щедрот, коими его самого одарила судьба... Не было горя человеческого, которому он не сочувствовал бы и которое не стремился бы облегчить, не разбирая, кто страдает – свой или чужой, да и не было для него чужих. Но не только этим он был красою еврейства. Даже и не тем еще, что, любя прекрасное, он поощрял искусство во всех его проявлениях, что, будучи сам просвещен, он просвещал других и сеял просвещение щедрою рукой направо и налево, даже не только рядовой сеялкою, – в уверенности, что как бы ни было брошено семя на благодарной почве еврейства, – оно даст богатые плоды. Был он красою еврейства тем, что был живым образцом еврея, проникнутого еврейским духом, еврейским идеалом, и все, что он делал и чем он был, было проявлением его еврейства. Все, что он делал, – он делал не, как говорят иные, "хотя он был еврей", а именно "потому, что он был еврей". Во всем он следовал заветам еврейского вероучения и морали, ни на минуту он не забывал, что, по словам наших законоучителей, "мир крепок тремя предметами: истиной, справедливостью и благоволением"».
Гинцбург завещал похоронить его в Париже, там, где покоился прах его отца. Церемония отправки тела во Францию была обставлена чрезвычайно торжественно. Присутствовали делегации из многих городов. До Парижа гроб везли специально выделенные посланцы.
