Гораций Гинцбург находился в самом средоточии интеллектуальной жизни своего времени. Его петербургский дом, как некогда дом его отца в Париже, открыл свои двери для лучших представителей передовой российской интеллигенции. Дружеские отношения связывали Гинцбурга с М.М. Стасюлевичем и литераторами круга либерального журнала «Вестник Европы»: председателем Совета присяжных поверенных Петербурга К.К. Арсеньевым; профессором уголовного права, выдающимся криминалистом В.Д. Спасовичем; историком литературы А.Н. Пыпиным; профессором Военно-юридической академии К.Д. Кавелиным; выдающимся историком искусств и меценатом В.В. Стасовым (ставшим впоследствии горячим поклонником еврейских талантов). Здесь часто бывали писатели И.С. Тургенев, И.А. Гончаров, М.Е. Салтыков-Щедрин, П.Д. Боборыкин, прославленный юрист А.Ф. Кони, терапевт, основатель школы русских клиницистов С.П. Боткин, замечательный русский философ В.С. Соловьев. С последним Гинцбурга связывали особенно доверительные и близкие отношения. Не исключено, что именно под влиянием Гинцбурга Соловьев стал изучать иудаизм по первоисточникам и приобрел основательные познания в Талмуде; биографы философа свидетельствуют, что последними его словами на смертном одре были: «Шма Израэль». К сожалению, переписка Гинцбурга c Соловьевым, а также с другими деятелями культуры, хранившаяся в архиве барона и имеющая первостепенное научное значение, погибла, опровергая известное утверждение, что рукописи не горят.
Тесные отношения установились у Горация Осиповича с художником И.М. Крамским, который рисовал портреты семьи Гинцбургов, а также придворным живописцем М.А. Зичи, писавшим виртуозные, отмеченные чертами салонности сцены охоты. Гораций собирал современную русскую живопись, в его петербургском доме хранилась коллекция портретов XIX века. Именно Гинцбург способствовал тому, что никому не известный портняжный подмастерье из Вильны М.М. Антокольский получил академическое образование и обрел всемирную славу скульптора. И барон никогда не оставлял его своими милостями, предоставив возможность уже неизлечимо больному Антокольскому провести последние месяцы жизни в благословенной Швейцарии. Гинцбург создал тогда в Академии искусств специальный фонд для выдачи премий евреям-художникам.
Приятельствовал барон и с первым директором Петербургской консерватории А.Г. Рубинштейном, и с известным виолончелистом К.Ю. Давидовым, и с скрипачом, профессором Л.С. Ауэром. Он оказывал материальную поддержку юным скрипачам Яше Хейфецу и Мише Эльману – они были стипендиатами Гинцбурга.
