Его поражения
Через четыре года груз ответственности за подготовку и участие в Олимпийских играх в Стокгольме был снят с Рибопьера и переложен на Российский олимпийский комитет. Фактически с 1912 года началась государственная поддержка спорта. При этом успех российской команды олимпийцев численностью 178 человек оказался весьма скромным: «серебро» борца Клейна и команды стрелков, «бронза» в стрельбе из ружья по летящим мишеням и в парусном спорте.
В 1913 году Рибопьер выбыл из состава МОК, сославшись на занятость. Его заменил Георгий Дюперрон, считающийся основателем российского футбола. Существуют разные версии относительно причин ухода Рибопьера с поста функционера МОК. Согласно одной из них это произошло из-за того, что он так и не принял участия ни в одной из сессий МОК. Вероятно, не обошлось и без закулисных игр. Богатство и независимость Рибопьера раздражали многих его недоброжелателей. На мероприятиях, решавших судьбу российского спорта, он, как правило, не дискутировал, предпочитая на время выступления записных ораторов удалиться в буфет пить чай. Одни характеризуют его как застенчивого человека, другие — как личность, предпочитавшую действовать, а не говорить.
В итоге дошло до того, что в созданный в 1913 году Всероссийский союз тяжелоатлетов Рибопьера не пригласили даже почетным членом. Кончалось время энтузиастов-меценатов, начиналась эпоха организаций.
Его следы
Рибопьер хоть и продолжал финансировать Петербургское атлетическое общество, но с этого времени сосредоточился на конном спорте и племенном коневодстве. В Симбирской и Харьковской губерниях у него были крупные заводы чистопородных лошадей и при них ипподромы. Этим он в основном и жил, стараясь не появляться в свете, где за глаза шептались о его амурных делах. От внебрачной связи у графа росли два сына. Но женился он на бывшей певичке из «Яра» Александре Панда, когда их дочери было уже около года. Бутович вспоминал супругу Рибопьера как красивую, но очень взбалмошную женщину. В приличном обществе графа с женой не особо привечали, да он туда и не стремился, предпочитая проводить время или в своей петербургской усадьбе в районе улиц Первой и Второй роты Измайловского полка (теперь эти улицы носят название Красноармейских), или в московской — в Петровском парке.
Окончательно отойдя от олимпийских дел, Рибопьер прожил еще два года. Умер он в Москве в 1916 году в возрасте 62 лет. По воспоминаниям Бутовича, граф сильно простудился, а его домашний доктор, «человек ограниченный и даже тупой», недооценил опасность заболевания и фактически свел пациента в могилу. О кончине графа пресса даже не упомянула. Похоронили его, оплакиваемого женой и дочерью, на Новодевичьем кладбище — место выкупили родственники по матери Трубецкие, усадьба которых располагалась поблизости.
