Сергей Дмитриевич родился 14 ноября 1844 года. Наследник огромного состояния, он получил отличное образование и был благороднейшим человеком своего времени.
Свою жизнь он посвятил общественной и научной деятельности. Он носил звание обер-егермейстера императорского двора, был сенатором.
Сергей Дмитриевич был инициатором и создателем Общества любителей древней письменности. Общества ревнителей русского исторического просвещения в память императора Александра III, Комитета попечительства о русской иконописи. Общества возрождения древнерусской одежды. Участвовал он и в работе научных обществ: Археографической комиссии. Русского исторического общества, Общества истории и древностей российских при Московском университете. Общества древнерусского искусства при Румянцевском музее. Исторического общества Нестора летописца. Был он почетным членом Академии наук, Петербургского археологического института.
Он написал и издал более 150 статей по истории, генеалогии, географии России, подготовил и издал на собственные деньги десятки томов русских летописей, грамот, исторических актов, в том числе рукописи из семейного архива.
В 1885—90 годах Сергей Дмитриевич был московским губернским предводителем дворянства, ас 1871 года и до конца своих дней — попечителем Странноприимного дома Шереметевых.
Во всех делах Сергея Дмитриевича поддерживала жена, внучка поэта П.А. Вяземского, Екатерина Павловна Несмотря на то, что у нее было семеро детей, Екатерина Павловна находила время на благотворительность, заведование отделом «учебников и отдельных листов» в Обществе древней письменности, подготовку рукописей к изданию и собирание гербариев.
В 1899 году в имении Остафьево, купленном Сергеем Дмитриевичем у брата жены, он открыл общедоступный музей. Основой экспозиции стала коллекция памятников старины и искусства, собранная Павлом Петровичем Вяземским.
Екатерина Павловна тоже создала музей — усадьбу Михайловское, где экспонировались естественно-научные коллекции и был разбит ботанический сад. С 1897 года музей издавал «Естественно-историческую коллекцию гр. Е.П. Шереметевой в с. Михайловском Московской губернии», где Екатерина Павловна в числе прочих печатала и свои исследования.
Получив в наследство богатейшие библиотеки, собранные его предками, Сергей Дмитриевич в 1860-х годах начал собирать собственную и к концу его жизни она насчитывавала до 70 000 томов.
Жил Сергей Дмитриевич в своем имении Михайловское, бывая иногда в Кускове и Остафьеве.
