Холмсы жили в этой части Йоркшира много веков. Еще в 1219 году в сборнике решений йоркских ассизов (судебных заседаний) упоминается некий Уркель де Холмс, а к концу Средневековья род Холмсов возвысился от фермеров-йоменов до мелкого дворянства (джентри). Уолтер Холмс из Керкбаймурсайда, в восьми милях от Пикеринга, упомянутый среди сражавшихся в войске Эдуарда IV в Таутонской битве 1461 года, почти наверное был прямым предком Шерлока и Майкрофта. Уолтер выбрал верную сторону в Войне Алой и Белой розы и в результате преуспел. Через несколько лет после битвы Эдуард возвел его в рыцари, и семья поднялась еще на одну ступеньку иерархической лестницы. Уолтер уцелел при переходе от монархии Йорков к правлению Тюдоров, сохранив свой статус (по-видимому, он был одним из немногих йоркширских баронетов, вставших на сторону Генриха VII до битвы при Босворте).
Его внуку Ральфу было суждено поднять статус Холмсов еще выше. В середине 1530-х годов сэр Ральф, будучи одним из самых больших соглашателей своей эпохи, принявших протестантство, получил возможность значительно пополнить состояние при роспуске монастырей. Когда земли таких богатейших обителей, как аббатства Фонтейн и Риво, пошли с молотка, сэр Ральф и ему подобные уже поджидали. Большая часть владений Фонтейнского монастыря была продана по бросовой цене предприимчивому сэру Ричарду Гришему. Однако сэр Ральф, приспешник Гришема, получил свою долю добычи в виде земельного владения Хаттон-ле-Вереска, а также других земельных участков, разбросанных по Йоркской долине у края вересковых пустошей. Именно сэр Ральф, разбогатевший на разграблении монастырской собственности, построил Хаттон-холл, дом, в котором триста лет спустя суждено было родиться его самому знаменитому потомку.
При поздних Тюдорах и при Стюартах семья старательно держалась в стороне от религиозных и политических распрей своего времени. Сэр Стэмфорд Холмс был членом парламентов, как елизаветинских, так и якобитских, но ничем не выделился. Есть сведения только о двух его вкладах в их деятельность. В первом случае он выступил в дебатах о ссылке каторжников на Барбадос и высказал мнение, что колонии в Новой Англии также могут послужить неплохим местом ссылки для нарушителей закона. Другой член Парламента напомнил ему, что, поскольку преступников отправляют туда как кабальных работников, их уже используют по назначению. Во втором случае он задал вопрос спикеру, нельзя ли затворить двери в вестминстерской часовне Святого Стефана, где тогда заседал Парламент, поскольку он и другие члены опасаются сквозняков.
