Марья Денисовна Ермолова, урождённая Давыдова, в первом браке была за ротмистром Михаилом Ивановичем Каховским, рано умершим, от которого имела, как мы уже знаем, сына Александра. По свидетельству современника, родные братья по матери, Каховский и Ермолов, унаследовали именно от неё «редкие способности, остроту ума и, при случае, язвительную резкость возражений». Марья Денисовна была натурой незаурядной, особенно резко выделявшейся на фоне губернского общества Орла, где она оказалась с мужем после воцарения Павла I и последовавшего немедленного увольнения Петра Алексеевича со службы.
Как вспоминал один из её близких знакомых, она «до глубокой старости была бичом всех гордецов, взяточников, пролазов и дураков всякого рода, занимавших почётные места в провинциальном мире».
В характере Ермолова отчётливо проявились отцовское и материнское начала, придавшие ему с ранних лет особенный облик — гордость, независимость и вместе с тем скромность, серьёзность. Отец, по словам мемуариста, одарил его «серьёзным и деловым складом ума», а мать — «живым остроумием и колкостью языка, качествами, которые доставили ему громкую известность и вместе с тем наделали ему много вреда».
Воспитанный в духе уважения и даже преклонения перед всем русским — языком, обычаями, историей, Ермолов никогда не кичился ни своим дворянским происхождением, ни заслугами предков. Это ему, любившему говорить о себе в третьем лице, принадлежат слова: «Алексей Петрович Ермолов не может иметь обширной родословной и разумеет своё происхождение ничего особенного в себе не заключающим». Но то была прежде всего дань скромности, которой он всегда в высшей степени обладал, воспринимая себя и свой род лишь как крохотную частицу огромного ствола России и её пышной и разветвлённой кроны.
Он хорошо помнил своих предков, свой родовой герб: щит разделён горизонтально на две части, из коих в верхней, в правом голубом поле, изображены три золотые пятиугольные звёзды — одна вверху и две внизу; в левом, красном поле видна из облаков выходящая рука с мечом. В нижней части, в серебряном поле, поставлено на земле дерево, а по сторонам оного — лев и единорог. Щит увенчан обыкновенным дворянским шлемом с дворянскою на нём короною.
Намёт на щите голубого и красного цвета, подложенный золотом. Щит держат с правой стороны единорог и с левой лев. Но Ермолов никогда не преувеличивал цены голубой дворянской крови.
Род Ермоловых был заурядным дворянским родом, истоки которого следует искать не в выходцах из Золотой Орды, даже если они и были (впрочем, когда дальний родственник Ермолова подал в 1785 году челобитную «об учинении о дворянстве предков», в правительствующий сенат пришёл ответ, что «по делам Коллегии Иностранных Дел Московского архива о выезде помянутого Мурзы-Ермолы никакого сведения не имеется»). Русское дворянство, в большинство своём вчерашние смерды и оболы, стремилось отделиться и противопоставить себя «чёрному люду» с помощью иноземных предков, чаще всего выдуманных.
