Как писал знавший Погодина Н. В. Берг, «он стал собирать старопечатные книги и редкие рукописи, потом монеты, картины, портреты, оружие, что ни попало, лишь бы это касалось русской истории, и довольно скоро составил очень редкую коллекцию замечательных предметов. В особенности выдавался рукописный и старопечатный отделы, где были прямо (весьма редкие) фолианты. Имя Погодина как собирателя – знатока всякой старины – сделалось известным в Москве всем и каждому. Кто бы ни добирался каким ни на есть путем до редкой рукописи, монеты, картины, – нес ее прежде всего к Погодину, а потом уже к купцу Царскому, хотя Царский был собиратель и знаток с большими средствами, но не столько компетентный, сколько бестолковый, дававший иногда за вещь, которой цены не было, – какие-нибудь пустяки; а Погодин сразу говорил, чего принесенный предмет стоит, и дело большей частью кончалось без особенно длинных разговоров, иной раз даже через лакея, а не лично».
Погодин желал сделать свое собрание общедоступным для всех москвичей. Еще в 1851 году он просил Николая I: «Повелите, Всемилостивейший Государь, учредить в Москве всероссийский народный музей, повелите принять в основание мои тридцатилетние собрания, поручить их моему заведованию, и я в скором времени берусь привести его в такое положение, что ему подобного в России не бывало».
Завистники, однако, говорили другое: «Думая о своей семье, состоявшей из жены, двух сыновей и двух дочерей, об их воспитании, об их будущем, а главное – о приданом дочерей, Погодин решился расстаться со своими сокровищами, стоившими ему стольких хлопот, лишений, жертв, – пристроить их к хорошему месту, получить серьезные деньги и разделить их между детьми. Знакомых у него в разных кругах Петербурга и Москвы была тьма-тьмущая – всяких рангов и положений. Практический и сообразительный “мужичок” Девичьего поля направился по этому делу прямо к такому лицу, которое могло представить собрание отечественных редкостей надежнейшему приобретателю: государю Николаю Павловичу. Лицо это было – известный барон (позже граф) Модест Андреевич Корф, тогда директор императорской публичной библиотеки, статс-секретарь, автор книги “Первые дни царствования императора Николая Павловича”, которому государь при встречах обыкновенно протягивал руку. Корф уладил дело скоро: “древлехранилище” Погодина приобретено казною за полтораста тысяч рублей и поступило известной частию (рукописей и старопечатных книг) в ведение императорской публичной библиотеки… Между тем явились праздные болтуны, которые трубили везде, что Погодину заплачена чересчур большая сумма; что все это старое, ничего не стоящее тряпье».
