В декабре 1846 года в общество вступили братья Милютины, желая принести пользу отечественной науке.
На первом же собрании общества в 1847 году выступил с докладом Яков Владимирович Ханыков – «человек живой, увлекающийся, одаренный блестящими способностями и страстно желавший ученой известности». При этом он еще был и лицейским товарищем Головнина.
«Мы все, конечно, считали себя солидарными с ним, хотя в сущности не познакомились даже предварительно с приготовленной Ханыковым запиской. Поднятый им вопрос относился к научной географической терминологии. Ханыков указывал на недостаточную точность терминов, употребляемых для обозначения видов и свойств местности; приводил пример множества существующих в народном языке слов для обозначения известных видов местностей, тогда как наука довольствуется каким-нибудь одним общим термином для выражения понятий весьма разнообразных. Заключением записки было предложение общества заняться предварительно сбором означенных местных терминов, употребляемых в разных частях России, как материала для установления затем более точной географической терминологии. Прочитанная Ханыковым записка была встречена враждебно присяжными немецкими учеными. В немногих замечаниях, высказанных некоторыми из них, ясно сквозил протест: как смеют соваться в дело специалистов какие-то молодые, неизвестные дилетанты! Самолюбие нашего молодого кружка было затронуто за живое. По окончании заседания, когда заседание раздробилось на известные группы, около Ханыкова стеклось множество членов, возмущенных высокомерным отношением ученых специалистов к попытке не принадлежащих к их касте членов общества служить целям его, работать на обширном поприще географии России. Горячо высказывалось негодование против этой исключительности немецких ученых, и вот образовалась против них многочисленная коалиция с целью низвергнуть их преобладание в делах общества. Война с «немцами» была решена», – вспоминал Милютин.
Спор на этом не закончился. Группа русских ученых настояла на том, чтобы была составлена «Записка о разработке географической терминологии». Собрали комиссию, куда вошли, кроме Ханыкова, Дмитрий Милютин, Константин Веселовский, Виктор Порошин. Записка была составлена, отредактирована и даже подписана Дмитрием Милютиным, но наступило лето, собрания прекратились…
«Работа затянулась, и, как обыкновенно бывает у нас, русских, после горячего, страстного приступа первый пыл скоро остыл, мало-помалу дело заглохло и потом совсем позабыто» – так завершил эту историю Милютин.
