Ольденбурги были воспитаны в довольно необычных, но благоприятных условиях. Отец их происходил из древнего немецкого рыцарского рода, который еще при Петре I переселился в Россию из Мекленбурга. Глава семейства был сыном важного инженерного генерала и сам очень рано достиг генеральского чина. Незадолго до своей женитьбы на Надежде Федоровне, урожденной Берг, он получил назначение бригадным командиром в Забайкалье, где провел несколько лет. Эго был поистине выдающийся человек. Желая стоять на высоте руководства образованием своих сыновей, он решил оставить службу и посвятить себя всецело делу их воспитания. Выйдя в отставку, он поступил вольнослушателем в Гейдельбергский университет с целью подготовки себя к воспитанию детей.
Несколько лет Ольденбурги прожили за границей, а когда мальчикам, между которыми было всего года полтора разницы, исполнилось 12 и 10 лет, то родители их решили вернуться в Россию и местом поселения избрали Варшаву как город, наиболее подходивший для них, по мнению врачей, в климатическом отношении. Вскоре после этих событий в семье произошло тяжелое горе — отец в возрасте 52 лет простудился и умер от воспаления легких. Мать мальчиков, Надежда Федоровна, вполне разделявшая взгляды мужа, осталась единственной их воспитательницей.
Братья отличались своею образованностью. Гимназия сама вряд ли пробудила такой интерес. Помимо даровитой восприимчивости собственной природы, тут, несомненно, сказывалось влияние отца. В I Варшавской гимназии Федор и Сергей были «звездами первой величины». Они имели всегда по всем предметам круглые пятерки. По окончании оба получили золотые медали; но между ними, несмотря на равенство баллов, первым бесспорно признавался старший — Федор.
Яркое представление, что это был за человек, можно получить благодаря характеристике, данной ему И. М. Гревсом, который был «осведомленным летописцем этих событий и живописцем этих людей», будучи членом кружка. Федор Ольденбург был лучшим учеником, далеко оставлявшим за собою одноклассников, не вследствие самолюбия или стремления к первенству, но от одной безукоризненной добросовестности и неустанного трудолюбия. Он являл собой плод крупнейшего природного таланта, искони творящего духа, огромной любви к мысли, духовному подвигу. Свойства эти, удивительные и редкие, расцветали сквозь всю его жизнь. Еще когда Федору было 10–12 лет, его называли за огромную глубокомысленность Эразмом или Платоном. «Громадный (смело говорю так!) ум и удивительная совесть, неустанный труд, постоянное искание, замечательное понимание вопросов науки, сплетений жизни, характеров людей, необычайная, альтруистическая любовь и чувство правды, — это такое соединение, которое не могло не поставить его фактическим вождем, что бы он ни думал сам, что бы ни рисовали себе все мы. Это был — синтезирующий, нас объединяющий гений, живой и живящий, животворный. — Мы в различной степени были близки друг с другом. Но Федор был всем почти равно близок и нужен. Вездеприсутствие, всенеобходимость Федора была особенностью жизни кружка, хотя, может быть, мы того не сознавали. Когда он был тут, мы могли этого не замечать, как здоровый организм себя не чувствует. Но когда он отсутствовал, сейчас становилось неладно, и его же бранили: зачем тебя нет? и не стесняясь призывали: будь с нами! — А он неизменно все приписывал другим, радовался за всех. Тихий пламень деятельной святости исходил от него неиссякаемым источником света и тепла».
