Сам военный губернатор князь Волконский жил, так же как и его предшественник, не в губернаторском доме над рекой, а в центре города на бывшей Штабской, называвшейся тогда еще Орской, улице. Дом был деревянный, одноэтажный на десять окон по улице, он стоял примерно там, где сейчас музыкальное училище, только выходил, разумеется, на красную линию. Жил Волконский один, здесь его навещала семья, в том числе и сын Сергей, который тогда был уже офицером. Г. С. Волконский, герой турецкой кампании, друг М. И. Кутузова, который писал ему во время Отечественной войны о героизме русских войск, в том числе и подразделений Оренбуржья, не был в чести в высших сферах. В Оренбурге, судя по мемуарам И. В. Чернова, он слыл чудаком, любил устраивать по «исключительным случаям» «народные увеселения» с фейерверком и тому подобным; по случаю приезда семьи поставлены были «бочки пива и вина, на ногах стояли жареные быки и бараны... фейерверк превзошел все, что оренбуржане доселе могли видеть».
После Отечественной войны 1812 года к западу от крепости появилось второе предместье города ― Голубиная, или Солдатская, слободка. Дома ссыльных, построенные здесь раньше, были поглощены ею. В первое время, судя по второму неофициальному названию, здесь селились преимущественно солдаты; это подтверждается и составом населения ее в дальнейшем. В 1819 году в слободку выселили из города беднейшие слои. Застройка Голубиной слободки шла сначала между линией нынешней улицы Чичерина и склоном к пойме. Предписываемые 130 саженей эспланады выдерживались только в северной части, главной причиной этого отступления был, очевидно, недостаток места, потому что к западу от склона не селились, боясь паводковых вод. Еще в 1828 году слободка почти не спускалась вниз. Она ограничивалась линией по нынешним улицам Чичерина и Постникова почти до проезда Коммунаров и вдоль него до улицы Чичерина. Между склоном и линией улицы Казаковской было еще несколько строений в западном направлении. В этом году числилось «казенных 3 и обывательских 374 строения». Постепенно слободка стала распространяться вниз по обе стороны дороги на Черноречье, которое превратилось в улицу, унаследовав название. До середины 60-х годов Чернореченская была в слободке единственной улицей с официальным названием. Если верхняя часть предместья застраивалась до какой-то степени правильно, то остальная часть строилась хаотично. Улицы шли так, как получалось, произвольно расширяясь, сужаясь, поворачивая. К середине XIX века слободка дошла до линии сегодняшней Актюбинской улицы, на юге до Банного озера, а на севере ее пределом была линия Заводского переулка. В это время в ней все еще преобладали солдаты, как позволяют судить данные по 246 домовладениям, которые находились в более чем половине кварталов слободки, причем последние располагались во всех ее частях. Из этого количества солдатских домовладений было 49,58%, мещанских ― 34,9, купеческих ― 2,43, офицерских, казачьих и крестьянских ― по 2, чиновничьих ― 1,62%, остальные домовладельцы представлены по одному, тут и «девица из дворян», и полицейский служитель, и дьячок и другие
