С 1782 по 1850 год острог был размещен в нижнем этаже здания Присутственных мест (ныне – Центр занятости населения). Уже в 1844 году командующий войсками находит неудобным иметь на людной улице, в центре города, тюрьму. Часовым было трудно уследить за тем, чтобы проходящая мимо публика не разговаривала с арестантами. Еще несколько фактов, иллюстрирующих простоту нравов, царившую тогда. Заплечных дел мастер (палач) был из хозобслуги. На ночь его не запирали, и он мог передвигаться по городу без присмотра. В каждой камере была кухня, железные ковши и ухваты. Кирпичный пол легко разбирался, так что арестантам нетрудно было спрятать личные вещи, входившие в список «запретных».
Итак, в середине 19 века возникла необходимость переноса здания тюрьмы, и в 1850 году с разрешения генерал-губернатора в Енисейске был построен Временный острог. Но через десять лет и это здание пришло в негодность, обветшало. Для его охраны пост был усилен до 10 охранников, при двоих ефрейторах и унтер-офицере. В 1852 году тюремный острог был обнесен забором вышиной в семь аршинов. За бревенчатым частоколом тюремной ограды стояли деревянные здания тюрьмы, кухни, бани. На другом дворе – женская арестантская. Главное здание состояло из нескольких палат: пересыльной, дворянской, кандальной. В гигиеническом и нравственном отношении тюрьма производила тяжелое впечатление, и всякий, попадавший в нее, вскоре терял человеческое достоинство, утопая в пороках. Содержание арестантов составляло: 2,2 фунта хлеба (1 кг), 1/4 фунта (около 100 гр) мяса на человека. Когда арестанты жаловались на скудную пищу, их наказывали. Благодаря подаяниям, положение иногда улучшалось. У арестантов были и свои секретные суммы, из которых часть, по традиции, уделялась палачу.
Отделение Попечительного о тюрьмах общества было открыто в 1859 году.
Появилось и еще одно нововведение: отряд конных казаков был назначен для несения гарнизонной службы и препровождения арестантов. Отряд состоял из трех урядников, четырех приказных и 90 казаков.
В 1863 году началось строительство нового каменного здания острога, которое завершилось весной 1865 года. Это здание, периодически перестраиваясь, действует и в наши дни.
В 1866 году новое здание оказалось холодным. Военный караул внутри острога снят, тюремное отделение просит нанять четверых надзирателей.
Дальнейшая история тюрьмы в конце 19 века зафиксировала все большее ужесточение режима содержания. Так, в 1870 году арестанты получали по 5 копеек в день «кормовых». Тюремное отделение ходатайствовало об увеличении содержания до 80 копеек, но получило отказ ввиду того, что увеличение должно идти из экономических сумм и благотворительностей. Иными словами, арестантам велено было выживать самим.
