Жена с сыном во время этих событий оставались в укрепленном Оренбурге, но им тоже пришлось нелегко. Пушкин свидетельствует: «Положение Оренбурга становилось ужасным. У жителей отобрали муку и крупу и стали им производить ежедневную раздачу. Лошадей давно уже кормили хворостом. Бо́льшая часть их пала и употреблена была в пищу. Голод увеличивался. Куль муки продавался (и то самым тайным образом) за двадцать пять рублей. По предложению Рычкова (академика, находившегося в то время в Оренбурге), стали жарить бычачьи и лошадиные кожи и, мелко изрубив, мешать в хлебы. Произошли болезни. Ропот становился громче. Опасались мятежа». В черновых заметках к «Истории» есть и такая запись: «Ив.<ан> Андр.<еевич> находился тогда с матерью в Оренб.<урге>. На их двор упало несколько ядер, он помнит голод и то, что за куль муки заплачено было его матерью (и то тихонько) 25 р.! Так как чин капитана в Яицк.<ой> креп.<ости> был заметен, то найдено было в бумагах Пугачева в расписании, кого на какой улице повесить, и имя Крыловой с ее сыном».
Голодали и защитники осажденного Яицкого городка, им приходилось есть мясо убитых лошадей. К счастью, хотя был уже апрель, но снег еще не растаял, трупы вмерзли в лед, что сохраняло мясо относительно свежим. Капитана Крылова несколько раз вызывал на переговоры осаждавший город атаман Перфильев, предлагал сдаться. Но Крылов, видимо, был невысокого мнения о способности бунтовщиков держать свое слово. Вместо того, чтобы обсуждать условия сдачи он стал уговаривать Перфильева вспомнить о своей присяге и покинуть Пугачева.
Осаду крепости снял 16 (27) апреля 1774 года подоспевший на выручку корпус генерала П.Д. Мансурова. Заслуги капитана Крылова никак не были отмечены, все награды достались его начальнику Ивану Даниловичу Симонову, тому самому, что? по словам Пушкина? «оробел», увидев наступавших мятежников, произведен в полковники и награжден имением с числом душ крестьян более 600. Конечно, Пушкин, когда писал свою «Историю», пользовался рассказами Ивана Крылова, но другие мемуаристы тоже вспоминали трусость Симонова и храбрость Крылова.
У пятилетнего Ивана осталось мало воспоминаний о днях осады, зато он помнил, как они с матерью вернулись в Яицкий городок и целыми днями играли в войну. Пушкин записал его рассказ: «После бунта, Ив. Крылов возвратился в Яицк.<ий> г.<ородок>, где завелася игра в пугачовщину. Дети разделялись на две стороны, городовую и бунтовскую, и драки были значительные. Кр.<ылов>, как сын капитанский, был предводителем одной стороны. Они выдумали, разменивая пленных, лишних сечь, отчего произошло в ребятах, между коими были и взрослые, такое остервенение, что принуждены были игру запретить. Жертвой оной чуть было не сделался некто Анчапов (живой доныне). Мертваго, поймав его, в одной экспедиции, повесил его кушаком на дереве. Его отцепил прохожий солдат».
