Работал Иван и за упаковщика, и за уборщика, и за истопника, и за чистильщика сапог, и за рассыльного, и за конторского мальчика. Подметал полы, паковал и прессовал товары, сдавал их на вокзалах, запрягал и распрягал лошадей.
Научиться торговать он не смог. За прилавком он выдавал «секреты фирмы», рассказывая покупателям о разнице между себестоимостью и продажной ценой в товарном обороте Панфиловых. Все попытки поставить его за прилавок кончались скандалами с покупателями и затрещинами для Ивана. «Пинки, колотушки, затрещины были для меня столь неизбежным явлением, что ходить без шишки на лбу, без синяков на теле, без ссадин было для меня просто обидным доказательством моей вынужденной бездеятельности», — иронизировал он много лет спустя.
Иногда приходилось ему сопровождать товары на иногородние ярмарки и там стеречь их. Первая поездка в Нижний Новгород — красные кирпичные башни Кремля, венцом собирающиеся по крутому зеленому косогору; река, неторопливо, размеренно катившая тяжелые рыжеватые волны, — врезалась в память на всю жизнь. Город удивил его песенной красотой. Все свободное время проводил или на откосе, любуясь панорамой Волги, или на пристани. Другие поездки, в Кундравку, Мостовку, Ирбит, не были радостны: они совпали с зимой, с лютыми сибирскими морозами.
Ночуя в дощатых неотапливаемых складах, Иван зарывался в тюки мехов, чтобы не замерзнуть; провожая товары по заметенным снегом дорогам в коротеньком, почти догола вытертом полушубке, коченел от холода. Вспоминал: «Цепенея, с отмороженными ушами и пальцами, бежал за возами вприпрыжку в напрасной надежде согреться. Обессиленный, падал на воз, с которого меня пьяные приказчики, еле живого, стаскивали на почтовых станциях и, втаскивая в теплую избу, насильно вливали в рот водку из штофа, чтобы приведи в чувство».
Первые два года у Панфиловых были для Ивана очень трудными. На третий благодаря вниманию со стороны старшего сына владельца фабрики Александра Яковлевича стало много легче.
Александр Яковлевич был купцом по рождению, но не по призванию. Он был образован, любил музыку и живопись, в своих путешествиях по Европе неизменно посещал музеи и картинные галереи, много читал, знал наизусть поэмы Некрасова и целые страницы из романов Тургенева. У него была прекрасная библиотека, в которой хранились и запрещенные книги, как «Что делать?» Чернышевского. Екатеринбургская интеллигенция уважала его, и он был избран председателем Общества попечения о начальном образовании.
