Какое-то время он работал в московском угрозыске, а к концу тридцатых, когда каждому кто не дурак, стало «кое-что ясно», ушел оттуда и стал чем-то не вполне понятным – то, что называется словом «хозяйственник». В общем, «лег на дно». Вынырнул лишь однажды, когда началась война: пятидесятилетний Остап ушел добровольцем и провоевал всю войну, до самого Берлина. А потом опять жил так, чтобы о нем не вспоминали. Когда-то в конце двадцатых он охотно давал интервью. Ильф и Петров не скрывали, что он прообраз Остапа, но к середине тридцатых книга была негласно запрещена, изъята из библиотек и пробыла в полуподполье около двадцати лет. Все эти годы Остап-прообраз жил тише воды, ниже травы, благодаря чему уцелел, прожил очень долгую жизнь и умер где-то в восьмидесятых. В шестидесятых, с наступлением «оттепели» и возвращением дилогии в «любимые народные книги» эта история снова всплыла, вместе с нею всплыл и тот, реальный Остап. Снова были какие-то рассказы о нем журналистов, и сам он с удовольствием рассказывал об одесской юности, о дружбе с Ильфом и Петровым, и о своей причастности к рождению Остапа Бендера, подарившего ему имя, внешность, лексикон и манеры.
Другие образы романа были намечены в записных книжках Ильфа и в юмористических рассказах Петрова. Так, у Ильфа есть запись: «Двое молодых. На все жизненные явления отвечают только восклицаниями. Первый говорит – „жуть“, второй – „красота“. В юмореске Петрова «Даровитая девушка» (1927) девица «с малообещающим лобиком» разговаривает языком героини «Двенадцати стульев» людоедки Эллочки.
Роман «Двенадцать стульев» привлек внимание читателей, но критики его не заметили. О. Мандельштам с возмущением писал в 1929 о том, что этот «брызжущий весельем памфлет» оказался не нужен рецензентам. Рецензия А.Тарасенкова в «Литературной газете» была озаглавлена «Книга, о которой не пишут». Рапповская критика назвала роман «серенькой посредственностью» и отметила, что в нем нет «зарядки глубокой ненависти к классовому врагу».
Ильф и Петров начали работать над продолжением романа. Для этого им пришлось «воскресить» Остапа Бендера, зарезанного в финале «Двенадцати стульев» Кисой Воробьяниновым. Новый роман «Золотой теленок» был опубликован в 1931 в журнале «30 дней», в 1933 вышел отдельной книгой в издательстве «Федерация». После выхода «Золотого теленка» дилогия стала необыкновенно популярной не только в СССР, но и за границей. Западные критики сравнивали ее с
