Еще до войны, в 1938 году, Николай Васильевич включился в объявленный Наркоматами обороны и оборонной промышленности конкурс на разработку самозарядной винтовки, участвовал в конкурсных испытаниях, в которых представляли свои системы Ф. В. Токарев и С. Г. Симонов.
Значителен вклад Рукавишникова в создание огневых средств для противотанковой борьбы. В связи с появлением в армиях вероятного противника крупных подвижных соединений, оснащенных легкими быстроходными танками, Артиллерийский комитет ГАУ стал настаивать на скорейшем принятии на вооружение противотанковых ружей. В 1939 году Н. В. Рукавишников наряду с конструкторами Б. Г. Шпитальным и С. В. Владимировым разработал противотанковое ружье под 14,5-мм патрон с пулей Б-32 в соответствии с новыми тактико-техническими требованиями. В результате полигонных испытаний лучшим было признано противотанковое самозарядное ружье системы Рукавишникова, и вскоре постановлением Комитета Обороны при СНК СССР его ввели на вооружение РККА. Наркому вооружения предлагалось уже в следующем году довести выпуск таких ружей до пятнадцати тысяч штук.
Рукавишников продолжал совершенствовать систему, устраняя недостатки, выявленные в ходе дальнейших испытаний образца. Однако массовый выпуск ружей так и не был осуществлен. Возобладало ошибочное мнение, что танки противника будут иметь сильную броню, против которой противотанковые ружья ничего сделать не смогут, да, мол, и Красная Армия достаточно насыщена артиллерией для подавления танков противника.
Словом, судьба противотанкового ружья системы Рукавишникова повторила, по существу, в предвоенные годы судьбу пистолета-пулемета системы Дегтярева. Только судьба ружья была, пожалуй, печальнее судьбы ППД. Если дегтяревский пистолет-пулемет исходя из опыта советско-финляндской войны вскоре вновь запустили в серийное производство, то выпуск противотанкового ружья Рукавишникова так и ограничился несколькими штуками. Сколь недальновидной оказалась в этом плане позиция некоторых ответственных работников Наркомата обороны, в частности Маршала Советского Союза Г. И. Кулика, показало уже начало Великой Отечественной войны. В войсках для борьбы с танками врага не оказалось в то время так необходимых нам противотанковых ружей.
В военные годы Рукавишников продолжал активно работать над созданием новых систем стрелкового оружия. В начале 1942 года Николай Васильевич разработал оригинальный вариант однозарядного противотанкового ружья под штатный 12,7-мм патрон. Оно выгодно отличалось от других образцов подобного типа по массе, габаритам, дешевизне и быстроте изготовления, удобству и надежности в работе. Ружье не пошло в серийное производство по причине того, что, имея меньший калибр, уступало системам Дегтярева и Симонова по бронепробиваемости.
