Дайме, считавший себя отменным воином, немало подивился мастерству Мусаси и решил лично выйти на поединок - как видим, в ту эпоху дайме 'были не только богатыми людьми, но и мужественными воинами. Мусаси и здесь тонко построил схватку: убить или даже ранить дайме было нельзя, но и проиграть Мусаси тоже не мог. Сначала он заставил дайме активизировать свои действия, создав ему иллюзию того, что он одолевает Мусаси, и как только Мацудайра бросился в атаку, применил излюбленный прием "огня и камня". От такого мощного удара меч дайме разлетелся на две части, и тому пришлось признать себя побежденным. На некоторое время Мусаси задержался в Идзумо у дайме Мацудайры, преподавая искусство боя, но спокойная жизнь воинского инструктора не привлекала его - душа Мусаси требовала странствий и поединков. И он, презрев небедную и, в общем-то, спокойную жизнь, вновь отправляется в скитания, "взяв в спутники лишь собственный меч". Он был готов сражаться с кем угодно и когда угодно. В Эдо к нему явился известный боец Мусо Гоносукэ и застал Мусаси за тем, что тот строгал деревяшку, собираясь изготовить из нее деревянный меч. Гоносукэ предложил Мусаси сразиться с ним, тот согласился, причем заявил, что драться будет деревянной заготовкой. После чего вскочил, бросился в яростную атаку на соперника и нанес ему сильнейший удар по голове, от которого Гоносукэ и скончался.
Мусаси, который превратился едва ли не в нравственный идеал самурая последующих эпох, часто поступал совсем не так, как должен был поступать воин. В период своих странствий он почти не следил за собой, ходил в рваных одеждах, нечесанный и нестриженный, с диким взглядом. Его не интересовали женщины и веселые пирушки, он не любил роскоши и бежал от оседлости - все его мысли были заняты оттачиванием своего боевого мастерства. Рассказывают, что прохожие, которым он встречался на пути, немало пугались вида Мусаси, принимая его за безумца или бандита.
Уже не каждый дайме рисковал пригласить его в инструкторы воинского искусства - Мусаси был крайне несдержан и практически не управляем. Он никогда не ранил своих соперников, он всегда их убивал, он добивал упавшего, он придумывал десятки хитроумных способов, заставляя противника потерять силу духа, стремясь полностью сломить его, "затоптать его дух ногами", как про это говорил сам Мусаси.
Никто уже не решался выйти на открытый поединок с этим удивительным самураем. Жесткий, расчетливый ум Мусаси никому не давал ни малейшего шанса не то что на победу, но даже на то, чтобы просто остаться в живых. Он никого не берет в ученики и бродит по провинциям с юношей Иори, которого подобрал в провинции Дэва и назвал своим приемным сыном. Для него уже нет "правил боя", как не существует и никаких ритуальных уложений - он целиком слился с естественностью бытия, достигнув дзэнского идеала "проживания своей жизни легко, словно листок, падающий с дерева". В этот момент Мусаси записал: "С тех пор я живу, не следуя никаким особенным правилам. Обладая пониманием Пути Боя, я совершенствуюсь во всех искусствах и ремеслах, но всюду отказываюсь от помощи наставников".
