Но, опасаясь Агриппины, жены Клавдия, которая преследовала его за дружбу с Нарциссом, он отошел от дел и десять лет прожил на покое, не занимаясь никакими общественными делами. В 61 году, уже при Нероне, он получил в управление провинцию Африку, которой, по одним сведениям, управлял честно и с большим достоинством, а по другим – напротив, очень дурно. Во всяком случае, вернулся он из провинции, ничуть не разбогатев, потерял доверие заимодавцев и вынужден был все свои имения заложить старшему брату, а для поддержания своего положения заняться торговлей мулами. За это его называли в народе «ослятником». Нерон поначалу обласкал Веспасиана и взял его с собой в знаменитую поездку по Греции. Но после того как Веспасиан заснул во время выступления музицирующего императора, его постигла жестокая немилость: Нерон запретил ему не только сопровождать себя, но и приветствовать. Веспасиан вновь удалился на покой в маленький городок, где жил в безвестности и страхе за свою жизнь, пока вдруг не получил неожиданно провинцию и войско: в 66 году Нерон поручил ему подавить восстание в Иудее. Война здесь приняла необычайно широкий размах, и для победы требовалось большое войско и сильный полководец, которому можно было бы доверить такое дело без опасения; и Веспасиан, по словам того же Светония, оказался избран как человек «… испытанного усердия и неопасный по скромности своего рода и имени».
Боевой путь Веспасиана в Иудее был великолепно описан еврейским историком, перешедшим позднее на сторону римлян, – Иосифом Флавием в труде «Иудейская война». «В Антиохии Веспасиан принял под свое командование армию и стянул отовсюду вспомогательные войска. Свой поход он начал в 67 году, понимая, что ему предстоит изнурительное и опасное предприятие. Иудеи не рисковали биться с легионами в открытом поле, но укрылись за стенами городов и защищались с чрезвычайным упорством. Прежде всего из Птолемаиды римляне вторглись в Галилею и после тяжелой осады взяли Иотапату, большой и хорошо укрепленный город на побережье. Все его население было предано поголовному истреблению. Яффу захватили сходу, а Тивериада сдалась без боя. Жители Тарихеи пытались оказать сопротивление, однако город их был взят с первого приступа. Веспасиан поначалу обещал пленным жизнь и свободу, но потом передумал. Всех пришлых иудеев он отправил в Тивереаду, около тысячи было казнено и еще до сорока тысяч продано в рабство. Расположенная неподалеку Гамала оборонялась с отчаянным упорством. Захватив в конце концов город, римляне перебили в нем даже грудных детей. После этого вся Галилея признала римское господство».
