Подобные недоразумения показывали, что окружающие не были способны понимать его добрые намерения. Однако это не являлось для него неожиданностью. Но, когда Тиберий, убедившись, что фамильные отпрыски Августа набрали силу, попросил принцепса позволить ему возвратиться в столицу и получил отказ, моральный цвет людей резко потемнел. Сначала Тиберия стали сторониться, как чумного больного, затем начали презирать и высмеивать, а потом взялись угрожать его жизни. Многие полагали, что на травле опального колосса им удастся заработать политические очки. О нем распускали слухи, будто он рассылает по всему свету центурионов с бунтарскими призывами к знатным людям. В некоторых городах усердные власти разрушали его статуи и другие памятники побед. На пирушках осмелевшие во хмелю сенаторы били себя в грудь на радость потомкам Августа и клялись поехать на Родос за головою ссыльного негодяя, смеющего до сих пор оставаться в живых. Узнав о распространяемых о нем слухах, Тиберий написал Августу, чтобы тот приставил к нему наблюдателей, которые следили бы за каждым его шагом, прислушивались к каждому слову, читали письма, заглядывали бы в рот во время сна в надежде извлечь застрявшее там дурное слово. Реакции, конечно же, не последовало. Никого не интересовало, что на самом деле говорил и думал Тиберий, было важно, какие слова и мысли хотел бы услышать от него Август и его родственники в свете своих планов. Видимо, принцепс серьезно негодовал на пасынка за то, что тот упредил его ненависть и загодя укрылся от монаршего гнева на далеком острове. А тем временем провинившийся подвигами и талантами на службе Отечеству изгнанник переселился с густонаселенного побережья в глубь острова. Однако и там его преследовала и находила людская ненависть.
Так он провел еще два года, сам удивляясь собственной живучести. А потом на крышу его дома сел орел, птица крайне редкая в тех местах. У римлян было широко распространено гадание по полету и поведению птиц, и они оказывались весьма суеверными всякий раз, когда пернатые посланники небес своими виражами льстили их тщеславию. Все эти два года Тиберий просил своих друзей о заступничестве перед Августом, но больше прочих старалась, естественно, мать. Ливия использовала все женские средства, неженский ум и дьявольскую волю, чтобы должным образом воздействовать на мужа. И вот теперь массивная птица, спустившись с заоблачных высот на чашу весов Фортуны, наконец-то покачнула эти весы в пользу Тиберия. Старший внук Августа и по усыновлению его сын Гай поссорился со своим другом Марком Лоллием, который более других науськивал его против опального отчима, и в пику ему простил Тиберия. С согласия милостивого Гая Август сообщил Тиберию, что отныне его достоинства, авторитет и значение более не являются преступлением, если только он не посмеет пустить их в ход. Тогда, спустя более семи лет ссылки, Тиберий возвратился в Рим, но и там еще три года оставался фактическим изгнанником, поскольку строгий принцепс не допустил его к государственным делам. Тиберий даже переселился из центра города в тихое место.
