В 1953 году Рита снова вышла замуж – за певца и актера Дика Хеймса. У него была плохая репутация – он беспробудно пил, растратил немалый капитал на кутежи и имел целый выводок детей. Рита была его пятой женой; он покорил ее напором и страстью – а удерживал побоями и алкоголем. Он пытался устроить свою давно рухнувшую карьеру за счет имени жены, но сломал карьеру ей. Когда Хеймс поссорился с руководством «Коламбии» (он требовал себе роль), его уволили, а затем начали против него судебный процесс по обвинению в уклонении от уплаты алиментов. Рита так переживала за мужа, что совсем забросила собственных детей: когда журналисты обнаружили их в доме няни Дороти Чемберс, они ужаснулись – Ребекка и Ясмин были грязными, голодными, неухоженными. После опубликованных фотографий иск вчинили уже Рите. Целый год она таскалась по судам, пытаясь вернуть себе детей, и добилась своего – но газетные публикации окончательно испортили ее имидж. К тому же Хеймсу по решению суда было запрещено появляться в Калифорнии – следовательно, и Рита, которая не хотела оставлять мужа, не могла появляться на голливудских студиях.
В 1954 году вместо «фильма с Хейворт» на MGM вышел фильм «о Хейворт» – «Босоногая графиня» режиссера Джозефа Манкевича. Главная героиня – испанская танцовщица Мария Варгас – была списана с Риты. Ей же предложили и сыграть – но из-за Хеймса Рита отказалась, и Марию сыграла Ава Гарднер.
Точку в четвертом браке Риты поставил сам Хеймс – однажды в холле отеля Coconut Grove он так врезал ей в глаз, что она отлетела к противоположной стене. Рита встала, поднялась в номер, собрала детей и уехала в Голливуд.
Она снова снималась – ведь это было единственное, что она умела делать. Правда, главных ролей ей уже не доверяли, но все же она снялась в нескольких очень хороших фильмах – «Приятель Джои», «Огонь внизу», «Отдельные столики». Во время съемок «Столиков» Рита сошлась с кинорежиссером Джимом Хиллом, который стал ее пятым мужем. Он пытался заново раскрутить Риту Хейворт – на этот раз как комедийную актрису, в ролях, которые критика определила как «поиграть в гольф, накрасить губы, выпить, пошутить и уйти». Но Рита уже устала от кино, она хотела просто семейной жизни – чего совершенно не хотел Хилл. Они ругались так, что у соседей дрожали стекла в окнах, беспробудно пили и снова дрались. В сентябре 1961 года они развелись. Больше Рита замуж не выходила. Журналу Times она признавалась: «Меня не удивляют неудавшиеся браки. Меня удивляют те, которые удались».
