В 1809 году император назначил Феша архиепископом Парижским, но тот отказался. Фешу удалось выбить у государства огромное жалованье, но вот все его попытки возвратиться на столь милое его сердцу Шоссе д’Антен не имели успеха. Тем не менее, когда папа оказался в тюрьме, Феш в душе не на шутку всполошился. В 1810 году у него появились новые основания для беспокойства. 13 патриархов церкви, так называемых «черных кардиналов», были брошены за решетку и официально лишены своих алых мантий в наказание за то, что отказались почтить своим присутствием бракосочетание Марии-Луизы. Тем самым они пытались продемонстрировать, что считают незаконным аннулирование брака между Наполеоном и Жозефиной. А ведь аннулирование устроил не кто иной, как сам Феш, он же проводил венчание. В том же самом году Рим был включен в границы Французской империи. В 1811 году Феш возглавил, созванный Наполеоном в Париже, Совет служителей церкви который с доселе неслыханной независимостью выразил их единодушный отказ выдвинутому императором предложению — передать инвеституру епископов из ведения Первого понтифика в полномочия метрополии. «Все до единого епископы воспротивятся тебе, — предостерег Феш Наполеона. — Ты добьешься того, что они все превратятся в мучеников». Последней каплей стали события 1812 года, когда император распорядился перевезти Пия VII из Савоны в Фонтенбло, чтобы лично, угрозами и запугиванием, заставить несчастного папу подписать Конкордат, который дал бы ему более или менее полный контроль над католической церковью. Кардинал намеками дал понять племяннику, что не одобряет подобного шага. Наполеон, не раздумывая, прогнал Феша в его диоцез и приказал дяде держаться подальше от столицы. Оттуда Феш написал о своем мученичестве Летиции; «Не прибавляй себе треволнений, размышляя о причинах, вынудивших меня покинуть Париж. Я принес их к основанию креста. Господь даст мне силы. Я уповаю на его благодать».
В своем архиепископском дворце в Лионе примас Галльский предоставлял убежище не только гонимым прелатам, но и первому встречному монаху, нищему мирскому брату или послушнику, в особенности тем, кого изгнали из Италии. Он окружил себя преданными молодыми священниками, которые позднее, во время реставрации Бурбонов, возглавят католическое возрождение и контрнаступление церкви на все, что имело место начиная с 1789 года. Вдобавок Феш щедро вносил средства в секретный фонд, созданный для оказания помощи «черным кардиналам». Тем не менее этот странный человек продолжал одновременно служить Господу и мамоне. Он, как и раньше, скупал бриллианты, поместья на Корсике и, самое главное, живописные полотна, которых в конечном итоге у него набралось почти 30 тысяч — работы итальянских, французских, голландских, фламандских мастеров, среди них полотна Беллини, Боттичелли и Тициана. Феш также ссужал деньги своему племяннику, королю Жерому, причем под такой грабительский процент, что это попахивало вымогательством.
