Жемчужный павильон находится точно на полпути между Пушечными воротами и Воротами павильона рыбака, стоявшими на том месте, где морской участок стены переходит в сухопутный. Как можно понять из названия, Ворота рыбацкого павильона вели на берег моря к жилью рыбаков, состоявших на службе в Серале. В книге Р. Уолша «Константинополь и семь церквей Малой Азии» приведена иллюстрация с изображением этих ворот. Здесь хорошо видны специально построенные приспособления для отлова косяков рыбы; на переднем плане — лодка, куда несколько рыбаков затащили мертвое тело: дело в том, что именно в данном месте сбрасывали в море тела государственных преступников. Трудно понять, почему именно здесь, где ловили рыбу для стола султана! Приводя цитату из статьи Абдуррахмана Шерифа-эфенди, доктор Миллер говорит об интересном обычае, связанном с этими воротами. Именно через них тайно проводили низложенного визиря или начальника черных евнухов сразу же после лишения его этого поста. В случае вынесения ему смертного приговора существовала очень необычная практика: устраивать соревнования по бегу между главным садовником дворца, выполнявшим также функции главного палача, и осужденным на смерть — в буквальном смысле гонку за жизнью или смертью. Если визирю удавалось первым добежать до Ворот рыбацкого павильона, то ему даровали жизнь и казнь заменяли ссылкой. Последним, кому таким образом удалось избежать смерти, был великий визирь Хаджи Салы-паша. Если же лишенный своего поста визирь добегал до ворот позже главного садовника, то там его и казнили, а тело выбрасывали в море.
По мнению Констанция, Ворота рыбацкого павильона и Ворота Михаила Протовестария, через которые в 913 году входил Константин Дука, стремившийся захватить власть, на самом деле одни и те же. Однако такая точка зрения не бесспорна и нуждается в серьезной аргументации.
Еще немного южнее находились Конюшенные ворота. Их античное название нам неизвестно, однако, учитывая, что поблизости от них располагались возведенные Михаилом III (842–867) мраморные конюшни, не исключено, что и в византийский период там существовали ворота с таким же названием. Поблизости, в направлении центра акрополя, находились конюшни султана, они хорошо видны на плане Меллинга. Их называли Большими конюшнями, в противоположность Малым — во Втором дворе Сераля. Число содержавшихся там лошадей в разные периоды было от двух до четырех тысяч. Почти все они принадлежали ученикам дворцовой школы.
