Согласно свидетельству «Нихонсёки», Сумиёси построено императрицей Дзингу, женой императора Тюай (примерно 343–346 гг. н. э.) и матерью императора Одзин. В «Нихонсёки» говорится, что именно ее оракул предсказал необходимость строительства Дайдзёкю на Северном Кюсю. Боги якобы объявили Дзингу свою волю — приказывали императору Тюай (в тот момент он вел войну на Северном Кюсю с враждебными родами) совершить поход на Корею и завоевать богатые серебром и золотом земли королевства Силла.
В свою очередь, император усомнился в предсказании оракула — он поднялся на высокую гору и стал всматриваться в сторону предполагаемой фантастической страны. Однако он так ничего и не увидел, кроме безбрежного моря и бесконечно бегущих волн. За свое сомнение Тюай был наказан богами — он внезапно скончался. Как свидетельствуют документы, покорная воле богов императрица Дзингу решила тогда осуществить поход. Дзингу ждала ребенка (ее сын стал потом императором Одзин), но трудности военного похода не испугали ее. Она собрала флот и высадилась на Корейском полуострове. Дзингу завоевала Силла и с триумфом вернулась в Японию. Здесь в честь богов, предсказавших победоносный поход, в первой половине IV в., а согласно устной традиции — в 202 г. н. э. императрица построила Сумиёси.
Как выглядело святилище? Все три основных его здания были расположены точно одно за другим и развернуты на запад в сторону моря. Они казались большими лодками, плывущими в кильватерном строю. Архитектурный облик трех главных сооружений был абсолютно идентичен, начиная с конфигурации крыш и кончая формой и отделкой столбов и стропил. Сооружения протянулись на двести семьдесят четыре метра с востока на запад и на столько же с севера на юг. Три из них — Увацуцу-но-о, Накацуцу-но-о, Сокоцуцу-но-о — посвящены богу моря, и только четвертое здание, расположенное на юг от храмовых сооружений, — создательнице комплекса — императрице Дзингу.
Размер всех четырех строений одинаков — около четырех с половиной метров в ширину и более семи в длину. Фасадная стена имела сдвоенные двери. Боковые стены членились пятью мощными столбами, поставленными с интервалом в два метра. Задняя стена каждого из сооружений Сумиёси разделена одним широким столбом на две равные части — по два с лишним метра. Предполагается, что подобная конструкция — точная копия культовых сооружений древних времен. Правда, исследователи японской культуры находят некоторые вариации в деталях — например, замена полностью орнамента тиги, как это делалось в древности. Но и эта особенность, как и прямолинейность и строгость форм сооружения, — свидетельство явного сохранения в Сумиёси добуддийских строительных традиций.
