Дейзи и Джеймс поженились 5 января 1897 года, на следующий день после того, как невесте исполнилось восемнадцать лет. Сначала молодожены жили в доме Кеннеди на Двадцатой улице. Возможно, в том же году или в начале следующего у них появился ребенок, который умер в младенчестве, но точных тому свидетельств не существует. Зато определенно известно, что 29 апреля 1899 года у молодой четы родился сын, названный Эдвардом Кеннеди Эллингтоном. Вплоть до ранних юношеских лет он оставался их единственным ребенком.
Еще год семья прожила в доме родных жены. Примерно в 1900 году, когда Дюку исполнился год, Джеймс стал домоправителем у Катберта, и резонно предположить, что прибавление жалованья позволило ему обосноваться собственным домом. Скорее всего, пришлось ограничиться несколькими комнатами, взятыми в аренду. В течение десяти лет после первого переезда Эллингтоны меняли квартиры ежегодно, перемещаясь с места на место в негритянском районе, расположенном между площадью Дюпон-серкл и университетом Хауарда. В эти годы Дейзи нередко подрабатывала у доктора Катберта то в качестве регистратора, а то и при подготовке стола для званых вечеров. Это означало, что, как ни пыжился Джеймс, семье приходилось бороться за существование.
Тем не менее у Дюка было счастливое детство. Сейчас их район находится в полуразрушенном состоянии, но в те давние времена его широкие улицы щеголяли трех— и четырехэтажными кирпичными домами. Во дворах росли деревья, там было много света и воздуха. Вполне возможно, что Эллингтоны занимали в одном из таких строений по крайней мере этаж.
Детство Дюка не отличалось особенным богатством событий, но оно ничем не омрачалось и было благополучнее, чем у многих. Двоюродные братья и сестры, дядюшки и тетушки приезжали и уезжали. В доме часто собирались гости. Сами Эллингтоны регулярно навещали бабушку и дедушку Кеннеди, бывали и у других многочисленных родственников. И везде — накрытый стол и веселье. Летом Джеймс отправлял жену и сына «на побережье», так было принято в городских семьях. Считалось, что городская жара — источник болезней и очень опасна для детей. Дейзи и Дюк подолгу гостили у родных в Атлантик-Сити, Филадельфии, Эсбери-Парк. А в Вашингтоне мальчик лазал на деревья, особенно на любимую старую грушу в дедушкином дворе, болел обычными детскими болезнями, играл в бейсбол. (В мемуарах Эллингтон рассказывает, что был азартным бейсбольным болельщиком, но так как в зрелом возрасте к спорту он не проявлял никакого интереса, а, наоборот, не выносил свежего воздуха и держал окна закрытыми, то этому признанию вряд ли стоит особенно доверять.)
