К этому моменту к ним присоединились еще двое Эллингтонов: Джордж — брат Джеймса Эдварда и Эдвард (кем он приходился остальным, также не установлено). Известно, что эти четверо во всем поддерживали друг друга. Они вместе жили (по двое или по трое) и нередко помогали один другому устроиться на работу — судя по тому, что часто служили в одних и тех же местах. Эллингтоны — а некоторым из них к концу 90-х годов не исполнилось и двадцати лет — представляли собой группу умных и энергичных молодых людей, твердо намеренных добиться жизненного успеха.
Отцу Дюка — Джеймсу Эдварду, или Джею Э., как его обычно называли, — посчастливилось, когда в 1897 или 1898 году он попал в дом доктора М. Ф. Катберта, по-видимому имевшего аристократическую клиентуру и наблюдавшего семейства Моргентаусов и Дюпонов. Джеймс Эдвард, которому еще не было двадцати, начал работать кучером и получил жилье у хозяев, видимо, в комнатке при конюшне или каретном сарае, как и полагалось в те времена. Он прослужил в семье Катбертов почти двадцать лет и, сменив несколько должностей, занял наконец место домоправителя. Какие именно обязанности он выполнял, неизвестно. Но домоправитель в богатом доме — важная персона. Он надзирает за остальной прислугой и отвечает за изысканные увеселения, которые в ту пору были в обычае у людей этого круга. Джеймс Эдвард изъяснялся витиевато, очевидно переняв стиль речи у собственного отца, который, по воспоминаниям Рут — сестры Дюка, пытался заигрывать с девушками, уже будучи прикованным параличом к инвалидному креслу. Он направо и налево раздавал пошловатые комплименты типа: «Милашка может стать еще чуть-чуть милее, но красота — это навек». Он одевался настолько элегантно, насколько мог себе позволить, и жил широко, насколько хватало средств. «Джеймс Эдвард, — рассказывал Дюк, — был его карман полон или пуст, всегда вел себя так, будто у него куча денег. Он держался как богатый человек и воспитывал детей так, как если бы был миллионером». Обладая этими качествами, он быстро воспринял образ жизни хозяев. Он научился разбираться в винах и кушаньях, а также в фарфоре и тонкостях сервировки стола. Набравшись опыта, Джеймс Эдвард вместе с другими членами клана Эллингтонов стал обслуживать приемы в лучших домах Вашингтона. Однажды его даже пригласили в Белый дом. Он не только приносил своим домашним лакомую еду, но и получал в подарок от Катберта и других разрозненный фарфор и некомплектное столовое серебро. Эти вещи входили в обиход его семьи. Джеймс Эдвард понимал, что значит быть Джентльменом, и твердо решил стать им. Во всем этом обнаруживалась доля нарочитости, но его стремление к самоутверждению вызывает глубокое уважение. Дюк Эллингтон вырос не в богатом доме, временами с деньгами бывало туго, и отчасти из-за жажды отца иметь только самое лучшее. Но, как это ни парадоксально, мальчик, в отличие от большинства своих ровесников, знал толк в шампанском и веджвудском фарфоре. И, конечно, тяга отца к изящному, пусть и поверхностная, отразилась на формировании житейских пристрастий Эллингтона. Он чувствовал себя ущемленным, если не получал всего по высшему классу, но оценивал себя не суммой заработанных денег, часто вообще этим не интересуясь. Все дело было в образе жизни.
