Образование, как правило, было недоступной роскошью для негров. Дети Бургхардтов, например, учились в школе обычно ровно столько, чтобы научиться читать и писать. Дюбуа был первым Бургхардтом, окончившим среднюю школу. Факт очень показательный. Понадобилось целое столетие, чтобы для потомка Тома Бургхардта, участника войны за независимость, создались условия для завершения среднего образования.
Мать Дюбуа, внучка Тома Бургхардта, выросла в большой семье, в которой было более десяти детей. Дюбуа вспоминал, что его бабушка по материнской линии Сэлли, высокая, энергичная женщина с ястребиным лицом, была негритянкой, в жилах которой текла голландская и, пожалуй, индийская кровь, остальные члены семьи были чернокожими.
Дюбуа оставил яркий, запоминающийся портрет своей матери Мэри Бургхардт: «У моей матери была гладкая, блестящая кожа цвета бронзы и красивые глаза. Ее волосы слегка курчавились, лицо было продолговатое и доброе, выражавшее бесконечное терпение. Однако за этой кротостью скрывалась большая твердость характера».
В 1867 году в возрасте 35 лет она вышла замуж за Элфрида Дюбуа, потомка французского эмигранта-гугенота, переселившегося в США в начале XVIII века. Социальное происхождение отца Дюбуа точно определить не удалось. Белые потомки Дюбуа утверждают, что три брата Дюбуа, выехавшие из Франции, были аристократами. Сам Дюбуа склонен был считать, что братья Дюбуа были ремесленниками.
В 1803 году родился дед Уильяма Дюбуа Александр, отцом которого был потомок одного из братьев-гугенотов, а матерью черная женщина. Дед Дюбуа Александр после смерти своего отца должен был оставить школу и пойти в обучение к сапожнику. Но восемнадцатилетнего юношу не привлекала эта профессия, он покидает США и направляется на Гаити.
Александр Дюбуа прожил на Гаити с 1821 по 1830 год, чем он там занимался, неизвестно, трудно определить и его имущественное положение. Ничего не известно также и о женщине, на которой он женился, но есть основания предполагать, что это была дочь Эли Дюбуа, известного деятеля просвещения на Гаити. От этого брака в 1825 году у них родился сын Элфрид, отец Уильяма Дюбуа.
В 1830 году дед Уильяма Дюбуа возвратился в США Спасаясь от дискриминации негров, Александр Дюбуа в 1856 го ду переехал в г. Спрингфилд, штат Массачусетс, и работал главным стюардом на пассажирском пароходе, плававшем между Нью-Хевеном и Нью-Йорком.
Материально семья деда Уильяма Дюбуа была достаточно хорошо обеспечена, но Александр Дюбуа был негром со всеми вытекающими отсюда последствиями. «Я видел деда лишь однажды, — вспоминал Уильям Дюбуа. — Мне тогда было пятнадцать, ему семьдесят семь лет. Он всегда держал голову высоко, был горд, имел мало друзей Он не был «негр» — он был человек! И все-таки обстоятельства были сильнее его. В то время, как и теперь, цветной мог либо иметь друзей только среди цветных, либо не иметь их вовсе; он мог жить либо в мире цветных, либо в одиночестве».
