По укоренившейся традиции к мулатам, особенно светлокожим, многие негры относились с предубеждением. Объяснялось это тем, что, не имея ярко выраженных внешних признаков негритянской расы, они зачастую скрывали свое происхождение и с пренебрежением относились к своим чернокожим братьям.
По этой причине или потому, что Элфрид Дюбуа был отнюдь не завидным женихом: у него не было работы и ни гроша в кармане, во всяком случае, семейство Бургхардтов невзлюбило мужа Мэри Бургхардт. Элфрид и Мэри сняли помещение в одном из домов Грейт-Баррингтона, где и родился Уильям Дюбуа. После рождения Уильяма, ставшего предметом восхищения всей родни, взаимоотношения молодой семьи с родственниками жены несколько нормализировались, но не настолько, чтобы Элфрид смог войти в семью черных Бургхардтов.
Со всей настоятельностью возникал вопрос, где и на какие средства будет жить молодая семья. Элфрид после долгих колебаний направился в штат Коннектикут, намереваясь там обосноваться. Тем временем Уильям с матерью жили в доме деда. Через несколько месяцев Элфрид написал письмо, приглашая жену приехать в небольшой городок Нью-Милфорд, находившийся на расстоянии сорока миль от Грейт-Баррингтона, вниз по реке Хусатоник.
Мэри, редко покидавшая Грейт-Баррингтон, не рискнула принять предложение мужа. Очевидно, важную роль сыграло и давление родителей, все более ожесточавшихся против Элфрида. Так разыгралась старая как мир трагедия: материальные трудности и антипатии родственников привели к распаду семьи. «Все кончилось тем, — вспоминал Дюбуа, — что мать не поехала к нему, а отец так и не вернулся в Грейт-Баррингтон. Возможно, он писал, но письма его перехватывали. Я ни разу не видел своего отца и не знаю, где и когда он умер и где похоронен».
У любой нации, у любого народа в трудном положении оказывается женщина, оставшаяся с ребенком на руках и в столь двусмысленном положении. Очень трудно пришлось и матери Уильяма Дюбуа, и только поддержка братьев, сестер, родных и близких Мэри давали ей силы растить сына и переносить все невзгоды.
Мать и сын жили просто, скромно. Уильям, вспоминая детство, отмечал, что ему не приходилось голодать, донашивать чужие обноски, чувствовать себя отщепенцем среди товарищей по детским играм и по школе. И только много лет спустя, на склоне лет Дюбуа писал: «Вспоминая прошлое, я теперь понимаю, что наша маленькая семья, мать и я, нередко, должно быть, оказывалась на грани нищеты».
