Жизнь Карла складывалась не так, как у его братьев и сестер. В 18 лет, вероятно не желая получать образование, на котором настаивал его отец, он убежал со скрипкой и 200 флоринами в кармане в США, где зарабатывал себе на жизнь посильным трудом. Через два года Карл возвратился на родину, преисполненный восхищения перед американской деловитостью. Выучившись на инженера и проработав несколько лет в этой профессии, он занялся предпринимательством и за несколько лет построил огромную металлургическую империю, сделавшую его австро-венгерским Круппом. Он собрал значительное состояние и отошел от дел в 1898–1899 годах. А в 1913 году скончался от рака.
Дом Витгенштейнов в Вене, прозванный «Дворцом Витгенштейнов», был центром светской и в особенности музыкальной жизни города: супруга Карла, Леопольдина Кальмус, была великолепной пианисткой. Музыка постоянно звучала во «Дворце», составляя неотъемлемую часть жизни детей, в первую очередь – Людвига. Во «Дворце Витгенштейнов» часто можно было встретить старого Брамса и молодого Пабло Казальса – Карл был покровителем движения «Сецессион», и именно благодаря его финансовой поддержке в Вене был построен «Дом сецессиона».
Людвиг был младшим из восьми детей (трех девочек и пятерых мальчиков) Леопольдины и Карла – «младшенький», обладавший слабым здоровьем. До четырнадцати лет он практически не покидал стен родного дома, поскольку, как и его братья и сестры, занимался с частными преподавателями. Этот способ обучения, по всей видимости, оказался не слишком эффективным: по словам Пауля, двое младших сыновей Карла – сам Пауль и Людвиг – не приобрели особых знаний, вследствие чего было решено отправить их в нормальные учебные заведения. У Людвига довольно рано проявились способности к механике: рассказывают, что примерно в десятилетнем возрасте он смастерил уменьшенную копию домашней швейной машинки, чем вызвал всеобщее восхищение.
Властность Карла, которой почти не могла противостоять мягкая по характеру Леопольдина, порой приводила к печальным последствиям: в 1902 году их старший сын Ганс, музыкант в душе, взбунтовался против воли Карла, не пожелав заниматься семейным бизнесом, и уехал в США (как и сам Карл тридцатью семью годами ранее), где покончил с собой. Третий сын, Рудольф, в 1903 году по схожим причинам уехал в Берлин и совершил там самоубийство в мае 1904 года. Позднее, в 1918 году, в конце Первой мировой войны, третий брат Людвига, Курт, тоже наложил на себя руки, по всей видимости от стыда за то, что не смог повести своих солдат в бой с итальянской армией.
