Каждый раз, когда отец его ударял, Майкл кричал так, будто его убивают.
«Он совершенно не мог смириться с тем, что отец распускал руки, — отмечал один из друзей семьи. — Конечно, что может сделать ребенок. Но, во всяком случае, в то время как другие дети терпели такое отношение к себе, Майкл никогда этого не допускал. Кэтрин тоже могла позволить себе дать пощечину детям. У нее тоже был темперамент. Но она могла найти баланс между раздражением и любовью, а Джозеф — нет. Сначала Майкл боялся отца, но после многих лет насилия начал ненавидеть его. В том, как Джозеф обращался с Майклом, когда он был ребенком, таились корни ненависти сына к отцу».
Майкл позже скажет: «Отец всегда был загадкой для меня, и он знает об этом. Наверное, больше всего я жалею о том, что никогда не мог быть по-настоящему близок с ним». Никто из детей Джексонов не имел тесных отношений с Джозефом. Да и сам он никогда не проявлял особо теплых чувств. Иногда ходил с ребятами в походы или на рыбалку, или учил их боксу в целях самозащиты. На девочек вообще не обращал никакого внимания. Когда Джанет была совсем маленькой, она любила заползти в кровать к родителям, но всегда должна была ждать, когда Джозеф проснется. Отец пугал до полусмерти мальчиков, когда они были совсем маленькими, залезая в окно из спальни в какой-нибудь страшной маске. Он говорил, что хотел показать им, почему следует закрывать окна на ночь. Повторял он это неоднократно.
Майкл постепенно отдалялся от отца и все больше сближался с матерью, которую обожал. «Несмотря на то что нас было у нее 9 детей, она относилась к каждому из нас как к своему единственному ребенку, — вспоминал он. — Кэтрин была настолько деликатной, теплой и внимательной, что я не могу представить, как это — вырасти без материнской любви. Мы очень ценили то, чему она нас учила. Доброта, любовь и внимание к другим людям были на первом месте».
В 1963 г. в 5 лет Майкл пошел в начальную школу. Его мать говорила, что он был чересчур щедрым. Например, брал украшения из ее шкатулки и дарил учительницам. Будучи упрямым ребенком, продолжал делать это после того, как мать строго наказала его за то, что он раздает ее вещи. Одно из первых воспоминаний Майкла — выступление перед своим классом в первый год учебы. Он пел песню из кинофильма «Звуки музыки» (Sound of Music) и произвел большое впечатление на детей уверенной манерой держаться и своим голосом. Сверстники аплодировали ему стоя. Учительница плакала. Кэтрин была там вместе с отцом мужа Сэмуэль — человек отнюдь не сентиментальный, но и он плакал. «Я не знаю, откуда в нем это взялось, — говорила Кэтрин. — Он был так хорош, такой живой. Просто некоторые дети бывают особенными. Майкл был особенным».
