Будучи единственным ребёнком, Кроули находился в центре внимания семьи, а поскольку его родители из-за своих религиозных воззрений вели уединённую жизнь, мальчик рос во взрослой среде и общался со взрослыми гораздо чаще, чем с детьми. Его первую гувернантку звали мисс Эркель. Она ходила в чёрном, у неё были седые волосы, а на её «большом плоском лице клочками росла борода». Кроме того, как он вспоминал, ему приходилось противостоять воспитательным усилиям двух старых дев, плимутских сестёр Сьюзан и Эммы Купер, которых он позже нелестным образом сравнивал с перезревшей редиской и Черепахой Квази, как изобразил её Тенниел в своих иллюстрациях к «Алисе в стране чудес». Мать Кроули сказала ему, что женщины не имеют ног, поскольку в те времена все женщины носили длинные платья и показывать ноги считалось непристойным. Мальчик решил проверить это утверждение. Когда сестры в очередной раз пришли с визитом, он нырнул под стол, чтобы исследовать, что там у них внизу, и, вернувшись, заявил, что ни одна из них не является женщиной, поскольку обе имеют ноги. Став взрослым, Кроули часто приводил это происшествие как пример раннего проявления своего логически устроенного, пытливого ума, характерного для учёных. В другой раз, во время прогулки с отцом, ему тот показал на заросли крапивы и сказал, что она может «укусить». Кроули усомнился в словах отца, тогда он предложил сыну или поверить ему на слово, или убедиться на собственном опыте. Выбрав последнее, Кроули забрался в заросли крапивы и сильно обжёгся.
Ему не суждено было остаться единственным ребёнком, хотя утрата этого статуса была для него мимолётной. В феврале 1880 года его мать родила девочку, Грэйс Мэри Элизабет. Ребёнок прожил только пять часов.
Набожность была основой семейного уклада Кроули. День начинался с церемонии молитвы, на которой присутствовала и прислуга, после чего по очереди читали отрывки из Библии. В результате к четырём годам Кроули уже умел хорошо читать и успешно это делал, когда очередь доходила до него. Библия была единственной книгой, которую ему разрешали читать, и он был заворожён загадочными именами, которые в ней встречались, но признавался, что ни проза, ни поэтические тексты Библии не впечатляли его. Тем не менее он с любопытством относился к пророчествам и к описаниям из Откровения Иоанна Богослова. Нет надобности говорить, что благодаря своему чтению он получил твёрдые знания об Апокалипсисе, о пути спасения через учение Плимутского братства, о страшном зле, которое происходит от греха, об ужасе адовых мук и неизбежности смерти.
