В 1881 году Эдвард Кроули продал дом в Лемингтоне, и вся семья переехала на Ферму, которая представляла собой солидный трёхэтажный дом с большим, заросшим деревьями садом, с видом на дорогу, соединяющую Редхилл и Мерстхэм в графстве Суррей. Это место будет их домом в течение пяти лет, оставшихся в памяти Кроули как время непрекращающегося счастья.
С того момента, когда семья поселилась на Ферме, начинается формальное образование Кроули. Вместо того чтобы послать сына в местную частную школу, где он мог бы получить «неправильное» религиозное воспитание, отец нанял ему частных учителей. Кузен Кроули по имени Грегор Грант, который был на шесть лет старше мальчика, нередко приходил в гости и стал его кумиром. Однако то, что ему было разрешено бывать в доме, — загадка, поскольку он был воспитан в пресвитерианских традициях и, несомненно, его убеждения не совпадали со взглядами Плимутского братства. Все остальные товарищи Кроули были детьми «плимутских братьев», и общение с ними казалось родителям Кроули безопасным. Тем не менее Алик, как Кроули звали в семье, вовсю наслаждался обычными мальчишескими проказами. Он и его друзья по Братству, лёжа среди деревьев на краю сада, подстерегали местных школьников и дразнили их, называя невежами и паля по ним из игрушечных духовых ружей. Однажды они напали на землекопа, который работал на другой стороне дороги, и побили его палками, вообразив, что это главный злодей в той игре, в которую они играли.
Это детское озорство не ограничивалось только уличными подвигами. Эдвард Кроули регулярно устраивал в своём доме собрания для чаепития и молитвы. В своей автобиографии его сын называет их «братским разгулом», который заключался в том, чтобы, «удовлетворив животную часть своего существа, предаться разврату духовных наставлений». Во время одного из таких чаепитий Кроули подлил в серебряный заварной чайник касторового масла; вежливость гостей не позволила им вслух заявить, что чай имеет омерзительный вкус. Во время другого чаепития он и несколько его друзей принялись закармливать едой одну гостью, прожорливую миссис Масти, тем самым на час задержав начало богослужения. Как и в случае с касторовым маслом, никто не выразил своего неудовольствия. Это привело Кроули к убеждению, что для членов Плимутского братства характерны смирение и нерешительность. И то и другое он считал проявлениями слабости.
Не все взрослые люди из тех, что встречал Кроули, были религиозными фанатиками, которых интересовало только поедание пирожных, заканчивающееся молитвой. Портной по имени Хемминг, член Плимутского братства, который шил костюмы для Эдварда Кроули, научил мальчика играть в шахматы. Кроули вскоре овладел этим искусством и сочинял собственные партии. Через некоторое время Хеммингу стало чрезвычайно трудно выигрывать у Кроули, и, по воспоминаниям последнего, достойный противник в шахматах не встречался ему уже вплоть до 1895 года, когда он поступил в университет. Дважды за период жизни на Ферме Кроули выезжал на отдых, причём одной из этих поездок стало состоявшееся в 1883 году заморское путешествие во Францию Швейцарию. Его память сохранила городские виды и пробуждения до рассвета, чтобы с площадки на горе Риги посмотреть, как солнце поднимается над горами. О другой своей поездке, путешествии на Шотландское нагорье, он вспоминал мало.
