«Pretty on the Inside» был выпущен «Caroline Records» в сентябре 1991 года. Он был посвящён Робу Риттеру, другу-музыканту, который умер от передозировки героина в 1990 года, на его обложке было смазанное фото группы на ярко-розовом фоне, a на обратной стороне волнующе броский рисунок Джилл Эмери, и лист с текстами, частично написанный Кортни от руки и украшенный вырезанными фотографиями кукол, священных сердец и женских тел.
Этот альбом был единодушно хорошо принят. Эдвин Паунси из «New Musical Express» сравнил его с американскими панк-классиками вроде «Horses» Пэтти Смит и дебютных альбомов «Ramones», «New York Dolls» и «Television». В то время как большинство рецензий было сконцентрировано на выдающейся предводительнице «Hole», Паунси воздал должное другим членам группы. «Дикий крик женского блюза Кортни (тени Джэнис Джоплин с её наилучшей подорванной бурбоном стороны) одинаково соответствует инструментальному аспекту «Hole», беспросветной стене звукового бетона, которая выдерживает всё, что Кортни может в неё бросить».
«Teenage Whore» была выбрана «Spin» Синглом Недели, а альбом добился успеха в списке «Adventure Picks» «CMJ», влиятельного журнала, направленного на колледж- и независимые радиостанции. Элизабет Вурцель (автор «Нации Прозака») написала в «New Yorker»: «Pretty on the Inside» — это такая какофония — полная таких резких, абразивных и неприятных сгустков шумов — что очень немногие люди, вероятно, выдержат это один раз, не то чтобы слушать его повторно, что вам потребуется, чтобы обнаружить, что это, возможно, самый сильный альбом, выпущенный в 1991 году».
Неделю спустя вышел «Nevermind» «Нирваны». Учитывая первоначальный тираж в 50 000 экземпляров, который составлял столько, сколько было продано «Bleach», вскоре «Nevermind» продавали за день больше, чем «Bleach». Но к тому времени группа была в туре и имела незначительное представление относительно своих собственных доходов от продаж. В Атенсе, штат Джорджия, они отрывались на вечеринке в викторианском особняке гитариста «R.E.M.» Пита Бака. Тогдашняя жена Бака Бэрри, которая управляла клубом «40 Watt», заметила, что Курт без остановки говорит о вокалистке из «Hole». Когда Кортни случайно поговорила с Бэрри Бак несколько недель спустя, Бэрри поделилась этой интересной новостью.
10 октября Кортни ухитрилась прикарманить билет на самолёт в Чикаго у одного менеджера индустрии звукозаписи. Она сказала ему, что хочет сходить на «Нирвану» в «Metro», но она на самом деле думала, что они играли там два вечера назад; она на самом деле только хотела повидать Билли Коргана. К сожалению, она не сказала Билли, что приезжает. Когда Кортни добралась до его квартиры, там была его подружка. Разгневанная женщина начала швырять из окна обувь, и Билли велел Кортни уйти.
