Los proyectos musicales de Courtney Michelle Love comenzaron en la década de 1980 cuando creó Sugar Babydoll con sus amigos Ursula Wehr y Robin Barbur. Dos años más tarde acudió a un concierto en Faith No More en San Francisco, Estados Unidos, en el que convenció a los integrantes del grupo de ser la vocalista.
El material de Love fue grabado, pero el grupo ansiaba una voz enérgica, por lo que preferían a un masculino. La vocalista fue expulsada de la banda por Roddy Bottum con quien a pesar del impasse, mantuvo una amistad por varios años más.
Después, Love formó Pagan Babies junto con su amiga Kat Bjelland, a la que conoció en el club Satyricon en Portland en 1984. La iniciativa partió de Love. Ambas se mudaron a San Francisco en junio de 1985, donde reclutaron a la también amiga de Love, la bajista Jennifer Finch y la baterista Janis Tanaka. La banda grabó cuatro demos, pero a finales de 1985 se desintegró.
Love no se dio por vencida y en 1989 se mudó a los Ángeles (EEUU), donde aprendió a tocar la guitarra. En una revista local la mujer publicó un anuncio en el que manifestaba su intención de querer formar una banda musical. En el texto, Love hizo saber que sus influencias eran Big Black, Sonic Youth y Fleetwood Mac.
Su petición fue leída por el guitarrista Eric Erlandson, quien le respondió. Fue así como Love reclutó a Erlandson como guitarrista principal, a su vecina Lisa Roberts como la bajista y a la baterista Caroline Rue para crear Hole. El grupo hizo su primera presentación en noviembre de 1989 en Raji's, luego de tres intensos meses de ensayos.
La banda debutó con el sencillo Retard Girl que fue publicado en abril de 1990, a través del sello indie de Long Beach, Sympathy for the Record Industry y fue trasmitido por la estación local de Rodney Bingenheimer, KROQ.
Un año más tarde, el grupo lanzó, a través de Sub Pop Records, su segundo sencillo: Dicknail.
Influenciado por las bandas No wave y noise rock, el primer álbum de Hole, Pretty on the Inside, fue lanzado en agosto de 1991 por Caroline Records, producido por Kim Gordon de Sonic Youth y con asistente de producción Don Fleming de la banda Gumball.
El álbum recibió recepción positiva por la crítica y fue nombrado uno de los 20 mejores discos del año por la revista Spin. También ganó seguidores en el Reino Unido, alcanzando el puesto 59 en el UK Albums Chart.