Istoria Athenaeum Music & Arts Library a inceput in 1894, cand un grup mic numit La Jollans a format La Jolla Reading Club. In 1898 a fost construita o sala de lectura pe Wall Street, cu ajutorul unei donatii generoase. Prin anii 1920, cu sprijinul generos al lui Ellen Browning Scripps, o noua cladire pentru biblioteca a fost proiectata de William Templeton Johnson, arhitect al multora dintre cele mai importante structuri civice din San Diego, inclusiv Parcul Balboa, Muzeul de Arta si Muzeul de Istorie Naturala.

Cladirea in stil renascentist spaniol a fost deschisa pentru public in 1921. In 1955, orasul San Diego a fost de acord sa preia functionarea bibliotecii si a inchiriat spatiul de la Biblioteca de Arbitraj din La Jolla, sau Ateneul, asa cum a devenit cunoscut de atunci. De la prima sa extindere, in iulie 1990, sub directoratul lui Erika Torri, Ateneul a avut un rol tot mai activ in viata culturala din San Diego. Biblioteca a fost gazda unui numar mare de evenimente si programe pe tot parcursul anului, inclusiv expozitii de arta, concerte, prelegeri si cursuri de arta.

In 1999, Ateneul a sarbatorit aniversarea a 100 de ani intr-un vartej de activitati si publicitate, prin care s-a sarbatorit si pozitia sa ca una dintre institutiile culturale marcante din San Diego.

In ianuarie 2007, o noua extindere a fost lansata cu trei zile de festivitati comunitare. Dimensiunea galeriei principala aproape s-a dublat si a fost deschisa Sala de Lectura. Studioul Scolii de Arte a fost mutat intr-o noua zona complet renovata a cladirii.