Comunitatea evreiasca din Roma, merge inapoi pana in secolul al II-lea cand Imperiul Roman a avut un gen de alianta cu Iudeea sub conducerea lui Iuda Macabeul. In acea perioada multi evrei s-au stabilit in Roma, numarul lor crescand in secolele urmatoare datorita schimburilor comerciale din spatiul mediteranean. In afara de aceasta, un numar mare de evrei a fost adus la Roma ca sclavi in urma razboaielor iudeo-romane din anii 63 – 135.

Sinagoga actuala a fost construita la scurt timp dupa unificarea Italiei in 1870, cand Regatul Italiei a capturat Roma si statele papale au incetat sa mai existe. Ghetto-ul in care traiau evreii a fost desfiintat, acestia primind cetatenia italiana. Cladirea care a adapostit anterior sinagoga ghetto-ului a fost demolata, iar comunitatea evreiasca a inceput sa faca planuri pentru o cladire noua si impresionanta.

La 13 aprilie 1986, Papa Ioan Paul al II-lea a facut o vizita neasteptata la Sinagoga Mare. Acest eveniment a marcat prima vizita cunoscuta facuta de un papa intr-o sinagoga din istoria timpurie a Bisericii Romano-Catolice. El s-a rugat cu rabinul Elio Toaff, rabinul sef al Romei. Acest lucru a fost vazut ca o incercare de a imbunatati relatiile dintre catolicism si iudaism, fiind o parte a programului Papei Ioan Paul al II-lea de a imbunatati relatiile cu evreii. In 2010, rabinul Riccardo Di Segni a gazduit o vizita a Papei Benedict al XVI-lea.

Sinagoga a sarbatorit centenarul in 2004.

Sinagoga serveste nu numai drept casa de cult, ci si ca centru cultural si organizatoric pentru La Comunità Ebraica di Roma (comunitatea evreiasca din Roma). Aceata gazduieste birourile Rabinul sef precum si Muzeul Evreiesc din Roma.

Proiectata de Vincenzo Costa si Armanni Osvaldo, sinagoga a fost construita intre anii 1901 - 1904 pe malurile Tibrului. Stilul eclectic al cladirii o face sa iasa in evidenta, chiar si intr-un oras cunoscut pentru cladirile si structurile sale notabile.