Cele patru sinagogi ridicate de evrei sefarzi sunt situate in cartierul evreiesc in Orasul Vechi din Ierusalim. Acestea formeaza un complex care cuprinde patru sinagogi invecinate, care au fost construite in perioade diferite, pentru a satisface nevoile religioase ale comunitatii sefard.

Odata cu inchiderea Sinagogii Ramban la comanda sultanului otoman in 1589, multi evrei au fost obligati sa se roage in particular in propriile lor case. La inceputul secolului al XVII-lea o noua sinagoga, Yochanan ben Zakai Sinagoga, a fost inaugurata.

In anul 1835 Muhammad Ali, vicerege al Egiptului, care a condus Ierusalimul la momentul respectiv, a permis renovarea sinagogilor. Ulterior, dupa caderea cartierului evreiesc in 1948, in timpul razboiului arabo-israelian, multe sinagogi au fost arse si profanate si transformate in grajduri de cai. Dupa Razboiul de Sase Zile sinagogile au fost restaurate de arhitectul Dan Tanai.

Sinagoga Yochanan ben Zakai a fost construita sub nivelul strazii. Situata in vechiul cartier evreiesc din Ierusalim, a suferit aceeasi soarta ca cele mai multe sinagogi din zona in timpul celor 19 ani de ocupatie iordaniana. Aceasta a fost complet renovata cand Israel a preluat controlul asupra orasului vechi in timpul Razboiului de Sase Zile. Lucrarea de restaurare a fost initiata de rabinul Meir Yehuda Getz, Rabin al Zidului de Vest (Zidul Plangerii).