Colocada en las proximidades del centro urbano, cerca del Teatro Verdi y de la Iglesia de San Andrés, la sinagoga fue inaugurada en septiembre de 1595, y sigue sirviendo a la comunidad. La presencia hebrea en el área está atestiguada al menos desde finales del siglo XIV y, en concreto, el edificio que surgía en el actual perímetro del templo en 1434 estaba siendo alquilado por una familia de israelitas.
El primer núcleo de la sinagoga correspondió sustancialmente a una única casa, a la cual se añadieron a lo largo de los siglos otros locales y almacenes, con el fin de poder reunir, al lado del lugar de culto, un matadero hebreo y un baño ritual. En 1780, cuando recibió incluso la visita del Gran Duque Pedro Leopoldo, el templo se convirtió por belleza y dimensiones en motivo de orgullo para la comunidad hebrea pisana.
El aspecto actual de la sinagoga ya no es el que pudo admirar el Gran Duque de Toscana, sino el resultado de una completa reestructuración realizada en 1861-65, y proyectada por el arquitecto Marco Treves (1814-1898), natural de Vercelli. Treves, que se había formado en París y en Londres y que había participado en la reestructuración del Louvre y del Palacio de las Tullerías, quiso conferir al edificio una impronta geométrica y lineal, remitiéndose al primer renacimiento toscano. Los ambientes fueron ampliados y realzados y se enriquecieron con detalles clásicos de gran valor que todavía pueden apreciarse, como la bóveda pintada de la sala de culto, el Aron en forma de edículo con tímpano triangular y columnas corintias, los techos falsamente artesonados en formas geométricas y la tribuna sostenida por columnas con capiteles jónicos y adornada con pequeñas columnas corintias.