El medieval Palacio de los Ancianos, de primigenio aspecto turriforme, cuyos restos pueden apreciarse en la fachada de Via Consoli del Mare, fue reparado y reconstruido por Giorgio Vasari por encargo del Duque Cosme I de Medici, que, en 1558, decidió fundar la Orden de San Esteban y dar una sede a la milicia marítima. El actual nombre de Palacio de la Carovana deriva del curso de formación (la “carovana”) que hacían los caballeros. No fue hasta 1561 cuando el arquitecto florentino fue a Pisa para estudiar el aspecto de la plaza y la disposición de los viejos edificios y, en dos años, el palacio ya albergaba la milicia (1562-1564).
Vasari proyectó un edificio regular y unitario, obteniendo un efecto de simetría y armonía en virtud de las decoraciones pictóricas y plásticas que, ritmando la fachada con un curso modular, esconden las deformidades de las viejas estructuras. Bajo el proyecto de Vasari, Tommaso Battista del Verrocchio y Alessandro Forzori di Arezzo realizaron las pinturas esgrafiadas de la fachada, hoy pesadamente reelaborada, en cuyo centro campea el escudo Medici-Stefano entre las alegorías de la Religión y de la Justicia, obra de Stoldo Lorenzi (1563). Los escudos de las esquinas son, en cambio, de Giovanni Fancelli (1564).
En 1821 se construyó la escalera de mármol con doble rampa (en sustitución de la precedente), obra de Giuseppe Marchelli.
En la parte alta de la fachada, los nichos albergan los medios bustos de los Duques de Medici: Cosme I, Francisco I y Fernando I, realizados entre 1590 y 1596 por Ridolfo Sirigatti, el de Cosme II, de 1663 aproximadamente, obra del escultor Pietro Tacca y, finalmente, los de Fernando II y Cosme III, de 1681 y 1718, obra de Giovanni Battista Foggini.
El palacio, actual sede de la Escuela Normal Superior, conserva en su interior algunas salas decoradas y pinturas del siglo XVI.