Erigido en el siglo XI y reestructurado entre los siglos XVI y XVII, el complejo se suprimió en 1810 y se constituyó como sede del Real Colegio Imperial (“Imperial Regio Ginnasio”). Desde 1868 el edificio hospeda la prefectura y la residencia del prefecto: es un lugar lleno de bellezas arquitectónicas entre las que destacan la Sala del Consejo, la escalera de acceso y los refugios antigás y antiaéreos construidos en periodos bélicos.
La Sala del Consejo —cuya decoración fue realizada por Carlo Matscheg en 1877, decorador de Belluno, y por el pintor veneciano Giulio Carlini— es el proyecto más significativo de la remodelación del edificio efectuada en el siglo XIX. El tambor presenta una bella secuencia de escudos ciudadanos y tondos con retratos de personajes históricos de Padua. Entre estos se alternan representaciones de la Agricultura, la Industria, la Educación y el Comercio y de los ríos Brenta y Bacchiglione.
En los primeros años del siglo XX, el Palazzo Santo Stefano modificó la tipología y los alzados, adoptando la configuración actual. El arquitecto Angelo Pisani realizó la escalera de honor en 1925, una obra notable que caracteriza el emplazamiento. En 1934 se construyó el refugio antigás para 70 personas con un sistema de electroventilación a pedales. Diez años más tarde, la empresa paduana Zoccarato e Grassetto construyó un refugio tubular antiaéreo y un refugio antiaéreo de la UNPA en el jardín de la prefectura.
En el claustro del antiguo monasterio se han identificado otros cuatro refugios antiaéreos, creados para proteger a los alumnos del colegio Tito Livio.
