El edificio se eleva sobre la zona que albergaba el pivote defensivo de las murallas creadas por Ezzelino III da Romano, el tirano que gobernó la ciudad de 1237 a 1256.La mayor de las dos torres, denominada Torlonga, constituye el rasgo más característico.
Tras la caída de la tiranía, las fortificaciones quedaron abandonadas: únicamente en el siglo siguiente, con la señoría de los Carraresi, los espacios se restauraron con una función de castillo. Los Carraresi mandaron pintar las dos torres con cuadros blancos y rojos y decoraron las salas interiores con frescos; además, añadieron un paso elevado para conectar el castillo con el centro de la ciudad y su Reggia, núcleo del poder político y militar.
Con la construcción de las murallas renacentistas y tras el largo periodo de paz del que disfrutó la ciudad bajo el dominio de la República de Venecia, el valor estratégico del Castel Vecchio de Padua, como se lo llamaba en el siglo XVIII, decayó. En este mismo periodo, la Torlonga se utilizó como observatorio, función de la que deriva el actual nombre Specola, según el proyecto del arquitecto Domenico Cerato. En el siglo siguiente, los espacios del castillo se utilizaron como prisión.
Las obras de restauración de los últimos diez años han permitido sacar a la luz algunos vestigios de la decoración del siglo XIV y revalorizar uno de los bienes histórico-arquitectónicos más importantes de Padua.
