L’édifice se dresse sur la zone qui abritait le pivot défensif des murailles ordonnées par Ezzelino III da Romano, le tyran qui a gouverné la ville de 1237 à 1256. La Torlonga, la plus grande des deux tours, en est la principale relique.
Après la chute du tyran, les fortifications ont été abandonnées : c’est seulement au siècle suivant, avec la domination de la Maison de Carrare, que les espaces ont été restaurés pour reprendre la fonction de château. La Maison de Carrare a fait peindre les deux tours en damier rouge et blanc et orné les pièces intérieures de fresques. Elle a ajouté un passage surélevé reliant le château au centre de la ville et à leur Reggia, cœur du pouvoir politique et militaire.
Une fois les murs de la Renaissance érigés, et après la longue période de paix dont a joui la ville sous la domination de la République de Venise, la valeur stratégique du Castel Vecchio de Padoue, comme on l’appelait au XVIIIe siècle, a diminué. À la même époque, la Torlonga servait d’observatoire, fonction dont dérive le nom Specola, d’après le projet de l’architecte Domenico Cerato. Au siècle suivant, les salles du château ont servi de prison.
Les travaux de restauration effectués au cours des dix dernières années ont permis de mettre au jour des traces de la décoration du XIVe siècle et de mettre en valeur l’un des principaux biens historiques et architecturaux de Padoue.