La Rocca di Ponte di Torre fa parte del sistema di avamposti fortificati eretti intorno ad Este nel periodo compreso tra i secoli XII e XIII. Come il Castello di Este, anche il manufatto in esame conosce numerose vicissitudini storiche in epoca medievale: distrutta probabilmente durante le incursioni di Ezzelino da Romano e successivamente occupata dagli Scaligeri, la Rocca della Torre viene riedificata nelle forme attuali per volere dei Carraresi intorno alla metà del Trecento. Alla fine del XVI secolo l’edificio, perse le sue funzioni militari, viene ceduto dalla Serenissima alla Comunità di Este. Nei secoli successivi attorno alla torre a pianta quadrata, perno del complesso, vengono edificati un oratorio e alcuni rustici.