Si deve al Cardinale Tolomeo Gallio (1526-1607) il mandato per la costruzione del Palazzo omonimo. Segretario di Papa Gregorio XIII, fu grazie a quest’ultimo che ottenne intorno al 1565 la concessione di alcuni appezzamenti di terra dalla diocesi di Terracina per la costruzione della sua dimora di campagna.

La struttura di carattere rinascimentale fu costruita tra il 1565 e il 1569. Sebbene non vi siano fonti precise, sembra che il Cardinale amasse particolarmente soggiornare in questo luogo, soprattutto nel periodo in cui fu designato governatore delle province di Campagna e Marittima intorno al 1562.

L’imponente Palazzo rappresenta una sorta di residenza fortificata a pianta quadrata che si erge su due livelli piu’ uno interrato. All’ingresso un bellissimo bassorilievo in pietra calcarea raffigurante lo stemma della Famiglia Borghese di Terracina sovrasta e interrompe l’aria severa della composizione esterna.

Superato il portone un ampio porticato con volte a crociera si apre sul vasto cortile pavimentato con sanpietrini calcarei. Il piano terra presenta locali comunicanti tra loro e tutti con affaccio sulla corte. In particolare nel locale di sinistra in origine vi era una Cappella dedicata a ‘San Martino’. Pare che proprio sui ruderi di un monastero dedicato al santo fu eretto il palazzo. All’interno della ex cappella quasi integri troviamo due affreschi raffiguranti due figure in primo piano, a dx Papa Pio V (ospite del Castello durante la bonifica del ‘600) mentre a sx il Cardinale Tolomeo Gallio. Due opere di fine fattura artistica certamente realizzate dalla vivace scuola romana del tempo.

Tramite un’ampia scala in pietra scalpellata, posta lateralmente all’ingresso principale, si arriva al piano superiore o si scende a quello interrato. Qui i soffitti sono finemente realizzati con coperture lignee a cassettoni, ben recuperati da qualche decennio grazie ad un restauro.