Fassaden und Außenansichten des Baronalpalastes, im 14.-15. Jahrhundert von der Familie Caetani errichtet und im 17. Jahrhundert in seiner heutigen Form vollendet, als der Ort nach einer Zeit des Niedergangs wieder besiedelt wurde. Das Gebäude, heute Rathaus von San Felice Circeo, steht neben dem Templerturm an der zentralen Piazza Vittorio Veneto (ehemals Piazza Lanzuisi) und bewahrt trotz späterer Umbauten Spuren seines mittelalterlichen Ursprungs, darunter das alte Bogentor für Fuhrwerke, das Anfang des 18. Jahrhunderts auf Betreiben von Papst Clemens XI. geöffnet wurde.
Der Baronalpalast liegt im Nordwesten der alten befestigten Stadt San Felice Circeo. Der mächtige Bau, dessen ursprünglicher Kern aus dem 16. Jahrhundert stammt, öffnet sich auf einen weiten Hof, den man durch drei rundbogige Eingänge betritt. Heute ist der Zugang für Besucher stets offen, früher war er streng geregelt.
In der Mitte des Hofes steht ein Johannisbrotbaum anstelle einer alten Palme, die dem „Roten Palmrüssler“ (einem sehr aggressiven Käfer) zum Opfer fiel; an den Seiten wachsen zwei große Büsche Zwergpalmen.
Wählt man den Bogen zum Hauptplatz des Ortes, gelangt man in den Hof des Baronalpalastes. Nach der örtlichen Carabinieri-Station steht man vor dem großen Eingangsportal neben der Pförtnerloge der Gemeinde. An der Fassade ist eine kürzlich restaurierte Sonnenuhr zu sehen, mit der man früher die Stadtuhr genau stellte. Über der Haupttür des Palastes prangt das Gemeindewappen: ein aufgeschlagenes Buch, diagonal von einem Stab durchquert und von Lorbeer- und Eichenblättern umgeben, in unverständlichen griechischen Buchstaben beschriftet und von einer Krone in Form einer befestigten Burg überragt.
Weiter links liegt die alte Wageneinfahrt, die bei den Umbauten durch Monsignore Collicola während der Herrschaft der Familie Ruspoli entstand. An einer der Wände sind die Reste eines vermauerten Sturzes gut zu sehen: Die Rahmung aus Kalksteinquadern ist der letzte sichtbare Rest einer Mitte des 17. Jahrhunderts von der Familie Caetani für eine kleine Gemeinschaft von „Bernardoni“-Mönchen erbauten Kirche. Besonders interessant ist die sichtbare Inschrift „1647: Divo Felici Dicatum“, das erste Zeugnis einer dem heiligen Felix, heute Schutzpatron des Ortes, geweihten Stätte. In einem ausgesparten Teil des heutigen Bodens sieht man zudem den alten Holzboden, der sich erhalten hat.
Daneben liegt ein weiterer Eingang über eine steile Treppe, früher viel von den Frauen von San Felice benutzt, weil sich dort das öffentliche Waschhaus befand. An der Westseite, nahe dem mächtigen Templerturm, öffnet sich ein Spitzbogenportal mit der „Porta del Parco“ und einer Treppe zu einer reizenden Terrasse über den Dächern der Altstadt, mit Blick bis zum Meer. Dieser Flügel ist der jüngste: Er entstand nach den von Fürst Poniatowski veranlassten Änderungen an den alten Bastionen der Burg. Zunächst als Stall genutzt, wurde er später zum Gemeindetheater und beherbergt heute das Kino „Anna Magnani“.
Die heutige Gestalt des Palastes ist das Ergebnis der Umbauten und Restaurierungen im Lauf der Jahrhunderte.
Das oberste Geschoss soll laut der Korrespondenz des Fürsten Poniatowski vom Architekten Valadier entworfen worden sein.
