Beim Kloster lagen, wie der seit alters erhaltene Name verrät, wohl die Wohngebäude der Tempelritter, die sich Mitte des 13. Jahrhunderts am Circeo niederließen. Die Eingriffe der Neuzeit erlauben es jedoch nur teilweise, das ursprüngliche Aussehen zu rekonstruieren, auch wenn ein Plan des Landes San Felice aus den ersten Jahren des 19. Jahrhunderts bei dieser schwierigen Aufgabe hilft.
Dieser Plan zeigt, wie der befestigte locum von San Felice im Mittelalter ausgesehen haben muss. Der befestigte Bereich, beherrscht vom Templerturm, war deutlich von der eigentlichen Siedlung getrennt, in der die Wohnhäuser der Bevölkerung sowie kleine Felder und Weinberge lagen.
Das heute so genannte Kloster war eine Art Arkadengalerie und diente als repräsentative Fassade, die den Zugang zu den Gebäuden der Ritter monumental gestaltete. Dieser rechteckige, zweigeschossige Bau stand rechtwinklig zur Ostseite der Kirche.
Die Kirche des Klosters stand nämlich nicht an der Stelle der heutigen Pfarrkirche San Felice, sondern zwischen der Templerkapelle, heute Sitz der Pro Loco, und dem Tor, durch das man heute vom Piazzale San Francesco auf den Rathausplatz gelangt. Von dieser Kirche ist der Sturz des Eingangsportals noch an seinem ursprünglichen Platz erhalten.
Die Gebäude, in denen die Mönche wohnten, zusammen mit der Klosterkirche, dem Turm und dem Repräsentationssaal, waren vom übrigen befestigten locum getrennt und durch den Bogen zugänglich, der von der Piazza Vittorio Veneto zur Piazzetta del Convento führt, da die beiden Tore, durch die man heute den Rathausplatz betritt, im Mittelalter nicht existierten.