Presso il convento, come si evince dal nome che conserva fin da epoca antica, dovevano collocarsi gli edifici abitativi dei Cavalieri Templari, stanziatisi nella metà del XIII secolo al Circeo. Tuttavia gli interventi subiti dal sito in epoca moderna ci permettono di ricostruire solo in parte il suo aspetto originario, anche se, in questo difficile compito, viene in aiuto una pianta della Terra di San Felice risalente ai primi anni dell’800.
Da questa pianta è possibile scorgere come doveva presentarsi nel Medioevo il locum fortificato di San Felice. La zona fortificata, dominata dalla Torre dei Templari, era nettamente separata dall’abitato vero e proprio, nel quale si dislocavano le case d’abitazione della popolazione locale e piccoli appezzamenti di terra e vigne.
Quello che attualmente è denominato Convento era una sorta di galleria porticata ed aveva la funzione di facciata di rappresentanza per monumentalizzare l’ingresso verso gli edifici abitati dai Cavalieri. Questo corpo, di forma rettangolare e a due livelli, si allineava perpendicolarmente al fianco orientale dell’edificio di culto.
La chiesa che serviva il convento, infatti, non sorgeva presso l’attuale parrocchia di San Felice, ma si innalzava tra la Cappella dei Templari, oggi sede della Proloco, e la porta dalla quale attualmente si entra nella piazza del Comune da Piazzale San Francesco. Di questa chiesa si conserva l’architrave del portale d’ingresso ancora collocato nella sua posizione originaria.
Gli edifici nei quali i monaci alloggiavano, ai quali si aggiungevano la chiesa conventuale, la Torre e la Sala di rappresentanza, erano separati dal resto del locum fortificato e vi si accedeva dall’arco che da piazza V. Veneto conduce alla Piazzetta del Convento, non esistendo in epoca medievale le due porte dalle quali attualmente si entra nella piazza del Comune.