Quello di Sermoneta è un classico insediamento di carattere medioevale. Il nucleo principale del castello è composto dal maschio (o mastio) che ospitava le stanze da letto del signore e che fungeva da ultimo rifugio di sicurezza in caso d'invasione nemica.
Costruito per volere della famiglia degli Annibaldi, agli inizi del Duecento, il maniero nacque più come fortezza militare, in un punto strategico del territorio tra Roma e Napoli, che come residenza nobiliare.
Territorio e castello vennero ceduti a Pietro Caetani, per la somma di 140 mila fiorini d'oro nel 1297.
La struttura del maschio era completamente indipendente dal resto del castello ed era collegata alle strutture adiacenti solo da due ponti levatoi in legno che potevano essere sollevati all'occorrenza. Il personale e la servitù si sarebbero rifugiati al suo interno qualora tutto il complesso fosse caduto in mani nemiche.
Nei pressi del maschio sorge la seconda torre, molto più piccola, detta maschietto. All'esterno delle due torri c'è la grande piazza d'armi. Alcuni edifici del castello vennero in parte demoliti dai Caetani, che realizzarono la sala dei Baroni (modificata dai Borgia nel XV secolo) e le sale dette Camere pinte.
Nel 1400 venne realizzata la Casa del Cardinale Valentino Borgia: questo edificio ospita la Madonna con il Bambino e i santi Pietro, Stefano e Giovannino. All'interno del Maschio, la torre principale del castello, è ancora perfettamente conservato il letto a baldacchino originale del signore. Sui muri di una delle sale del castello venivano ospitate le firme dei cittadini illustri in visita e su una di queste pareti è ancora perfettamente conservato un pentagramma, inciso, del musicista compositore Roffredo Caetani.
Leggenda vuole che nella fortezza aleggi ancora oggi lo spirito di un bambino, morto violentemente nel sotterraneo del castello, alcuni pensano che si tratti del principino ritratto in un quadro presente nella sala del Cardinale e di cui non si conosce l'identità.