Il castello inizialmente di proprietà della famiglia Paganelli, fu prima vassallo dei Brunforte di Roccacolonnalta. Già dal XIII secolo divenne di proprietà dei Varano, che lo utilizzarono, insieme alla Rocca di Col di Pietra, come primo baluardo difensivo. Per rafforzare questa funzione, Rodolfo II di Varano fece aggiungere una rocca.
Il castello era dotato di tre cinte murarie: la più esterna, aggiunta successivamente, è visibile solo in parte, con una torre rimasta in piedi. All’interno di queste mura vivevano i castellani e la servitù. La seconda cinta muraria, eretta per proteggere i soldati e chi si occupava della difesa, è ancora parzialmente visibile. La terza, la più interna, serviva a difendere i vassalli e i signori di turno, e ospitava anche una cisterna idrica che garantiva un’importante riserva d’acqua per tutta la comunità.
Le torri, di base circolare e quadrata, sono testimonianza delle numerose modifiche e ricostruzioni subite nel corso dei secoli.
Restano solo alcuni ruderi, facilmente accessibili al pubblico.