Nel corso dei secoli, il borgo ha perso la sua struttura originaria; l’attuale configurazione risale probabilmente ai primi dell’Ottocento. Nel X secolo, tutto il territorio comunale apparteneva ancora all’Abbazia benedettina di Casauria, che aveva nella zona 22 curtes, una delle quali era chiamata Petra. Qui probabilmente sorgeva un’antica chiesa dedicata a San Giovanni super Flussorium, ricordata nel 995, forse situata poco più in basso. Tra il X e l’XI secolo, i benedettini lasciarono spazio alla piccola e grande nobiltà feudale locale, e probabilmente sull’antica curtes di Petra sorse una fortificazione.

Dopo il 1000, la rocca divenne una fortezza di proprietà di Fildesmido di Mogliano, che nel 1244 la cedette al nipote Rinaldo di Brunforte. Dal 1250 passò sotto il controllo dei Varano, che la usarono come baluardo difensivo contro il territorio dei Brunforte di Sarnano. Il 7 luglio 1285, Buonrinaldo di Jacopo, sindaco di Camerino, promise di pagare 46 libbre di ravennati e anconitani a Rainalduccio di Bonconte per la custodia del castello di Col di Pietra. I Camerinesi acquisirono la rocca per meglio controllare San Ginesio, Sarnano, Amandola e Fermo lungo le valli del Fiastra e del Fiastrone, nonché Pian di Pieca, che nel Medioevo era un importante incrocio viario.

Il castello aveva mura e un borgo, sebbene la sua localizzazione non fosse ben precisa, come emerge da alcuni atti del XV secolo. Nel ‘500, la rocca doveva già essere in stato di abbandono e oggi sono visibili solo ruderi. Nel XIX secolo, la chiesa pericolante annessa alla rocca fu demolita e ricostruita nel borgo sottostante.

Poco più in basso della rocca si trova il “Borgo di Col di Pietra”, con la chiesa dedicata a San Giovanni (Sancti lohannis super Flussorium, cioè sopra il Fiastrone), già citata in documenti del 995.