Il borgo è dominato dal fortilizio caratterizzato da un’alta e robusta torre a difesa di eventuali aggressioni esisteva già nell’XI secolo, nel secolo XIII venne ceduto da Ancona alla famiglia Ferretti, di nobile origine alsaziana. Poco dopo la metà del Trecento Francesco Ferretti, uno dei personaggi più illustri della famiglia, capitano e uomo politico, ottenne dal papa Urbano IV la facoltà di ampliare e ammodernare il fortilizio: fece costruire la vasta mole del nuovo castello in forma quadrata con profonde mura a controscarpa e un ampio fossato da riempirsi in caso di necessità. Negli altri angoli furono elevati tre torrioni. Nel 1396 il papa Bonifacio IX, in riconoscimento di quanto aveva fatto, concesse a Francesco Ferretti l’investitura, con il titolo di conte, del castello, che in seguito muterà la denominazione di Castelfrancesco in Castelferretto dei Ferretti. Nel Seicento le strutture del castello subirono profonde modifiche per cui questo perdette alquanto le sue caratteristiche di fortezza militare con la sopraelevazione di alcuni muri perimetrali all’altezza delle torri dalla parte di nord-ovest e con la soppressione delle merlature e la costruzione di alcune case e casette all’interno, dove nel 1629 fu ricostruita la chiesetta parrocchiale – dal XIX secolo ricostruita extra moenia.
