Fu fondato nella metà del sec. VI da esuli di Osimo, derivando il nome dal conte Giscardo (Castel Giscardo) quindi Castel Ficardo.

Fin dal sec. XII fu Libero Comune.

Nel 1240 il Castello fu distrutto da re Enzo.

Nel 1281 fu possesso della chiesa ed il papa Gregorio IX lo ricostruì.

Nel periodo dell’esilio dei Papi ad Avignone si rese indipendente ma, nel 1354, fu riconquistata alla Chiesa dal cardinale d’Albornoz.

Quindi fu possesso dei Malatesta, di Francesco Sforza e nuovamente della Chiesa.

Nel 1860 vi si svolse la Battaglia di Castelfidardo tra Piemontesi e Pontifici.

Oggi la città è il maggiore centro di produzione di fisarmoniche, pianole ed organi elettronici, dove il Museo Internazionale della Fisarmonica ha sede nel Palazzo Comunale, che si presenta con Torre merlata e restaurazione del 1780, all’interno anche il Salone degli Stemmi.

La collegiata di Santo Stefano conserva pregevoli opere d’arte.

Nel Palazzo Mordini ha sede il Museo del Risorgimento.

Il Convento degli Agostiniani è del sec. XVI-XVII con la tela “Madonna dei Lumi”.