Les primeres referències històriques sobre Castellfollit de la Roca corresponen al primitiu castell, cap a finals del segle XI. El lloc pertanyia al vescomtat de Bas, jurisdicció feudal dins del comtat de Besalú.
El 1380, la comtessa Sibil·la va vendre Castellfollit a la Corona, tot i que fins a mitjan segle XIV no es va integrar definitivament a la jurisdicció reial. Cap a la fi d’aquell mateix segle, la població va ser centre de la baronia de Castellfollit de la Roca, que incloïa també els termes de Castellar de la Muntanya, Montagut de Fluvià, Sant Joan les Fonts i Begudà.
Els Santapau, també barons de Mosset, van ser els senyors d’aquesta baronia. Sota el seu domini, la vila va patir el calamitós terratrèmol de 1428, en què va quedar pràcticament destruïda.
Posteriorment i per matrimoni, el 1460 va passar als Cruïlles de Santapau, que a finals del segle XVI van rebre també la baronia de Llagostera i el títol de comtes de Montagut. El castell va ser ocupat durant la revolta dels remences, entre 1462 i 1485.
Cap a la fi de la Guerra dels Segadors, el 1657, les tropes franceses van patir una severa derrota al castell, que va ser derruït pels francesos cap a finals d’aquell mateix segle, durant la Guerra dels Nou Anys. La Guerra de Successió (1700-1714) també va registrar combats prop de la vila.
Des del 1701, les successions hereditàries van situar la baronia sota el domini successiu de les famílies Negrell, Margarit, Bou i Croix. Ja al segle XIX, la Guerra del Francès va tenir d'escenari al terme (1809-1810), així com la tercera guerra carlina (1874), que va veure com els carlins del general Savalls van derrotar els republicans del general Nouvilas.