El topònim de Talarn té un origen celta, relacionat amb la fortificació que aquell poble va aixecar al segle VI a.C. amb el nom de Talarno. Posteriorment, la vila va créixer a recer del castell, dalt d’un turó.
L’indret és mencionat oficialment per primer cop el 1060, en el document de cessió del territori de Tremp, aleshores pertanyent al castell de Talarn, per part del comte de Pallars a la mitra d’Urgell per a la construcció de la col·legiata de Santa Maria.
Talarn va ser una de les poblacions més importants de la comarca durant l’edat mitjana. El rei li va atorgar dret a celebrar fira i mercat el 1370, i el 1453 es convertí en la capital de la sotsvegueria del Pallars.
Durant els segles XVII i XVIII, la noblesa pren Talarn com a vila de residència habitual, cosa que queda reflectida en l’arquitectura.