La muntanya de Castellet juntament amb les restes del castell i el santuari formen un conjunt patrimonial de primer ordre al municipi. El toponim Castellet, identificat per primera vegada en una butlla papal del 1001 dona nom al municipi i al terme. El castell amb el terme va neixer probablement a finals del segle IX per consolidar la linia defensiva fronterera amb el mon musulma, del Llobregat-Cardener, i la seva repoblacio. El castell tenia uns senyors jurisdiccionals i uns vassalls, els santvicentins, que fins a la meitat del segle XIX en pagaven els delmes, censos i en feien juraments de fidelitat. La decadencia del castell, a partir del segle XV, va fer que s'acabes abandonant i un nou edifici en fes aquesta funcio administrativa al territori, la Casa del Castell o Castell Nou, que fins al 1938/1948 encara es mantenia dempeus. El llibre tambe documenta les diferents nissagues de senyors jurisdiccionals. L'ultim senyor, el baro Maria d'Alegre, d'Aparici i d'Amat, mori el 1831. Amb la decadencia del castell, el santuari va anar prenent rellevana. Es passa d'una petita capella romanica al redos del castell, ja documentada a la meitat del segle XII, a un edifici ampliat totalment el 1884. Se'n documenten romeus ja al segle XIV. Desdel segle XVII es tenen documentats els ermitants, que vivivien al a la Casa de l'Ermita, guardaven la capella, i acaptaven a Manresa i comarca.