Istituita nel 1494 con finalità religiose, legate alla costruzione e al funzionamento del Santuario, è uno degli edifici più antichi fuori della cinta del castello. Dal 1531 assunse però anche finalità assistenziali, legate alla gestione dello “spedale” dei poveri. Nella storia di Castel Rigone, la Confraternita è stata infatti molto importante anche in campo sociale nel provvedere ai diritti e ai bisogni dei cittadini più poveri, quando ancora non esistevano gli enti pubblici preposti. Dal 1491 al 1870 circa, istituì una scuola gratuita aperta a tutti stipendiando un maestro, assunse uno “spedaliero”, cioè una persona dedicata ad assistere i poveri e gli ammalati, si impegnò a distribuire regolarmente vino, farina, pane e cereali, a dare una dote alle nubili nullatenenti ma “meritevoli per l’onestà dei costumi”, a costruire un asilo d’infanzia e una Schola Cantorum.