Lo scopo fu quello di raccogliere e conservare opere, suppellettili e attrezzi a testimonianza della cultura e delle tradizioni di Olivone e, in generale, dell'Alta Valle nel secoli passati.
La scelta cadde su questo edificio secentesco, un tempo Casa del Priore, collocato in una delle posizioni più significative del paese: sullo spiazzo su cui si affacciano la chiesa di San Martino con Il suo campanile romanico, il cimitero, la casa parrocchiale e la prima scuola femminile di Olivone, che oggi ospita la biblioteca appartenuta allo statista Vincenzo Dalberti (1763-1849).
La costruzione - di tipo misto, in legno e muratura - è caratterizzata dalla presenza di una parte in pietra adibita a cucina, rivolta verso la montagna, e di una parte in legno a tronchi sovrapposti, comprendente il soggiorno, orientata a valle. Questo tipo di edificio. frequente nelle Alpi, viene da alcuni studiosi definito "casa del Gottardo”.
Nella sua versione definitiva la Ca’ da Rivöi risale al XVII secolo.
Sul comignolo, posto sulla cucina a nord, è incisa la data 1658. È probabile però che l’attuale costruzione sia il risultato di vari interventi operati in epoche non determinabili con sicurezza. L'ala a sud sembrerebbe più recente: una delle sue pareti, rivestita di intonaco di calce, ricoprì la precedente parete di legno intagliato.
La storia dell’edificio è legata alla richiesta fatta nel 1622 al Cardinale Federico Borromeo di istituire a Olivone un Beneficio Priorile, progetto che fu realizzato solo nel 1640. Da allora e fino ad epoca recente la casa servì da abitazione al Priore. Questi aveva il compito di insegnare al ragazzi, di celebrare la messa e di gestire gli antichi ospizi di Casaccia e di Camperio che ospitavano viandanti e pellegrini di passaggio sul Lucomagno.

(fonte: pannello esplicativo all'interno del museo