Nos primórdios da nacionalidade foi fundado nos arredores da então vila de Chaves, o convento de S. João da Veiga pertencente à Ordem dos Templários, que depois se viriam a consagrar à Ordem da Soledade de São Francisco.

Em 1629, o Capítulo Provincial da Ordem da Soledade de São Francisco, celebrado em Vila Viçosa, presidido pelo padre Frei Bernardino da Serra, determina procurar em Chaves local para novo convento, o local escolhido foi uma colina fronteira à vila denominado Alto da Pedisqueira. Assim em 1635, é lançada a primeira pedra para a construção do convento, dedicado a Nossa Senhora do Rosário. Para a sua construção muito contribuiu o préstimo do seu patrono, o 8º duque de Bragança, D. João IV de Portugal. Por razões militares, e sensivelmente na mesma data, foi construído o forte de N.ª S.ª do Rosário, obra constituída por baluartes e ponte levadiça, que em toda a Guerra da Restauração constituiria excelente defesa da praça da vila de Chaves.

Foi também o cenário da vitória do General Silveira contra os franceses do exército de Soult em 1809.

Entre 1994 e 1997 este Forte foi adaptado a Pousada segundo o projecto dos arquitectos  Eduardo Coimbra Brito e Pedro Jalles Ferreira