Estamos sobre a Cidadela ou Vila, um recinto amuralhado que já fez parte de uma muralha mais vasta, é o núcleo urbano mais antigo de Bragança. É provável que , em povoado tão proximo da fronteira, se tenha construído uma linha defensiva, neste local, ainda no reinado de D.Sancho I, quando do seu primeiro foral de 1187.A sua muralha estaria pronta em 1377 no reinado de D.Fernando. O castelo foi mandado construir por D.Dinis nos finais do século XIII