Apesar de existirem vestígios datáveis da Pré e da Proto-história encontrados no Castelo de Castelo Branco, foi durante a Idade Média que se terá fundado a fortaleza templária.

Essa edificação terá ocorrido entre 1214 e 1230 e fechava um cerco de muralhas e torres. Admite-se que os seus limites tivessem sido mandados alargar por D. Dinis, mas, ao certo, sabe-se apenas que foi D. Afonso IV (1343) que mandou construir a segunda cintura de muralhas.

No recinto desta fortaleza, a designada alcáçova, situava-se a Igreja de Santa Maria do Castelo e o Palácio dos Alcaides.

Através das gravuras do Livro das Fortalezas, de Duarte d'Armas, podemos analisar Castelo Branco do séc. XVI como povoação-fortaleza, com ruas estreitas, apresentando edifícios com ornamentos de arquitetura manuelina.

Esta fortificação integrava um sistema defensivo mais amplo, erigido ao longo do vale do Rio Tejo.