Exemplo de vila amuralhada que serviu, no final da Idade Média, de couto de homiziados. O traçado da cerca rodeando a vila é facilmente reconstituível pelos pequenos troços que subsistem.

A importância de Sabugal estava ligada, na época medieval, à travessia do rio Côa por uma ponte de pedra. Junto dela, estava um altar com dois santinhos velhos de madeira, entidades sacralizadoras dos caminhos que conduziam à vila.

O Castelo de forma quadrangular irregular tem adossado à fachada oriental, voltada para a vila, a imponente torre de menagem pentagonal. Matacães protegem a  entrada da torre eas  suas faces, e por baixo deles abrem-se seteiras.

O recinto amuralhado tem ainda três torres menores nos seus ângulos, e uma quarta interrompendo a face sul da cerca.

Dois pequenos cubelos circulares, com as bases reforçadas, e orificios de artilharia, protegiam a face poente da muralha.

Uma parte importante da estrtura actual data já da reforma manuelina, de adaptação do castelo de D.Dinis aos novos meios de guerra do séc. XVI.