O conjunto arquitectónico começou a ser construído em inícios do século XVII, sob a égide do Bispo da Guarda D.Nuno de Noronha. Inserido no Estilo Chão, exibe fachadas de grande austeridade, despojadas de quaisquer elementos decorativos, à excepção da cornija, onde se inserem típicas gárgulas de canhão. Trata-se de um amplo conjunto arquitectónico, de planta em U, no centro do qual foi construída a Capela do Paço Episcopal ladeada a sul pelo corpo do antigo Seminário onde se encontra instalado o Museu da Guarda, e a norte o antigo Paço Episcopal, actual Paço da Cultura.