Paço mandado construir pelo fundador da Casa de Bragança, um dos homens mais ricos de Portugal, mais culto e mais viajado,o D.Afonso (1377-1461) conde de Barcelos, pouco depois de se tornar senhor da vila de Guimarães. Foi concluído pelo seu filho, o duque D.Fernando I. Trata-se de uma reconstrução do século XX pelo Arqº Rogério de Azevedo, que modificou completamente o Palácio original. A disposição da entrada principal com a capela, em eixo, estabelece um padrão que estava a ser usado no Paço dos Reis de Maiorca em Perpignan (1262-1330). Ao que parece, o Paço original do século XV seria mais modesto do que o que vemos actualmente. Seu autor é desconhecido, podendo ter sido construido parcialmente por um mestre de origem francesa Anton, com residência em Guimarães. O Duque D.Afonso nascido em 1377 no castelo de Veiros no Alentejo, filho bastardo de D.João I, casou em 1401 com D.Beatriz Pereira, única filha do Santo Contestável, D.Nuno Álvares Pereira. O Paço dos Duques terá sido construído depois da morte de D.Beatriz em Chaves 1414. D.Afonso casou com D.Constança de Noronha, neta de Henrique II de Castela.