A quinta do Mata-Sete que pertencera à sua mãe Maria Emília Magalhães, tinha um jardim romantico, uma capela de 1882 e uma casa de 1918. 

A história da Casa de Serralves iniciou-se no início dos anos 20 do século XX depois de Carlos Alberto Cabral (1895-1968), 2º Conde de Vizela, ter herdado a quinta de veraneio da sua família. Homem culto e viajado, tinha uma atracção pela modernidade e pela vivência cosmopolita. 

Em 1927 contrata o arquitecto que já tinha trabalhado com sua família , Marques da Silva, e pede o aumento da casa existente na Quinta, localizada onde se encontra hoje a actual. Esse crescimento da casa foi se dando no sentido poente, e sul, já que aqui existia uma capela, que ficava a nascente da casa existente. Essa capela ficou "emparedada" e disfarçada com um acabamento exterior idêntico ao da casa. Para quem não sabe disso, não nota que aqui existe uma capela.