
As obras continuaram sob a direcção do seu segundo filho, Simão (1805-1881). Por volta de 1901, o palácio foi vendido a Pedro Maria da Fonseca Araújo, Presidente da Associação Comercial do Porto, que realizou as maiores obras de restauração.
Em 1937, foi novamente vendido a Francisco de Oliveira Pais, de Lisboa. Nos anos 60, devido a falência de Oliveira Pais, o Palácio da Brejoeira foi adquirido pelo companheiro de sua filha, Feliciano dos Anjos Pereira, o qual, além de plantar mais vinha na propriedade, construiu uma adega moderna e, em 1977, lançou para o mercado com grande sucesso uma marca própria, o vinho Alvarinho "Palácio da Brejoeira". Actualmente, é propriedade de D. Maria Hermínia Silva d'Oliveira Paes, em partes iguais com os herdeiros de seu marido Feliciano.
Não se conhecem provas evidentes de identificação do arquitecto, mas o palácio tem sido atribuído a Carlos Amarante, nessa altura um dos mais importantes arquitectos no norte de Portugal. Em estilo neo-clássico, apresenta quatro fachadas limitadas por quatro torreões, e no seu interior encontram-se faustosos salões com valiosas pinturas e frescos e distinta decoração, bem como uma capela e um teatro.
Por ser uma residência privada, é proibida a entrada de visitantes ao palácio.