O místě
Dnešní charakter paláce výrazně určila raně barokní přestavba z let 1676–1679 podle projektu Jeana Baptista Matheye. Hlavní budova získala nové vnitřní uspořádání, vjezdový portál, vestibul i schodiště a byla zvýšena o třetí patro. V 18. století následovaly úpravy budovy konzistoře a především rozsáhlá přestavba pod vedením Jana Josefa Wircha. Ta změnila hlavní průčelí, upravila křídla a přinesla také monumentální galerii v prvním nádvoří. Závěr stavebního vývoje završila patrová budova nad Jelením příkopem a v 90. letech 18. století zřízená zahrada.