Nákladné úpravy a veselý život vedly k zadlužení panství, které roku 1855 koupil bavorský kníže Maxmilián Karel Thurn-Taxis. On, ani jeho potomci na zámku ale nepobývali, přestože jim patřil až do roku 1945. V roce 1949 byl zámek jako jeden z prvních zpřístupněn veřejnosti v rámci prvního ročníku operního festivalu Smetanova Litomyšl, pro který vznikl v anglickém parku dnes postupně odstraňovaný amfiteátr; velký podíl na tom měl litomyšlský rodák Zdeněk Nejedlý.

V 70. a 80. letech 20. století se restaurovala sgrafita na fasádách (od konce 18. století zakrytá novou omítkou a odkrývaná po částech od třicátých let). Dnes jsou zámecké prostory z velké části přístupné, dva prohlídkové okruhy nabízejí návštěvníkům pohled na reprezentační místnosti Valdštejnů a Trauttmansdorfů a na hostinské pokoje. Expozice zámeckých interiérů doplňuje výstava historických klavírů. část sbírek Městské obrazárny a sklepní galerie se sochami Olbrama Zoubka.