Historie obce je spjata s historií stejnojmenného zámku (dříve hradu). Podle archeologických nálezů lze jeho založení řadit do poloviny 13. století; první písemná zmínka
(Serowicz) o hradu pochází z roku
1358.
Zámek Žirovnice vznikl v Žirovnici z raně gotického hradu. Je chráněn jako kulturní památka České
republiky.
Založení původního hradu se datuje k polovině 13. století pravděpodobně pány z Hradce. Nejrozsáhlejší stavební úpravy zde proběhly po roce 1485, kdy hrad získal Václav Vencelík z Vrchovišť, který jej mimo jiné nechal vyzdobit rozsáhlými freskami mimořádné kvality, jejichž velká část se dochovala do současnosti.
Kolem roku 1550 se do Žirovnice vrátil rod pánů z Hradce a hrad přestavil na renesanční zámek.
Koncem 17. století třicetiletou válkou poškozený zámek získali Šternberkové a zůstali zde více než dvě století. Z počátku jejich působení byly v Žirovnici provedeny barokní rekonstrukce, ale protože další generace Šternberků již na zámku nežily, byl zámek v roce 1910 prodán městu již ve velmi špatném stavu. V té době se na zámku nacházely kanceláře správy panství a nájemní byty.
V roce 1964 zámek vyhořel. Od 70. do 90. let 20. století proběhly rozsáhlé rekonstrukce pro účely muzea.
V současné době mohou návštěvníci na zámku vidět unikátní soubor nástěnných gotických maleb a expozici „Květiny na šlechtickém sídle“.
Dále pak mohou navštívit výstavu vesnických tradic a řemesel v zámeckém špýcharu nebo expozici žirovnického knoflíkářství a perleťářství, pivovarnictví a šicích strojů v zámeckém pivovaru.