Na místě, kde stával letohrádek Karlov, v jehož sále poprvé koncertoval maličký Bedřich Smetana, byl v letech 1903-1905 vystavěn Smetanův dům. Mistrovské dílo novorenesanční architektury s již secesními prvky podle plánů J. Šuly, V. Šulce a J. Velfíka postavil J. Kreml, vnější plastickou výzdobu provedli A. Popp a O. Walter. Honosnému vnějšku odpovídá bohatá vnitřní výzdoba. Velký a malý sál i další prostory vyzdobili Rudolf Hamršmíd a A. Kulhánek, oponu namaloval František Urban. Smetanův dům byl slavnostně otevřen 11. června 1905 ochotnickým představením opery Dalibor za účasti významných osobností, mimo jiné ředitele Národního divadla F. A. Šubrta nebo spisovatele Aloise Jiráska.
Od té doby plní Smetanův dům funkci kulturního centra, konají se zde koncerty, divadelní představení, plesy i společenská setkání, je také základnou pro mnohé litomyšlské spolky, sbory a ochotnické soubory. Velký sál bývá využíván i pro pořady festivalu Smetanova Litomyšl, zejména pro komorní koncerty, ale i pro divadelní představení s hudební tematikou, která jsou častou součástí festivalové dramaturgie.
Kapacita sálu i s balkony je 487 míst na sezení + prostor pro umístění dvou invalidních vozíků. Hlediště v postupně zvýšených řadách je rozděleno na tři sektory podle vzdálenosti od jeviště, na všech místech však je dobrá viditelnost i slyšitelnost.
