Esterházy János Károly (1777–1834) és hitvese, Festetich Rozina nagy rajongója és támogatója volt a kultúrának. Jelentősen hozzájárultak a Garam menti település gazdasági és kulturális fellendüléséhez. De támogatták a Magyar Nemzeti Múzeum megalapítását, az ipolysági vármegyeháza építését, és részt vállaltak a Magyar Tudományos Akadémia alapításában is. Zselízen is lényegében az összes értéket képviselő objektum hozzájuk köthető. 19. századi épületeket, szobrokat, szakrális kisemlékeket hagytak a városkára. Lányaik számára zenetanárnak Zselízre hívták azt a Franz Schubertet (1797–1828) , aki már ekkor nagy tehetségként volt számon tartva Bécsben. Schubert első, 1818-as zselízi tartózkodása alkalmával júliustól novemberig időzött itt. Ám Bécsbe való visszatérése után is kapcsolatban maradt a családdal. Hat évvel később 1824 májusában ismét visszatért Zselízre, ekkor decemberig tartózkodott itt. Források szerint a zselízi lét hatással volt rá, és több jelentős zeneművét is itt alkotta meg. Számos négykezest írt, a Divertissement à l’ hongroise-t, az A-moll szonátát, a C-dúr szimfóniát, és itt komponálta egyik legszebb művét, a Litániát is. Ugyan kevés emberrel tudott beszélgetni, hiszen az itt lakók többsége csak magyarul tudott, de azért jól érezte magát a faluban, barátainak a következőket írta levelében: „Én valóban kitűnően érzem magamat. Akárcsak egy isten, úgy élek itt, s komponálok, mintha ennek így kellene lennie.” Esténként a zeneteremben gyűltek össze a háziak és vendégeik, az összejövetel vacsoráját a házi zenekar muzsikája tette felejthetetlenné. Persze a csapongó szerelmi életéről is ismert Schubert itt is talált magának múzsát. Korabeli pletykák szerint Jozefa Pöckelhofernek, a kis Pepinek, az Eszterházy család komornájának szívét sebezte meg a mester, akivel állítólag viszonya is volt 1818-ban, ugyanis egymás melletti szobában laktak a kastélyban, így gyakran találkozgattak. 1824-ben ismét ellátogatott ide a nagybeteg zeneszerző, a nyarat ismét Zselízen töltötte. A második zselízi tartózkodására azonban már betegsége, rosszkedve és magánya nyomta rá a bélyeget, noha azért ismét feltöltődött, s több művet is írt itt. Még Pepivel is felújította kapcsolatát, ám, hogy a pletykáknak elejét vegyék, átköltöztették Schubertet a kastélyhoz közeli, úgynevezett Baglyos Házba. Az Baglyos ház a mai napig létezik. Napjainkban városi múzeumként és Schubert-emlékszobaként működik. A múzeum előtt áll Franz Schubert mellszobra. Korábban, 1968-ban a parkban már állítottak szobrot a zeneszerzőnek, de azt valószínűleg színesfém tolvajok ellopták 1997-ben. A szobor alkotója Bártfay Tibor volt. A Baglyos ház előtt álló új szobrot Mészáros Péter készítette 2000-ben.