Az egykori Illésházy-kastély a város közepén áll. A négyszárnyú, emeletes, tornyos, egyszerű barokk épület 60 szobával és kápolnával is rendelkezett.
Az kastély építési munkálatait a 17. század 40-es éveiben Illésházai gróf Illésházy Gáspár (1593 –1648) kezdte el. Halála után fia, Illésházy Gábor (1618–1667), majd Illésházy György (1625–1689) örökölte a birtokot, aki az épület nyugati szárnyát fejezte be, ahol kápolnát is berendezett. Az épület mai formáját Illésházy György fogadott fia, Illésházy Miklós (1653 –1723) tulajdonlása alatt kapta.
Miután Illésházy (XI.) István (1762–1838) halálával az Illésházy család kihalt, birtokai különböző nemesi családokra – a Batthyányakra, az Esterházyakra és a Sina bankárcsaládra – szálltak. A máriatölgyesi kastély a Sina családé lett. Illésházy István nagy értékű kézirat- és könyvgyűjteménye a Magyar Nemzeti Múzeum birtokába került. A gyűjtemény részét képezte a Dubnici krónika is, melyet a magyarok történelméről íródott Nagyváradon 1479-ben.
Az épület felújított, utcára néző szárnyaban a Városi Múzeum, illetve turisztikai információs központ működik. A kastélyhoz kiterjedt angolpark is tartozik.