Esterházy Miklós már 1617-ben, amikor Zselízt Pál fivérének adományozta, fontolgatta, hogy kastélyt épít itt. A török invázió és a rossz anyagi helyzet miatt az építkezést elhalasztották 1720-ig. Rezidenciaként először 1789-ben említik, „domusresidentionalisként”, azaz kúriaként. Az egyszintes, terjedelmes barokk építményt, a 18. század végén klasszicista stílusban átépítették és bővítették. Az eredeti barokk terv alapján egy négyszárnyas lakóépület jött létre, a belső udvart árkád veszi körül.
Az előcsarnokból egy átfogó folyosó nyílik, amely a reprezentációs helyiségekhez vezet, ahol szalon, étkező és könyvtár volt. A központi teremből a park felé francia ajtók nyíltak, amellyel lépcsők kötik össze. A főbejárat Lajos-stílusú ajtaja a 18. század végéből származott.
Az 1804-ben kastélynak minősített épület igazán kastéllyá tulajdonképpen a 19. század első felében eszközölt bővítéseknek köszönhetően nőtte ki magát. Ekkor nyerte el ma is látható alakját. Végleges felépítése a következő lett: négy szárnyrésszel rendelkezik, középen belső udvarházzal. Fő homlokzata kilenc tengelyű, középen három tengelyű rizalittal (kiugró homlokrész), melyben a főbejárati oszlopcsarnok található.
A kastélyt körülvevő meseszép angolparkban patak, ritka és értékes fák, platánok, mocsári ciprusfa és több többszáz éves tölgyfa is található. Esterházy János Károly a kastély mellett három tölgyfát ültetett Mária, Karolina és Albert gyermeke születésekor. A fák mára jócskán megnőttek. A nyári tölgy, a maga 20 méteres magasságával és 570 centiméteres törzskerületével az ország legnagyobb és legértékesebb fái közé tartozik.
Az akkori tulajdonos, Esterházy János Károly (1775-1834) feleségével, Festetics Rózával (1779-1854) együtt nyári lakként használta. Mindketten nagy rajongói és támogatói voltak a kultúrának. Jelentősen hozzájárultak a Garam menti település gazdasági és kulturális fellendüléséhez. Támogatták a Magyar Nemzeti Múzeum megalapítását, az ipolysági vármegyeháza építését és részt vállaltak a Magyar Tudományos Akadémia alapításában is. Esterházy János Károly 1818-ban Franz Schubert zeneszerzőt kérte fel lányaik, Mária és Karolina oktatására. A híres zeneszerző több hónapon át élt a kastélyban. A további híres személyiségek között szerepel Franz Sacher, aki az írásos emlékek alapján szintén az Eszterházy család szolgálatában állt 1842 – 1843 között.
János Károly gróf 1834-ben halt meg Zselízen. A zselízi nagybirtok 1854-ben Breuner Enkerwoerth Ágost gróf kezére került, aki Karolinát vette feleségül.
A kastély utolsó nemesi származású tulajdonosa az ő unokája Breuner-Coudenhove Ernesztina grófnő volt. Édesanyja felől a Széchenyi családból származott. Ernesztina grófnő 1945-ig lakta a kastélyt, az uradalmat viszont férje Kunó 1915-ös halála után, unokaöccse Karl von Auersperg herceg és családja irányította. Majd a front közeledtével előrelátóan Ernesztina Ausztriába, az amerikai zónába távozott, ahol nem sokkal később, 84 évesen hunyt el, Salzburgban, unokaöccse családja pedig még 1944-ben Svájcba mentek.
Az uradalom aranykészletét még sikerült kimenekíteniük az érkező orosz katonák elől, ám az ezüstkészletre már nem maradt idő és a lépcsőfeljáró alatti padló alá rejtették. Erre a ’60-as években bukkantak rá, de az elmondások szerint egy Nyitráról kirendelt hivatalnok leltározta, majd vitte el azt, sorsáról nem tudni.
A háború – még a három hónapnyi front sem – tett szinte kárt az kastélyban, ellentétben a később bevonuló szovjetekkel, akik rövid itt-tartózkodásuk alatt szétverték az ajtókat, kidobálták és meggyújtották az olajfestményeket.
Az orosz katonák a kastélyban talált könyvekben a burzsoá világ jelképeit látták, ebből kifolyólag hatalmas kárt okoztak a könyvtárban felhalmozott kötetek felgyújtásával.
A második világháború után az épület az állam kezébe került, majd a bíróság, a járási hivatalnokok munkahelyeként használták. A ’60-as évektől bő húsz esztendeig a legfiatalabb zselízieknek adott otthont, itt működtek az ifjúsági klubok és az óvoda. Az épület szerkezetének leépülése az óvoda kiköltözésével vette kezdetét. A rendszerváltás óta az épület gyakorlatilag üresen áll. Bár a ’90-es években a kastély új tetőt kapott, homlokzatát pedig felújították, falai az enyészeté lettek.
A jelenlegi városvezetés kozmetikai javításokkal igyekszik javítani az objektum helyzetén, pár új nyílászárót helyeztek be és ideiglenes megoldású elemekkel tették bizonyos részeit használhatóvá. Az utóbbi években a kastély újra otthont adott több kulturális rendezvénynek. Az évente megrendezendő Országos Népművészeti Fesztiválon a kastély egy központi helyszín, kiállítások, koncertek, színházi előadások, konferenciák szoktak lenni ilyenkor.