Esterházy József szép terveit Galánta családi jelentőségének visszaadására és az utódlásra a mostoha sors keresztülhúzta: leányai, Mária (1827–1833) és Gizella (1837–1852) még gyermekként járványos betegségeknek estek áldozatul, Géza (1834–1870) fia pedig fiatalon, alig 36 évesen utód nélkül költözött el az árnyékvilágból. József gróf 1879. január 1-én hunyt el, s felesége, Barthodeiszky Róza (1795–1879) ugyanebben az évben, december 4-én követte őt. (Maradványaik az ugyancsak József építtette temetői kápolnában nyugszanak.) A gróf halálával a kastély az Esterházyak cseszneki főágának ifjabb, sárosi ágára szállt, de rezideális szerepét elvesztette és tartósan nem is lakták. Az első világháború után az akkori tulajdonos Esterházy László Pál (1857–1942) előbb a birtokot, aztán a kastélyt is eladta a csehszlovák államnak.