Dunaszerdahely második legrégibb épületét Padányi Biró Márton veszprémi püspök építtette unokatestvére, Padányi Biró István számára.
A veszprémi püspök megbízásából 1753/54-re épült fel Pókatelkén. 1805-ig a kastély Biró udvarházként ismert. Tőlük Kondé József Benedek szerezte meg a Kondé család számára, aki a 19. század legelején saját ízlésük szerint átalakította (ekkor került fel az épület oromzatára a Kondé címer, fölé a hatalmas kőpulyka szobrával).
Leírása szerint „az épület kétszintes, falpillérekkel tagolt, háromtengelyes középrizalitja barokk vonalú oromzattal zárt. A félköríves portálon kívül a homlokzatot még egyenes záródású ablakok, falsávkeretek, egyenes és íves szemöldökpárkányok, valamint osztó és zárópárkány tagolják.”
Innentől számítva mintegy hatvan évig már Kondé kastélyként ismert a Sárga kastély. 1858-ra a Kondé család túlad a pókatelki birtokon: Wahlberg Miklós bécsi egyetemi tanár vette meg a kastélyt, aki haszonbérbe adta. Wahlbergtől lánya, Habermann Nándorné örökölte a híres épületet, aki 1910. szeptember 12-én a kastélyt a galgóci illetőségű Dukesz és Herzog cégnek adta el, akik gazdasági célokra vásárolták meg.
A Sárga kastély 1938-tól már a magyar katonai közigazgatás székhelye 1944-ig, majd német, 1945-ben pedig az orosz katonai megszállást élt meg, később pedig a csehszlovák katonai hatóság birtokolta az épületet (szálláshelyként is használták).
1947-től állami birtok, amelyet különböző intézmények használtak, maga a kastély aztán 1953-tól a földintézeté (geodézia) lett, de több kisebb hivatal irodája is, egészen 1972-ig, amikor a Csallóközi Múzeum tette át székhelyét oda az egykori Fő utcai Bacsák-féle Fehér kastélyból. Első igazgatója Marczell Béla volt. 1977-ben felújították a főépületet, amelyben a mai napig a múzeum állandó kiállítási termei találhatóak.