Újfalun (Dunaszerdahely egykori városrészében, amelyet Szerdahelytől csupán egy utca, a mai Fő utca választott el) állt a„késő klasszicista stílusú, kétszintes, kéttengelyes, timpanonnal zárt, négyzetes ablakokkal és lizénákkal tagolt, hangsúlyos középrizalittal ellátott épületet” – vagyis közismert nevén a Fehér kastély.
A nemesi kúriát az itt is birtokos Benefai Bacsák család egyik tagja, Bacsák Móric huszárkapitány építette az 1800-as évek elején.
A Fehér kastély egykori helyén korábban is a Bacsákok kúriája állt – ezt a régi udvarházukat már egy 1796-os térképen is megtaláljuk, balról a Kondék telkével, jobbra pedig megint csak a Bacsák telekkel szomszédosan, amelyen egy vendégfogadójuk is állt – az ismereteink szerinti egyik legrégibb szerdahelyi vendégfogadó.
Az új, Fehérnek nevezett kastély már emeletesnek épült, földszinti helyiségei boltívesek voltak, kertjének főutca felöli részét két kis körbástya (rondella) határolta, téglafallal kerítve. A hátrafelé húzódó, parkos udvar jobb felében a cselédség lakásai, bal felében pedig az istállók és a gazdasági épületek húzódtak. A város legszebb épületei között tartották számon, 1849-ben az átvonuló osztrák csapatok parancsnoka is ebben az épületben szállt meg. Vélhetőleg neve is új és szép, takaros voltáról ragadt rá, nem pedig színéről.
A 19. században a nemesi család elhagyja a városkát, s gazdát is cserél a kastély: az 1800-as évek végén már a Sárga kastélyt is birtokló Habermann család tulajdonában találjuk, akiktől 1910-ben Wosner Vilmos vette meg. A kastély előkertjének rondelláit 1920-ban bontották le, mintegy jelképesen, Trianon évében.
1957-től Dunaszerdahely város tulajdonába kerülve benne 1964–70 között a Csallóközi Múzeum működött. Röviddel aztán a múzeumnak a Sárga kastélyba átköltöztetése után – miután a kommunista városvezetés „lelakatta” a Fehér kastélyt és életveszélyessé nyilvánította – lebontották, hogy helyére új postát építsenek.