Dunaszerdahely ezen impozáns épületének telkét az 1900-as évek legelején vásárolta meg „a dunaszerdahelyi sport megteremtőjeként” is ismert Vermes Ferenc földbirtokos, járási szolgabíró. 1905-re a telken földszintes kúriát építtetett, amelyet aztán négy évre rá, 1909-ben megnagyobbítottak, illetve tornyokkal „bővítették” és ékesítették.
A 2. világháborúban előbb német, majd orosz csapatok szállásoltak be az épületbe, később, a kommunista rendszerváltás után úttörőotthonként üzemelt a kastély.
1988–2002 között a Szlovák Nemzeti Galéria kihelyezett részlegének adott otthont, s miután 2005-ben Dunaszerdahely Város Önkormányzata megvásárolta az épületet, az átalakítások után a Kortárs Magyar Galéria költözött oda. Kuratóriumának első elnöke Pázmány Péter, a város akkori polgármestere volt.