A középkorban erre vezetett a cseh út (Via Bohemica). IV. Béla Vágsellyét és környékét a turóci premontrei kolostornak adományozta. A település 1522-ben Majthényi Uriel turóci préposttól kapott kiváltságokat. 1536-ban I. Ferdinánd mezővárosi rangra emelte. A város 1586-ban a jezsuitákhoz került, akik 1598-ban Znióváraljáról ide helyezték át kollégiumukat.
Vágsellyén egykor vízivár állt. Ennek helyén a 16. században a milánói Syroth Kilián tervei alapján, a Thurzó család nagybiccsei kastélyának mintájára reneszánsz várkastély épült. Jelentősége Esztergom eleste után nőtt meg, amikor a környékbeli végvárrendszerbe tagozódott be. A jezsuiták az első évben két osztályt nyitottak meg, majd a következő évben az egész tanítás itt folytatódott. Érdekes adatokat árul el a jezsuiták levelezése. Megtudjuk, hogy az áthelyezés egyik oka az volt, hogy Vágsellye közel feküdt Bécshez, a másik, hogy a város és környéke magyar volt, és azt remélték, hogy a magyar nemesek így könnyebben adják majd gyermekeiket a kollégiumba. Hogy nem tévedtek, azt a számok bizonyítják: 1600-ban már 400 tanuló volt a vágsellyei kollégiumban. Rövidesen Pázmány Péter esztergomi érsek kedvelt pihenőhelye lett. A nagyszombati nyüzsgő életet nyaranta a vágsellyei pihenéssel cserélte fel. A Pázmány-kastély akkor már négyszárnyú épület volt. A jezsuita kollégium 1604-ig működött a városban, amelyet a Bocskai-felkelés szüntetett itt meg.
1663-ban Érsekújvár eleste után a kastély is török kézre került egészen 1686-ig. Az 1661. és 1663. évi török pusztítás után a város 300 házából mindössze 30 maradt meg. 1692-ben a település vásártartási jogot kapott. A kastély mai formáját a barokk stílus uralja.
1963-tól műemlékké nyilvánították. 1972-ben megkezdték a kastély felújítását. Az épület külső felújítását 1999-ben végezték Jelenleg a Szlovák Belügyminisztérium Pozsonyi Állami Levéltárának a fióklevéltára található az épületben.