A falu a középkorban Vöröskő várának uradalmához tartozott. A 16. századtól a Pálffy család birtoka. Lakói mezőgazdasággal, szőlőtermesztéssel, később halászattal, fuvarozással, fazekassággal és molnár mesterséggel foglalkoztak. A Rákóczi-szabadságharc idején uruk gróf Pálffy János seregében a császáriak oldalán harcoltak.
A kastély egykori felépítéséről elterjedt, közkeletű legenda szerint Pálffí János gróf egy francia hölgybe lett szerelmes. Annak érdekében, hogy e hölgy kezét elnyerje, egy „francia mintájú” kastélyt építtetett, de mire elkészült az építkezéssel, már elkésett: a hölgy keze másé lett. Kutatók szerint e történet több más Pálffy-kastéllyal kapcsolatban felbukkan, ugyanakkor többek szerint a történet eredetileg Gidrafán született.
A ma álló – kétség kívül némi franciás jelleget hordozó – gidrafai kastélyt gróf Pálffy János Ferenc építtette eklektikus-romantikus stílusban 1889-ben, Franz Neumann bécsi építész tervei alapján. A sokszorosan összetett tömegű, magastetős kastély homlokzatát gazdagon díszítették plasztikus díszekkel, szobrokkal, párkányzat fölé emelkedő, csúcsos attikákkal. Neobarokk jellegű főkapuja fölött a Pálffy-család címere mellett János Ferenc gróf hitvese, gróf Schlippenbach Erzsébet családi címere jelenik meg. A kapu fölött emelkedik az egész kastély leglátványosabb eleme, a díszes torony.
Utolsó tulajdonosa Pálffy Pál gróf volt, akinek 1945-ben menekülnie kellett az országból (Münchenben élt). Az épületet az újjáalakult csehszlovák állam elkobozta és államosította. 1947-től 2011-ig a Szlovák Írószövetség alkotóházaként funkcionált. A Szlovák Kultúrminisztérium hatáskörébe került épület az ezt követő időszakban széleskörű felújításon esett át.
A kastélyt jelentős kiterjedésű angolpark övezi, amely a többnyire elzárt kastélytól külön is látogatható.