“A kastély, melyben valaha Pázmány Péter sokat időzött, puritán egyszerüséggel van berendezve. Fődíszét a mögötte elterülő ritka szépségü gesztenyés képezi, a nyitrai püspöknek kedvencz sétáló helye. Innen az út az „Ördögkemencze” nevü barlang fölé vezet, mely az országút közelében fekszik és e gyönyörü, részletekben gazdag vidéknek egyik legszebb pontja. E kastélyban irta a XVII. század elején Pázmány Péter munkáinak egy részét. Czellaszerü szobája, melyben dolgozott, ma is látható.” (Borovszky Samu: Magyarország vármegyéi és városai)

Mai formájában négyzet alaprajzú, négy szárnyú, belső udvaros, emeletes épület. A sarkokat emeleti szinten kör alakú zárt erkélyek emelik ki. A főbejárat, fölötte erkéllyel, a kilenctengelyes főhomlokzat közepén nyílik.

A kastély a 16-17. század fordulóján épült. Forgách Ferenc nyitrai püspök (később esztergomi érsek) 1602-ben már engedélyezte Pázmány Péternek, hogy itt írja meg az egyik művét, vagyis a kastély építtetője talán még Forgách elődje, Fejérkövi István lehetett. A kastélyt az 1715-öt megelőző néhány évben átépítették, majd egy újabb átépítésre került sor a 19. század elején, aztán egy korszerűsítésre a század végén. A 19. századra a beszámolók szerint a környék legszebb épülete lett.
1948-ban elkobozták a püspökségtől. 1993-ban kapták vissza, a mai állapot az azután kezdődött felújítás eredménye.