A település létrejöttében és fejlődésében a Hont-Pázmány nemzetségnek volt jelentős szerepe.  1127-31 körül Benedek-rendi kolostort alapított  Lampert, a nemzetség ismert tagja. 1181-ben az apátságot átvették a premontreiek. megépítették a Szent István tiszteletére szentelt apátsági templomot és az egész kolostor együttest.

A kolostor és a templom, valamint a falu sorsa egymással összekapcsolódva alakult. A 15. században viharos változások következtek be. A husziták, majd a korponaiak támadásai következtében megsemmisült a templom szentélye, s a kolostor nagy része. A század végén való újjáépítés már a gótikus stílus jegyében történt, a templomhoz pedig egy gótikus sekrestyét építettek hozzá. 1530-ban a falu és a kolostort elfoglalta a protestáns Balassa Zsigmond. A szerzeteseket elkergette,  a kolostorépületeket reneszánsz kastéllyá és hadi célokat szolgáló épületté alakította át. A templomból csak az északi tornyot hagyta meg és a gótikus sekrestyét, melyet várkápolnává alakíttatott át. A kolostor köré négyszögű négy sarokbástyás várfalat épített és várárokkal vonta körbe. A falu, az uradalom és a vár később a Fánchyak tulajdona lett, akik reneszánsz stílusban átalakítva lakájossá tették az egész várkomplexumot.

A 17. században a jezsuiták kapták meg, majd az esztergomi szeminárium tulajdona volt a 20. század elejéig. A második világháború alatt a romos templomépület és a valamikor kolostor együttest találat érte, a háború után építkezésre szolgáló anyagát pedig széthordták.

A 12. században épült templomnak félköríves szentélye volt, négyzet alakú hajója, s a nyugati oldalon két tornya. A tornyok közötti pillérek tartották a szerzetesek részére fönntartott karzatot és a portálét. A husziták pusztításai után a 15. század végén jelentős átalakítás történt. A félköríves szentély helyett egy poligonális záródású gótikus szentélyt építettek támpillérekkel, ennek alapja máig látható. Sekrestyét építettek hozzá (ez nagyjából máig is áll), melynek déli falába a hajó vagy a szentélykorábbi gótikus ablakát is beépítték, nyugati oldalára azonban már reneszánsz ablak került. A kolostorból keresztfolyosó vezetett a később várkápolnává átalakított sekrestyébe.

Az eredeti román kettős toronyból csak az északi maradt meg, ezen 1932-ben a második szinten még megvoltak a román ikerablakok. Ma ennek a toronynak is csak az alapjait lehet kivenni.

A templomból és a kolostorból tehát csak nagyon kevés maradt meg, a várfalak és a bástyák azonban aránylag épen várják a látogatókat.