Ipolyság első templomát a premontreiek építették a monostoralapítással egy időben, a XIII. század első felében. Ez a román kori templom a konventépület tőszomszédságában állott. Hiába erődítették, a törökök 1552-ben teljesen elpusztították. Mára csak a kapuzata maradt meg. A mostani templom, amelynek építését 1734-ben fejezték be, építészeti stílusa a reneszánsz és a barokk határán mozog. Egyhajós, amelyet sokszögű szentély zár le. A bejárati, nyugati részen van a két harangtorony, tűhegyes gúlasisakkal A templom hajójának mennyezetét ún. porosz boltívek osztják három egyenlő részre.
Az oltárkép a templom és a város védőszentjét, Nagyboldogasszonyt, a mennybe fölvett Szűzanyát ábrázolja. A festmény a nagy barokk művész, Bartolomé Esteban Murillo (1618-1682) munkája alapján készült, azaz annak másolata. A két első mellékoltár XVIII. századi barokk munka. Képei Szent Ferencet és Szent Józsefet ábrázolják. Az oldalsó két mellékoltár XX. századi alkotás, Jézus Szent Szíve és a Lourdes-i Szűzanya szobrával. A Jézus Szíve oltár közelében áll Szent István és Szent Antal szobra, a Lourdes-i oltár közelében pedig Szent Alajos és Szent Teréz szobra. A hajó mennyezetét különálló freskók díszítik. Ezek Krisztus életének három mozzanatát: a születést, a megfeszítést és a mennybemenetelt jelenítik meg. A templomhajó ablakai felett a négy evangélista, valamint Szent Péter és Szent Pál freskóját látni. A szentély ablakai feletti freskók a fiókáit önvérével tápláló pelikánt, illetve a kenyér- és halszaporítás tárgyait ábrázolják. A freskókat 1956-ban festették (C. Massányi, M. Staudt, F. Buday és J. Böhm). Két epitaphium (föliratos sírkő) is található a templomban, amelynek a kriptájában a premontrei rend elöljárói vannak eltemetve. Az egyik sírkő az egykori prépost, Fegyverneki Ferenc sírköve. A sírkőről az évszám hiányzik.
Van viszont egy évszámmal jelölt (1802) szép címeres sírkő is a templom belső falában, közel a Szent József mellékoltárhoz. Ez Tornallyai Gedeoné, aki feltehetőleg a templom alatti kriptában nyugszik, ahová valamikor a szerzetesek is temetkeztek. A templom orgonája Guna Gyula eperjesi műhelyében készült 1937-ben. Ekkor lett az eredeti karzat is megnagyobbítva, hogy elférjen rajta az új orgona. A II. világháború alatt a templom óriási károkat szenvedett, leégtek a tornyok kupolái és a padlás is. E károkat az 1955-56. évi nagyjavítások hozták helyre.