Ferences templom és kolostor az 1626 és 1631 közötti időben épült. Bejárata felett ma is olvashatjuk: PAX INTRANTIBUS, azaz békesség a betérőnek. A ferencesek köszöntése PAX ET BONUM, áldás és békesség, tükröződik ezen a feliraton. Ma is szeretettel fogadnak minden jószándékú látogatót. A templom felszentelését Pázmány Péter végezte 1631. május 24-én. Vélhetőleg ez még csak egy alacsony templom volt zsindely tetővel. Hasonló módon a mainál jóval kisebb volt a kolostor is. 1663-tól a török tisztek lakták a kolostort, a templomot pedig raktárnak használták. A templomtornyot itt is minaretté alakították. 1685 után a templomot és kolostort megújították és Sorman Péter a ferencesek milánói generálisa szentelte fel. A Rákóczi-szabadságharc alatt Bercsényi lakott a kolostorban, amit a kolostor külső falán az első emelet magasságában látható emléktábla igazol is.
Bercsényi a kolostort az eredeti stílus szerint kibővítette. A 19. század végén Bálinth építész tervei szerint egy újabb felújítást hajtottak végre az épületen. A kolostor könyvtárában több magyar nyelvemlék volt található, a Czech-kódex, az Érsekújvári-kódex, a Thewrewk(Török) kódex, valamint az ún. Piry-hártya. Ferdinánd király engedélyével 1842. október 2-án algimnázium alakult, melynek tanárai hosszú ideig a szerzetesek voltak. A hagyomány szerint az iskola jelmondatát maga Vörösmarty Mihály fogalmazta meg: “A közjót szerető polgárság áldozatából, állok az ifijúság jobb nevelése miatt”
A 20. században a háborúk a kolostort többször komolyan megrongálták. Ennek lett áldozata a barokk díszítés és az egykori barokk feliratok, amelyek mind elvesztek. 1950-ben a ferenceseket kiebrudalták a kolostorból, a berendezést elszállították, tönkretették, a nagymúltú könyvtárat elkobozták. A kolostor teljes felújítása és régészeti feltárása 1978-ban kezdődött meg.
A régészeti munkák során megtalálták az eredeti kaput, amely a kocsiknak szolgált, hogy be tudjanak hajtani az udvarba, illetve a templom alatti kriptát is, melyben a városi elöljáróság és a kolostor lakosai temetkeztek.
Ezekből a sírokból az elhunytakat a Szent József temetőben található kriptába vitték, illetve a Kálvária dombon temették el. Felújították a folyosókat és a négyszögletű udvart, a quadrumot is. A kolostor alatt pincejáratok találhatók, melyek vélhetőleg össze voltak kötve a vár alagútrendszerével is. A kolostorban egy ideig múzeum is működött, mára az egész épület visszakerült a ferences barátok tulajdonába. A kolostor épületének egy részében 2005-ben került kialakításra a szellemi és testi fogyatékosoknak menedéket adó “védett munkahely”, amely közel 20 fiatal rehabilitációját végzi a ferencesek lelki segítségével. A kolostor falán négy emléktábla látható. A külső falon Bercsényiét még 1906-ban avatták, 1991-ben helyeztek el emléktáblát Széchényi György érseknek a városalapítás emlékére. A harmadik emléktáblát az 1950-1951-ben itt fogva tartott papok és szerzetesek emlékének szentelték. A kolostor belső udvarán 2004-ben állítottak emléktáblát P. Bartalos Lajos Engelbert ferences szerzetesnek, Újvár szeretett lelkiatyjának. Az emléktábla annak a tatárszentgyörgyi közösségnek a jóvoltából készült el, ahol P. Engelbert Újvárból távozása után szolgált.