A ferences alyák letelepedését Johannes Petz (más helyütt Pecz) városi tanácsos és felesége, Mária Dorothea Ethesin végrendelete tette lehetővé. Ennek értelmében a házuk, három szőlőjük és egy rozsnyói harmad malom ment át a szerzetesek tulajdonába. Gr. Eszterházy Imre esztergomi érsek 1733. április 16-án kelt iratában az alapítványt jóváhagyta. Ugyanezen év augusztus 19-én III. Károly király engedélyezte a rendház építését.
A Szent Anna templomot, az egykori ferencrendi kolostort 1745. június 30-án alapították. A tér északi falába illeszkedő, közel észak-déli tengelyű, egyhajós, nyeregtetős, oromzatos templom főhomlokzatban álló tornyát 1782-ben fejezték be. A már felépült, barokk stílusú kolostor és kápolna az 1784-i tűzvészben nagyon megrongálódott. A templomot felújították és 1826. november 5-én átadták a híveknek. Többször is leégett, majd 1906-ig több alkalommal felújították. E felújítások alatt kapta homlokzatának klasszicista részleteit. Ebben az időben a homlokzat keleti részéhez egy kicsi, neorokokó stílusú („Az Úr sírja”) kápolna épült.
A templomban Ádám Gyula rozsnyói festőművész 1897-1918-ig készült falfestményei láthatók. A főoltár 1905-ben készült, Boger F. és Ádám Gyula műve, az orgona Salgótarjánból, a szobrok és az oltár díszletei Tirolból, a barokk szószék a 18. század végéről Kassáról származnak. A torony három harangját pedig 1892-ben Budapesten Valtzer Ferenc harangöntő öntötte. A homlokzat felső részébe az Úr szemét – amely egy kegyes mondás szerint mindent lát – festették.
A rendház vastag falaival, világos földszinti és emeleti folyosójával Szt. Ferenc fiainak derűs lelkületét sugározza. A folyosókon minduntalan megállásra késztet egy-egy, ha nem is nagy műértékkel bíró, de provincialismusában is kedves és megkapó festmény. Legnagyobb részük Kassáról került a rendházba, a XIX. század fordulóján Páter Sebaldus kassai házfőnök jóvoltából. A mestereket sajnos nem ismerjük, valószínűleg jámbor szerzetesek voltak, akik középkori elődeikhez híven művükért legfeljebb egy fohászt, egy imát kértek elismerésképpen. Ezeket a képeket nem is annyira művészi becsük teszi értékessé, hanem az, hogy egy letűnt kor áhítatát árasztják.