A vár a Paradicsom-hegy oldalában helyezkedik el. Eredetileg templomnak épült. Állítólag a templáriusok, a vörös barátok építették a 13. században, háromhajós, román stílusú bazilikaként. A város ekkor még a hegyen állott a templom körül. A templáriusok itt harcias életet folytattak, ezért körfallal erősítették meg rendházukat, így az valóságos erődszámba ment. A legenda szerint a templáriusok mestere az egyik közeli várúrnál tett látogatást, s nagyon megtetszett neki a főúr leánya. A mester nyájas szavakkal elérte, hogy a kisasszony kisszámú kísérettel meglátogassa, akit aztán el sem engedett soha többé. Hogy nyoma ne legyen bűntényének, úgy a hölgyet, mint kíséretét eltetette láb alól, az aggódó apának pedig azt üzente, hogy a hölgy kíséretével már rég eltávozott a várból, valószínűleg útközben érhette baj. Egy tisztalelkű ifjú templárius lovag felfedte a bűntényt az apának. Az bosszút forralt és megtámadta a várat, amikor azok épp nagy tivornyát tartottak. Az ifjú beengedte a támadó sereget, s azok a rend valamennyi tagját felkoncolták, így tűntek el innen a templáriusok. A rendházból később plébánia lett, és a domonkosok lakoztak benne. Az időközben a völgybe lehúzódott város híres polgárai ide temetkeztek. Egész sor sírkövet láthatunk ma is a falakba erősítve. A tatárjárás, Rozgonyi csapatainak és a földrengés pusztításai után a vártemplomot gótikus stílusban a 16. században újjáépítették, és a várkolostort a város vette kezelésbe. A török veszély idején a vártemplomot védelmi várrá alakították át, és helyőrséggel látták el, A nagy harangtorony a 17. században épült. A várfalak elnyújtott ötszög alakját mutatják, melynek minden szögletén egy-egy erős bástya áll. A haditechnika fejlődése miatt, a harcias külső ellenére a török időkben már nem volt alkalmas a védekezésre, mivel a Paradicsom-hegyről könnyen tudták lőni.
Az akadémisták 1860-tól testgyakorló órákat tartottak itt.