Az egyetemet, mely az Eötvös Lóránd Tudományegyetem jogelődje, 1635.05.12-én Pázmány Péter, az ellenreformáció neves személyisége alapította. Barokk stílusú épülete több részben épült a 17. és 18. században. Mire teljesen elkészült, előbb teológiai és bölcsészeti kar működött az egyetemen, majd 1679-től jogi kar, 1769-ben pedig megkezdődött az oktatás a 4., orvosi karon is. Magyarország területén itt folyt az első orvosképzés. Mária Terézia 1777-ben az egyetemet áthelyezte Budára. Az egyetem komplexumában nyomda, patika, gazdag könyvtár, színházterem, laboratóriumok és egy csillagászati obszervatórium is helyet kapott. Ez utóbbit kora egyik legnagyobb csillagásza és matematikusa, Hell Miksa tervezte. Az egyetem Budára kerülése után az épületet II. József a hadsereg rendelkezésére bocsátotta. Ma a katonai levéltárnak ad otthont.