Négyszárnyas, barokk, zártsoros palotaszerű épület, mely a 18. sz. 2. felétől a 19. sz. végéig épült. 2. emeletén található az értékes Szent László kápolna a Szent László képével díszített barokk oltárral. A szeminárium északkeleti szárnyát 1877-78-ban Roskoványi Ágoston püspök kezdeményezésére a Budapesti Széchenyi Könyvtár mintájára egyházmegyei könyvtárrá alakították át. 1885. 11. 30-án nyílt meg 36.223 kötettel, gyűjteménye ma 66 ezer kötetet számlál. Túlnyomó többségük latin (35%), magyar (23%) és német nyelvű (21%). A könyvek összesen 37 nyelven íródtak, köztük japán, kínai és Braille-írású könyv is. Legértékesebb példányai:
– ősnyomtatványok (inkunábulumok, 1450-1500 közötti szedésnyomással készült könyvek);
– Legrégibb inkunábulum 1473-ból, „Anicius Manlius Severinus Boethius: De consolatione philosophiae“ (A filozófia vigasztalása);
– A legkisebb könyv 8 x 5,5 cm, 1628-ban adták ki;
– A legvastagabb könyv 1.569-oldalas, 1557-es kiadás (A lengyel szejm története);
– Calepini szótára, szövegei 11 nyelven íródtak, 1599-ben Bázelben adták ki.
Az épület térre néző homlokzatán szép barokk kőportál látható. A régebbi, keleti szárny homlokzata a 19. század végén kapott eklektikus jelleget. A bejárati portálnál látható Roskoványi püspök homokkőből készült dombormű-címere is. A rizalittal tagolt déli neoklasszikus homlokzat oromfala a püspöki címerrel és latin felirattal díszített.