A fő tér Nyugati térfalában, zárt sorú beépítésben álló, két emeletes barokk palota. Az öt tengelyes, igen hangsúlyos pilaszterekkel tagolt homlokzat legdíszesebb eleme a két oldalon kőből faragott, barokk szobrok által tartott oszlopfőkkel ékesített, kőkeretes főkapu, mely fölött az első emeleten ívelt, kő korlátos erkélyt találunk. A főhomlokzat ablakait erősen plasztikus párkányok és vakolt keretek díszítik.
Az épületet a 18. század első felében emeltette a tudós egri püspök, majd esztergomi érsek és hercegprímás, gróf Barkóczy Ferenc (1710-1765), saját rezidencia céljára. 1805-ben, amikor Napóleon kelet felé törő serege miatt Bécs már nem jelentett biztonságot, I. Ferenc király gyermekeit Magyarországra hozatta. Ők Kassán, e palotában találtak menedékre.
Ma a házban a városi könyvtár egyes részlegei működnek.