A fő tér keleti térfalában, a Szent Erzsébet székesegyház közvetlen közelében álló, reprezentatív, barokk palotát több középkori telek egesítésével kialakult területen építtette Abaúj megye, ill. Orczy Lőrinc főispán 1779-ben, Langer János bécsi építész tervei szerint. Mai formáját a Gerster Béla kassai építész tervezte, 1887-89-es átalakítás nyomán nyerte el.
A zárt sorú beépítésben álló, tengelyszimmetrikus ház főhomlokzata hét tengelyes. Középső, enyhe rizalittal is hangsúlyozott részén nyíló főkapuja fölé nyúlik az 1. emeleti díszterem erkélye. A rizalitot koronázó timpanonban Abaúj-Torna vármegye kőből faragott, ún. egyesített címere látható. A két szomszédos vármegyét de facto már jó ideje Kassáról kormányozták, amikor 1881-ben törvényesen is Aba(újvár) megyéhez csatolták a királyság addigi legkisebb megyéjét, Tornát. Az épület udvari szárnyai, ill. a K-i, Orlia utcára nyíló része téglalap alakú, hosszú, jellegzetes kassai udvart fognak közre, melyeken emeleti, kovácsolt vas korlátos „körgang” fut végig.
Az emeleti díszteremben a megye városainak címereit ábrázoló freskó látható. E teremnek szomorú nevezetességet ad, hogy a 2. világháború idején, a benyomuló Vörös Hadsereg nyomán újjá alakuló Csehszlovákia önjelölt baloldali vezetői 1945. április 5-én itt fogadták el az ún. Kassai Kormányprogramot. Ennek lényege az 1938-ban széthullott csehszlovák állam újjáalakulása volt, melyet a magyar és német lakosság kollektív bűnösnek való megnevezésével, állampolgárságuk és jogaik elvételével, teljes kitelepítésével, deportálásával és vagyonának elkobzásával kívántak megtámogatni. E „dicső tett” emlékére az épületet egy ideig a Kassai Kormányprogram Házának is nevezték, de ma is emléktábla hirdeti e napot a homlokzaton.
A szépen felújított épületben az 1970-es évek óta múzeum. Kezdetben munkásmozgalmi állandó kiállítása volt. Ma a Kelet-szlovákiai Képtár működik itt, gyűjteménye és kiállításai is főként ezen országrészből származnak. A galéria egy ideig a híres kassai festő, Jakoby Gyula nevét viselte.