A 19. század utolsó harmada Magyarországon a vidéki városi és megyei múzeumok megalakulásának időszaka volt. Ezek sorába illik a Kassán 1872-ben megalakult Felső-Magyarországi Múzeum Egyesület is, melynek kezdeményezői a jelentős magángyűjteménnyel rendelkező Klimovits-testvérek voltak. Szándékaikat támogatta Myskovszky Viktor elismert műemlékes szakember is. A múzeum első kiállításának megnyitására 1876-ban került sor. A gyűjtemény később több adomány útján további jelentős gyarapodáson ment át, így pl. a kassai születésű Henszlmann Imre 1888-ban több ezres régiség-kollekcióját ajándékozta a múzeumnak, vagy Kassa minden művészeti és kulturális ügye iránt melegen érdeklődő püspöke, dr. Bubics Zsigmond, a millennium évében száz darabból álló eredeti olajfestmény-gyűjteményét, 50 darabból álló magyar, német, angol és francia művészektől származó vízfestményét, 3000 darabra rúgó rézmetszetű arckép – gyűjteményét és nagyszámú érem, fajansz, porcelán s egyéb ritkaságait ajándékozta a múzeumnak. Ugyancsak ilyen tetemes ajándékkal gazdagította a múzeumot Dessewffy Pál nagybirtokos, a ki 1899-ben a Dessewffy-nemzetségnek régi fegyverzetekből, képekből, régiségekből, majolika s porcelántárgyakból álló, hetedfélszáz darabra rugó nagybecsű mű illetőleg régiséggyűjteményét örök időkre a kassai múzeumnak ajándékozta.
Gróf Andrássy Dénes, a jótékonyságáról országszerte ismert nagylelkű főúr 16,000 korona adománnyal járult a múzeum gazdagításához.
1906-ban, II. Rákóczi Ferenc ünnepélyes kassai újratemetése alkalmából a fejedelem ereklyéiből látványos kiállítást szerveztek és felvéve nevét Felső-magyarországi Rákóczi Múzeummá alakult az intézmény. Az 1919-es impériumváltozás után a gyűjtemény a csehszlovák állam kezébe ment át és azóta (az 1938-1945. közötti magyar világot leszámítva) Kelet-Szlovákiai Múzeumként működve az ország egyik legjelentősebb muzeális intézménye. A múzeum gyűjteményének kétség kívül leglátványosabb tétele a 17. századi, ún. Kassai aranykincs, amely az egykor Kassán székelő Szepesi Kamara fő utcai épületének 1935-ös bontása során került elő. A különösen nagy értékű leletnek a múzeumban külön páncéltermet alakítottak ki.
Mai múzeum épületét a történelmi belváros északi peremén, Lechner Jenő budapesti építész tervei alapján 1899-ben emelték, eredetileg is múzeum funkcióval. A gazdagon díszített, tengelyszimmetrikus homlokzatú, egy emeletes, neobarokk stílusú épület főhomlokzatát a bejárat fölötti, hangsúlyos oromzaton Kassa város kőből faragott címere díszíti. Érdekes módon a 2013-ban befejeződött felújítási munkálatok során a homlokzat díszítésének részét képező magyar szavak a helyükön maradtak.
A múzeum udvarán kisebb szabad téri skanzen létesült több, ide áttelepített, népi épületből.