A mai, utcafronton álló, kétemeletes, látványosan tagolt tetőzetű, plasztikus vakolatdíszektől roskadozó homlokzatú, városi palota helyén a középkorban három polgárház állott, melyeket a 18. században barokk stílusban átépítettek. Ezek 1810-1830 között egyenként az Andrássy-család tulajdonába kerültek. E házakat lebontatva építtette 1898-ban Andrássy Dénes gróf a ma is álló, neobarokk stílusú, historizáló palotát a Jakab és Répászky kassai építővállalattal. A sarokház hatalmas belvilágú földszinti tereiben a 20. század elejétől kávéház működött, melynek helyén ma óriási alapterületű cukrászdát találunk. Magas-Tátrai pihenését megszakítva, 1910 szeptemberében Ady Endre itt érdeklődött a város színházi életéről és sajtójáról. Adynak ez volt az egyetlen kassai útja.
A ház emeletein lakások kaptak helyet.
A helyi hagyomány szerint e házban született volna 1823-ban gróf Andrássy Gyula miniszterelnök ill. osztrák-magyar közös külügyminiszter – ezt egy ideig emléktábla is hirdette a ház kapuja fölött. Ezt 1945 után a csehszlovák hatalom eltávolíttatta. Véletlenül ezt éppen helyesen tették, mert valójában id. Andrássy Gyula az oláhpataki kastélyban született, nem pedig itt.