A Pálffy-család számos tagja rendelkezett saját palotával Pozsonyban. Az Úri utcában álló palotájuk telke igen érdekes történeti múlttal rendelkezik. Az itt 1981-87. között folytatott ásatások többek közt egy kelta település nyomait (Kr. e. 1. század) szórványos római leleteket és 9-10. századi szláv sírokat találtak. Megállapították hogy az itt álló épület legelső periódusa Árpád-kori, a 13. század elejéről való. Az épület pinceszintjén és földszintjén megtalálták egy kápolnával is rendelkező, gótikus palota nyomait a 15. századból. A helyreállítást követően ennek egyes elemeit be is mutatták, így ma is láthatóak.
A 17-18. században is átépített, két emeletes, nyeregtetős, utcafronton, zárt sorú beépítésben álló ház Pozsony vármegye székhelye és megyegyűléseinek helyszíne volt. Mikor a vármegye székhelye az 1850-es évek közepén máshová költözött, a gróf Pálffy-család, akik Pozsony vármegye örökös főispáni címét viselték, a házat kései klasszicista stílusban átalakították, létrehozva annak mai képét. „Id. gr. Pálffy János palotája nagyértékű műkincseket tartalmaz, főleg híres olasz és németalföldi mesterektől származó festményeket.“ (Ortvay T.)
Az épületben, annak 1980-as években zajló rekonstrukcióját követően Pozsony Város Galériája működik.