Az első gombai nemesi rezidencia a Gombay család erődítménykastélya volt, amelyet a korabeli okiratok is említenek (1364). Nem ismerjük az alakját, sem a helyet, ahol állt. A 17. század 60-as éveiben Szelepcsényi György érsek építtetett a községben erődfallal körbevett reneszánsz kastélyt. A sarkokon tornyokkal megerősített négy erődfallal körbevett négyzet alakú udvaron állt a lakásként szolgáló palota. A 19. század elején a nagybirtokot és a kastélyt Udvarnoky Lajos vásárolta meg, aki ezt választotta családi rezidenciául. A fölösleges erődfalakat a tornyokkal együtt lebontották, a palotát pedig klasszicista kastéllyá építették át. Több tulajdonoscsere után a kastélyt 1945-ben elkobozták, és iskolát nyitottak benne. 1980 óta azonban az épület üresen áll, és az állapota ma már kritikus, bár 1995-ben privatizálták.
A kastély mögött kiterjedt angolpark húzódik, amelyet a 19. század első felében alakítottak ki, és amelyet 1883-ban Rosenburg Károly kertész kibővített és modernizált. A park körül vizesárok fut, ez biztosította a 20 hektáros terület öntözését. A parkban mindmáig megmaradt 40 értékes fa és bokor. A park első részében található a Wiener Welten családjának betonozott medencéje. Felette kisebb dombon emelkedik a 19. század második felében épült víztorony stílusos épülete.