A földszintes barokk kastélyt gróf Forgách Pál nagyváradi, később váci püspök. építtette 1722-ben, melyet 1760 és 1770 között kibővítettek. Az épület újabbkori átépítései folyamán, a 18. század utolsó harmadában, a keleti szárnyat középrizalittal és egy a park felé irányuló terasszal egészítették ki. A rizalit csúcsa közepén állt egy félalakos Madonna két oldalán Szklabonya és Gímes várainak domborműivel. A domborművek alatt lévő címerpalást a következőket jegyzi: STA VIRGO CONSTANS NEC TEMERATO FIDEM (Szűzanya, ne engedd megszentségteleníteni a hitet). Mai formáját a 20. század elején érte el.
1868-69-ben muflontelepet alapítottak, melynek állományát 1883-ban kiengedték a természetbe és csordái mindmáig lakják a környező hegyeket. A Forgáchok szenvedélyes vadászok voltak és gyűjteményüket a kastélyban 1756 db. agancstrófea díszítette. A művészeti alkotások gyűjteményében különösen értékesek voltak Francesco Trevisani velencei mester festményei; Max Pfeiler, a savoyai herceg udvari festőjének művei; Paul Hemling és mások alkotásai. A kastély kápolnájában volt egy Madonna, valamint néhány további értékes régi szobor és egy oltár.
A Forgách család 1919-ig lakott Gímesen. Az utolsó Forgách balatoni kúriájába költözött, és birtokainak egy részét elosztotta a lakosok között.
Gímes község 2009-ben 220 000 euróból felújította a Forgách kastély egyik szárnyát, ami ma múzeumként működik, és egykori tulajdonosai után Forgách Múzeumnak neveztek el.