Gács legismertebb látványossága. Története kapcsolódik a gácsfalusi temploméhoz, hiszen ezen a dombtetőn állt a Tomaj nemzetség vára a 14. század elején. A Csák Máté hívei által felégetett vár újjáépítésére Mária királynő 1386-ban adott engedélyt udvari lovagjának, Losonci (III.) István fia, (IV.) Istvánnak. Gács 1450-ben Giskra cseh zsoldosvezér nógrádi központja lett.
A husziták kiűzése után a várat lerombolták, majd a 16. században újjáépítették. Mivel ez királyi engedély nélkül történt, az országgyűlés leromboltatta, így annak a török időkben nem volt szerepe. Losonczi István nógrádi és temesi főispánt 1552-ben a törökök megölték, vagyonát – egyebek közt három nógrádi váruradalmat (Szécsényt, Somoskőt, Gácsot) is, leánya, Losonczi Anna (1553–1595), Balassi Bálint reménytelen szerelme örökölte. Losonczi Anna a jelentős vagyonnal és birtokokkal rendelkező Forgách Zsigmondhoz ment férjhez. Korai halála után minden vagyona a férje és családja tulajdonába került.
Ez a ghymesi és gácsi Forgách család 350 éves gácsi tündöklésének időszakának kezdete. A várkastélyt 1612-ben gróf Forgách Zsigmond, Nógrád, Sáros és Szabolcs megyék főispánja (felesége erdődi Pálffy Katalin) romjaiból újjáépítette, amiről a ma is látható vörös márványtábla tanúskodik a várkastély belsejében.
A nyújtott hatszög alaprajzú, sarokbástyás reneszánsz várkastély Thököly Imre, majd II. Rákóczi Ferenc szabadságharca idején fontos szerepet töltött be. 1703-ban a nógrádi nemesek ide húzódtak be, de a kezdeti ellenállás után feladták a várat Rákóczi kurucainak. 1705-ben itt tartotta lakodalmát Ráday Pál (1677–1733), Nógrád megye jegyzője, a fejedelem titkára, diplomatája. 1709-ben egy Bonefuss nevű francia kapitány átadta a várat a császári katonaságnak.
Az 1760-as években új fejezetet nyitott Gács történetében XIII. János gróf, egyrészt a neves posztómanufaktúra megalapításával, másrészt az erődszerű várkastély barokk átépítésével. A munkálatok egyik tervezője Mayerhofer András, a gödöllői és péceli kastélyok, ill. a pozsonyi Grassalkovich-palota tervezője volt. A főbejáratot kupolával fedett erkélyes, lizénákkal, reliéfekkel díszített háromtengelyű középrizalit tette hangsúlyossá.
A kapuhoz vezető híd két oldalán kőoroszlánok őrködtek. A főhomlokzat két oldalsó sarokbástyája ugyancsak barokk felületi kiképzést nyert, felső részén egy-egy tümpanonban a ghymesi és gácsi Forgách, illetve a gyaraki Grassalkovich család domborműves címere kapott helyet. A homlokzati díszes erkély mögötti három magas ablak az első emeleti dísztermet világította meg, ahová háromkarú díszlépcső vezet a kapualjból. A barokk pompa minden díszítőeleme, stukkók és freskók ma is megtalálhatók a kastély legnagyobb termében.
A boltozatos mennyezetet, részben az oldalfalakat is díszítő allegorikus, mitologikus falfestmények („Auróra győzelme”, a négy évszak allegóriája) Franz Joseph Wiedom (1703–1782) művei. A függőleges falfelületeket illuzív architektúra, pilaszterek, falfülkék, vízesésesek tagolják. A kastély kápolnája az épület délnyugati sarkában kapott helyet.
Az épületet az 1919-es Tanácsköztársaság idején, június 10-én kifosztották. A kastély 1935-ben a család gácsi ágának utolsó férfitagja, Forgách Antal (1915–1977) tulajdonába került. A 2. világháború kezdetén is kifosztották, 1944-ben a 8. Német Hadsereg Parancsnoksága székelt benne.
1957-ben Honismereti Járási Múzeumot rendeztek be itt. 1956–64 között felújították, amelynek során az egyik első emeleti helyiségében értékes reneszánszkori tartóoszlopokat is feltártak. A múzeum elköltöztetése után, 1965-től szellemileg visszamaradott személyek szociális intézete nyílt meg benne, s működött 1990-ig, amikor az intézetet Losoncra költöztették.
1993-tól a kastély elárvult, évekig üresen állt. Akkori tulajdonosa, a Besztercebányai Megyei Önkormányzat hirdetések útján kínálta eladásra. Több éves várakozás után 2005-ben a kassai IMET Rt. vásárolta meg. A cég igényesen felújította az épületet. 2016-ban nyílt meg a nagyközönség számára. A ma Galicia Nueva névvel ellátott épületkomplexumban luxuslakosztályok, étterem, kávézó, bár, borozó, dohányzószalon, wellnessközpont várja a látogatókat.
2018-ban az épület bal sarka előtt felállították Fadrusz János 1897-ben készült Mária Terézia lovasszobrának kicsinyített másolatát. A háromalakos szoborcsoport egykor a pozsonyi Duna parton, a Koronázási Dombtéren állt 1921-ig, amikor is szlovák nacionalista vandálok darabokra zúzták. Mária Terézia ugyan nem járt Gácson, de a kastélyt az 1760-as években barokk stílusban átépíttető gróf Forgách János bejáratos volt a bécsi udvarba. Feltehetően ez vezette a kastély mai tulajdonosait a királynő szobrának elhelyezésére.

A kastélypark

A várkastélyhoz tartozó terület szerves részét képező kb. 13 ha nagyságú parkot délen a várkastély dombja, északról a Tugári-patak medre, keletről az eredetileg a Gácsról Tamásfalvára és Divénybe vezető útvonal, nyugatról rétek, ill. az Ógácsra vezető főút határolják. A várkastély alatti dombot az 1820–30-as években értékes fákkal ültették be azzal a céllal, hogy gátolják annak természetes erózióját. A telepítés második időszakát az 1870–80-as években fejezték be. Ekkor parkosították a területet (főleg a nyugati oldalt), a kastélyhoz vezető út mentén pedig vadgesztenyefasort telepítettek. A fásított parkot fokozatosan francia jellegű parkká alakították át, amelyhez sportolásra is alkalmas szabad területeket csatoltak. Területén, a sétányai mellett barokkos, allegorikus témájú domborműveket is elhelyeztek. A 19. század során készült árnyékoló (pergola) az 1940-es években semmisült meg. Közepén csónakázásra, fürdésre is alkalmas tavat alakítottak ki, mely a vizét a Tugár-patakból leágazó mesterséges csatornán kapta és kapja. A tó vízmagasságát és a kifolyó vizet az északkeleti sarkában egy gát szerkezetével lehetett és lehet szabályozni. Ennek közelében volt a liget „paradicsomkertnek” nevezett része, ahol fűtött üvegházakban egzotikus növényeket neveltek. A Forgách család tagjai a parkot és a tavat pihenésre és sportolásra használták.
A helyi lakosok visszaemlékezései szerint maga Csontváry is sok időt töltött el a parkban, szívesen megmártózott a tó vizében.
A napjainkban felújított parknak elkészültek a régi/új sétányai, hangulatos, lócákkal ellátott pihenőhelyei. Kitisztították a tavat, halakat is telepítve oda.