Az eredetileg barokk kastélyt a 18. században építették, a klasszicista stílusban történt átépítése és bővítése kb. 1820-ban történt. Egyszintes háromszárnyú épületről volt szó, összefüggő oszlopsorral. A merőlegesen épített egytraktusú szárnyakat a középső szárnnyal oszlopcsarnok kötötte össze. A kastélyt a Nyáry család építtette, amelynek Hontvarsányban egészen 1945-ig voltak birtokai. Utolsó tulajdonosa Bolfras szül. Nyáry Margit volt. Birtokát a zsidó kereskedő, Freyer Móric bérelte. 1924-ben a kastély egy részében szlovák népiskolát létesítettek. A második földreform után, 1948-tól a kastélyban ideiglenesen kolonistákat szállásoltak el. A Nyáry család a jelentős magyar nemzetségek egyike volt. Pest megyében már 1411-ben említik őseiket. Később Bars vármegyében voltak birtokaik, majd a 18. században már Hont vármegyében is. Ebben az időben kerültek Hontvarsányba és Bagonyára. 1836-ban Nyáry Antal és gyermekei megkapták a bárói címet. A család több tagja Hontvarsányban született.