Kelecsényi család Nyitra vármegyéből származik. Első ismert őse K. Tamás 1367-ben királyi ember. A családi leszármazás az 1585-ben élt Mátyástól vihető le. Idővel átszármazott Trencsén, Pozsony és Bars vármegyékbe. Tagjai közül Zsigmond (1768-1816) trencséni főszolgabiró; fia Gáspár, (1787 † 1858), ennek fia Rafael (sz. 1825) 1847-ben Nyitra vármegye tiszteletbeli aljegyzője, Bessén, Nagy- és Kis-Fajkürtön, Baracskán, Mező-Kis-Sallón birtokos. Testvére József, (sz. 1815), aki a XIX. század közepén mint az irodalom lelkes pártfogója volt ismeretes. Címer: kékben, balrafordult aranyvéddoronggal ellátott, görbe kardot tartó pánczélos kar, mely felett három hatszögű aranycsillag s ezüst félhold ragyog. Sisakdísz: paizsbeli kar. Takarók: kékarany-veresezüst.
A Kelecsényi család Barsbaracskán építette fel székhelyét, eredetileg feltehetően egy barokk kúriát, melyet a 19. század elején klasszicista stílusban átalakítottak L alakúra jellegzetes oszlopos portikusszal a főhomlokzati szárny nyugati oldalán.
A 19. század második felében Bars vármegye társadalmi és politikai életének jelentős személyisége Kelecsényi Rafael volt, aki 1888-ban kibővítette a kúriát az északi résszel és a keleti szárnnyal, a homlokzatokat neobarokk stílusban egyesítette. Ebben az állapotban maradt meg napjainkra is a kastély. 1944-ig Rafael lánya Irén (gróf Mirbach Emilnek, a pozsonyi Mirbach-palota tulajdonosának a neje) lakott az épületben. A grófot 1944-ben Szombathely környékén lelőtték a szovjet katonák, Irén a községben maradt, kezdetben a kastély pincéjében keresett menedéket, majd a Rózsa családnál húzódott meg. A II. világháború befejezése után a magyarországi Pécelre költözött.
1994-ig német parancsnokság volt a kastélyban, később a szovjet katonák kirabolták és kórházat rendeztek be benne. A háborús eseményeket követően itt rendezték be az iskolát, melyet 1947. november 21-én nyitottak meg. 1978 és 1981 között az iskolát fokozatosan leépítették, majd bezárták. Az elárvult épület fokozatosan tönkrement.
Az objektum felújítási munkálatai 1991-ben kezdődtek és 2004-ben fejeződtek be. A felújított kastély 2 fő részből áll, az előcsarnokból nyíló nagyteremből, és az előcsarnokból nyíló két épületszárnyból. Az egyik szárnyban kávézó működik, a másik szárnyban 2015 márciusától egy kisebb múzeum van berendezve a falu múltjáról, valamint a Kelecsényi, Mirbach és Ambró családokról. A nagyteremben lakodalmakat, családi ünnepségeket, bálokat és más rendezvényeket lehet rendezni.
2007 óta minden évben augusztus első hétvégéjén a falu megrendezi a Kastélynapot, kézműves vásárral, fellépőkkel , kíállításokkal és hajnalig tartó utcabállal.