A kastélyt a 17. század végén kezdték el építeni várkastélynak, az Andrássy-család számára. Mai formáját az 1880-as, eklektikus stílusú átépítés során nyerte el. Ma is meglévő könyvtárát 1793-ban alapította Andrássy Lipót. Jelenleg 57 hektáros angolparkja van, amelyet 1792-1795 között terveztek és kezdtek kiépíteni.
A kastély különlegessége, hogy megmaradt a teljes eredeti berendezése. Az ország egyik legnépszerűbb műemléke, évente 80-90 ezer látogatója van.
A kastélyról Sisa József így ír:
Gróf Andrássy Manó (1821-1891), Andrássy Gyula bátyja a 19. század színes egyénisége volt. Már egyetemi tanulmányai után utazást tett Nyugat-Európában és Észak-Afrikában, majd Magyarországot hosszú időre elhagyva beutazta Kinát és Indiát. Hazatérése után sokat foglalkozott az iparfejlesztéssel, korszerűsítette a Sajó menti vasműveit. Nagy vadászként ismerték, de a politikai életben is aktív részt vállalt, többek közt mint országgyűlési képviselő. Az Andrássyak régi betléri kastélyát – melyet egyik őse 1824-ben eladott – visszavásárolta, hogy átépítse és felújítsa azt. Erre azután került sor, hogy átadta frissen házasodott Géza fiának parnói kastélyát (1882), melyet több mint húsz évvel korábban maga építtetett. A betléri kastélyt nyáron használta, télen a család a budapesti Mérleg utcai palotában lakott.
A betléri kastély története a 15. századig nyúlik vissza. Ekkor épült egy saroktornyos kis vár, mely mögött a 16. század elején egy másik épületet emeltek. A két építményt az elkövetkező évszázadokban összekapcsolták és lakosztályokat alakítottak ki bennük. Andrássy Manónak egy meglehetősen heterogén és szabálytalan épületből kellett reprezentatív kastélyt létrehoznia. Erre 1882-86-ban kerített sort, az egykori megemlékezés szerint „saját terve szerint és személyes felügyelete alatt”.
Bár Andrássy táplált művészi ambíciókat, a műszaki szakismeretet igénylő tervezést Fort Sándor budapesti építész végezte. Az épület két részét igyekeztek egységes tömbbé formálni. Ennek keretében egy további, második emeletet húztak rá, a hátsó épületrész sarkaihoz is tornyokat építettek, és az architektúra is megújult. A kastély bal oldalához az új főbejáratot és a lépcsőházat magába foglaló toronyépítményt illesztettek.
Az épület kényszeredett megoldásaival tagadhatatlanul magán viseli a régihez való alkalmazkodás, de az amatőr tervezés nyomait is. Főhomlokzata viszonylag rövid, ellenben tömege mélységében hosszan, tört vonalban nyúlik hátra, s a bal oldalához tapadó masszív lépcsőtorony felbillenteni látszik az immár erre az oldalra tájolt kompozíciót. A tornyok meredek csonkagúla tetőzete tovább fokozza a tömeghatás kiegyensúlyozatlanságát. A (korábbi) főhomlokzathoz hosszú, zárt veranda tapad, ami csökkenti a főnézet monumentális hatását. A veranda mögött található az egykori főbejárat. A főhomlokzaton jól megkülönböztethető a régi épületrész és a később ráhúzott, könnyed, neoreneszánsz jellegű architektúrájú második emelet. Az oldalsó, bejárati torony sarkait a felső szinten lőrésben végződő sarokpillérek fogják közre, ami stílusbeli következetlenségnek tűnik, viszont összecseng a kastély hátsó tömbjének az elsőétől eltérő architektúrájával, ugyanis itt sima falfelületen szögletes Tudor-szemöldökpárkányokkal koronázott ablakok sorakoznak. (Ez felveti annk a lehetőségét is, hogy a hátsó épületrészt már a 19. század közepén felújították.)
Az 1880-as években végzett átalakítás nyomán mindkét emeleti szinten a két egykor külön álló épület közti részen hosszú, központi csarnok jött létre, és ezek mentén csoportosulnak a termek. Ide kapcsolódik a szintenként kétfelé nyíló fa díszlépcső, melyet dúsan faragott neogótikus korlát kísér. A földszinten megőrizték a maga nemében különlegességszámba menő, barokk kori grottát (ide vezet az egykori főbejárat), és a boltozatos termekben a személyzet szobákat alakították ki.
Az első emeleten hozták létre a gróf, a másodikon a grófné lakosztályát. A termeket a kényelem és a reprezentáció igényei szerint rendezték be, fő hangsúlyt kapott Andrássy Manó expedíciónak és vadászatainak nagy számú tárgyi emléke. A kastély termeinek beosztásáról, felszereléséről és tárgyairól 1895-ben jelentettek meg rendkívül részletes leírás, amely plasztikus képet ad az épület (mára már módosult) belvilágáról:
„A főlépcsőház maga is igen érdekes, sőt nagyszerű, falai fel a mennyezetig mindenféle régi fegyverekkel, hadi szerekkel, régi zászlókkal, régi és újabb művészeti ritkaságokkal, régi és újabb olajfestményekkel vannak díszítve, ezenkívül fehérmárványból faragott mellszobrok, stb. A díszes karfával ellátott vörösmárvány lépcsőzeten feljutva a lépcsőház első emeletére, ezt a nagy és tágas helyiséget is ritkaságokkal, remek réz és kovácsolt vas csillárokkal, óriási kargyertyatartókkal, virágállványokkal, keleti érczedényekkel és világkiállításokról ide került, az iparművészet remekei közé tartozó bútorokkal megrakva találjuk. Itt áll két lábon egy óriási kitömött fekete medve, egyik talpán egy lapos kosarat tartva, mintha az arra haladó vendégnek látogatójegyét kérné; itt látható továbbá egy óriási krokodil s annak tátott szájában egy nyitott faszelencze, melybe ő is látogatójegyet vár. Mind a két hatalmas állatot Andrássy Manó lőtte: az egyiket itthon oláhpataki birtokán, a másikat keleten. A falak mellett alacsony, kényelmes keleti kerevetek, melyek drága szőnyegekkel, fehér medve-, tigris-, párducz-, stb. bőrökkel borítják. A lépcsőházból nyílnak a lakóhelyiségek. A lépcsővel szemközt az üvegfalú társalgószoba van, melynek mennyezetét Vajda Zsigmond freskói diszítik; a falai pedig remek gobelin szőnyegekkel borítvák. A díszes márványkandalló mellett néhai Andrássy Gyula gróf ércz mellszobra áll. Van itt egy könyvszekrény, mely Jókai összes műveivel van tele rakva; vannak állványok zárható bőrhüvelyekkel, a melyek az Andrássy grófok országos és megyei vonatkozású karrikatúráinak gyűjteményét, Andrássy Géza grófnak amerikai utazása alatt általa vadász- és másnemű élményeiről készített színes rajzait, kötetekre terjedő vázlatkönyveket, sporképeket, fényképgyűjteményt foglalnak magukban. A társalgóteremnek déli fala szintén üvegtáblákból áll, a melyeken át gyönyörű kilátás élvezhető a park és az erdős hegylánczok felé. A lépcsőházból jobbra a családi képekkel diszített előszobába jutunk, a melyben egy festményekkel ékített, meglepő szép, nagy Rákóczi-szekrény áll. Innen balra egy vendégszobába, abból pedig a billiard-terembe jutunk, a hol két remek faragású, nagy, üvegajtós szekrény ötlik szemünkbe: az egyik válogatott bronzkori tárgyakkal, a másik pedig a legkitűnőbb mesterek műhelyéből való régi és értékes tajtékpipákkal van tele. A terem egyik sarkában egy zongora, a másikban egy hatalmas régi fehér cserép kályha áll, tetején ugyancsak a kályha anyagából formált magas mythlogiai férfiszobor. A falakon régi nagyjaink olajfestésű arczképei és régi családi képek láthatók, köztük a grófnak madonna-szépségű szépanyja: Csáky Valburga (Andrássy József gróf neje), ki 28 éves korában 1797-ben halt el. A billiárd-teremből balra az ebédlőbe jutunk, melynek mind a négy falát Nádasdy Ferencz gróf hírneves lovas generálisnak és tisztikarának életnagyságú, olajfestésű, egyforma nagy és rendben egymás mellé illesztett arczképgyűjteménye borítja. A főtisztek közt van egy Andrássy is: Károly, a későbbi generális. Ezen Nádasdy huszárezred arról is nevezetes, hogy közös hadseregünknek ez a legrégibb huszárezrede. Az ajtók feletti falrészeket csataképek fedik. Ebben a teremben is meglepő szép régi kályha, régi bútorok, majolika és porczellán dísztárgyak vannak: az e helyiséggel összeköttetésben álló toronyszobában üvegedényekkel telt szekrények állanak. A billiárd-teremből jobbra a gróf dolgozószobája nyílik, melyben szintén több régi bútor és ritkaság (köztük üvegbura alatt a magyar korona hasonmása, továbbá értékes nyereménytárgyak különféle versenyekről, régi bányászjelvények, ritka agancsok, Rákóczi kardja és buzogánya stb.) láthatók. A falakon levő vadászképek legnagyobb részt Andrássy Manó gróf indiai vadászatait ábrázolják. Uganitt látható Andrássy Károly grófnak egy pelsőczi megyegyűlést ábrázoló rajza, a melynek az alakok felismerhetően hű képmások; van itt még egy másik rajz, mely a grófi család tagjait, tisztjeit és cselédségét a kastély előtt ülő és álló helyzetben ábrázolja e század elejéről. Ebből a szobából egy ajtó a kastély éjszaki tornyába vezet, a melyben újabb lőfegyverek, halász- és vadászszerszámok gyűjteménye van. A dolgozószobába nyílik a gróf hálószobája, melynek mennyezetes ágya arannyal kivarrott remek kékselyem függönyökkel van födve; közelebbről tekintve vehetjük csak észre, hogy az aranyhímzés arabs betűs mondásokat tüntet fel a Koránból. A lépcsőházból balra egy felülről világított előterembe, onnan pedig három ajtón át a vendégszobákba juthatni, a melyek régi bútorokkal vannak berendezve. A második emelet előcsarnokában szintén érdekes régiségek, köztük nagy értékű függönyök láthatók. Innen egy rendkívül nagy, magas, felülről világított képcsarnokba jutunk, melynek nagyszerűsége meglepő. Vanna itt festmények olasz, német-alföldi, újabb franczia és német hírneves művészektől, továbbá Munkácsy, Madarász, Lotz, Ebner, Pállik, Vajda, stb. hazai művészeinktől. Érdekes és nagy képek: (másolatban). <<Árpád fejedelemmé választatása>> (egy osztrák festőművésztől), egy csinos kép Andrássy Manó gróftól: két koldus-gyermek az utczasarkon; érdekesek továbbá Andrássy Gyula és Manó grófok életnagyságú arczképei, ő felségök: a király és királyné mellszobrai. Úgy a képtár, valamint a második emelet többi termeinek ajtajai felett az 1848-49-dik szabadságharczból vett jelenetek olajfestésű képei helyezvék el. A terem közepén egy remek művű, nagy kerek asztal áll, gyönyörű szép kirakott munka, melynek közepén a nagy Napóleon és táborkara van ábrázolva. A képtárral szomszédos a nagy szalon, ritka szép veresfényű mozaik mennyezettel, díszes és kényelmes bútorokkal; ebből a teremből ajtó vezet ki a kastély homlokzatán levő tágas vas erkélyre, melyről gyönyörű kilátás nyílik a Sajó völgyére, az azt szegélyező hegyekre, az uradalmi gyárakra és bányaművekre, Betlér községére, a park előrészére, az abban levő hatalmas szökőkútra s a melléképületekre. A nagy szalontól balra van a grófné szalonja, pazar fénynyel bebútorozva. Itt a drága kelmékkel kárpitozott falakon Andrássy Károly gróf és neje, Szapáry Etelka grófnő, Andrássy Gyula gróf, Andrássy Manó gróf és Andrássy Manóné Pálffy Gabriella grófnő életnagyságú arczképei láthatók. E teremmel a toronyszoba áll összeköttetésben, mely kedves kis mellék-szalonnak van berendezve. A nagy szalonból jobbra az a fényes vendégszoba nyilik, a mely egykor Milan szerb királynak is (még fénykorában) lakóhelyül szolgált, mikor mint Andrássy Manó gróf vendége, fiával és kíséretével együtt részt vett az itteni hajtóvadászatokon. A többi szobák részint a grófi család, részint a belső cselédség lakóhelyiségei. Meglepő szép a család szobái közt a grófné kis szalonja, melynek erkélyéről gyönyörű a kilátás keleti irányban a messzeterjedő parkra s a háttérben emelkedő 420 méter magas Pozsáló hegyre. A lépcsőház öt kisebb és három nagy ablakának felső ívelt részét Kratzmann műterméből kikerült színes üveg czímerek díszitik. Mindenik ablakon két-két czímer van: az Andrássy család egyegy elődjének és nejének a czímere. Az anyai elődök közül itt láthatók Pálffy Gabriella, Szapáry Etelka, Csáky Valburga, Batthyány Szerafin, Nádasdy Rebeka, Balassa Erzsébet, Serédi Zsófia és Betz Zsófia czímerei. Nem hagyható továbbá említés nélkül a földszinti lakosztály folyosója, mely a régi épületből hagyatott meg s darázskövekből grotta-szerűleg van építve, s egyik fülkéjében egy fehér márványból faragott Meduza-szobor áll.”

A kastély előtt kis franciakertben márványmedencébe állított szobor lövelli ki a vizet, a bal oldalhomlokzat két végén a régi dicsőség emlékére egy-egy ágyút helyeztek el. A főépületet melléképületek füzére kísérte. A kastély elött balra, attól facsoporttal elválasztva húzódik az istálló-épület, melynek valamikori funkcióját bejárata fölé elhelyezett lófej-szobor jelzi. Fénykorában 56 lóra volt pazarul berendezve. A mögötte álló kocsiszínben szerszámkamra is helyet kapott. E mögött terül el a konyhakert és a gyümölcsös, benne üvegházzal. A másik oldalon a számos helyiséget magába foglaló konyhaház megint csak a kastély praktikus közelségében helyezkedett el. A kastély mögött nagyszabású tájképi park húzódik messze távolba a hegyek övezte, kies vidéken. Alkotója Heinrich Nebbien, a 19. század elejének nagy kerttervezője. A parkban különféle díszépítmények bújnak ment, mint a szabadkőműves pavilon, a Hermész-kút vagy a Bosnyák ház. Az utóbbiban Andrássy Manó boszniai műipari tárgyakat helyezett el.
A kastélyt 1945-ig eredeti tulajdonosai lakták. Ezután államosították, azonban eredeti berendezése megmaradt. 1985-ben a szlovák nemzeti kulturális örökség részévé nyilvánították. 1968-tól kezdődően évtizedeken át tartó felújításon esett át, a munkálatokat azok 1994-es befejezése után Europa Nostra díjjal jutalmazták. Ma Gömör leglátogatottabb műemlékei közé tartozik.