Szabályos négyzet alaprajzú, nagy belső díszudvaros (közepén díszkúttal), emeletes (a terepi adottságok miatt nyugati szárnyán kétemeletes) barokk kastélyépület. A kastély előtt kisebb erődített várkastély állt, amelyről már a 15. században említést tettek. A 16. század második felében Giulio Ferrari olasz építész erőddé építette át. Selmecbányát védte a délről támadó törököktől. Az erődből bástya maradt fenn.
A régebbi kastély átépítésével Koháry András József a bécsi Entzenhofer Jánost bízta meg 1744 és1750 között. A lejtős terep rendkívül kockázatos volt, a hatalmas négyszárnyú épület felépítése az építész ügyességére volt szükség. A mai statikusok is csóválják a fejüket a nehézségek felett, amelyeket a régi kőműves mesterek mindössze kővel, homokkal, téglával, fával és mésszel megoldottak. Eredetileg a naptár számszimbolikája jegyébe épült négy kapuval (évszakok), 52 szobával (hetek), 12 kéménnyel (hónapok), 365 ablakkal (napok).
A kastély homlokzati képeit Schmidt Anton festette, aki 1749-től a kastélyban dolgozott.
Három homlokzati kép van, egy a főbejárat fölött és egy-egy az udvari frontokon.
A főbejárat fölött az óra számlapja fölött Mária látható karjában Jézussal angyalok között. Az északi szárny udvar felöli homlokzatának timpanonján lévő óralap és kronosztichon alapján a második barokk építési szakasz 1750-es dátummal, az óra felhelyezésével fejeződött be. A latin nyelvű felirat, II. Koháry István verse, a mulandóságra figyelmeztet: „svnt vt ervnt horae passv, gressvqve carentes. vna tamen veniet qvae tibi dicet: abi.” (Az órák lábak nélkül is jönnek-mennek, de eljön majd a végső, ami azt mondja neked, hogy el kell menned!)
A másik udvari homlokzaton a Szentháromság látható.
A Koháry-család kihalása után a Coburg hercegi család házasság révén jutott a kastélyhoz 1826-ban. Coburg Ferdinánd 1887-ben Bulgária uralkodója lett. Az első világháború után távoznia kellett Bulgáriából, és itt Szentantalon is élt. A Coburg család csak 1944-ben volt kénytelen távozni birtokáról. Talán ennek köszönhetően maradtak fenn az eredeti tapéták, híres festők festményei és a történelmileg egyedi bútorgyűjtemény az egész világból. A folyosókat régi grafikumok és trófeák ezrei szegélyezik, a teljes alsó szinten vadászati kiállítás található. A nyilvánosság számára 1962-ben megnyitott kastély a vadászati, halászati és faipari kiállítás mellett gazdag 18–19. századi képzőművészeti, bútor- és porcelángyűjteménnyel is rendelkezik. Díszkútja, bejárata erdeti formájában maradt meg. Nagyméretű szép angolpark övezi, mely minden évben az országos vadásznapok, a Szent Hubertusz Napok színhelye.