A Garam folyó vidékének korai históriája a történelmi idők homályába vész. Csak annyi bizonyos, hogy a végtelen erdőségeket, mint azt országos viszonylatban máshol is, az Árpád-házi uralkodók magán vadászterületükként használták, a gyér számú lakosság látta el az erdő és vadvédő őrök szerepét. A zólyomi erdőispánok első, napjainkig fennmaradt okleveles említése 1222-ből való, amikor a Zólyomi (ebből alakult ki később a Balassa família) nemzetség viselte ezt a királyi hivatalt. Legkorábbi ismert vára a Zólyom – Pusztavár, melynek két különálló erődítményét a XIII. század közepén, illetve a XIV. század elején emelték. Ennek az időszaknak a történelmi eseményei hozzájuk köthető. A régészeti kutatás eredményei szerint a Szalatna és Garam folyók közelében egy kisebb dombon emelkedő korábbi templomot Nagy Lajos király utasítására bontották le, hogy a helyébe egy szabályos alaprajzú várpalotát emeljenek. Míg a régebbi kutatások az itáliai hadjáratokban látott főnemesi szállásokhoz hasonlították, az újabb szakértői vélemények szerint inkább a Közép-Európában már a XII. század óta létező nagyúri lakok mását látják benne. Az írásos források szerint 1357-től kezdve egyre gyakrabban tartózkodott itt az Anjou uralkodó, az épület elkészültének dátuma 1364-re tehető. Előnyös fekvése, a DK-re lévő Diósgyőrrel egyetemben az volt, hogy innen a lengyel és magyar királyságait könnyen elérhette Lajos király. Falai között került sorra a magyar uralkodó és IV. Vencel cseh és német uralkodó találkozójára 1379-ben, mikor megerősítették ez előbbi leányának, Máriának frigyét Luxemburgi Zsigmond brandenburgi őrgróffal. Nem sokkal halála előtt itt mutattak be hódolatot a lengyel nemesi rendek a beteg Lajos királynak. 1424-ben férje adományaként Cillei Borbála királyné szerezte meg. Később Habsburg Albert király szintén a feleségének, Erzsébetnek adta át, aki 1440-ben, már megözvegyülte után, az utószülött fia védelmére az országba hívott Jan Giskra cseh huszitavezérnek juttatta, és egyúttal kinevezte Kassa főkapitányává. A harcedzett cseh fegyveresek rövidesen a felvidéki területek nagy részét az uralmuk alá hajtották. 1449-ben maga Hunyadi János kormányzó vezetett hadjáratot ellenük, de siker nélkül, ezért a közeli Strázsa-hegyen egy erődítményt emeltetett a szemmel tartásukra. A cseh megszállás 1462-ben ért végett, amikor Hunyadi Mátyás király kiegyezett Jan Giskrával, aki átadta a várait neki. A középkor további évszázadaiban magáénak mondhatta Beatrix özvegy királyné, és a dúsgazdag Thurzó főnemesi család, ez utóbbi építette a XVI. század elején a külső várfalakat. A törökkel vívott vesztes mohácsi csata időszakában szerezte meg a Balassa család, akiknek tagjaként 1554. október 20.-án itt született meg Bálint, a korszak legnagyobb magyar reneszánsz költője. Magát a középkori várkastélyt hiába erősítették meg külső falakkal, majd egy hatalmas olaszbástyával, már nem tartozott a hadászatilag fontos erősségek közé. Így helyőrsége általában kardcsapás nélkül kaput nyitott a Habsburg császári ház önkényuralma ellen felvonult erdélyi seregeknek, így 1605-ben Bocskai István hajdúi, míg 1619-ben Bethlen Gábor fejedelem előtt hódoltak meg. Ekkoriban már Esterházy Miklós a zólyomi főispán, akinek szerencsecsillaga az előnyös házasságai és rendíthetetlen Habsburg hűsége miatt egyre magasabbra ívelt. Idáig a török portyázók csak ritkán jutottak el, nem így I. Rákóczi György erdélyi fejedelem serege 1644-ben. A török szövetségében zászlót bontó Thököly Imre felkelői 1678-ban szintén harc nélkül szállták meg, de a november 1.-én lezajlott vesztes barsszentkereszti ütközet után kénytelenek feladni. Legközelebb 1682 őszén, a török segítséggel elfoglalt Fülek várának bevétele után jutottak el Zólyom falai alá a felkelők, amely a gazdag bányavárosokkal egészen a következő esztendőig a hatalmukban állt. Később Habsburg Lipót császár és király Csáky Lászlót nevezte ki zólyomi főispánnak, aki a hivatalát az akkoriban katonai szempontból már teljesen elavulttá váló erősségben tartotta. Valószínűleg ennek köszönhető, hogy 1701-ben nem került a felrobbantásra kijelölt magyar várak közé. Az utolsó hadi események a II. Rákóczi Ferenc által vezetett szabadságharc idején zajlottak a falai alatt. 1703. szeptemberében Ocskay László és Borbély Balázs kuruc kapitányok lovascsapatai szinte akadálytalanul szállták meg Léva és Zólyom környékét, de a gyanútlanul táborozó felkelőket októberben szétverték Schlick császári generális zsoldosai. 1703. november 15.-én a „nagyságos fejedelem” fővezére Bercsényi Miklós jelent meg a zólyomi síkon mintegy 15 ezer főnyi hadával. Vele szemben az akkoriban még császárhű Forgách Simon serege sorakozott fel. A korabeli krónikák szerint az ütközet előtt, még a török időkre visszamenő szokás szerint, a szembenálló felek két vitéze küzdött meg egymással. A „Rákóczi villámának” nevezett Ocskay László csapott össze a régi végvári harcossal, Bottyán Jánossal. A pisztolylövésekben mindketten megsérültek, a kibontakozott csatában pedig a felkelők elfoglalták a várost is. A császári erők maradéka bezárkózott a várba, ahonnét Forgách gróf még aznap éjszaka, titokban elmenekült. A védelem a sebesült Bottyánra hárult, aki három héttel később, december 7.-én, szabad elvonulás fejében adta fel az erősséget. A felkelők zászlaja lobogott falain egészen 1708. októberéig, amikor a vesztes trencséni csata után egyre inkább hátrálni kényszerülő kurucok kiürítették a bányavárosokat és Zólyomot. Szerencsére ezután sem rombolták le, a rendíthetetlenül Habsburg-hű Esterházy főnemesi család birtokolta. Tőlük 1802-ben a Kincstár vásárolta meg, falai között raktárakat és hivatalokat helyeztek el. Egészen a XX. századig állami hivatalok használták, majd 1944-ben a német csapatok ellen harcoló Thalmann partizánbrigád főhadiszállása. A műemlékvédelmi szakemberek az 1960-as években kezdték meg az évszázados falak restaurálását, melyben, napjainkban történeti kiállítást és egy művészeti galériát láthat az ideérkező idegen.