Lipcse vára a 13. században épülhetett, ám korai időszaka homályba vész. Korábban úgy tartották, hogy IV. Béla többször tartózkodott itt, sőt, fia V. István 1271-ben egy ízben oklevelet is kiállított e helyen. Szlovák kutatások szerint 1258–1306 között háromszor említik, ez azonban nem általánosan elfogadott. Annyi egészen bizonyos, hogy 1305 előtt emelték. Építtetői feltehetően a zólyomi ispánság tisztét a 13. század utolsó harmadában többször betöltő Balassák lehettek. 1306-ban I. Károly király foglalta el Miklós fia Demeter zólyomi ispántól és unokaöccsétől, Doncstól, aki valószínűleg Csák Máté veje volt. 1313 júliusában Csák Máté várnagya, Radványi Dénes fia Tamás ül benne. 1314-től ismét Doncs kaparintotta meg, majd rövidesen a király kezére jutott. A 14-15. században királyi vár volt, a zólyomi ispánság tartozéka. A 14. sz.-ban kedvelt királyi rezidenciának számított. A hatalmas erdőségek tele voltak nemes vaddal, amit a környéken lakó udvarnokok hajtottak az idelátogató király és kísérete elé. I. Károly két, Nagy Lajos király pedig nyolc oklevelet bocsátott ki Lipcséről. 1340-ben Paksi Olivér zólyomi ispán embere, Dörögdi Kilián fia András alvárnagy őrizte a várat. 1406-ban Mecelska-i Henrik a várnagy. Zsigmond király is többször megfordult az erősségben, majd 1427-ben egyéb birtokokkal együtt nejének, Borbála királynénak adományozta. A királyné várnagyát, Necpáli Demetert 1429-ben említi oklevél. 1439-től Erzsébet királyné birtoka lett, aki Korbáviai Gergelyre bízta. A huszita időkben Korbáviai Gergely a várkapitány, akit többször is említenek a források (1442, 1445, és 1447-ben). Rövid ideig Giskra is elfoglalva tartotta. A vár 1464-től Horváth Damián és Péter tulajdona lett. A Horváth család azonban csak hat évig birtokolta Lipcsét. 1470-ben ismeretlen okból visszaszállt a királyra, aki Ernuszt János kincstárnoknak és két fiának adományozta. A kincstartó hűtlensége miatt később elvette tőle a király és előbb fiának, majd még 1478 előtt feleségének, Beatrix királynénak ajándékozta. 1490-ben Dóczy Orbán és testvérei szerezték meg Saskő várával együtt. A Dóczy család Lipcsey ágától II. Lajos feleségének, Mária királynénak kapitánya, a stájer származású Thurm Kristóf foglalta el 1531 júniusában. Thurm Kristóf a várat várnagyára, Wassergraf Miklósra bízta. A Dóczyak hosszú időn keresztül hiába követelték vissza a Thurm családtól, majd 1546-tól új birtokosától, Mária királynétól, a vár a királyi kamaráé maradt. Ezekben az időkben várnagyai voltak: Hirschbergi Gutt Erazmus (1548), Sprenger Antal (1562), Balassa Farkas (1564-től). 1567-től Rubigallus (Rothan) Pál, gazdag selmecbányai nemesember kapta zálogba az uralkodótól, majd 1572-ben – mivel Miksa király a kapott kölcsönt nem tudta neki visszafizetni – Lipcse várát és annak uradalmát neki adományozta. Rubigallus halála (1578) után özvegye, majd egyik veje, Dudics András báró birtokolta. 1590-ben már újra a királyi kamaráé. I. Rudolf 1600-ban odaadta Triebel Gáspárnak, aki az előző évben Morgentaler Fülöp zólyomi kapitánnyal a véglesi uradalom közelében pusztító török csapatokat szétverte. Bár 1605-ben Bocskai hajdúi elfoglalták a várat, azt később Triebel visszakapta, és egészen haláláig, 1620. július 31-ig birtokolta. Vagyonát két lánya örökölte: Róza, aki 1614. február 2-án Orlay Istvánnal házasságra lépve a várban tartotta esküvőjét. A másik leány Révay Gáspárhoz ment nőül. Ezeknek fizette le Széchy György a zálogösszeget, amikor Lipcsét birtokába vette. Széchy 1621-ben adománylevelet is szerzett a várra, majd halála után özvegye, Homonnai Drugeth Mária lakott benne. Széchy György leánya, Mária folytán később a Wesselényieké (itt hunyt el 1667. március 23-án gróf Wesselényi Ferenc Magyarország nádora, a róla elnevezett összeesküvés vezére), majd 1668-ban Zichy Istváné. 1692-től kincstári birtok. 1704/1705 körül Rákóczy Ferenc Bercsényi Miklósnak adományozta. A trencséni csata után, 1708. nov. 1-én Peyersberg gróf szállta meg az erődítményt. A várban a 19. század kezdetén tűz pusztított, sok évig üresen, lakatlanul állt. Az 1870-es évek elején a magyar kormány a kincstári munkások árváinak ügyét felkarolva Lipcse várát jelölte ki az árvák otthonául. Miután a szükséges átalakítások megtörténtek, 1873 őszén a Gizella főhercegnő nevét viselő árvaház megnyílott és az 1930-as évekig üzemelt, mint árvaház. Ekkor az épület fenntartásához szükséges pénz hiánya, valamint a gyermekekkel szembeni kegyetlen bánásmód miatti botrányok miatt bezárta kapuit. A vár érdekessége a várkút, melyből 5 földalatti folyosó vezet. A várkapunál egy 700 éves hárs áll, melyet Corvin-hársnak is neveznek. A legenda szerint Corvin Mátyás szívesen pihent az árnyékában. 25 m magas, törzsének átmérője 7,5 m. 1969-től védett.