Akárhonnan közelítjük meg a várost, azonnal szembetűnik annak déli oldalán emelkedő domb tetején Selmecbánya jelképe a négy saroktornyos, csúcsos tetejű Leányvár. A monda szerint a szép és dúsgazdag Rössel Borbála építtette. A vár helyén ugyanis akkoriban akasztófa állott, ami Borbála palotájából jól látható volt. Amikor kitekintett az ablakon, gyakran összerázkódott ijedtében az akasztófa láttán. Hiába akarta, hogy tegyék máshová, a város nem engedett. Márpedig elhatározta, hogy akasztófa ott nem lesz. Egy idő múlva olyan ajánlatot tett a városnak, hogy egy várat akar építeni saját költségén, mely a háború idején menhelye lehet a városnak. Csak azt kötötte ki, hogy oda építhesse, ahová ő akarja. Nagy örömmel engedte meg neki a városi magisztrátus, mire ő felépíttette az akasztófa helyén. Borbáláról azt tartja a hagyomány, hogy testének szépsége olyan volt, mint egy drága ékszer, melynek fényét gazdagsága még nagyobbá tette. (Nagyapja, Rössel Erazmus állítólag olyan sok aranypénzt gyűjtött össze, hogy azokat egymás mellé rakva a sor az országúton Selmectől Budáig ért volna.) Akadt is kérője bőven, de ő elhatározta, hogy sohasem megy férjhez. Borbála napról-napra nagy dorbézolásokat vitt végbe, tele bujasággal. Különcködései miatt a nép leányvári boszorkánynak hívta. Amikor barátai figyelmeztették, hogy nagy tékozlása felemészti vagyonát, értékes gyűrűjét a Selmec vizébe dobta és kijelentette, hogy olyan biztos kincseinek állandósága, mint amilyen biztos, hogy a gyűrű elvész. Ez könnyelműség volt a részéről, mivel egy a patakból kifogott hal felbontásakor előkerült a gyűrű. Borbála mindenkitől elhagyva, elszegényedve halt meg. Temetésén iszonyatosan nagy fergeteg támadt, az emberek a koporsóját az úton hagyva elmenekültek, majd kutyák rohantak elő és felfalták a holttestet.
A leányvárat valójában a török elleni védelem céljából építette a város polgársága 1564 és 1571 között két részletben. A várost huszonnégy olasz ágyúval védte a Léva és Bakabánya irányából várható támadásoktól. Ellenség közeledtekor fekete lobogót tűztek ki, vendég közeledtekor az őrség un. motettát fújt. Tűz esetén nappal vörös lobogóval, éjjel lámpással jelezték a vészt. A tűzőr minden negyedórában trombitált, míg az egész órákat egy őr harangütéssel jelezte. Ezért hívták Selmec kétlábú órájának a Leányvárat.