A bencés kolostort és templomát I. Géza magyar király alapította. Felszentelésére 1075-ben került sor, amikor birtokait is összeírták. Szent Benedek tiszteletének szentelt első temploma a régészeti megfigyelések szerint 3 hajós, félköríves szentélyzáródású, nyugati toronypáros bazilika volt. A 14. században Szigfrid apát irányításával a régi templom körülépítésével alakították ki a mai gótikus csarnoktemplomot és ekkor átépítették a kolostorszárnyakat is. Különösen díszesek a templom nyugati főkapujának szobrai és egyéb kőfaragványai. E „második templom” keleti részét I. Nagy Lajos király faragott címere keltezi, míg a nyugati rész csaknem egy évszázaddal később készült el: felszentelésére csak 1483-ban került sor. A 16. században a török fenyegetés miatt a bencések el is hagyták az épületet, a kolostort védői fallal és bástyákkal vették körül, melyek részben máig láthatóak. A kisebb hadi jelentőségű erődítés többször kapott szerepet – pl. cserélt gazdát – mind a török, mind pedig a kuruc háborúkban. A béke beköszönte után készült orgonája, 1714-ben. A templom alatt kialakított kriptában a Felvidék történetében jelentősnek számító Koháry család tagjai nyugszanak. A még Mátyás király által 1483-ban a bencéseknek adományozott Szent Vér ereklye ( Veronika kendőjének egy darabja, amit II. Pál pápától kapott) tárolására 1713-ban emelték az ún. Szent Vér kápolnát.
Az 1881-es tűzvészt követően az épületet Storno Ferenc soproni építész vezetésével helyreállították. Ekkor került az esztergomi Keresztény Múzeumba Garamszentbenedek egyik leghíresebb kegytárgya, a 15. század végéről származó, fából faragott, gótikus Úrkoporsó. A szocialista diktatúra éveiben, 1950-ben a kolostort internáló tábornak jelölték ki, ahová Csehszlovákia számos, állami erőszakkal felszámolt kolostorából gyűjtötték össze a szerzeteseket. Az 1970-es években aztán műemlékké nyilvánították, majd részben felújították, ekkor nyerte el mai képét.