Gimnáziumi tanulmányait és a bölcseletet Pozsonyban, a hittudományokat Győrött végezte. Pappá szentelték 1830. január 31-én. Tizenhárom évig volt káplán, azután adminisztrátor a pozsonyi Lazarethben négy évig. 1849-ben belvárosi, 1855-ben zuckermandli (váralja) helyi káplán lett.
Több mint hatvan éven keresztül működött példás lelkipásztorként. Scherz pátert a hívei imádásig szerették, mert az ő lelkipásztorságának egész ideje alatt mint valódi lelkipásztor híveinek, kivált a szegényeknek valóságos atyja volt, minden bajban segítőjük, veszedelemben védőjük, nyomorúságukban áldozatkész támogatójuk volt. Tragikus halála (1888. szeptember 18-án a Kórház utcában egy szekér elütötte és sérüléseibe másnap belehalt) után több mint 20 000 ember kisérte utolsó útjára. 1908-ban, halálának 20. évfordulóján, emléktáblát helyeztek el a templom falán.
A táblára ez a felirat került: „Vaszójai Sherz Károlynak, a Terézváros felejthetetlen és érdemdús lelkipásztorának emlékére emelte Pozsony szab. kir. város lakósága 1908. évben”.
Scherz páter nagy állatbarát híreben is állt, aki nem bírta nézni az állatok kínzását. Ő volt az, aki saját költségén kivitelezte azt, hogy a gyepmester a kutyákat nem a barbár dróthurokkal, hanem bőr és kaucsuk borította eszközökkel fogta be.
A templom melletti – ma már nem létező – kis tér egészen 1957-ig Scherz páter nevét viselte.