Gyarmat plébániája valószínűleg a 13-14. sz. fordulóján jött létre. Ősiségét mi sem bizonyítja jobban, minthogy az 1332/37-ben kiadott pápai tizedjegyzék már említést tesz a gyarmati plébániáról. Itt a Szent György vértanúról elnevezett zöldmezei prépost alá tartozó esperesi kerület egyházaként van feltüntetve, és „Armat, Armati” alakban szerepel. Esztergom vármegye plébániáinak pápai tizedét összefoglaló jegyzék 1332/33-ban Gyarmatra nézve hat garasban határozta meg a fizetett tized nagyságát. Az itt tevékenykedő papok közül az első, név szerint is ismert plébános még ebből a korból származik. 1322 – 1337-ig egy Pál nevezetű plébános, „Paulus de Armati” teljesített szolgálatot Gyarmaton.
A török hódoltság idejéből fennmaradt egyházlátogatási jegyzék az 1560. évi szomorú állapotokat tárja elénk. A legtöbb plébánia vagy üresedésben volt, vagy elhagyatva elpusztult. 1560-ban ilyen megüresedett, de még létező plébániát találtak Gyarmaton is azzal a megjegyzéssel, hogy „még áll régi temploma, mely Szent Mihály tiszteletére van felszentelve, és az esztergomi káptalan kegyuraságához tartozik.” A török hódoltság másfél százados ideje alatt a községek legnagyobb részének még papja sem volt. A 17. század végén a megyében csak öt községnek, köztük Kőhidgyarmatnak volt plébánosa (1682).
Kollonics Lipót esztergomi érsek 1701-ben rendelte el a török idők utáni első egyházlátogatást. Felbecsülhetetlen értékű ez az összeírás. Fölöttébb érdekes az első két kérdésre adott válasz, vagyis hogy 1. milyen állapotban van a templom, 2. ki vagy kik, katolikusok vagy eretnekek építették és mikor, mely rámutat a templom régiségére és állapotára, valamint vagyoni helyzetére. Kőhidgyarmatról a következőket tudhatjuk meg: „Senki nem emlékszik, hogy a templomot mikor és ki építette. Védőszentje Szent Móric mártír. A háborús időkben teljesen leomlott, teteje nincs, csak a falai állnak. Vagyona nincs. Felszentelésének ünnepét minden évben Szent Móric nyolcad napját követő vasárnap tartják. Van egy aranyozott ezüst kelyhe paténával. A háborúkban az egyház összes vagyona elpusztult, és a hely elnéptelenedett.”
Az 1732-es főesperesi vizitáció megállapítja, hogy: ”Kőhid-Gyarmat régi anyaegyház; a káptalan esztergomi uradalmához tartozik. Szt. Móricz tiszteletére épült templomának mennyezetét most alakítják át stukkóssá. Ünnepére (szeptember 22.) a lehető leggyorsabban búcsút fognak kérni. Sekrestyéje boltíves (azelőtt gerendás, fa mennyezete volt). Van három oltára, szószéke, khórusa, és padjai. Van továbbá egy fából készült tornya egy haranggal.”
Annak ellenére, hogy az előző, ősrégi Szent Mihály templom többszöri átalakításon ment keresztül, már nem tudta kielégíteni a lakosság erőteljes szaporodásával keletkezett új igényeket. Ezért a sokat szenvedett régi templom helyett az esztergomi káptalan 1742 – 46-ban a régi romok felhasználásával teljesen új templomot építtetett.
Mivel a feljegyzések arra engednek következtetni, hogy az új templomot ráépítették a régire, 2017-ben földradaros vizsgálatnak vetették alá a területet. A vizsgálat kimutatta a román kori templom létezését, mely a jelenlegi templom alaprajzában található. A hajó teljes területén két talajszint mutatkozott meg, melyek közül a mélyebb (80 – 100 cm) jelzi a középkori templom talajszintjét. Az eredeti templomhajó 12 m hosszú, 8 m széles, téglalap alakú építmény volt, megtoldva egy 5,5 x 5,5 m-es félkör alakú apszissal, amelyet statikai megfontolásból támpillérekkel láttak el. Az alapfalazat kb. 120 cm széles. A jelenlegi szentélyben és a sekrestyében jelentős anomáliák figyelhetők meg, amelyek ismeretlen eredetű alapokat feltételeznek (úgy tűnik, mintha egy megtört vonalú falazat egy hosszabb szakasza – védőfal rácsatlakozott volna az apszisra). A földradaros vizsgálat eredménye régészeti és architektonikus-történeti feltárások elvégzését indikálja.