Az egykori krónikás, Pölhös Vince feljegyezte, hogy a pusztatemplom az ipolybalogival és a szécsényivel egy századbéli, azaz a XI. században épült. A tatárok ugyan lerombolták, de később újra felépült… Titulusa Mindenszentek volt. A Magyar Katolikus Lexikon szerint 1291-ben már biztosan létezett a község plébániája is. Máshol azt írják, hogy a községet 1244-től adatolható temploma alapján Eghazaschalomianak nevezték. A régi csalomjai templomról vidékünk egyháztudósa, Ipolyi Arnold is többször írt. Gyürky Antal helytörténész rá hivatkozva írja, hogy a templom Hunt Pázmány építmény, azaz még régebbi lehetett a fent említett időpontnál.
A templom alatt kripta húzódik. Falai jelentős mértékben elpusztultak. 2007-ben régészeti ásatásokat folytattak alatta, és kitisztították környezetét.”