Kostel snad existoval již ve 12. století, podle dalších zpráv v gotické podobě pochází z 2. poloviny 14. století. V zakládajících knihách se objevuje Svatý Kříž jako sídlo faráře již v roce 1350. Gotický presbytář (kněžiště) byl přistavěn v roce 1630 a má křížovou klenbu uzavřenou na jehlanových konzolách. Gotická okna byla původně barevná v olovu, ale vlivem blízkého lomu a vandalů byla zničena. 
V roce 1661 byla před bohatě profilovaný gotický pískovcový portál postavena předsíň, aby chránila tuto památku před nepřízní počasí. Loď kostela byla upravena po požáru kostela v 18. století. V roce 1818 byla přistavěna věž. 

Na věži kostela je kříž a kohout – snad jako památka na dobu v letech 1562 až 1629, kdy v tomto kostele působili protestantští kněží. Další opravy byly provedeny v letech 1986-88 a 1991-95. 17. září 2000 byl posvěcen nový zvon „Jan Nepomucký“.