Na hribu je arheološko najdišče iz starejše in mlajše kamene dobe, bakrene dobe in pozne antike. Vidne so naselbinske terase in obrambni nasipi. Izročilo pravi, da je bil že davno tega na hribu, kjer danes stoji cerkev, pašnik, na njem pa so se pasli konji. Nekega dne so bližnji prebivalci uzrli čudo. Na skalni groblji nekoliko južno od vrha je stala podoba sv. Štefana, okrog nje pa so klečali konji, časteč tega svetnika. Ker se ni spodobilo, da bi podoba ostala kar na odprtem, so ji v bližini zgradili cerkvico. Že 1132 se je omenjeni hrib imenoval po sv. Štefanu, s tem pa je dokazan tudi obstoj cerkve na njem. Daleč naokrog ni nobene, ki bi bila v pisnih virih izpričana prej, je pa tudi najstarejša cerkev sv. Štefana v Sloveniji ter gotovo že od začetka romarska. Po izročilu je bila prvotna cerkev lesena. Sama stavba je bila prvič omenjena 1346 kot kapela. Okrog 1650 je bila popravljena, štiri leta kasneje pa posvečena z velikim oltarjem vred, ki je bil po Valvasorju tudi edini. V tem času je nastal sedanji triosminsko sklenjen prezbiterij, ravno tako tudi portal v obzidju, ki obdaja cerkev. Ladja je pravokotna s skromno pilastrsko členitvijo in venčnim zidcem. Zvonik z zakristijo v pritličju je bil pozidan pred 1736, ko je bil vlit najstarejši zvon, ki je danes najmanjši od treh, tehta pa okrog 250 kg. 1804 je cerkev zaradi strele pogorela. Župnik Grošelj je hotel, da novo pozidajo med Zg. in Sp. vasjo, Štefanjci pa so vztrajali, da bodo popravili staro, kar so napravili naslednje leto. Dobila je nov glavni oltar, na katerem je starejši le Križani. Stranska, ki sta posvečena sv. Florjanu in sv. Jedert, je 1847 izdelal Aleš Janežič iz Zaloga, kipa njunih zavetnikov pa so 1913 zamenjali z deli Jerneja Ternovca.
Še do nedavnega so gospodarji, ki so imeli konje, na štefandan pred cerkvijo kupili toliko njihovih figuric, kolikor so imeli živih doma, jih nesli okoli oltarja in postavili nanj kot dar sv. Štefanu. Nato so nekoliko pomolili in obred je bil sklenjen. Glede na okoliške cerkve je posebnost ta, da so darovali le figurice konj. Ta šega se je v 2. polovici 20. stol. preobrazila v skoraj navaden ofer. Pred leti jo je dopolnil blagoslov konj, ki po maši poteka na ravnici SV pod cerkvijo.
Sv. Štefan je bil diakon v zgodnji jeruzalemski Cerkvi, mož, poln modrosti in duha. Zaradi krščanske vere je bil kamenjan, s tem pa je postal prvi mučenec. Je zavetnik konj in druge živine, običajno pa ga upodabljajo kot diakona z mučeniško palmo in s kamni v rokah. Goduje 26. decembra.
