寛正2年（1461年）、疫病が流行した折に一志郡滝村から牛頭天王を勧請し「高福大明神」と称したのが起源と伝わる。「伊勢寺」という地名は7世紀末（白鳳期）に創建された古代仏教寺院に由来し、奈良時代には行基が聖武天皇の勅命により伽藍を整備したと伝えられる。明治初年に社名を「高福神社」に戻した後、明治41年（1908年）には町内27社を合祀し、その中には式内社「物部神社」「堀坂神社」「大神社」の論社も含まれた。昭和5年（1930年）、鎮座地の地名にちなみ「伊勢寺神社」と改称して現在に至る。合祀により古代の渡来系氏族・物部氏ゆかりの信仰も受け継いでいる。