社伝によれば、神功皇后が紀伊半島へ進軍した際に玉津島の神の加護を受けたことに始まると伝わる。文献上の初出は奈良時代、神亀元年（724年）の聖武天皇による玉津島行幸で、『続日本紀』にはこの地の景観を末永く守り神霊を祀るよう詔勅を発したと記されている。稚日女尊・息長足姫尊（神功皇后）・衣通姫尊の3柱に明光浦霊を配祀し、住吉大神・柿本大神（または北野天満宮）とともに和歌の神「和歌三神」の一柱として、平安時代以来、宮中貴族や歌人たちの参詣と和歌奉納を集めてきた。現在の本殿は慶長11年（1606年）に紀州藩主・浅野幸長によって再建されたものと伝わる。