大同2年(807年)、弘法大師が当地で霊木を感得し、一木から薬師如来・阿弥陀如来・十一面観世音菩薩の三尊を彫刻して安置したと伝わる。平城天皇はこれを勅願所と定め、山号「平城山」の勅額を下賜したとされる。最盛期には七堂伽藍と40余の末寺を擁したが、中世の兵火などで伽藍は焼失。延宝6年(1678年)に本堂が再建され、昭和34年(1959年)の失火で再び焼失した後、昭和39年(1964年)に再建された。寺号「観自在」は般若心経の冒頭「観自在菩薩」に由来するとされる。土佐路最後の第39番延光寺から遠く離れ、伊予路の入口を告げる霊場として親しまれている。