波切城は南北朝期に川面氏が築き、貞治年間（1362〜68年）に九鬼隆良が奪取して以降、九鬼氏の拠点となった。後に鉄甲船で名を馳せる九鬼嘉隆はこの波切城で生まれたとされる。嘉隆は文禄3年（1594年）に鳥羽城を築くまで波切を治め、九鬼水軍の根拠地とした。