岡山城主・宇喜多秀家は文禄年間（1592〜96年）、瀬戸内海航路を監視する出城として下津井城を築いた。初代城主には浮田家久が任じられた。関ヶ原後は池田氏に引き継がれ、慶長年間まで改修が続けられた。