天文4年（1535年）に武衛義忠が築城した出羽国の山城で、「羽州の名城」と称された。江戸時代には上山藩の藩庁として機能したが、幕府の命により元禄5年（1692年）に破却。昭和57年（1982年）に郷土資料館として天守が再建された。蔵王連峰を望む景勝地に建ち、周辺の城下町には上山温泉の湯治場も広がる。春の桜の名所として市民に親しまれ、館内では上山藩の歴史や羽州街道の往時を紹介する資料を展示。山形を代表する復元天守の名城として観光客を集めている。

築城後は武衛義忠の子・義節、次いで上山満兼と城主が続き最上氏の支城となったが、天正8年（1580年）、最上義光の調略に応じた重臣・里見民部が満兼を討ち、以後は最上氏の直轄下で里見氏が城主となった。江戸時代には元和8年（1622年）以降、松平重忠・蒲生忠知・土岐頼行と城主家が交代し、元禄5年（1692年）の破却直後に金森頼旹が入封、元禄10年（1697年）からは藤井松平家の松平信通が入って、以後明治維新まで上山藩を治めた。破却後も本丸西側の堀・土塁・石垣の一部が現存し、市指定史跡となっている。