赤坂城は館城（やかたじろ）です。
赤坂城は文安４年（１４４７）の室町時代中期に、土豪間加部常春によって築かれたと伝えられる。以後は戦国時代永正１４年（１５１７）以後は出雲の尼子氏の配下となり、永禄９年（１５６６）、間加部近江守のとき、毛利方の三村元範によって攻められ落城する。そして、備中兵乱で三村氏が滅びると、備中は毛利領となり毛利の武将桂善左衛門元将を置いたものと思われる。現在の赤坂城は、天正期に桂元将によって改修整備されたものと思われる。赤坂城は山城と平城の中間的な存在で居住性と防御性を備えた「館城（やかたじろ）」の典型といわれており、県内では珍しい。
本丸（ほんまる）の広さは１８ｍ×３２ｍの方形で約６００㎡（約６畝）ある。本丸の奥には０．５ｍくらいの土塁（どるい）が築かれており、近くに城主の住居があったものと思われる。その前面下に腰曲輪（こしくるわ）があり、真下の敵を直接攻撃できたものと思われる。城の斜面は切岸（きりぎし）によって厳しく造られており、敵の本丸への侵入は容易ではない。（山本範）
