築城時期は不明。
鎌倉時代に藤原氏の血を引く吾妻氏によって築城されたという伝説があるが信憑性は低い。
もうひとつは吾妻氏により南北朝の頃築かれたともされるがこちらも憶測の域を出ていない。
戦国時代には吾妻氏の子孫を名乗る斎藤氏が城主となる。
その後は斎藤氏、長尾上杉、分家の斎藤氏、大野氏など様々な勢力が群雄割拠することになる。
一方斎藤、長尾上杉の双方に取り入っていた真田氏が第3勢力「武田氏」を介入させ武田の後ろ盾を得て
真田氏が城主となる。
その際岩櫃城は真田氏により街道を含め大改修を受けたとされる。
江戸時代には真田信之が城主を務める沼田城の支城となるが、1615年の一国一城令により廃城となった。
岩櫃城は断崖絶壁の上に建つ難攻不落の要害とされた。
尚、斎藤氏が築城したのは岩下城だという説もあれば、岩櫃城自体が実は岩下城であるなど複数の説がある
2017年には続日本100名城に選ばれている。
2019年には国指定史跡になる見込み。