戦国時代の大名・最上義光の時代につくられ、江戸時代の山形藩藩主・鳥居忠政の時代に現在の形に整えられた。江戸時代には山形藩の政庁が置かれた。
本丸、二の丸、三の丸が、同心円状に配置された輪郭式平城である。二の丸には5つ、三の丸には11の出入り門が作られた。中世の居館を拡張して城郭とし、本丸は御殿のみで天守は造られなかったが二ノ丸に御三階櫓が建てられた。二の丸は一辺500メートルほどの方形、三の丸は1.5キロメートルから2キロメートルほどの楕円形であった。本丸には御殿、二の丸には藩の政庁と御三階櫓が、三の丸には家臣の屋敷、城外には寺院などが町方を取り囲むように置かれた。
現在地上に残っている、山形城跡を取り囲む水堀は、二の丸の濠であり、良く保存されている。三の丸の水堀は江戸期の終わりごろには埋没し、湿地化していたところが多かった。
大規模な城で、日本国内では5番目の広さで、奥羽地方では最大の城であった。
現在は遺構はほとんどなく、二の丸跡が霞城公園として残されている。