南北朝時代に和氏の一族上神高直が石山台（岡山）に城を築いたと伝えられている。
備前東部・美作・備中東部まで勢力を伸ばした宇喜多氏が本拠としたことをの後小早川氏、池田氏により近世城郭として整備、拡張が行われた。
別名烏城と言われ、黒漆塗に金色の彫刻がはめ込まれている天守閣は、豊臣時代の大阪城天守を模しているという説もある。
また隣接する大名庭園・後楽園は、水戸・偕楽園、金沢・兼六園とともに、日本三名園として並び称される。