城山の臥牛山は四峰から成り、標高487メートルの山頂から南稜線にかけて遺構が残っていて、そのうち一つである小松山城跡に現存天守（標高430メートル）がある。
現在の「備中松山城」は1683年、松山藩主水谷勝宗の手によって完成したものといわれてる。
海抜約430メートルの臥牛山小松山山頂の本丸へは、麓の城下町から約1,500メートル、1時間ほどの道のりがある。この城は戦に備えて建設された「詰の城」であり通常はあまり使われていなかったと思われる。
現存天守12城の一つでもあり、この中で唯一の山城。日本三大山城の一つとされる。
城跡が国の史跡に指定され、江戸時代に建造された二層二階の天守、二重櫓、土塀の一部が重要文化財に指定されている。そのほかに高い石垣、復元された櫓、大手門、土塀が現存する。