小山城は武田氏により1571年に築城されました。1582年、甲州征伐のため駿河・甲斐に向け出陣した徳川家康の攻撃を受け落城しました。
現在は能満寺山公園となり、1987年に物見台があったといわれる三の丸跡に「展望台小山城」が街のシンボルとして建てられました。
1、2階は史料展示室として町ゆかりの歴史史料や甲冑、武田氏ゆかりの品々などが展示されています。3階は展望台となっており、海抜50mから富士山から御前崎まで360度のパノラマ展望が楽しめます。
新茶の季節になれば緑のジュータンを敷きつめたような牧之原台地も見られます。他にも大手門が復元され、三日月堀や馬出しなども整備されています。