810年に空海（弘法大師）によって創建されたと伝えられる古刹で、秋葉山秋葉寺の末寺。かんざんじ温泉内、高さ50mほどの小さな舘山の中腹にあります。
本尊は招福智慧の虚空蔵菩薩。明治の廃仏棄釈で廃れたが、明治中期になって再興。縁結び地蔵・除夜の鐘で親しまれる静岡県下最大級大梵鐘。舘山寺本堂で写経・坐禅・法話を体験をして心静かに自分を見つめることができます（有料1,000円まで）。
山頂には美顔で有名な身丈10mの大観音があります。周りに浜名湖を見ながら、穴大師・大観音・西行岩・富士見岩展望台などを巡り、一周できる遊歩道もあります。「舘山寺町」および「かんざんじ温泉」の名称は寺名からきています。