日本で最初に米国総領事館が置かれた寺として幕末維新史に名をとどめる国指定史跡。初代米国総領事タウンゼント･ハリスが過ごした曹洞宗の寺で、ハリスの遺品や書簡を展示するハリス記念館があります。
寺の創建年代は不詳であるが、元は真言宗寺院であったという。天正年間（1573年 - 1592年）に一嶺俊栄が来錫して曹洞宗に改宗。嘉永元年（1848年）に、現在の本堂が落成された、400年以上の歴史を有する古刹です。
嘉永7年（1854年）3月、日米和親条約によって下田が開港し、同年5月、下田追加条約が結ばれると、了仙寺とともにアメリカの休息所、埋葬所に指定されました。
そして同3年（1856年）7月、タウンゼント・ハリスが、通訳官ヒュースケンと共に下田港に入港すると、9月に日本初の米国総領事館が開設。庭前に星条旗が掲揚され、2年10ヶ月、幕末開国の歴史の中心舞台となりました。
また、それ以前、日露和親条約の交渉の場となり、ロシア・ディアナ号高官が滞在しました。ハリス記念館右手には、安政の大地震の津波によって死亡したロシア艦ディアナ号乗組員の墓があります。
ハリスが牛乳を所望したことから、日本に初めて牛乳が伝えられた地で、日本で初めて牛乳が飲まれたことを記念する碑や、最初の屠牛地であることを示す屠牛木[とぎゅうもく]供養塔なども立っています。
境内には、黒船（ペリー艦隊）の乗員5名の墓地とディアナ号乗員3名、アスコルド号乗員1名の墓地があり、昭和55年には、ジミーカーター米国大統領、平成3年には天皇、皇后両陛下が訪れました。
ハリス記念館では、ハリスの領事館当時愛用の品々や関連資料などを展示しています。その他、黒船来航時に下田港において踏海の企を起こした吉田松陰の遺品や、ヒュースケンに仕えたおふくの遺品、ロシア・ディアナ号将校モジャイスキー撮影の日本最古の銀板写真なども鑑賞することができます。