日本で最初に米国総領事館が置かれた寺として幕末維新史に名をとどめる国指定史跡「玉泉寺」の一角にある記念館。
ハリスの領事館当時愛用の品々や、ハリスが玉泉寺住職に英語を教えるのに使った和英辞典、数々の遺品や、当時の村長の日記などが展示されています。
その他、黒船来航時に下田港において踏海の企を起こした吉田松陰の遺品や、ヒュースケンに仕えたおふくの遺品、ロシア・ディアナ号将校モジャイスキー撮影の日本最古の銀板写真なども鑑賞することができます。
初代アメリカ総領事館には、お吉やお福を含め５人の女性が召使女として勤めました。ハリスの召使として出仕した当時17才のお吉が、体調を崩して牛乳を所望しいたハリスに牛乳を飲ませた場面が再現されています。
嘉永7年（1854年）3月、日米和親条約によって下田が開港し、同年5月、下田追加条約が結ばれると、了仙寺とともに玉泉寺はアメリカの休息所、埋葬所に指定されました。
そして同3年（1856年）7月、タウンゼント・ハリスが、通訳官ヒュースケンと共に下田港に入港すると、9月に日本初の米国総領事館が開設。庭前に星条旗が掲揚され、2年10ヶ月、幕末開国の歴史の中心舞台となりました。
また、それ以前、日露和親条約の交渉の場となり、ロシア・ディアナ号高官が滞在しました。ハリス記念館右手には、安政の大地震の津波によって死亡したロシア艦ディアナ号乗組員の墓があります。