玉泉寺は、日米和親条約締結後、アメリカのハリスが日本初の領事館として使用しました。
寺の本堂の横には、1979年に下田に来訪したカーター大統領を歓迎する看板が残されていました。日本初のアメリカ総領事館だったということで、カーター大統領はこの玉泉寺も訪れたようです。
境内には、アメリカの領事館時代に星条旗を掲げていたことから「米国総領事旗掲揚之地」碑があります。
ハリス記念館も境内にあり、ハリスや当時の領事館についての資料が展示されています。
ペリー艦隊乗組将兵の5人の墓もあります。また境内の奥にはロシアのディアナ号乗組員3名の墓もあります。
またここに日本で初めて牛乳が伝えられたことから、牛乳発祥の碑があります。