平治の乱の後、伊豆の蛭ヶ小島に配流の身となっていた源頼朝が源家再興を祈願、また正妻となる北条政子と出会った場所としても有名です。伊豆の豪族の娘として生まれた北条政子は、父である北条時政に猛反対を受け、別の婚姻の話を進められてしまいまたが、すべてを捨てる覚悟で頼朝のもとに走り、妻となったのでした。
伊豆山神社、もとは走り湯権現、伊豆山権現と称し、古くは孝昭天皇（紀元前393から475）の御代に始まると伝えられています。源頼朝が伊豆に配流され、伊東祐親に追われていたとき、一時身をひそめたところであり、また恋人の政子との忍び逢いの場でもありました。
後に将軍となった頼朝の尊崇を得て、累代鎌倉将軍の信望厚く、関東の総鎮守として隆盛をきわめました。度重なる火災で現在の社殿は昭和初期の建立。火防鎮火、延命長寿、縁結びの神として知られ、神殿脇のナギの葉をお守りにすると想う人に添い遂げられると言われています。また、社叢は子恋の森といい、ホトトギスの名所として、歌枕となっています。