大宝元年（西暦701年）頃に、行基菩薩によって開山された真言宗の古刹で、遠州三山（旧遠江国（遠州）の三古刹）のひとつ。本尊は薬師如来。
行基が万民の無病息災など願い、彫刻した薬師如来を祭ったことに始まると伝えられています。油が湧出した所から「油山寺」の名が付いたといわれ、「油山（あぶらやま）」とも呼ばれています。
46代孝謙天皇が眼病の時に、境内「るりの滝」の加持祈祷された水で洗ったところ快癒したという眼病治癒の寺として知られています。
15万坪の境内は山谷の自然に富み、国の重要文化財に指定されている、桃山の三名塔として知られる三重塔、掛川城の御殿下御門を移した山門、本尊を納める本堂内厨子など文化財建古物や、天然記念物の御霊スギがあります。
紅葉の名所として知られ、見頃の11月下旬～12月上旬には、約1000本のもみじがいっせいに紅葉し、山門をくぐり境内を見ると、紅葉景色が広がります。