天長3年(826年)に円仁(宗慈覚大師)が開基したと伝わる。大師が諸国を巡錫した平安朝初期、この香坂地域一帯には湖が広がり、その美しい眺望に比叡山から琵琶湖周辺の風光を重ね、同寺を建立したといわれる。寺の背後にそびえる閼伽流山の「閼伽」は、サンスクリット語で「清らかな水」を意味し、かつてはこの山から清冽な水が湧き出るとともに、仏道修行の霊地として知られていた。大正12年(1923年)昭和天皇が摂政のときに登山された記念碑「摂政宮殿下御登臨之處」もあり、明泉寺から山頂まで約100メートル毎に石塔が建てられ、崖下の観音堂や鐘楼の脇には百観音石仏が立ち並ぶ。ここから更に登った仙人ヶ岳は佐久平を一望できる展望台となっており、佐久のパワースポットである。