이 사찰은 대한불교조계종 제12교구인 해인사(海印寺)의 말사(末寺)로서 신라 말 경애왕 1년(924) 고운 최치원(孤雲 崔致遠) 선생이 어머니의 기도처로 건립하여 관음 기도를 하던중 관세음 보살이 나타나 상연(上蓮)이라는 이름을 하여 상연대로 부르게 되었다고 전하며, 창건한 이래 신라말에는 구산선문(九山禪門)의 하나인 실상선문(實相禪門)을 이곳에 옮겨와 선문(禪門)의 마지막 보루가 되었다고 전하고 있다.

그 후 역대의 고승, 대덕스님들이 수도 정진해 오던 곳으로 천여년의 영험 (靈驗) 어리고 신령한 수도 도량이었으나 1950년 6.25 전란(戰亂)에 불타고 1953년경에 再建하여 오늘에 이르고 있으며, 이 사찰의 뒤편으로는 백두대간으로 연결되는 백운산(1279m)이 우뚝 솟아 있다.