이 사찰은 신라 태종 무열왕3년(656)에 행호조사(行乎祖師)가 창건한 것으로 전해지고 있으며 대한불교조계종 제12교구인 해인사(海印寺)의 말사(末寺)로서 금대사(金臺寺) 라고도 한다.
1950년 6.25 전란때 소실된 뒤 금대암 복구 기성회가 조직되어 중건되었다.
금대암은 신라 도선국사가 참배지로 인정했으며, 고려 보조국사 서산대사가 수도 성취하였다는 구전이 전해오고 있다.
경내에는 경상남도 유형문화재 제34호로 지정된 『금대사3층석탑』과 문화재 자료인 금대암 동종(제268호), 금대암신중탱화(제269호), 그리고 경상남도기념물 제212호인 금대암 전나무가 있다.
조선조 탁영 김일손(金馹孫)이 쓴 기행문(1489년 4월 16일)의 기록에 일두 정여창 선생과 함께 산사를 찾으니 20여명의 스님이 정진도량 하고 있었다고 하였으며, 뇌계 유효인 선생의 시(詩)중에 '잘있느냐 금대절아 송하문(松下門)이 옛날같구나, 송풍(松風)에 맑은 꿈 깨어 문득 잠꼬대를 하는구려' 라는 시가 남겨져 있는 고찰이다.