옛날 노인 부부가 자식이 없어 애를 태웠는데, 영산에서 기도를 하면 자식을 얻을 수 있다는 말을 듣고 찾아 든 곳이 노고단이었다.

두 부부는 천 일 기도를 했는데, 그 기도가 끝난 날 안타깝게도 천왕봉을 향해 두 손을 곱게 모은 채 함께 숨지고 말았다.

노부부는 바위할매와 바위할배로 변했는데, 그 뒤 이곳을 지나는 산 사람들이 간단한 산제를 지냈다.

또 그 주변에는 할미꽃이 만발한 꽃밭을 이루었고 철쭉꽃, 백합꽃, 나리꽃이 점차 늘어나 단장을 했다고 한다.