인조8년(1630)에 생원이 된 손재 김억립(金?立)이 인조 22년(1644)에 명나라가 멸망하자 이곳에 정자를 짓고 동실을 모명재, 서실을 망남헌, 기타 잠부동, 풍호대, 영귀암이라 명명한 뒤 은거하면서 산수를 벗삼아 일생을 마쳤다.고종 17년(1880)에 그 7세손 김수환이 중건하려다 못하고 아들 김재만이 완공하였다. 고종17년에 김창환과 고종19년(1882)에 김익용의 중건 기록이 있다.
1931년에 중수하였다. 이요란 요산요수에서 취한 것이다.