동지중추부사를 지낸 화림재 전시서(全時敍)선생이 1640년경 서산서원을 짓고 그 곁인 현 거연정 위치에 억새로 만든 정자를 최초로 건립하였으며 1853년 화재로 서원이 불타자 이듬해 복구하였으나 1868년 서원철폐령에 따라 서원이 훼철되자 1872년 화림재 선생의 7대손인 전재학 등이 억새로 된 정자를 철거하고 훼철된 서산서원의 재목으로 재 건립되었으며 1901년 중수가 있었다.

거연정은 함양군 안의면에서 26번 국도를 따라 전주방향으로 9㎞ 정도의 거리에 위치하는 봉전마을 앞 하천내에 있는데, 이곳은 옛 안의 3동의 하나인 화림동 계곡으로서 농월정, 거연정, 용유담과 어우러져 절경을 이루는 곳이다. 거연정은 봉전마을 앞을 흐르는 남강천의 암반위에 단동으로 건립되어 있다.
거연정은 정면 3칸, 측면 2칸 규모의 중층 누각건물로 내부에는 벽체(뒷벽)를 판재로 구성한 판방을 1칸 두고 있는데, 각주로 네 귀퉁이를 받치고 대청과 방 영역을 머름을 두어 구분하고 있다. 방 상부는 간단하게 인방재를 건너고 판재로 막아 천정을 만들었다. 현재 3면에 낸 문은 모두 없는 상태이다. 4면 모두 기둥의 바깥쪽으로 약 30㎝ 정도를 연장하여 계자난간을 둘렀고 출입은 배면쪽 자연암반에 2단을 시멘트 계단을 덧붙여 사용하고 있다. 마루에는 장마루가 깔려 있는데, 이것은 원래 우물마루였으나 후에 변형된 것으로 함양군에서 원형복구를 추진중에 있다.

천연의 암반위에 조성하였으므로 굴곡이 심한 암반의 높이를 조절하기 위해 주초를 쓴 기둥도 있고 쓰지 않은 기둥도 있다.

기둥은 모두 원주로서 누하주는 직경이 큰 재목을 틀어지거나 울퉁불퉁한 채로 대강 다듬어 사용하였다. 마루위의 기둥은 하부에 4각형으로 모를 줄인 초석 형태의 부재를 사용하였다. 기둥에 비해서 대들보와 도리는 부재치수가 크고 견실하며 서원의 재목을 쓴 곳은 누상부 부분인 것으로 생각된다. 4면의 추녀 끝부분에는 활주를 세워 건물의 안정감을 높혔고 기둥상부에는 익공형태의 부재없이 보아지로 처리하였다. 창방과 처마도리 장혀 사이에는 소로를 끼워 장식하였다. 정면 어칸 상부는 창방을 사절하고 처마도리와 장혀 안으로 지지하고, 계자난간도 끊어서 출입하는 장소로서의 상징성을 높이고 있다.

가구는 5량 구조로 대들보위에 동자주를 세워 종보를 받도록 하였고 종보위에는 종도리 장혀가 바로 올려지도록 구성하였으며, 좌·우측면에서는 충량을 보내 대들보위에 얹었는데 충량의 머리부분은 가공없이 직절(直切)하였다. 단청은 올리지 않았으며 겹처마에 합각지붕형식이다.