처음의 이름은 본 마을과 같이 꽃매라고 불렀지만, 마을이 자리잡은 골짜기가 돌은 적고 흙으로만 되어 있는 골짜기란 까닭으로 흘무골이란 이름이 붙었다고 한다. 또 이 마을에는 용소라는 소가 있는데 옛날 이 못에 살던 용이 하늘로 올라 가면서 꼬리로 옆에 있는 바위에 현(玄)자를 쓰고 올라 갔다고 하여 현무골(玄武一)이라고 하기도 했다(박춘엽(50) 제보).

흙을 이 지역에서는 '흘'이라고 하는 바 흙이 많이 모여 있는 골짜기란 뜻으로 풀이할수 있다. '뭇'은 많다 혹은 모여 있음을 드러내는 말이니 흙살이 좋은 마을임을 가리킨다고 하겠다. 토곡은 흘뭇골을 한자로 뒤쳐서 적은 이림이다.

현무는 거북이를 가리킨다. 거북이는 물신을 섬기는 농경문화의 상징으로서 강을 중심으로 하는 지역에 널리 분포되어 있다. 용도 따지고 보면 물신으로 볼 수 있다. 본래 신(神)의 우리말은 '검'(『新字典』)이니 검은 현(玄)의 검 또한 물신을 떠 올림에 족하다고 하겠다.