최근 데이터 과학과 의료 공학 분야에서 뜨겁게 주목받는 수학 분야를 꼽으라면 단연 ‘역문제(Inverse Problem)’일 것이다. 원인에서 결과를 도출하는 통상의 ‘정방향’ 사고 과정에 비해, 역문제는 나타난 결과로부터 보이지 않는 원인을 거꾸로 추적해가는 지적 추론 과정이다.

수학적으로는, 주어진 함수 y=f(x)에서, x라는 입력값이 주어졌을 때 y를 구하는 것은 명쾌한 정방향 문제다. 하지만 우리가 관측할 수 있는 데이터가 오직 결과물인 y뿐일 때, 보이지 않는 x를 찾아내는 과정은 훨씬 복잡하고 정교한 계산을 요구한다.

밝은 태양 아래 서 있는 물체가 있다면, 그 물체의 모양에 따라 지면에 그림자가 생기는 것은 자연스러운 정방향 문제다. 반대로 바닥에 비친 일그러진 그림자의 모양만을 보고, 그 그림자를 만들어낸 원래 물체의 입체적인 형상을 완벽하게 복원해내는 것이 바로 역문제다.

어두운 밤길에서 들려오는 발소리만으로 상대방의 체격이나 신발 종류를 짐작하는 것, 혹은 굳게 닫힌 상자를 흔들었을 때 들리는 소리로 내용물을 추측하는 행위가 모두 역문제의 범주에 속한다.

역문제의 중요성을 가장 피부로 느낄 수 있는 분야는 의료 현장이다. 1979년 노벨 생리의학상을 안겨준 컴퓨터 단층촬영(CT)은 역문제 해결의 정점이라 할 수 있다. CT의 원리는 명쾌하다. 신체에 X선을 쏘면 뼈처럼 밀도가 높은 곳은 강도가 많이 줄어들고, 근육처럼 밀도가 낮은 곳은 적게 줄어든다. 이 ‘감쇠율’ 데이터가 바로 우리가 얻는 ‘결과’다. 그 원인, 즉 인체의 내부 모양을 추정하는 것은 전형적인 역문제다.

1917년 오스트리아의 수학자 요한 라돈은 ‘라돈 변환’을 통해 단면의 넓이들로부터 입체의 모양을 복원하는 수학적 기틀을 마련했다. 당시에는 구현할 기술이 없었으나, 수십년 뒤 공학자들의 손을 거쳐 수많은 생명을 구하는 의료장비로 거듭났다.

우주의 끝에서 암세포의 위치까지

역문제는 인간의 시선이 닿지 않는 곳에서도 빛을 발한다. 1846년 발견된 해왕성이 대표적이다. 당시 천문학자들은 천왕성의 궤도가 계산과 다르게 움직이는 현상(결과)을 관찰하고, 보이지 않는 거대 행성의 중력(원인)을 역으로 계산해 해왕성의 위치를 정확히 맞혔다.

현대에 들어서는 아르헨티나의 수학자 알베르토 칼데론이 제기한 ‘칼데론 문제’가 역문제의 새로운 지평을 열었다. 물체 표면에서 측정한 전압 데이터를 통해 내부의 전기 전도율을 알아내는 이 이론은 ‘전기 임피던스 단층촬영(EIT)’으로 이어졌다. 암세포는 정상 조직보다 전기 전도율이 4~5배 높기 때문에, 몸에 전극을 붙여 전압 분포의 왜곡을 측정하면 칼을 대지 않고도 암의 크기와 위치를 파악할 수 있다.

물론 역문제 해결이 늘 순탄한 것은 아니다. 곱해서 12가 되는 숫자 조합이 여러 개이듯, 하나의 결과에 대해 원인이 여러 개이거나 정보가 부족한 문제(ill-posed problem)가 발생하기도 한다.

1966년 수학자 마크 카츠는 “드럼 소리만 듣고 드럼의 모양을 알 수 있는가?”라는 질문을 던졌다. 결론은 ‘알 수 없다’였다. 서로 다른 모양의 드럼이 같은 주파수를 낼 수 있기 때문이다.

이러한 모호성은 때로 ‘스텔스기’처럼 적의 탐지(역문제 해결)를 방해하는 기술로 응용되기도 한다.

정보가 부족해 답이 명확하지 않은 역문제를 해결하기 위해 현대 수학은 ‘최적화 기법’과 ‘인공지능(AI)’을 사용한다.

인류의 한계 돌파하는 지적 열쇠

수많은 데이터 속에서 가장 개연성 있는 원인을 찾아내는 AI의 학습 방식은 본질적으로 거대한 역문제를 푸는 과정과 닮아 있다. 강아지와 고양이의 사진을 보고 특징을 추출해 분류하는 AI는, 사실 ‘이미지’라는 결과로부터 ‘객체의 정체’라는 원인을 찾아내고 있는 셈이다.

보이지 않는 것을 보게 하고, 현상 너머의 본질을 탐구하는 역문제는 단순한 수학의 한 분야를 넘어 인류의 한계를 돌파하는 지적 열쇠가 되었다.

심해의 지형을 탐사하고, 인체 내부의 비밀을 밝히며, 인과관계의 실타래를 거꾸로 풀어가는 이 끈기 있는 수학적 여정은, 앞으로도 인류의 시야를 우리가 상상하지 못한 영역까지 확장해 나갈 것이다.

박형주 아주대 수학과 석좌교수