평면 위에 9개의 점을 찍었다고 가정해보자. 9개의 점을 일렬로 배열하면 같은 간격으로 놓인 점은 8쌍밖에 나오지 않는다. 그러나 9개의 점을 3×3 정사각 격자 모양으로 배열하면 가로세로 방향에서 같은 간격에 놓인 점이 12쌍 나온다.

헝가리 출신 수학자 에르되시 팔(1913~1996)은 1946년 격자 형태가 평면 위에서 한 단위씩 떨어져 있는 점의 최대 쌍을 구할 수 있는 최적 배열이라고 했다.

지난 20일(현지시간) 개발 단계에 있던 인공지능(AI) 모델이 처음으로 평면 단위거리 문제에 대한 반증을 제시했다. 오픈AI는 챗GPT가 기존 격자보다 더 많은 점 쌍을 만들 수 있는 새로운 구조를 내놨다며 “AI가 스스로 중요한 미해결 수학 문제를 해결한 첫 사례”라고 했다.

AI는 평면 격자가 아닌 고차원 구조를 만든 뒤 이를 평면에 투영하는 방식으로 기존 평면 구조에서 구할 수 없었던 새로운 답을 도출했다. 영국 과학 주간 뉴사이언티스트는 30일 AI의 ‘에르되시 난제’ 해결이 수학계에 미친 영향과 의미를 조명했다.

이번 발견은 신형 챗GPT 모델의 성능 평가 과정에서 우연히 나왔다. 연구원들은 기존 모델 대비 성능이 얼마나 향상됐는지 확인하기 위해 해당 문제를 입력했다. 오픈AI 연구원이자 컬럼비아대 수학자인 메타브 소니는 월스트리트저널(WSJ)에 “처음에는 결과를 믿을 수 없었다”고 했다. 외부 전문가들과 결과를 검증하고 내부 코딩 시스템을 활용해 계산 과정을 재확인한 끝에 “믿을 만하고 꽤 놀라운 결과처럼 보였다”고 했다.

연구원들은 인간과 달랐던 AI의 접근 방식에 주목했다. 오픈AI 연구원 세바스티안 부벡은 지난 21일 엑스에 “AI는 거의 즉시 격자 구성을 개선하려고 시도했는데, 이는 대부분의 수학자가 지금까지 시도해온 것과는 정반대였다”고 적었다. 그동안 많은 수학자가 평면이라는 조건 안에서 에르되시의 추론을 증명하는 데 집중한 반면, AI는 반증 가능성을 탐색했다는 것이다. WSJ는 기존 통념을 거스르고 언뜻 불가능해 보이는 전략을 실험하면서 AI가 예상치 못한 해법에 도달했다고 평가했다.

AI가 포기와 휴식이 없는 점도 영향을 미쳤다는 평가가 나온다. 오픈AI 연구원이자 하버드대 통계학자인 마크 셀케는 “우리는 아이디어를 잠깐 시도해보다가 잘 안 풀리면, 혹시 너무 큰 기대를 했던 건 아닌가 싶어 포기하고 다른 길을 찾곤 한다”고 말했다. 반면 AI는 오랜 시간 일관성 있게 사고할 수 있다. WSJ에 따르면 이번 문제 해결에 사용된 모델의 사고 과정을 축약해도 7만5000단어가 넘는다.

이번 성과는 수학계에서도 높은 평가를 받았다. 조합론 석학인 노가 알론 프린스턴대 교수는 “AI는 많은 뛰어난 인간 연구자가 시도했지만 실패한 일을 해냈다”고 밝혔다. 필즈상을 수상한 티머시 가워스 콜레주드프랑스 교수는 “AI 수학의 이정표”라며 “만약 인간이 이 논문을 작성해 ‘애널스 오브 매스매틱스’ 학술지에 제출했고 내가 검토를 요청받았다면, 주저 없이 게재를 추천했을 것”이라고 했다.

전문가들은 여전히 인간 수학자의 미래를 낙관한다. AI가 계산기처럼 인간의 호기심을 파괴하기보다 확장하는 도구가 될 수 있다는 것이다. 노엄 브라운 오픈AI 연구원은 엑스에 “알파고 이후 인간 바둑 기사들의 실력이 눈에 띄게 향상됐다”며 “수학에서도 비슷한 패턴을 보게 될 것”이라고 했다.

WSJ는 수학자들이 이번 해법에서 나온 방법론을 활용해 다른 난제 해결에 도전하고 있다고 전했다. 부벡은 “돌파구의 의미는 불가능해 보였던 수많은 일이 갑자기 가능해진다는 데 있다”면서도 “우리는 앉아서 지켜보는 데 익숙해져야 할지도 모른다”고 했다.

연구진은 이번 성과를 논문 사전공개 사이트 아카이브(arXiv)에 올리지 않기로 했다. “오픈AI 연구자들과 수천년간 수학을 발전시켜온 인류 전체의 결실”은 맞지만 “전통적 의미의 인간 저자”는 존재하지 않는다는 이유에서다. 부벡은 ‘AI가 만든 증명’과 ‘인간이 그 증명을 이해한 결과물’을 분리하는 원칙 도입이 필요하다고 했다.