2024년 인공지능(AI) 연구자들의 노벨상 대거 수상은 과학계에 큰 충격을 안겼다. 물리학상의 존 홉필드와 제프리 힌턴, 화학상의 데미스 허사비스와 존 점퍼가 그 주인공이다. 기초과학 연구자들에게 주로 수여되던 보수적인 노벨상이 AI 연구자들을 선택한 것은, 우리가 새로운 시대로 진입했음을 알리는 상징적인 사건이었다.

텍스트 몇 줄로 실사 같은 영상을 뚝딱 만들어내는 생성형 AI부터 의료, 교육, 보안, 게임에 이르기까지 AI는 인류의 삶을 송두리째 바꾸고 있다. 이 거대한 혁신의 이면에서 AI를 실제로 움직이는 수학적 원리는 무엇일까? 복잡한 문제를 효율적으로 해결하는 거대한 엔진인 ‘최적화 이론(Optimization Theory)’이 그 핵심이다.

목적함수와 제약조건이란 두 기둥

수학에서 최적화 이론이란 ‘주어진 제약 조건하에서 목적함수가 최댓값 혹은 최솟값을 가지는 지점을 찾는 것’이다. 여기서 ‘목적함수’는 현재 상태와 우리가 도달하려는 목표 간의 차이를 측정하는 지표다.

쉬운 예로 ‘택배 배송 문제’를 생각해보자. 서점에서 가정으로 책을 배달할 때, 제약 조건은 ‘모든 사람이 각각 책을 정확히 받아야 한다’는 것이고, 목적함수는 ‘총 운송 비용’이 된다. 배송 경로가 비효율적이면 비용이 증가하므로, 최적화의 목표는 이 목적함수(비용)를 최소화하는 가장 효율적인 경로를 찾는 것이 된다.

이러한 수학적 사고는, 19세기 경제학자들의 자원 배분 연구와, 2차 세계대전 당시 2개의 큰 전쟁을 동시에 치르던 미국이 한정된 군수 물자를 여러 전선에 효율적으로 배분하는 병참 문제를 해결하면서 크게 발전했다.

AI에서 목적함수는 ‘AI가 얼마나 학습을 잘하고 있는지’를 측정하는 것, 즉 AI 모델의 예측과 실제 정답 사이의 오차다. 이 오차 값을 줄여나가는 과정이 AI의 학습이다.

그렇다면 AI는 목적함수를 어떻게 줄여나갈까? ‘경사하강법(Gradient Descent)’이 그 핵심이다. 이는 흔히 ‘짙은 안개가 낀 산에서 가장 낮은 골짜기로 내려가는 과정’에 비유된다.

앞이 보이지 않는 상황에서 발을 사방으로 디디며 현재 위치에서 가장 경사가 가파른 아래쪽 방향을 찾아 한 걸음씩 이동하는 것이다. 수학적으로는 목적함수의 기울기(미분값)를 계산해 오차가 가장 크게 줄어드는 방향으로 매개변수를 조금씩 반복해서 업데이트한다.

그러나 완벽해 보이는 이 방식에도 치명적인 한계가 있다. 수억개에 달하는 대규모 데이터의 경우, 매번 전체 데이터를 전부 확인하며 기울기를 계산하려면 한 걸음을 내딛는 데 너무 오랜 시간이 걸린다. 또한, 내려가다 보면 최종 목적지가 아닌 중간의 움푹 파인 작은 웅덩이(지역 최솟값)에 갇혀버리는 문제도 발생한다.

안개 속 산을 내려오는 경사하강법

수학자들은 이를 해결하기 위해 ‘확률적 경사하강법(SGD)’을 고안했다. 모든 데이터를 다 보는 대신, 무작위로 일부 샘플만 골라 빠르게 업데이트하는 방식이다. 배달 앱이 전국의 모든 경로를 분석하는 대신 몇개의 임의 경로만 빠르게 분석해 실시간으로 경로를 수정하는 것과 같다. 정확도는 다소 떨어질 수 있지만, 계산 속도가 압도적으로 빨라지고 무작위성이 웅덩이에 갇힐 가능성도 줄여주기 때문에, 현대 대규모 AI 학습의 필수 기법이 되었다.

GAN(생성형 적대적 신경망)은 요즘 핫한 생성형 AI의 대표 주자다. 진짜 같은 가짜를 만드는 ‘생성자’와 가짜를 감별하는 ‘판별자’라는 두 모델이 서로 게임을 벌이는데, 각각의 목적함수가 서로를 속이고 잡아내기 위해 치열하게 대립하며 최적화 알고리즘을 통해 매개변수를 업데이트한다. 복잡한 현실 데이터를 AI가 학습하고 모방해 내는 이 경이로운 과정은 최적화 이론의 강력한 힘을 보여준다.

제프리 힌턴이 노벨상을 받기 훨씬 전에 현대 생성 모델의 조상 격인 ‘딥신뢰망(DBN)’을 개발했을 때부터 수학과 AI는 뗄 수 없는 운명 공동체였다. 인류의 삶을 통째로 바꾸고 있는 AI의 이면에는, 목적함수를 정의하고, 경사를 따라 오차를 줄여나가며, 가장 효율적인 길을 찾아 분투하는 수학적 최적화 기술이 숨어 있다. 이제 최적화 이론은, 상상 속의 수학적 도구를 넘어, 인류가 꿈꾸는 미래를 현실로 바꾸는 핵심 동력이자 강력한 엔진이 된 것이다.

박형주 아주대 수학과 석좌교수