챗GPT는 인간의 피드백을 학습했다. 이전까지 ‘끝말잇기’ 정도나 가능했던 인공지능 언어모델을 드라마틱하게 향상시킨 핵심 열쇠였다. 챗GPT는 인간이 남긴 텍스트만 기계적으로 학습한 게 아니다. 이후 사람이 만든 예상 질문과 정답 세트를 배웠고, 이를 토대로 챗GPT가 만들어낸 답변에 사람이 다시 점수를 매겨서 돌려줬다. 이른바 인간 피드백을 통한 강화학습(RLHF)이다. 이 피드백을 바탕으로 만든 인공지능 보상 모델이 다시 성능 향상에 쓰였다.

막 챗GPT가 화제로 떠올랐던 2년여 전, 언어모델을 개발하고 있는 김성훈 업스테이지 대표는 한 강의에서 챗GPT의 이 훈련 과정 개념도를 보여주면서 이렇게 말했다. “10년 뒤 인공지능 역사에서 가장 중요한 장면이 무엇이었냐 물으면 이 그림을 꼽을 것입니다.” 김 대표는 “끝말잇기 기계가 우리 말을 잘 알아듣도록 만들어준 핵심 기본 알고리즘”이라고도 말했다. 지금 이 시각에도 챗GPT, 제미나이에 질문하는 우리는 인공지능에 피드백을 제공하고 있다. 이제는 인공지능끼리 피드백을 주고받기도 한다.

인공지능이 피드백으로 향상되는 시대, 인간의 현주소는 어떨까. 16세기 유럽에서 시작된 ‘서신 공화국’이나 조선 시대 이황과 기대승의 편지 교환처럼 논쟁과 피드백은 인간의 지식을 더욱 정교하게 다듬고 확장하는 도구였지만 이제는 아닌 것 같다. 내 편이 얘기하는 정보는 무조건 옳고, 상대편이 얘기하는 정보는 무조건 그르다. 편지는 사라진 지 오래고 확성기만 남았다. 오늘날 인간은 그 어떤 시대보다 많은 정보를 접하고 있지만 그 어떤 시대보다 피드백을 받아들이지 않는 시대에 살고 있는지도 모른다.

데이터저널리즘팀은 지난 대선 선거운동기간 네이버 뉴스 정치분야 기사의 댓글을 분석했다. 극우 성향 교육단체 ‘리박스쿨’의 댓글 공작 흔적을 분석하려는 취지였지만, 댓글의 작성 행태와 내용에 더 주목하게 됐다. 2000년대 새로운 공론장의 하나로 부상했던 댓글 공간은 더 이상 토론과 논쟁, 피드백의 공간이 아니었다. 3만여명도 안 되는 이들이 분석 대상 댓글 130만여개의 절반 가까이 작성하고 있었다. 대선 후보 관련 댓글의 80% 이상이 상대 후보에 대한 비방으로 점철돼 있었고, 댓글 4개 중 하나는 자진삭제되거나 악성댓글 감시스템인 클린봇으로 숨김 처리되고 있었다. 서로 경쟁하듯 적대감 섞인 언어를 내던지는 비방과 혐오의 쓰레기통과 다를 바 없었다.

댓글 공간은 피드백을 잃어버린 오늘날 세태가 극대화된 축소판에 불과하다. 일부 무분별한 정치인과 그 극성 지지자들은 입맛에 맞는 허위조작정보와 유튜브만에 빠져들면서 상대방을 제거해야 할 악으로만 규정한다. 최소한의 공통적인 지점은 사라진 지 오래다. 서로 다른 평행우주에 사는 것처럼 세계를 완전히 다르게 보고 있다.

이런 모습은 인공지능 학습 과정에서 발생하는 문제인 ‘오버피팅(Overfitting)’을 닮았다. 인공지능 모델이 과도하게 훈련 데이터에만 최적화된 나머지, 학습에 사용되지 않은 일반 데이터에 대한 답은 제대로 내놓지 못하는 현상이다. 오버피팅 방지를 위해 여러 기법이 동원되는데 그중 하나가 학습 단계마다 무작위로 일부 뉴런을 꺼 버림으로써 특정 정보에 과의존하지 않고 다양한 패턴을 인식할 수 있게 하는 ‘드롭아웃’이다. 드롭아웃 비율은 사람이 정할 수 있는데, 이렇게 사람이 직접 설정하는 수치를 인공지능 모델이 학습 과정에서 자체 생성하는 ‘파라미터’와 구분해 ‘하이퍼파라미터’라고 한다. 학습 횟수 등도 이에 속한다.

드롭아웃은 내가 믿고 있었던 일부 정보를 버리고 다른 사람의 생각을 받아들이는 과정을 떠올리게 한다. 우리는 우리의 생각을 얼마나 드롭아웃할 준비가 되었을까. 최적의 드롭아웃 비율, 하이퍼파라미터를 찾는 과정은 매우 지난하고 어렵다. 인간 세상의 일도 마찬가지다. 산적한 문제를 해결하기 위해 최적의 공통 입장을 정리하면서 취할 건 취하고 버릴 건 버리는 과정은 고통스럽다. 반면 맞갖은 데이터만 들이켜면서 오버피팅 모델의 높은 정답률에 취하는 건 즐겁고 쉽다. 피드백을 받고 점점 성장해가는 인공지능과, 피드백을 거부하고 점점 과도한 자신감에 빠져드는 인간을 보면서 뭔가 거꾸로 돼 가고 있다는 생각이 든다.