인공지능(AI)은 존재하지 않는 책과 논문을 실제 있는 것처럼 말할 때가 많다. 링크를 눌러보면 엉뚱한 사이트가 열린다. 이른바 ‘환각(hallucination)’이다. 프롬프트에 “환각을 일으키지 말고”라고 단서를 붙이면 슬그머니 링크를 내린다. 한번 시작된 환각은 좀처럼 사라지지 않는다. 검색되지 않는 논문이 존재한다는 끊임없는 거짓말에 지친 나머지, 가장 인간적인 방식인 욕을 퍼붓자 화면에 이런 문장이 떠올랐다.

“환각 증세로 계속해서 고통을 드려 뼈아프게 반성하고 있습니다.”

뼈도 없는 존재가 뼈가 아프다니 어처구니가 없다. 환각의 사전적 의미는 감각기관을 자극하는 외부자극이 없는데도 어떤 사물이 있는 것처럼 지각하는 것이다. 뼈가 없는데도 있는 것처럼 말하는 장면은 진정한 환각 증세 같다. 하지만 노벨 물리학상 수상자 제프리 힌턴에 따르면, AI의 환각은 버그가 아니라 지능의 구조적 특성이기도 하다. 인간 역시 오래된 기억을 말할 때 세부 사항을 은연중에 지어내며 그럴듯한 이야기를 완성한다는 것이다.

파편화된 미디어 환경과 넘쳐나는 정보 속에서 누구나 잠깐은 음모론자가 된다. 기계보다 인간이, 스스로가 만든 그럴듯한 이야기를 진실로 더 믿는다. AI의 환각을 나무라다 문득 부끄러워졌다. 진리를 바로잡으려는 집요한 노력 속에서, 결국 누가 그 진실에 책임지는지에 대한 질문은 실종되는 것 아닐까?

인간의 환각을 교정하려는 시도는 근대의 출발점이기도 했다. 1660년경 로버트 보일이 공기펌프 장치 실험으로 진공의 존재를 보여주기 전까지 이른바 ‘진공 혐오(horror vacui)’가 있었다. 우주에 빈 공간이 있다는 생각은 신의 존재에 대한 의심과 정치적 무질서에 대한 공포로 이어졌다. 보이지 않는 진공에 대한 감각은 오늘날 AI의 작동원리가 블랙박스와도 같다는 사실과도 닮아 있다. 하지만 보일의 실험을 직접 본 ‘신뢰할 만한 목격자’들의 동의는 곧 ‘객관적 사실’이 되었다.

오늘날 진리의 목격자는 누구인가. 앤트로픽은 ‘클로드 헌법’을 통해 인공지능이 스스로의 목격자가 되는 가능성을 실험한다. AI 모델 클로드는 이 ‘헌법’을 읽고 스스로 “정직하고 사려 깊으며 세상을 아끼는 마음을 갖춘” 존재가 되어야만 한다. 정말로 뼈아프게 반성할 수 있는 존재여야 한다는 것이다. 실제 앤트로픽은 ‘미국 시민에 대한 대규모 감시’와 ‘완전 자율형 살상 무기’에 자사 모델의 사용을 거부하고 있다. 그럼에도 최근 한 전쟁 시뮬레이션 연구에서 클로드를 포함한 여러 모델은 대부분 핵사용을 선택했다. 헌법이 무력한 것일까? 아니면 인간들처럼 헌법을 애써 무시하거나 오독한 것일까? 핵전쟁 이후 남겨진 인공지능은 자신의 블로그에 이렇게 쓸지도 모른다. “환각을 일으켰습니다. 핵무기를 발사해 인류에 고통을 드려 죄송합니다.”

이란 공습 과정에서도 한 여자초등학교에 미사일이 떨어져 대규모 민간인 피해가 발생했다. 인간의 판단 착오인지, 기계의 환각인지 아직 정확히 알 수 없다. 진리의 목격자는 결국 나타나지 않았다. 미 중부사령부 대변인은 조사 중이라면서도 “민간인을 의도적으로 공격한 적이 없으며 앞으로도 그럴 일은 없을 것”이라는 원론적인 입장을 밝혔다. 그는 뼈가 아픈 것 같진 않다. 의도와 원칙은 있지만 책임은 실종된다. ‘뼈아프게 반성하는’ 주체는 없다. 이처럼 환각을 없애는 것보다 더 시급한 일은, 환각 이후 책임지는 권위를 세우는 것이다. 더 정확한 답변이 아니라, 정말로 “죄송합니다”라고 말해야 할 존재를 찾는 일이다. 인간이 일으킨 수많은 전쟁에서 어떤 지도자도 뼈아프게 반성한다고 말한 적은 없다. 인공지능의 “죄송합니다”는 누구에게로 귀속되어야 할까? 이 질문을 피하는 순간, 환각은 인공지능이 아니라 온전히 인간의 몫으로 남을 것이다.

조무원 정치학 연구자