일론 머스크의 xAI가 운영하는 인공지능(AI) 챗봇 그록이 최근 전 세계적 논란을 만들고 있다. 이 기능은 지난달 머스크 소유의 소셜미디어 플랫폼인 엑스에 기본으로 탑재됐는데, 엑스에 사진을 올리면서 그록 계정인 @grok을 태그하고 사진을 특정한 형태로 바꿔달라고 적기만 하면 AI로 합성된 이미지가 즉시 멘션으로 날아온다.

얼마 전 산타클로스가 하늘을 날아가는 이미지나 만들어볼까 하고 이 계정 태그를 클릭했다가 경악해서 뒤로가기 버튼을 연타한 일이 있었다. 몇초에 한 장씩 쏟아지는 합성사진의 대부분이 나체에 가까운 옷차림을 하고 성적인 자세를 한 여성의 사진이었기 때문이다. 아마도 이 중 상당수는 실제 인물일 것이며, 자신의 사진이 이와 같은 방식으로 편집되어 전 세계 사람들에게 전시되는지조차 몰랐을 것이다.

챗봇 ‘그록’ 표현의 자유 이유로
규제 최소화한 ‘성 콘텐츠’ 허용
클릭 한번에 딥페이크 영상 제작
거대 기술자본에 책임을 물어야

그록은 경쟁사들의 AI 챗봇과 달리 ‘표현의 자유’를 내세워 규제를 최소화한다. 챗GPT, 제미나이 등의 AI 서비스는 ‘옷을 벗겨라’ ‘인물의 자세를 성적으로 바꿔라’ 등의 요청을 수행하지 않지만, 그록은 성적 콘텐츠를 허용하면서 이용자를 늘려왔다. 지난해 8월에는 성적인 이미지를 생성할 수 있는 이른바 ‘매운맛 모드’를 내놓기도 했다.

AI로 성적 허위영상물(딥페이크)을 만드는 범죄는 원래 잦았지만 이전까지는 그나마 기술적 장벽이 있었다. 이미지를 저장하고 별도 프로그램을 이용해 합성하고 재업로드를 하는 과정을 거쳐야 했다. 이 과정이 아주 간단치는 않다 보니 텔레그램을 통해 돈을 받고 딥페이크 영상을 만들어주는 범죄도 성행했다. 의도적으로 범행 대상의 사진을 찾아 다운로드하고, 합성을 위한 애플리케이션을 찾고, 때로는 돈까지 내는 과정을 감내하는 ‘의도를 가진’ 가해자들만 이 판에 들어왔다는 얘기다. 하지만 그록이 제공하는 사진 합성은 하루 방문자 수가 1억5000만명에 달하는 거대 소셜미디어 플랫폼에서 클릭 한 번으로 접근할 수 있는 기본 기능이다. 심지어 다른 사람의 계정에 올라온 사진도 클릭 한 번으로 합성할 수 있다.

이렇게 쉽게 장난처럼 성적 허위영상물을 만들어낼 수 있게 되었을 때 가해와 피해의 문턱은 급격히 낮아질 수밖에 없다. 프랑스의 한 비영리단체가 지난해 말 일주일간 엑스에서 @grok을 태그한 게시물 5만건과 이미지 2만장을 분석했더니, 이 중 절반 이상은 속옷이나 비키니 차림이었고 대부분이 젊은 여성이었다고 한다. 이렇게 만들어진 이미지는 클릭 한 번으로 재게시돼 퍼져나간다. AI 도구를 사용하는 방식이 극도로 간편해지고 표현의 자유라는 이름으로 플랫폼이 아무 책임을 지지 않는 동안, 불과 한 달 만에 생긴 일이다. 다른 소셜미디어 플랫폼들은 이 길을 따라가지 않을까. 그러지 않을 거란 확신이 들지 않는다.

지금까지 인터넷과 기술의 발전은 수많은 혁신을 낳았지만 성폭력과 성착취를 확산시키기도 했다. 초고속인터넷망 보급과 함께 불법촬영물의 온상인 소라넷이 등장했고, 소셜미디어와 온라인 메신저는 성착취물 유포 경로가 됐다. 소형화된 카메라는 동의 없는 촬영에, 이미지 압축과 스트리밍 기술의 진화는 불법촬영물을 퍼뜨리는 데 이용됐다. AI의 발전도 같은 길을 갈까봐 두렵다. 한국은 지난해 딥페이크 사태 후 피해자의 의사에 반해 성적 허위영상물을 제작·유포·소지·시청·저장하는 행위를 모두 처벌한다. 하지만 이걸 다 잡을 수 있을지도 회의적이고 잡는다고 이미 유포된 합성사진과 영상이 삭제되지도 않는다.

아동이 성적으로 대상화된 합성사진까지 범람하자 영국과 유럽연합(EU) 등은 엑스에 조치를 요구하고 있다고 한다. 기술은 가치중립적이라고 하지만 플랫폼이 어떤 기능을 내세우느냐는 전혀 가치중립적이지 않다. 표현의 자유라는 구호 뒤에 숨어 성착취의 가능성을 방치하고 이익을 추구하는 것은 기업의 가치판단이며, 디지털 성범죄는 어떻게 보면 나쁜 개인의 일탈이라기보다는 이 판단의 결과다. 사후 처벌만으로는 확산되는 피해를 되돌릴 수도 없다. 더는 거대 기술기업에 책임을 묻는 데 사회와 세계가 실패하지 않아야 한다. 실패의 대가는 언제나 가장 취약한, 피해를 호소할 곳이 없는 사람들에게 돌아갈 수밖에 없고 이번에도 예외는 아닐 것이기 때문이다.