엘리엇 히긴스 트위터 캡처.

챗GPT로 대표되는 생성형 인공지능(AI) 돌풍 속에 가짜뉴스 확산과 성착취 이미지 생성과 같은 부작용이 속속 등장하고 있다. 전문가들은 악용 가능성이 큰 부분을 추려 핀셋 규제를 하거나 가이드라인을 제정하는 게 필요하다고 했다.

24일 AP통신 등에 따르면 최근 도널드 트럼프 전 미국 대통령의 체포 사진이 사회관계망서비스(SNS)에 퍼졌다. 트럼프 전 대통령은 배우와의 성추문을 입막음하기 위해 회사 공금을 유용한 혐의로 검찰 수사를 받고 있다. 트럼프가 지지자를 선동하기 위해 “당국에 체포될 가능성이 있다”고 밝힌 가운데 트위터 등에 “(트럼프가) 맨해튼에서 체포됐다”는 사진이 올라오자 ‘뉴스 속보’로 둔갑해 퍼진 것이다. 논란이 일자 뉴욕경찰은 “트럼프 대통령은 체포되지 않았다”고 밝혔다. 트위터도 “이미지는 인공지능이 생성했다”고 공지했다.

해당 사진들은 트럼프 전 대통령이 도망가고, 경찰에 둘러싸여 수갑이 채워지는 모습, 재소자 복장을 한 포즈 등 다양했다. 이들은 모두 AI가 생성한 것으로, 일부 사진은 디지털 자료 분석단체 ‘벨링캣’의 창립자 엘리엇 히긴스가 이미지 생성 AI 서비스인 ‘미드저니’로 만들었다. 히긴스는 AP통신에서 “일부 사람들은 사진에 오류가 있음에도 그것을 진짜라고 생각했는데, 교육시스템이 비판적 사고능력을 키우지 못한 탓”이라고 말했다.

기술이 빠르게 발전하면서 이번 사례처럼 AI로 만든 가짜뉴스의 파급력이 커지고 진짜와의 구분이 더 힘들어지고 있다. 지난달 트위터에서는 AI가 만든 ‘아이를 구조하는 소방관’ 사진이 튀르키예·시리아 대지진 모금 사기에 악용돼 비난을 받는 일도 있었다.

AI로 만든 성착취 이미지를 전시하는 커뮤니티와 SNS 계정도 나타났다. 일부 커뮤니티에서는 미성년자를 성착취 대상으로 표현한 이미지를 만들기 위한 명령어가 공유됐다. 이용자의 명령어 구사 수준에 따라 생성되는 결과가 달라지다 보니, 명령어 팁을 공유·발전하며 여성의 신체를 왜곡하는 경쟁이 벌어진 것이다.

일례로 미국 SNS인 레딧 등에서 성착취물 생성을 유도하기 위해 챗GPT의 일탈 방지 장치를 해제하는 ‘탈옥 명령어’가 공유되고 있다. 이 때문에 일부에서는 여성에 대한 혐오와 성차별을 학습해 논란이 됐던 ‘제2의 이루다’ 사태가 반복되는 것 아니냐는 우려가 나온다.

향후 AI가 만든 이미지로 피해자가 생기더라도 사회적 논의가 기술 속도를 따라가지 못해 이를 규제할 제도 역시 미비한 상황이다. 특정인을 합성한 가짜영상 딥페이크와 달리 AI 성착취물은 수많은 인물의 사진과 동영상 등을 알고리즘에 따라 학습한 가상의 결과물인 만큼 책임을 묻기 어려울 수도 있다.

전창배 국제 인공지능 윤리협회 이사장은 “자율규제가 원칙이긴 하지만 미성년 성착취, 개인정보 침해 등 법적으로 문제가 제기돼 범죄에 악용되는 것은 핏셋 규제로 막아야 한다”며 “경계가 모호한 부분에 대해선 가이드라인을 만드는 논의가 필요하다”고 말했다.