지난해 대선 기간 특정인의 얼굴이나 음성을 정교하게 합성하는 등 생성형 인공지능(AI) 기술·딥페이크를 악용한 불법 선거물이 1만건 넘게 제작·유포된 것으로 나타났다. 정부는 AI 딥페이크 가짜뉴스 선거물을 탐지할 수 있는 모델 개발을 마치고 오는 6·3 지방선거부터 적용하기로 했다.

10일 행정안전부에 따르면 최근 선거 기간 온라인에서 탐지된 AI 딥페이크(불법합성물) 영상·이미지 등 불법 선거물은 2024년 제22대 총선 당시 388건이었으나, 지난 대선 기간에는 1만510건으로 크게 늘었다.

정부는 선거를 겨냥한 딥페이크 영상·음성 조작 범죄에 강력히 대응하기 위해 최첨단 AI 탐지 기술을 현장에 본격 활용하기로 했다.

행안부와 국립과학수사연구원이 함께 개발한 ‘AI 딥페이크 탐지 모델’은 영상의 전체적인 흐름을 분석하는 ‘전역 분석’과 얼굴 등 특정 부위의 조작 흔적을 정밀하게 판별하는 ‘국소 분석’을 동시에 진행해 탐지의 정확도를 높였다. 행안부는 “최신 생성형 AI 기반 콘텐츠에도 대응할 수 있도록 설계됐으며, 실제 검증 결과 약 92% 수준의 높은 탐지 정확도를 기록했다”고 설명했다.

행안부는 탐지 모델을 오는 6월3일 치러지는 제9회 전국동시지방선거에 적용할 계획이다. 행안부 관계자는 “인간의 시각으로는 진위 여부를 판별하기 어려운 수준의 콘텐츠 생성이 가능해지고, 이를 악용한 딥페이크 범죄가 더욱 지능화 또는 고도화되고 있다”며 “특히 선거철 허위 조작 정보의 확산 우려가 커지고 있는 만큼 유권자의 판단 왜곡을 방지하기 위해 지방선거에 모델을 활용할 예정”이라고 말했다.

행안부와 국과수는 AI 딥페이크 분석 모델의 활용 범위를 단계적으로 확대할 계획이다. 성평등가족부, 방송통신위원회, 경찰청 등 관계 부처와 긴밀히 협력해 범정부 차원의 촘촘한 디지털 범죄 대응 체계를 구축할 예정이다. 국과수는 진화하는 AI 기반 범죄에 한발 앞서 대응하기 위해 과학수사 체계를 고도화할 계획이다.

윤호중 행안부 장관은 “딥페이크를 활용한 가짜뉴스가 선거 민주주의를 심각하게 위협하고 있다”며 “국민의 소중한 권리가 침해받지 않도록 선거 과정에서 허위·조작 정보에 대한 대응 역량을 꾸준히 높여 유능하고 신뢰받는 ‘AI 민주정부’를 만들어 나가겠다”고 말했다.