전세계가 놀란 AI ‘가짜 바이든’, 이대로 괜찮습니까

AI 딥페이크 진화, “보고 듣는 것 의심하는 세상”

미국은 서둘러 ‘행정명령’ 발효, 국내서도 규제논의

AFP연합뉴스

[주간경향] “나도 내 딥페이크(Deep Fake)를 보고 놀랐다. ‘내가 언제 저런 말을 했지’ 하고 생각했을 정도다.”

조 바이든 미국 대통령이 지난 10월 30일 ‘안심할 수 있고, 안전하며, 신뢰할 수 있는 인공지능(AI) 개발과 사용에 관한 행정명령’에 서명하면서 남긴 말이다. 사건은 올 1월로 거슬러 올라간다. 바이든 대통령이 백악관에서 성소수자를 폄훼하고 공격하는 연설을 하는 가짜영상(딥페이크)이 SNS 등을 통해 유포됐다. 해당 영상은 화질이 좋지 않지만 백악관 브리핑룸과 바이든 대통령 얼굴이 충분히 식별 가능하다. 무엇보다 목소리가 정말 감쪽같다. 딥페이크가 큰 논란이 되자 백악관은 서둘러 “가짜”라며 수습에 나섰다.

그리고 9개월 뒤 딥페이크의 ‘피해자’이기도 한 바이든 대통령은 AI와 이를 활용한 딥페이크 등을 ‘강력히’ 규제하는 행정명령을 내놓았다. 사실 AI로 가장 큰 수혜를 누리는 곳은 미국이다. 생성형 AI로 세계적인 붐을 일으킨 ‘챗GPT’ 등 유력 기술이 미국에 있고, 이를 통해 생산된 각종 콘텐츠와 미디어가 유통되는 경로 역시 구글(유튜브·인스타그램), 메타(페이스북), X(옛 트위터) 등 미국 기업들이 장악하고 있다. AI 선도국인 미국이 먼저 규제에 나선 것은 그만큼 AI로 발생하는 문제가 이미 심각하고, 앞으로 더 심각해질 수 있다는 뜻이다.

딥페이크뿐만이 아니다. AI가 제조업, 방산, 건설, 자동차, 보건·의료 분야 등에 광범위하게 도입되면서 AI가 인간과 사회의 안전을 위협할 수 있다는 우려가 끊임없이 제기되는 중이다. 유럽, 미국 등 선진국들이 일명 ‘AI 규제법’ 마련에 서둘러 나서고 있는 배경이다. 국내에서도 AI 규제법이 국회 계류 중인 가운데 법안의 내용을 놓고 수정·보완 요구가 이어지고 있다.

“생성형 AI 등장 후 딥페이크 진화, 대중화”

정보통신기획평가원은 ‘딥페이크’를 “‘딥러닝(Deep learning)’과 ‘가짜(Fake)’의 합성어로, 인공지능을 기반으로 한 이미지 합성 기술”이라고 정의한다. 딥러닝은 AI가 ‘학습하는 능력’을 뜻한다. 전체 AI 생태계에서 보면 딥페이크는 아주 작은 일부분에 불과하다. 다만 많은 사람이 일상적으로, 쉽게 접할 수 있는 미디어·콘텐츠와 연계돼 있고, 사회에 미치는 파장도 크기 때문에 딥페이크 문제가 더 부각된다. 널리 보급된 스마트폰과 인터넷, 수억명이 이용하는 SNS 등은 딥페이크의 유포와 확산을 위한 최적의 환경으로 작용한다.

생성형 AI는 막대한 양의 데이터 학습을 통해 AI 스스로 콘텐츠나 미디어를 생산할 수 있을 정도까지 진화한 AI 기술 중 하나다. 김승주 고려대학교 정보보호대학원 교수는 “딥페이크는 오래전에 나온 것이라 새삼스러울 게 없다”며 “챗GPT와 같은 ‘생성형 AI’가 등장하면서 딥페이크가 더 정교하고 대중화됐다고 볼 수 있다”고 설명한다.

2019년 중국에서 열린 세계인터넷박람회에서 관람객들이 스크린 앞을 지나고 있다. 연합뉴스

해외에선 생성형 AI가 만들어낸 정교한 딥페이크들이 계속 논란이 되는 중이다. 미국에서 지난 5월 ‘리틀 트럼프’로 불리는 디샌티스 플로리다주지사가 차기 대권 도전을 공식화한 뒤 힐러리 전 국무장관이 그를 지지하는 영상이 나와 파문이 일었다. 올 3월에는 트럼프 전 대통령이 경찰을 피해 도주하는 장면과 저항하며 체포되는 딥페이크 사진이 SNS를 통해 유포되기도 했다. 최근에는 서점에서 치매 관련 책을 고르는 바이든 대통령의 딥페이크가 공개됐다. 미국이 행정명령으로 AI에 제동을 건 것은 눈앞에 다가온 대선에 딥페이크 등의 개입을 방지하려는 시도이기도 하다.

딥페이크가 영상과 이미지 쪽이라면 ‘가짜’ 음성을 만들어내는 데는 ‘딥보이스’가 있다. 생성형 AI를 통해 이제는 보이스피싱 범죄 등에 악용 가능한 수준에 이르렀다. 올 3월 캐나다에서는 딥보이스로 위조한 가짜 아들 목소리에 속은 부모가 2000만원가량을 보이스피싱범에게 송금하는 피해를 당했다. 2019년 영국에서는 한 회사가 최고경영자(CEO)의 목소리를 위조한 딥보이스에 속아 수억원을 송금한 사건이 발생했다. 11월 1일 충남경찰청 반부패·경제범죄수사대가 검거 사실을 공개한 보이스피싱 범죄단의 경우 중국 항저우에 콜센터를 차리고 1891명으로부터 1490억원에 달하는 돈을 뜯어냈다. 붙잡힐 당시 이들은 딥페이크와 딥보이스를 활용해 한 유명 검사의 얼굴과 음성을 합성한 뒤 이를 범행에 이용하려는 신종수법을 개발 중이었다고 경찰은 밝혔다.

생성형 AI를 응용한 딥보이스 프로그램의 경우 웹에서 무료 체험판 등으로 내려받아 사용이 가능할 정도로 ‘대중화’됐다. 유튜브 등에는 이 같은 무료 딥보이스의 사용법을 안내하는 동영상도 여럿 올라와 있다. 해당 동영상을 보면 음성 샘플에 따라 유명인부터 일반 여성·남성 등 다양한 목소리가 간단한 조작만으로 합성이 가능하다. 정교한 음성을 합성해내는 딥보이스를 유료로 제공하는 업체들도 영업 중이다.

정수환 숭실대 전자정보공학부 교수는 “기술에 따라 편차는 있지만 약 5초 분량의 음성이면 특정인의 음성 합성이 가능하다. 귀로 듣고 눈으로 보는 걸 믿기 어려운 시대가 온 것”이라며 “음성의 합성과 위조가 범람할 경우 보이스피싱이나 선거 개입 등 범죄에 악용될 우려가 커지기 때문에 대책이 필요하다”고 말했다. 정 교수는 실시간으로 딥보이스 음성을 탐지해 알려주는 AI 프로그램을 개발 중이다.

딥페이크 프로그램 등을 이용해 콘텐츠를 만드는 한 창작자는 “딥페이크를 잘 활용하면 영화나 게임 같은 콘텐츠 산업에서 비용을 절약할 수 있고, 창작자들이 저렴한 비용으로 콘텐츠를 창작할 수 있어 진입장벽도 낮아지는 효과가 있다”며 “범죄 등에 악용될 소지가 있기 때문에 AI로 만들어진 콘텐츠엔 ‘AI 콘텐츠’라고 명시하게 하는 등 적절한 규제는 필요하다고 본다”고 밝혔다.

AI 커버곡의 저작권은 누구에게?

지난해 9월 미국 콜로라도에서 열린 주립 미술대회에서는 ‘디지털아트’ 부문에서 생성형 AI로 제작한 작품인 ‘스페이스 오페라 극장’이 1위를 차지해 화제와 논쟁의 대상이 됐다. 작품을 출품한 이는 게임을 기획하는 제이슨 M. 앨런이었다. 그는 설명문을 입력하면 이를 이미지로 변환해주는 ‘미드저니’라는 AI로 3개의 작품을 제작한 뒤 출품해 수상했다. 그가 AI로 작품 3개를 제작하는 데는 불과 80여 시간이 걸렸다고 전해진다. 수상 소식을 놓고 “수상자격이 없다”는 비판부터 “(해당 경쟁 부문이 허용하고 있는) 포토샵 등 프로그램을 이용한 것과 별 차이가 없다”는 반응이 엇갈렸다.

논쟁의 중심에 서 있는 대상 중 AI를 이용해 만든 이른바 ‘AI 커버곡’도 있다. AI 커버곡은 특정 가수가 다른 가수의 노래를 부른 것처럼 AI로 만들어낸 음원이다. 최근에는 브루노 마스가 뉴진스의 ‘하입 보이’를 부른 것처럼 만들어낸 AI 커버곡이 유튜브에서 큰 화제를 모았다. 유튜브에는 현재 이 같은 AI 커버곡이 넘쳐난다. ‘AI 커버 아이유’만 검색해도 아이유의 음성으로 만들어진 수많은 AI 커버곡이 나온다. AI 커버곡을 만드는 과정은 딥보이스를 활용해 음성을 합성하는 과정과 크게 다르지 않다. 음성 대신 가수의 노래를 AI가 학습한다는 게 차이점이다. 여기서 문제가 발생한다. 엄연히 저작권으로 보호되는 아이유의 노래를 이용(학습)해 아무 허가 없이 음원을 만들어내는 게 정당한가의 문제다.

지난 10월 26일 이 같은 문제를 논의하기 위해 문화체육관광부와 한국저작권위원회 주최로 ‘2023 서울 저작권 포럼’이 열렸다. 포럼의 주제는 ‘생성형 AI와 저작권’이었다. 기조연설에 나선 미라 순다라 라잔 미국 UC Davis 로스쿨 교수는 “AI에 의해, 또는 AI를 이용해 생성된 작품의 경우 실제 창작한 ‘주체’가 누구인지, 작품에서 나오는 혜택은 누구에게 돌아가야 하는지 등의 논란이 있으며 현재 어느 국가에서도 이를 법으로 규정한 사례는 없다”고 밝혔다. 그는 “AI가 현실과 진실, 역사와 정체성, 인간의 창의성을 훼손한다면 모두가 패배하는 결과를 낳게 될 것”이라며 “AI를 인간 창의성을 위한 도구로 활용하되 ‘저작인격권’을 강화해 AI 창작물로부터 작가·예술가들의 명예와 생계를 지켜야 한다”고 덧붙였다.

한국음악저작권협회는 AI 커버 등과 같은 문제에 대응하기 위해 올 3월 태스크포스(TF)를 발족시켰다. 이들은 “챗GPT 상용화로 창작생태계가 붕괴되고 있다”며 “저작권 본연의 가치에 관심을 가져야 한다”고 주장한다. 포럼에서 발제를 맡은 황선철 한국음악저작권협회 사업2국장은 AI가 기존 저작권자들의 창작물을 학습(데이터마이닝)하는 과정에서 저작권 침해 등에 관한 면책(TDM)을 부여하려는 일각의 움직임을 소개했다. 이어 TDM의 허용과 범위를 명확히 할 것과 일정부분 사용료를 저작권자에게 지급하는 문제 등을 고려해야 한다고 지적했다. 윤혜선 한양대학교 법학전문대학원 교수는 “AI에 관한 별도의 저작권법제를 개발해 도입하는 방안도 고려해볼 수 있다”며 “AI에 의한 생성물에 약한 수준의 권리와 등록 의무를 부과하고, 데이터의 학습 등에는 특례를 통해 별도의 보상체계를 마련하는 방안도 있을 것”이라고 말했다.

국내서도 AI 규제법 ‘시동’, “진흥보다 규제를”

생성형 AI의 등장과 함께 세계 각국에선 AI 규제법을 만드는 데 속도를 내고 있다. 미국 행정명령의 경우 국가 안보와 경제, 공중보건 등에 큰 영향을 줄 수 있는 AI 모델은 개발 단계에서부터 정부에 보고하도록 했다. 또 정부가 인증한 검증 전문가그룹에서 해당 모델의 안전성을 검토받아 그 결과도 제출하도록 했다. AI를 이용한 딥페이크 등을 막기 위해 AI로 생성되는 콘텐츠에 대한 ‘워터마크’ 표기 및 관련 표준 등을 수립토록 하는 내용도 포함됐다. AI로 일자리를 잃는 노동자에 대한 지원 방안 연구, AI 학습 시 무분별한 개인정보 이용을 막기 위한 지침 마련 등의 의무도 기업에 부과했다.

2021년에 이미 AI 규제법 초안을 마련한 EU의 법안은 보다 광범위하고 세부적이다. 초안에서는 AI로 인해 발생할 수 있는 위험을 ‘용인할 수 없는 위험(인간 기본권 침해 등)’, ‘고위험(건강·안전 위협)’, ‘저위험(자발적 준수 권장사항)’ 등으로 구분한 뒤 각 위험 단계별로 금지나 권고 사항을 명시하고 있다. 예컨대 법 집행을 목적으로 AI를 이용해 공개장소에서 실시간으로 생체 정보를 원격 수집하는 행위 등은 ‘용인할 수 없는 위험’으로 금지사항이다. 논란이 되고 있는 딥페이크나 AI 저작권 문제 등은 ‘저위험’에 포함됐다. 딥페이크 등에 투명성 의무를 부여해 AI로 생성된 콘텐츠임을 표시하거나, 해당 콘텐츠 창작 과정에서 참고한 원저작물을 표기하도록 권고한다.

국내에서는 올 2월 14일 ‘인공지능산업 육성 및 신뢰 기반 조성에 관한 법률안’이 국회 과학기술정보방송통신위원회의 법안소위를 통과했다. 인공지능산업 육성 및 신뢰 확보를 위한 ‘인공지능 기본계획’의 수립 및 시행, 인공지능위원회 설립과 국가인공지능센터 설치 등 ‘AI 거버넌스’ 수립을 위한 각종 절차와 제반 규정이 담겼다. 정부의 인공지능 윤리원칙 제정 및 공표, 인공지능 신뢰성 검·인증, 고위험 영역 인공지능의 확인 등 EU와 유사한 규제방안도 포함됐다.

국내 AI 법안을 놓고서는 안전·투명성 확보 등을 위한 필수 규제보다 ‘진흥’에 더 무게가 실려 있다는 비판이 나온다. 유승익 한동대 연구교수는 “법안에서는 인공지능 기술 규제방식으로 우선허용·사후규제를 채택하고 있는데, 인공지능 기술은 기본적 인권에 직접적이면서도 광범위하게 부정적 영향을 미칠 수 있어 바람직한 방식이 아니다”라며 “사전규제에 의한 보호, 설계에 의한 보호, 인공지능 리터러시 교육 등 다양한 정책패키지가 각 단계에 합리적으로 배치돼야 한다”고 말했다.

허진민 참여연대 공익법센터 소장(변호사)은 “현재 법안은 기존 ‘지능정보사회 윤리 가이드라인’에서 제시한 공급자·사용자의 준수 사항에 들어 있는 내용보다 구체성이 떨어지고, 책임성·안정성·투명성 등의 핵심 요건들이 반영되지 않았다”며 “고위험 인공지능기술의 경우 원칙적 규정만으로는 위험을 관리할 수 없기 때문에 EU의 규제법 등을 참고해 현행 법안을 대폭 수정해야 한다”고 밝혔다. 김승주 교수는 “법부터 만들어 규제하기보단 AI 기술이 가져오는 리스크들을 차단하고 관리하려는 정책이 선행돼야 한다”며 “정부 차원에서 관련 기술을 개발해 업체에 저렴하게 이관하는 방법도 있을 것”이라고 말했다.