실제같은 가짜 '딥페이크'의 세계 완전해부...AI 세상의 새로운 게임체인저?

2020년 12월 한 Mnet TV 의 AI(인공지능) 음악프로젝트 ‘다시 한번’의 한 장면. 특허청 제공(출처 : Mnet TV AI음악프로젝트 ‘다시 한번’)

2020년 12월 한 TV 프로그램에서 혼성그룹 ‘거북이’의 공연이 방송됐다. 이 공연에서 그룹 ‘거북이’는 가수 가호의 ‘시작’(드라마 ‘이태원클라스’의 주제곡)이라는 곡을 리메이크해 불렀다. 이 공연에 등장한 거북이의 리더 ‘터틀맨’은 2008년 고인이 된 사람이다. 하지만, 이날 공연에서는 인공지능(AI) 기술인 딥페이크가 만들어낸 가상인물 ‘터틀맨’이 12년 만에 그룹 동료들과 함께 무대에 나와 노래를 불렀다.

이처럼 고인이 된 가수까지 감쪽같이 현실로 소환하는 것이 바로 ‘딥페이크’ 기술이다. 딥페이크 기술이 현실세계와 가상세계의 경계를 허물 수 있다는 사실을 보여준 사례다.

■딥페이크란 무엇인가.

‘딥페이크’는 인간처럼 판단할 수 있도록 컴퓨터를 교육시키는 ‘딥러닝(deep learning)’과 가짜를 뜻하는 ‘페이크(fake)’의 합성어다. 2017년 미국의 온라인 커뮤니티 레딧에 할리우드 배우의 얼굴과 포르노를 합성한 편집물을 올린 네티즌의 아이디 ‘딥페익스(Deepfakes)’에서 그 이름이 유래했다.

딥페이크는, 간단하게 말하면 AI를 이용해서 사람의 이미지를 합성하는 기술이다. 말하는 사람의 얼굴 이미지에 다른 사람이 이야기하는 것처럼 입모양을 바꾸는 시도로 시작됐다. 2017년 공개된 ‘오바마 만들기(synthesizing Obama)’ 프로그램은 미국의 전직 대통령 버락 오바마가 말하는 입모양을 다양하게 만드는 것이었는데, 이게 딥페이크에 대한 대중의 관심을 촉발시키는 계기가 됐다.

이후 미국 UC버클리대학에서 2018년 발표한 ‘페이크 댄싱 앱(fake dancing app)’은 딥페이크 기술을 입술모양에서 전신 동작으로 확장시키는 계기가 됐다. 현재는 합성 대상이 사람을 넘어 사물로까지 확장되고 있다.

■딥페이크는 어떻게 만들어지나.

일반적으로 AI는 많은 데이터를 학습한 뒤 데이터에 숨겨진 특징을 발견해 분류하기도 하고, 예측하기도 한다. 개와 고양이 사진을 대량으로 학습한 뒤 새로 입력된 사진을 개나 고양이로 분류한다거나, 다량의 교통 혼잡도 데이터를 학습해 특정 시간이나 특정 구간의 혼잡도를 예측하는 방식이다. 새로운 무엇을 만들어 내는 것이 아니라 다량의 데이터에 흐르는 공통된 특징을 찾아낸 뒤 그 결과에 따라 어떤 작업을 하게 된다.

반면, 딥페이크에 사용되는 AI 기술은 공통된 특징을 발견하는 수준에서 한걸음 더 나아가 스스로 무언가를 새로 만들어 낸다는 점에서 차이가 있다. 이는 데이터 영상에서 배운 특징을 그대로 흉내낸 영상을 만드는 ‘생성기’와 생성기가 만든 영상이 진짜인지 가짜인지 판별하는 ‘판별기’가 대립·경쟁하면서 점점 더 정교한 영상을 만든다.

생성기에서 만든 영상을 판별기에서 가짜라고 판정하면 생성기는 추가로 학습하여 새로운 영상을 만드는 과정을 반복해 가게 되고, 결국에는 좀 더 진짜에 가까운 이미지가 만들어지는 식이다.

■딥페이크, 어디에 쓰이나.

많은 기업들이 딥페이크가 가져올 무한한 활용도와 기회에 주목해 연구와 투자를 늘리고 있다. 그 결과, 딥페이크는 급속한 발전을 거듭하고 있고, 다양한 분야에서 활용되고 있다.

우선 엔터테인먼트 분야에서 딥페이크가 활용되면, 시공간의 한계를 뛰어넘게 된다.

딥페이크는 진짜와 분간이 힘들 정도로 정밀한 가짜 영상이나 음성을 만들어내는데, 이를 발빠르게 적용한 분야는 엔터테인먼트이다. 넷플릭스의 영화 ‘아이리시맨(The Irishman)’에서는 70대인 주연 배우 로버트 드니로의 젊은 시절 장면을 대역 없이 딥페이크로 만들어 넣었다. 최근 딥페이크 기술을 영화, 드라마 등 엔터테인먼트에 접목하면서 출연자가 직접 촬영하지 않고도 실제 같은 영상을 만들어 내는 사례가 잇따라 나오고 있다. 이는 제작비 절감으로 이어져 해당 산업의 활성화에 기여하고 있다.

LG전자의 가상인간 ‘김래아’(왼쪽), 삼성전자의 가상인간 ‘네온’(가운데), 신한라이프의 가상인간 ‘로지’(오른쪽). 특허청 제공

유명 인물의 재현 뿐 아니라 새로운 가상인물을 만들어 활용하기도 한다. 인스타그램에서 수많은 팔로워수를 확보하고 있는 인플루언서 ‘김래아’는 LG전자가 만든 가상인간이다. 삼성전자의‘네온’도 누가 진짜 사람인지 구분할 수 없을 정도로 정교하다. 신한라이프 광고모델로 활약 중인 서울 출생의 22살 ‘로지’는 MZ세대가 선호하는 얼굴형으로 만든 AI 모델이다. LA에 사는 19세 팝스타 릴 미켈라(팔로워 303만명) 역시 AI 모델이다. 미국의 스타트업 브러드가 만든 이 모델은 해 수익이 약 130억원으로 알려져 있다.

글로벌 홍보에 이 기술을 사용하면 지역과 언어의 장벽을 허물 수 있다.

딥페이크는 서로 다른 지역과 민족을 대상으로 같은 내용을 대상자의 기호와 언어 등을 고려해 맞춤형으로 제공하는데도 유용하다. 스탠포드대학, 막스 프랑크 연구소, 프린스톤대학, 어도비연구소의 연구원들은 2019년에 텍스트 원고에 맞게 말하는 사람의 모습을 정교하게 수정할 수 있는 기술을 개발했다. 기존 영상을 수정하기 위해 사용자는 단지 텍스트 원고만 수정하면 된다. 단어를 추가하거나 제거·변경하는 단순한 작업뿐만 아니라 다른 언어로 번역하거나 전체 문장을 바꾸어도 자연스러운 수정 영상을 만들어 준다.

데이비스 베컴이 여러나라의 언어로 진행하는 말라리아 퇴치 홍보 영상. 특허청 제공(출처 : https://www.youtube.com/watch?v=CF_e0kMCW2o)

또 영국의 AI 스타트업 신디시아는 2019년 축구 스타인 데이비드 베컴이 9개의 언어로 말라리아 퇴치 홍보 캠페인 영상을 제작하여 홍보한 것으로 유명하다. 이 회사는 최근 한국어를 포함한 50개 언어로 손쉽게 영상을 만들어 주는 서비스를 제공하고 있다. 이용자는 이미 만들어져 있는 40개 이상의 AI 아바타 중 하나를 고르거나 자신이 원하는 아바타를 만든 후 원하는 텍스트 대본을 입력하기만 하면 10분 안에 완성된 영상이 만들어진다.

교육에 이 기술을 활용하면 학습에 생동감을 더하게 된다.

딥페이크로 재탠생한 독립운동가들(왼쪽부터 윤봉길, 안중근, 유관순). 특허청 제공(출처: https://www.youtube.com/watch?v=MBAbyzw0BHU)

2021년 3.1절을 기념해 독일 마이헤리티지의 딥페이크 기술로 제작된 안중근 의사, 유관순 열사, 윤봉길 의사의 딥페이크 영상은 살아 움직이면서 우리와 눈을 맞추고 미소를 보이기도 했다. 국내 스타트업인 라이언로켓은 안중근 의사의 서거 111주년을 기념해 안중근 의사가 ‘국기에 대한 맹세’와 그의 유언을 낭독하는 영상을 딥페이크 기술로 구현하기도 했다.

■딥페이크의 ‘어두운 그림자’

하지만, 딥페이크 기술에는 부정적인 측면도 있다. 딥페이크가 육안으로는 실제와 구분하기 어려울 정도로 정교한 가짜 영상과 음성을 만들어내다 보니 성인 영상물이나 가짜뉴스 등에 악용되는 경우도 발생하고 있다.

네덜란드의 사이버 보안회사 센시티의 조사에 따르면, 2019년 기준 전 세계 1만4678건의 딥페이크 영상 중 성인물이 전체의 96%에 이른다는 통계도 나와있다.

악의적으로 제작된 가짜뉴스도 분열과 갈등을 조장하는 등 사회적 물의를 빚고 있다. 가짜 영상은 주로 유명인의 평판을 떨어뜨리기 위한 목적으로 제작되는데, 대표적인 예가 2019년 7월 페이스북에 게시된 미국 하원의장 낸시 펠로시의 술에 취한 듯한 영상이다. 이 가짜영상은 당시 630만회가 넘는 조회수를 기록했는데, ‘만취’, ‘엉망진창’ 등의 댓글이 붙기도 했다.

미국 하원의장 넨시 펠로시의 딥페이크 영상. 특허청 제공((출처:https://www.youtube.com/watch?v=sDOo5nDJwgA)

딥페이크를 악용하는 사례가 사회적은 물의를 빚는 사례가 늘어나고 있는 가운데 아이러니컬하게도 딥페이크 AI기술로 만든 가짜 영상을 다시 AI를 이용해 판별해내는 기술도 활발하게 연구되고 있다.

딥페이크 가짜영상을 판별하는 방법으로는 영상 속 인물의 눈 깜박임, 머리 움직임, 혈류의 움직임 등을 검사하는 방법과 이런 것들을 복합적으로 판단하는 방법 등 다양한 방법이 이용되고 있다. 이 기술은 사람이 일반적으로 대략 6초 이내에 한 번은 눈을 깜박인다는 점에 착안해 합성 영상의 부자연스러운 동작을 탐지하도록 하고 있다.

카이스트 이흥규 교수 연구팀은 2021년 3월 카이스트 창업 기업인 디지탈이노텍과 함께 딥페이크 탐지와 사진 위·변조 탐지를 위한 소프트웨어 ‘카이캐치(KaiCatch)’를 모바일 앱 형태로 출시했다. 카이캐치는 얼굴 영역의 미세 변형과 코, 입, 얼굴 윤곽 등 얼굴의 기하학적 왜곡 발생 흔적을 분석해 딥페이크로 생성된 영상인지를 탐지한다.

경연정 특허청 인공지능빅데이터심사과 팀장은 “K-팝 스타들이 딥페이크에 악용되는 사례가 종종 발생하고 있는 가운데 딥페이크 탐지 분야에서는 우리 기업들의 활약이 두드러진다”고 분석했다.

■딥페이크, AR·VR·메타버스와 결합해 세상을 바꾼다.

최근 주목받는 기술이 ‘딥페이크를 이용한 AI용 데이터 생성 기술’이다. MIT는 이 기술을 2022년 10대 혁신기술로 선정한 바 있다.

특허청이 분석한 한국·미국·중국·일본·유럽 등 지식재산 분야 5대 강국의 특허 출원 동향을 보면, 딥페이크를 이용한 데이터 생성 분야 특허 출원 건수는 2015년 37건에서 2019년 1124건으로 늘어났다. 연평균 134.8%의 가파른 증가세를 이어가고 있는 것이다. 한국 기업의 이 분야 특허 출원은 2017년 이후 빠르게 늘고 있다.

전문가들은 향후 딥페이크가 AR(증강현실)·VR(가상현실)·메타버스 등과 결합되면 그 영향력은 가히 폭발적일 것으로 보고 있다. 딥페이크 기술 덕분에 현실과 구분이 힘들 정도로 정교한 가상세계를 경험하게 될 것이고, 여행·회의·쇼핑·게임·강의 등 우리 일상의 상당 부분이 딥페이크가 만드는 가상공간에서 이루어질 것이라는 것이 전문가들의 전망이다.

이와 함께 사이버 범죄, 가짜뉴스, 성인물 등 딥페이크가 가져올 위험에도 철저히 대비해야 한다는 지적도 나온다. 전문가들은 딥페이크의 악용을 모니터링하는 사회적 감시망, 강력한 법적 규제, 딥페이크 탐지기술의 고도화 등을 그 해법으로 제시하고 있다.

딥페이크는 이미 우리 곁에 깊숙이 들어와 있다. 우리는 싫든 좋든 딥페이크와 공존할 수밖에 없는 상황이다. 딥페이크가 가져올 부작용은 최대한 억제하면서 긍정적인 부분은 더욱 발전시키는 전략적 접근이 필요하다.

서을수 특허청 융복합기술심사국장은 “우리나라가 범용 AI 분야에서는 다른 국가에 비해 다소 출발이 늦었지만, 딥페이크 분야에서 한발 앞서 기술력과 특허를 확보한다면 새로운 기회의 장을 열 수도 있다”면서 “딥페이크는 우리가 상상하는 만큼 우리에게 새로운 기회를 열어 줄 것”이라고 말했다.