국내 연구진이 음성에 담긴 미묘한 감정을 읽어 영상 속 화자의 표정을 바꾸는 기술을 개발했다. 예를 들면 “잘한다”는 문장의 어투를 분석해 발언의 의도가 칭찬인지 비아냥인지를 판별한 뒤 알맞은 표정을 구현하는 식이다. 교육용 아바타와 인공지능(AI) 아나운서, 드라마 후반 작업 등에 활용할 수 있을 것으로 보인다.

울산과학기술원(UNIST) 인공지능대학원 김태환 교수가 이끄는 연구진은 음성 신호에서 감정을 추출해 영상 속 화자의 표정을 적절히 바꿀 수 있는 AI 기술 ‘C-MET’을 개발했다고 18일 밝혔다. 연구 결과는 미국 콜로라도주 덴버에서 열린 AI 분야 국제학회 ‘CVPR 2026’에서 발표됐다.

C-MET은 중립적 음성과 감정이 실린 음성의 차이를 숫자 정보로 환산한다. 이 결과를 화면 속 인물 얼굴에 표정으로 반영한다. 같은 문장이라도 어조가 달라지면 입꼬리와 눈썹, 눈 주변 근육 움직임을 다르게 표현한다는 뜻이다.

예를 들어 “잘한다”는 표현은 칭찬도, 비아냥도 될 수 있는데, 어조를 판단해 화면 속 인물 표정으로 옮긴다. 만약 “잘한다”가 비아냥의 의도라면 입꼬리를 양옆으로 길게 벌려 비우호적인 느낌이 드는 얼굴 움직임을 만들어낸다.

연구진은 기존에 나온 일부 기술처럼 특정 표정마다 ‘기쁨’ ‘분노’ ‘슬픔’ 등 이름표를 붙여 C-MET을 학습시키지 않았다고 했다. C-MET은 제시된 특정 감정 가운데 하나를 고르는 대신 두 감정 사이의 적절한 위치를 판별하도록 고안됐기 때문이다. 미술로 따지면 빨간색과 흰색 물감을 적절히 조합해 다양한 느낌의 분홍색을 만드는 것과 비슷하다.

연구진은 C-MET의 감정 표현 정확도가 중국에서 개발한 최신 얼굴 표정 기술인 ‘이디톡’에 비해 14%포인트 높은 것으로 나타났다고 설명했다.

연구진은 음성에 잘 맞는 사실적인 표정을 만드는 이번 기술이 가상 인간 콘텐츠와 AI 아나운서 생성, 영화·드라마 후반 작업 등에 활용될 것으로 예상했다. 뮤직비디오에 등장하는 스타의 표정을 다양하게 조합하는 작업에도 쓸 수 있을 것으로 보인다.

김 교수는 “이번 연구는 참조할 수 있는 이미지 없이 음성만으로 얼굴 영상의 감정을 바꿀 수 있는 점이 특징”이라며 “기존 방식의 한계를 넘어섰다”고 설명했다.