[인공지능 길들이기]“사람이 다 합니다”…AI는 객관적일 것이란 ‘환상’

오픈AI의 이미지 생성 모델 DALL·E 2가 ‘인공지능의 위험성’을 주제로 그린 이미지. 출처 오픈AI

인간과 크게 다르지 않은 글쓰기, 대화하기 능력을 갖춘 챗GPT의 등장으로 인공지능에 대한 관심이 폭발적으로 증가하고 있다. 챗GPT는 누구나 쉽게 사용할 수 있는 인공지능 응용프로그램(앱)이라는 점에서 새롭기는 하지만, 인공지능 기술은 이미 인류의 삶 전반에 영향을 미치고 있다.

인공지능 기술 발달에 가속도가 붙고, 활용 범위도 넓어지면서 오용·악용 가능성도 생겨나고 있다. 인공지능이 가져다 줄 복지 증진에 대한 기대 못지 않게 위험성에 대한 우려와 공포도 커진 것이다.

급속하게 빨라지고 확대되는 인공지능 기술과 활용 범위, 파급력에 비해 위험을 관리할 제도적 장치 마련을 위한 논의는 너무 굼뜨다는 지적이 나온다. 인공지능 개발과 활용을 각 기업과 전문가의 양심과 윤리에 전적으로 맡겨도 될지, 공적인 규범이 필요하다면 어떻게 마련할 것인지에 관해 2회에 걸쳐 살펴본다. (※대화가 아닌 부가적인 설명은 기울임꼴로 썼다.)

“사람이 한다, 사람이 다 하는 거다”

A씨와 I씨는 데이터 사이언티스트다. 업계에서 ‘베테랑’에 속하는 A씨는 지난 10여년간 금융·유통·게임 업체에서 몸담았고 현재도 국내 한 대기업에서 일하고 있다. 박사 학위를 취득한 뒤 업계로 나온 I씨 역시 금융·에너지 업계를 거친 중견이다. A씨와 I씨에 따르면 데이터 사이언티스트는 ‘마술상자를 설계하는 사람’이다. 인공지능 모델 개발 일선에 있는 A씨와 I씨를 지난 14일 서울의 한 카페에서 만나 인공지능에 관한 솔직한 이야기를 들었다.

(※슈퍼컴퓨터 등 기기의 발달로, 인공지능 기술도 빠르게 발달하고 있다. 머신러닝, 딥러닝, 인공신경망, 생성 모델 등 관련 용어도 새로 생겨나고 분화돼 대중 입장에서는 이해하기 어려운 개념도 적지 않다.

최근 주로 이야기되는 인공지능 기술을 한 마디로 정리하면 ‘기계가 학습을 통해 목표에 가장 알맞은 모델을 스스로 구성하는 것’을 말한다. 한 번 만들어진 모델은 다시 학습이나 이용자와의 교류를 통해 성능을 향상해 더 나은 결과물을 신속히 만들어낸다. 한 마디로 인간이 원하는 것을 뚝딱 내놓는 ‘마술상자’인 셈이다.

그러나 현재 기술 수준으로 기계가 처음부터 스스로 마술상자를 만들 수는 없다. 인간의 설계와 조정이 필요한데, 바로 이 일을 하는 이들을 데이터 사이언티스트라 부른다.)

오픈AI의 이미지 생성 모델 DALL·E 2에게 ‘남성 2명이 카페에서 이야기하는 이미지를 그려달라’고 요구하자 이같은 이미지를 내놨다. 출처 출처 오픈AI

- 데이터 사이언스라는 분야에 대한 간략한 소개 부탁한다.

I씨 “데이터량이 워낙 많다 보니 사람이 일일이 확인 할 수 없다. 수많은 데이터 속에서 패턴을 찾아내는 인공지능 모델을 설계하고 다룰 수 있는 사람들을 데이터 사이언티스트라 부른다.”

A씨 “머신 러닝을 주로 활용하다 보니 ‘머신 러닝 엔지니어’라 부르기도 한다. 일반 기업에서는 수익 창출로 연결시킬 수 있는 소비자의 패턴을 파악하는 일을 하는 것이라 생각하면 된다.”

(※기계가 가장 알맞은 모델을 구성하기 위해 스스로 데이터를 학습하는 것을 가리켜 ‘머신 러닝’, 우리말로는 ‘기계 학습’이라 부른다.

딥 러닝은 머신 러닝의 하위 개념으로, 인간의 뇌처럼 복잡한 인공신경망을 여러 층위로 깊게 쌓아 운용해서 딥 러닝이라고 한다.

최근에는 데이터량이 워낙 많아 딥 러닝을 주로 활용하기 때문에 머신 러닝과 딥 러닝이 거의 같은 의미로 쓰인다.)

- 모델 만들 때 고민되는 지점이 있을 것 같다. 유튜브 콘텐츠 추천 모델을 예로 들면, 모델의 목적은 플랫폼 안에 오래 머물게 하는 것일텐데 너무 잘 만들면 ‘필터 버블’(이용자 맞춤형 정보를 제공해 필터링 된 정보만 이용자에게 도달하는 현상)이나 이용자를 중독에 빠뜨릴 위험도 있는 것 아닌가?

I씨 “윤리적으로 딜레마에 놓이는 측면이 굉장히 많이 존재한다. 하나의 모델로 해결하지 못하는 경우도 있다. 유튜브 콘텐츠 추천도 여러 모델이 만든 결과를 종합해 추천하는 것으로 안다. 의도와 별개로 개인정보가 모델에 포함되면 굉장히 큰 문제가 될 수 있기도 하다. 모델 개발 과정이나 모델이 내놓은 결과물이 개발자의 의도와 다를 수 있으니 매우 민감할 수밖에 없다. 챗GPT도 비슷한 문제를 안고 있다. 알고리즘상으로는 문제가 없는 결과물이지만, 거짓인 결과를 참인 것처럼 제공하는 것처럼 다양한 이슈가 항상 존재한다.”

A씨 “개발하는 사람이 모든 경우의 수를 통제하거나 확인할 수가 없다. 챗GPT가 흥미로운 이유가 실제 데이터에는 비윤리적인 부분이 있는데, 비윤리적인 답을 숨기고 도덕적으로 바른 답을 한다는 점이다. 예를 들어 ‘욕을 하라’고 하면 ‘못하겠다’가 아니라 ‘욕을 하면 안 된다’라고 답하는 수준까지 왔다. 인공지능 윤리 분야에 대한 관심과 연구가 엄청 커지고 있다.”

I씨 “그런 답을 하는 이유 역시 챗GPT에 개발한 사람들의 편향이 내재돼 있기 때문이다. 윤리적 편향이 담긴 데이터로 의도적으로 학습시킨 것인데, 문제는 계속 새로운 데이터가 모델에 입력돼 학습될텐데 어떻게 그 데이터를 정제해 학습시킬지가 고민될 것이다. 기업에서도 출시 전 윤리적인 부분에 대한 관리나 방침을 철저히 더 고민해야 하는 시점이 왔다.”

- 그 많은 데이터를 어떻게 정제해 학습시키는지 궁금하다.

A씨 “사람이 한다. 결과적으로 사람이 다 하는 거다.”

I씨 “아마 기계적인 방법을 활용하긴 해도 최종 정제 필터링의 의사결정은 사람이 하기 때문에 결과적으로는 사람이 하는 것이라 볼 수 있다.”

(※“사람이 다 한다”는 A씨의 말은 ‘인공지능은 객관적’이라는 통념과는 다소 상충되는 발언이다. 인공지능이 거대한 데이터를 학습하고 분석해 내놓는 결과물이 그대로 이용자에게 전달되는 것이 아니라 필터링, 가중치 조정 등을 거친다는 이야기다. 특정 목적을 충족하기 위해 결과물이 달라질 수 있는 셈이다.

사실 이는 네이버의 사례에서도 확인할 수 있다. 네이버는 자사의 비교쇼핑 사이트의 검색 알고리즘 가중치를 변경해 공정거래법 위반으로 시정명령과 과징금을 부과받았다. 네이버가 불복해 상고심이 진행 중인데 지난해 말 나온 서울고법 판결문을 보면, 얼마나 교묘하게 결과를 변경할 수 있는지 고스란히 드러난다.

당시 네이버 쇼핑서비스실 직원 B씨는 가중치 변경 효과를 테스트해 상부에 보고했는데, 가중치를 0부터 0.6까지 부여했을 때의 결과를 7단계로 나눠 보고했다. B씨는 가중치 부여로 불공정 이슈가 발생할 수 있다는 사실도 보고했다. B씨는 물론 결정권을 가진 네이버 고위층도 가중치 조정으로 인한 검색 결과 변경이 법에 저촉될 수 있음을 알았던 것이다.

최근에는 일론 머스크 트위터 최고경영자(CEO)가 자기가 쓴 트윗의 조회 수를 높이려고 한밤중에 직원들을 깨워 알고리즘을 바꾸게 해 논란이 됐고, 카카오모빌리티도 택시 배차 알고리즘을 은밀히 조작한 것으로 공정위 조사 결과 드러났다.)

- 결국 인공지능 모델의 결과물이 객관적이란 건 환상인가?

I씨 “그렇다. 최종 의사결정은 사람들이 하는 것이다. 카카오의 경우 이윤을 위해 특정 그룹을 대상으로 우선 배차하도록 하는 비윤리적인 선택을 기업 차원에서 한 것이다.”

A씨 “비윤리적이라 해도 되는지 모르겠다. 불공정 행위 정도로 봐야 하지 않을까. 그런데 노골적으로 하다 시비가 된 것이니 카카오 입장에서 좋은 전략은 아니었다고 생각한다. 어떤 방식이든 인공지능 모델이라 해도 최상위 단계의 결정은 경영진의 의사가 반영된다. 내 경험상 순수한 모델의 결과가 바로 서비스에 노출되는 경우는 거의 없다. 쉽게 말해 사람 손을 타는 거다. ‘후 처리’라고 부른다. 그런데 이런 것들을 부정적으로만 볼 수는 없다. 음란물 차단처럼 좋은 의도로 후 처리를 하는 경우도 있고, 카카오 사례처럼 기업 입장에서 조금 유리하게 손을 보는 경우도 있는 것이다.”

I씨 “카카오 사례는 엄연한 불법인 것 같다. 일반 소비자들을 대상으로 하는 서비스에 특정 그룹에만 특혜를 준 것이니까.”

레시피보다 중요한 건 재료

- 모델 개발의 궁극적 목표는 예측 정확성을 높이는 것이라고 보면 되나?

I씨 “맞다. 데이터 형태로 존재하는 과거를 학습해 미래를 예측하는 게 모델이고, 최신 데이터를 포함시켜 예측의 정확도를 조금씩 높이는 작업을 한다.”

- 모델의 성능은 어떻게 평가하는 건가?

A씨 “정답이 있지 않나. 가령 ‘1-2-3’을 입력했을 때 정답을 ‘4’라고 하면, 과연 모델이 내놓는 결과가 4인지 아니면 5인지 비교를 할 수 있다. 실제 결과와 비교하며 모델 성능을 업그레이드한다.”

I씨 “실제 맞춰야 하는 값에서 예측한 값이 얼마나 다른지, 그 편차를 ‘로스(Loss) 값’이라고 한다. 로스 값을 최소화하기 위해 계속 모델을 돌리는데 그 작업을 모델링이라고 한다.”

- 정제된 데이터를 얼마나 보유하느냐가 중요할 것 같다.

I씨 “구글은 데이터 정제 가공을 위해 아르바이트생을 수천명씩 활용하는 것으로 안다. 기본적으로 모델이 학습하기 위한 데이터를 어떻게 잘 구축하느냐, 정제된 좋은 데이터를 얼마나 갖고 있느냐가 경쟁력이 된 시대다.”

(※모델의 경쟁력과 성능 향상을 위해 가장 우선적으로 필요한 것은 예측값과 비교할 수 있는 실제값, 즉 데이터다.

데이터가 많으면 많을수록 더 많은 비교(모델링)를 진행할 수 있고, 또 많은 양의 데이터일수록 정제 가공을 통해 양질의 데이터로 거듭날 가능성이 크다. 구글이나 메타 등 인공지능 기술 개발을 선도하는 기업들이 데이터 수집에 사활을 거는 이유를 엿볼 수 있는 대목이다.

물론 데이터 수집·분석에 열을 올리는 기업은 비단 IT 분야만은 아니다. 데이터가 곧 돈으로 연결되는 시대, 대다수의 기업들이 더 많은 데이터를 수집하기 위해 각종 유인책을 동원한다.

다만 구글·메타처럼 사실상 전 지구인을 상대로 하는 기업과 다른 기업들은 데이터 접근성이나 정제 가공에 필요한 자본력 측면에서 차원이 다르다. 네이버나 카카오 등 국내 기업들도 챗GPT 같은 모델을 개발하고 있는 중이지만, 성능에서 크게 차이가 날 것이라 예상하는 이유도 여기에 있다.)

- 개인 정보 보호 이슈도 묻고 싶다. 당신들은 개인 정보가 어떻게 활용되는지 잘 알텐데, 개인 정보를 어떻게 관리하나?

I씨 “대략 어떤 식으로 트래킹(추적)되고 있다는 건 안다. 어느 정도 알다 보니 마케팅 동의라든지 쿠키 노출 같은 것은 트래킹 하기 힘들게 손을 쓰고 있다. 개인 정보가 최대한 많이 나가지 않도록 막아놓는 그런 행동들은 많이 실천한다.”

- 막아놓는 행동이라면 단순히 비동의하는 것 외 다른 방법이 있나?

I씨 “특별한 건 아니고, 쿠키 같은 걸 주기적으로 지우는 편이다. 쿠키 같은 경우 일정 기간 동안 내 컴퓨터에 남아 다른 웹사이트들이 활용할 수 있다.”

A씨 “나는 그렇게까지 열심히 프라이버시를 막으려고 하지는 않는다. 개인 성향인 것 같다. 사실 주민번호도 이미 공공재가 된 상황이지 않나.”

I씨 “맞다. 개인 정보를 노출하는 만큼 그에 맞춰 추천이 되기 때문에 오히려 인공지능 서비스의 혜택을 볼 수도 있다.”

A씨 “트래킹을 꼭 막아야 하는 건 아닌 것 같다.”

(※구글은 검색 포털·유튜브 등을 통해 전세계 수많은 이용자의 데이터를 수집하고 있다. 메타 역시 매일 이용자들이 접속하는 페이스북·인스타그램 등을 통해 다양한 데이터를 축적한다.

데이터 수집은 단순히 유튜브나 페이스북·인스타그램 등 자사 사이트에서만 이뤄지지 않는다. 구글이나 메타는 자사와 상관 없는 제3의 사이트에서 활동한 이용자의 데이터를 수집하고 있다.

예를 들어 당신이 쇼핑몰에서 무엇을 검색했는지, 장바구니에 무엇을 담았는지, 환불 요청은 어떤 것을 했는지, 어떤 식당이나 매장을 예약했는지, 또 ‘매장 찾기’를 통해 위치를 알아본 매장이 어떤 곳인지 등 사실상 온라인에서 이뤄지는 거의 모든 정보를 수집한다.

이렇게 수집된 정보는 1차로 맞춤형 광고에 활용해 수익을 올리고, 2차로는 인공지능 모델의 성능을 향상하는 데 활용하는 것이다.)

“(수집한 행태 정보는)전반적으로 저희 알고리즘을 향상시키는 데 사용합니다”

- 메타 측이 개인정보보호위원회 조사에서 밝힌 개인 정보 수집·이용의 목적

오픈AI의 이미지 생성 모델 DALL·E 2가 만든 ‘인공지능의 위험성을 보여주는 디지털 이미지’. 출처 오픈AI

“그때부터는 어떻게 될지 아무도 예상할 수 없다”

- 윤리적 책임을 개발자 개인에게만 맡겨서는 안 될 것 같다. 그렇다고 기업에게만 맡길 수도 없을 것 같다. 인공지능과 별개로 각 기업이 윤리경영을 외치고, 담당 부서가 있지만 잘 안 되고 있는 것 아닌가?

I씨 “이게 비윤리적 결정인지 판단하기 애매한 회색 지대가 분명 존재한다. 그런 경우에는 보통 기업에 이익이 되는 운영 방침을 따르게 되어 있다. 전 세계 모든 기업들이 다 비슷한 스탠스일 것이다.”

- 인공지능 기술을 만드는 개발자나 기업도 중요하지만, 이용하는 측의 윤리적 의식도 매우 중요할 것 같다. 어떻게 이용하느냐에 따라 도움이 되는 도구가 될 수도 있고 아니면 진짜 살상 무기가 될 수도 있지 않나?

A씨 “맞다. 어떻게 이용하느냐가 가장 중요하다.”

I씨 “사실 챗GPT 같은 경우에는 관리하는 회사, 오픈AI가 존재한다. 챗GPT를 악용하려는 세력에 어느 정도 선까지 허용할지, 소스를 어느 정도까지 공개할지 오픈AI(챗GPT 개발사)의 방침이 크게 작용할 것 같다.”

A씨 “지금은 오픈AI가 있어서 그나마 관리된다. 아무리 좋은 의도로 개발했더라도 그 기술들이 오픈 소스 쪽으로 넘어가 공개되면 통제 불가다. 그때부터는 어떻게 될지 아무도 예상할 수 없다.”

I씨 “언제인지 몰라도 언젠가는 오픈 소스 쪽으로 넘어갈 거다. 이미지나 비디오 생성 모델이 음란물 제작에 활용되는 것처럼.”

(※현재 인공지능 기술과 관련한 불법 위법 사례는 ‘개발’ 단계와 ‘활용’ 단계에서 모두 나오고 있다.

개발 단계에서 대표적인 위법 사례가 저작권 침해다. 세계 최대 이미지 데이터 기업인 게티이미지는 지난 6일 이미지 생성 모델 ‘스테이블 디퓨전’의 개발사 스테이빌리티AI를 상대로 천문학적 금액대의 손해배상소송을 냈다. 스테이블 디퓨전은 이미지를 만드는 모델인데, 일부 결과물에 ‘게티이미지’의 워터마크(불법 복제 방지 표시)가 일부 변형돼 나타났다. 변형되긴 했지만, 누가 봐도 게티이미지의 워터마크임을 알 수 있는 수준이었다.

활용 단계에서도 마찬가지다. 딥페이크 기술로 유명인의 가짜 영상을 만드는 게 대표적이다. 최근에는 구글 검색 결과에 기존 사이트와 비슷하게 만들어 악성 코드를 심는 피싱사이트가 크게 증가했다. 한 인공지능 전문가는 “확인하기는 어렵겠지만 챗GPT를 이용해 만든 것일 수 있다”고 의심했다.

모델의 개발과 활용 단계뿐 아니라 모델 자체가 가진 ‘블랙박스’ 적인 성격도 보완해야 한다는 목소리도 나온다. 기업들은 영업기밀이라는 이유로 모델이 왜 그런 결과값을 냈는지 전혀 공개하지 않는다.

공공영역에서 사용되는 인공지능 모델 역시 베일에 싸여 있다. 진보네트워크센터 자료를 보면, 2018~2022년 최소 45곳의 공공기관 또는 공기업이 채용에 인공지능을 활용했지만 법적으로 요구되는 기본적인 자료를 구비하고, 검증을 진행한 곳은 없었다.)

인공지능 모델의 개발·활용 구조와 각 단계별 불법·악용 사례

- 유럽연합(EU)은 ‘인공지능법’이라고 해서 윤리적 기준이나 알고리즘 투명성 강화를 규정한 초안을 2021년 마련했다. 현직 입장에서 규제가 필요하다고 보나?

I씨 “필요하다고 생각한다. 사실 법안이 마련되고 시행되는 데까지 굉장히 오래 걸리는 데 비해 기술 발전 속도는 워낙 빠르다. 그러다 보니 항상 늦고, 그 사이 구멍이 항상 존재한다. 그래서 인공지능과 관련한 법제도나 정책을 마련할 때는 기존과는 다른 절차가 필요하다고 생각한다. 빠르고 손쉽게 수정이나 보완이 가능한 형태의 절차가 좋을 것이다. 실질적으로 기술 발전 속도는 훨씬 더 빨라지고, 업계에서 도입하는 것들도 점차 많아질 거다. 법제도는 뒤떨어질 수밖에 없기 때문에 개인들이 스스로를 보호할 수 있는 방안도 만들어 놓는 게 필요하다고 본다. 개인정보보호 같은 것부터 스스로 시작해야 할 거다. 데이터를 접하는 사람들의 인식이 앞으로 점차 바뀌게 되지 않을까 생각한다.”

- 개발하는 입장에서만 생각하면 규제가 없는 게 더 낫지 않나?

I씨 “규제가 없거나 무시한다면 더 많은 걸 할 수 있다. 우리는 법적으로 문제가 될 부분을 사전에 차단하니까 할 수 있는 과제들이 제한적이다. 그런데 사실 모든 기업들이 제대로 된 감사를 받는다면 비윤리적인 행위가 안 이루어질 것 같지만, 현실적으로 모든 부분을 하나하나 감사하기는 쉽지 않은 것 같다.”

A씨 “나는 규제 도입에 대해 찬성하지는 않는 입장이다. 규제는 말 그대로 기술 발전을 억누르는 측면이 있다. 규제가 없고 자유로울수록 기술이나 서비스의 개발이 수월해지는 건 확실한 사실이지 않나. 그렇다고 아예 완전히 다 풀어놓을 수는 없으니 적정한 수준은 필요한 것 같다. 이용자들의 불안감이 오히려 개발을 저해할 수 있으니까.”

- 만약 인공지능 기술이 더 발달하면 기술과 정책, 법제도와의 괴리는 더 커질 것 같다.

A씨 “그래서 원론적인 건 있어야 한다. 다만 세세한 조항이 존재하기는 힘들지 않을까. 가령 인류 생존을 위협해서는 안 된다 정도지, 작은 것까지 규정할 수 있을까 싶다.”

I씨 “그래서 우리 같은 데이터 분석가들에게 윤리적 사고가 필요하다. 관련 교육도 강화해야 하고.”

A씨 “맞다. 개발자의 자질도 중요하다.”

I씨 “법제도가 기술의 발전에 제약이 될 수 있지만, 사람들에게 적합한 ‘사람을 위한 모델’을 만들기 위해서는 분명 필요하다 생각한다. 지금까지는 인공지능 개발에 초점이 맞춰지고 윤리적인 측면이 덜 주목받았지만, 앞으로는 더 많이 치열하게 강조해야 하는 부분이지 않을까 싶다.”