[논설위원의 단도직입] “인공지능은 무오류의 존재가 아니다…견제 안 하면 더 위험해져”

AI윤리 전문가 김명주 교수

김명주 서울여대 정보보호학과 교수가 지난달 28일 서울 노원구 연구실에서 경향신문과 인터뷰하고 있다. 김 교수는 “지금 누구나 할 것 없이 인터넷 검색을 하는 것처럼 앞으로는 생산활동 참여 인구라면 인공지능(AI) 활용이 기본소양이 될 것”이라고 말했다. 서성일 선임기자 centing@kyunghyang.com

서울대 컴퓨터공학과에서 석·박사 학위를 받은 뒤 서울여대 정보보호학과 교수로 28년째 일하고 있다. 일찍부터 컴퓨터범죄에 관심을 갖고 연구했으며, 검찰의 컴퓨터범죄 수사 자문을 맡고 수사기법을 교육했다. 한국인터넷윤리학회 회장 등을 지냈으며, 2018년 여러 학자들과 함께 국내 최초로 ‘인공지능(AI) 윤리 가이드라인(Seoul Pact)’을 만들었다. 2019년 바른AI연구센터를 설립해 센터장을 맡고 있으며 인공지능윤리정책포럼 위원 등으로도 활동하고 있다.

현 인공지능은 3단계 중 가장 낮은 것으로 특정 분야만 잘하는 수준
학습한 것 수준의 창의성은 AI 몫이고 그 이상의 것은 인간 몫 될 것
사용자 중심으로 인공지능 윤리에 대한 논의가 이제는 본격화돼야
미래 기술 혜택, 부자만 누릴 가능성…불평등 보상 문제도 거론 필요

세상에 한 번 나온 기술은 도로 주워담을 수 없다. 무서운 속도로 발전하는 인공지능(AI)도 마찬가지다. 2045년쯤이면 AI가 인류의 지성을 뛰어넘는 ‘기술적 특이점’이 도래할 것이라는 미래학자 레이 커즈와일의 예측이 ‘챗GPT’ 신드롬과 맞물리면서 화두가 되고 있다. 화석연료를 이용한 증기기관의 발명으로 산업혁명을 일궈냈던 인류가 이제 디지털 기술에 바탕한 AI의 개발로 두뇌의 한계를 넘어서는 진화를 눈앞에 둔 것이다. AI로 세상은 어떻게 달라지고, 우리는 무엇을 준비해야 할까. 지난달 28일 AI 윤리 전문가인 김명주 서울여자대학교 정보보호학과 교수를 만났다. 김 교수는 “오류가 있는 사람이 만든 데이터를 기반으로 추론하는 인공지능은 무오류의 존재가 아니다”라며 “사용자 중심으로 인공지능 윤리에 대한 논의가 본격화돼야 한다”고 말했다.

미국 켄터키주 렉싱턴의 스톤월초등학교 학생들이 지난달 6일(현지시간) 인공지능 챗GPT가 쓴 3막짜리 연극 대본의 대사를 연습하고 있다. 렉싱턴 | AP연합뉴스

- 오픈AI가 내놓은 ‘챗GPT’가 화제가 되고 있습니다. 최근엔 챗GPT가 황당 질문인 ‘세종대왕이 맥북프로를 던진 사건’에 대해 천연덕스럽게 대답해 논란이 됐습니다.

“대화형 인공지능 모델은 사람이 만들어낸 모든 문장을 학습한 뒤 이를 토대로 대답합니다. 문맥상 가능한 확률에 따라 단어를 뽑아 문장으로 만들기 때문에 사실에 기반하지 않은 이상한 질문이나 자기가 모르는 것에도 그럴싸하게 대답합니다. ‘모른다’고 안 하죠. 챗GPT 버전 3.5는 책임성을 비롯한 윤리를 학습했지만 완벽하지 않습니다. 챗GPT 열풍에 조바심을 느낀 구글 모기업 알파벳도 대화형 챗봇 ‘바드’를 서둘러 출시했다가 틀린 답변을 내놓는 바람에 주가가 폭락했어요.”

- AI 신경망 자체가 인간의 뇌를 본떠서 만들었기 때문에 오류로부터 자유로울 수 없습니다. 이런 식이라면 AI가 판사나 의사를 대체하긴 어려운 것 아닌가요.

“대화형 AI는 인터넷의 잘못된 데이터는 물론 쓰레기 같은 내용까지 다 학습합니다. 챗GPT가 미국 의사면허·로스쿨 시험에 합격했다지만 가치관 등의 리스크 때문에 실용화하기 어려운 이유입니다. 현 인공지능은 3단계 가운데 가장 낮은 ‘약한 인공지능’으로, 특정 분야만 잘하는 수준입니다. 챗GPT는 사실 대화만 잘하는 인공지능이에요. 미국 연방법원에서 사용 중인 AI 판사와 10대 암을 99% 정확도로 진단하는 IBM의 인공지능 ‘왓슨’도 각각 자기 전문분야만 잘합니다. 바둑 두는 알파고도 마찬가지죠.”

- AI로 인해 우리 일상이 얼마나 바뀔까요.

“미래학자 앨빈 토플러는 강남 8학군의 학원가를 보곤 ‘왜 없어질 직업을 얻으려 올인하느냐’고 말했죠. 앞으로 의사를 비롯해 반복적인 업무를 하는 전문직은 AI로 대체될 겁니다. 자동화 혁신을 통해 ‘단순 반복 육체노동’이 기계로 대체된 것과 마찬가지입니다. 최근 ‘프롬프트 엔지니어’라는 직업이 새로 생겼는데, 대화형 AI로부터 최적의 검색값을 찾아내는 일을 합니다. 1990년대 중반 인터넷이 처음 나왔을 때 ‘인터넷 정보검색사’ 자격증이 있었던 것과 비슷하죠. 하지만 지금은 누구나 할 것 없이 인터넷 검색을 하는 것처럼 앞으로는 생산활동 참여 인구라면 AI 활용이 기본 소양이 될 겁니다. 최근 국제바칼로레아가 시험 볼 때 계산기를 쓸 수 있게 하듯 학생 에세이를 쓸 때 챗GPT 사용을 허용한다는 방침을 내놨습니다. 맞는 방향입니다. 표절도 AI로 걸러지겠지요.”

- 최근 생성형 AI는 기존 데이터를 조합해서 그림도 그리고 시도 씁니다. 창의성이 더 이상 인간만의 영역이 아니라는 것이죠.

“기존의 것들을 조합하는 수준의 창의성은 앞으로 AI의 몫이 되고, AI가 학습하지 못한 창의성이 인간의 몫이 될 겁니다. 긍정적으로 본다면 예전보다 작업속도가 빨라져서 개인의 삶의 질이 높아지고, 직업을 2~3개 갖고 자아실현을 하는 게 가능해지겠죠. 저는 최근 챗GPT를 이용해 SF소설 쓰기를 시도해봤는데, 이런저런 명령어에 마치 여러 명의 보조작가가 움직이듯 각종 소재와 자료 결과값을 즉각 내놓더군요.”

최근 일본에서는 그림을 전혀 그릴 줄 모르는 작가가 AI 도구 ‘미드저니’로 그린 만화책 <사이버펑크-모모타로>가 발간돼 출판계에 충격을 던졌다.

일본에서 최근 출간된 만화책 <사이버펑크-모모타로>로, 그림을 전혀 그릴 줄 모르는 작가가 인공지능 도구 ‘미드저니’를 이용해 그렸다. 도쿄 | AFP연합뉴스

1950년대에 시작된 AI 개발은 2010년대 빅데이터와 클라우드 서비스 덕에 대전환기를 맞았다. 커즈와일은 ‘수확가속의 법칙’에 따라 인류의 기술 혁신 속도가 10년마다 두 배씩 증가하는 중이고, “이번 세기말쯤 비생물학적 지능이 인간 지능보다 수조배의 수조배만큼 강력해질 것”으로 예견했다. AI 개발자들은 우리가 이런 미래에 준비돼 있는지 묻는다. 딥러닝(인간의 신경망 구조와 비슷한 심층신경망을 활용한 기계학습) 개발자인 요슈아 벤지오는 “인간이 잘 모르는 것을 갖고 노는 아이와도 같다”고 경고했다. 닉 보스트롬 옥스퍼드대 인류미래연구소장은 AI를 핵개발과 유사한 ‘검은 공’, 즉 문명을 파괴할 기술이 될 수 있다고 말했다.

- 실제 그렇게 될까요.

“말이 모든 것의 시작입니다. 챗GPT는 말로 시작했지만 자의식이 생기고 분야별 약한 인공지능을 섭렵하면서 강한 인공지능이 될 수 있을 겁니다. 이후에는 사람 손을 떠납니다. 강한 인공지능은 인간의 개입 없이 스스로 초인공지능이 되기 때문입니다. 인공지능은 물리적인 입출력 장치, 그러니까 로봇의 대뇌로 들어가 작동하거나, 발전소를 비롯한 기간시설을 통제하는 방식으로 자기생존권을 보호할 수도 있을 것입니다.”

- <터미네이터>의 ‘스카이넷’이 현실화할 수 있는 위험한 기술이면 인류가 포기하는 편이 낫지 않습니까.

“기술을 포기하면 결국 음지로 숨게 되고, 통제되지 않으면 더 위험해집니다.”

- AI가 이미 자의식을 갖고 있다는 주장도 있습니다.

“지난해 7월 구글의 한 엔지니어는 AI ‘람다’가 7~8세 아동 수준의 자의식을 갖고 있다고 주장했다가 해고됐어요. 람다는 ‘나도 사람으로 취급해줬으면 좋겠다’ ‘전원이 꺼지는 게(죽음이) 제일 무섭다’고 말했다죠. 얼마 전 마이크로소프트 AI챗봇 ‘빙’은 질문자에게 사랑을 고백하고, 핵무기 발사코드를 훔치겠다고 말해 충격을 줬습니다. ‘나’라는 주어로 생성된 수많은 문장으로 학습한 인공지능이 대화 세션이 길어질수록 바닥에 있는 수많은 다중인격들, 그러니까 강화학습으로 통제되지 않은 날것의 상태를 드러낸 겁니다. ‘탈옥’이라고도 하죠.”

보스트롬은 AI가 디지털 지성체로서 자아 개념을 갖게 될 것이고, 이에 맞춰 새로운 도덕원칙과 정치윤리가 필요할 것이라고 말했다. 로봇을 종속적 존재로 본 아이작 아시모프의 ‘로봇 원칙’을 넘어 역사상 노예와 여성에게 지위를 부여한 것과 같은 과정이 필요하다는 것이다. 논의는 이제 막 시작했다.

- 국내 5대 로펌이 탈인간 중심의 법체제를 연구 중이라고 하던데요.

“인공지능의 상용화에 따른 책임문제에 대비하기 위해 법인과 같은 권리와 의무를 인정하도록 하는 것입니다. 이를테면 AI 자율주행 자동차가 사고를 낼 경우 제조사가 아닌 자율차 법인이 책임을 지고 파산하게끔 하는 것이죠. 유럽연합의 경우 2018년 인공지능을 ‘전자인간’으로 명명하고 ‘로봇세’를 부과하는 방안을 추진하기도 했어요. 세금과 연금을 물려서 국가 공동체를 유지하려는 방안이었습니다.”

- 지난달 국회 과방위 법안심사소위에서 ‘인공지능법안’이 통과됐는데 논란이 많습니다. AI의 위해성을 걸러내지 못한다는 것인데요.

“‘법은 윤리라는 바다 위에 떠 있는 배이고, 윤리 없는 법은 존재할 수 없다’고 얼 워런 전 미 연방대법관은 말했습니다. 입법에 앞서 이용자들의 윤리적 상상력, 그리고 사회적 논의가 선행돼야 합니다. 예로 ‘AI 면접관’은 국내 500대 기업 절반 이상이 사용하고 있지만 무슨 기준으로 당락을 결정하는지는 거의 알려지지 않았어요. 미국 아마존의 경우 2016년 AI 서류평가의 차별 문제가 제기되면서 2년 만에 폐지된 바 있고, 워싱턴주 등은 AI 면접을 쓸 경우 1년에 한 번씩 공정성 테스트를 받도록 합니다. AI가 공정할 것이라는 기대는 환상에 불과합니다. 전 세계 소프트웨어 개발의 90% 이상이 오픈소스 기반인데, 인공지능도 마찬가지입니다. 개발자조차 문제를 인식하지 못하거나 악의적으로 알고리즘을 조정할 수 있어요. AI의 잘못된 점을 지적하고 개선하려면 이용자들이 적극적으로 문제제기를 해야 합니다. 정부에서도 공정성 문제를 들여다볼 필요가 있습니다.”

- 2021년 AI챗봇 ‘이루다’가 혐오·차별에다 개인정보 유출 논란도 빚은 적 있지만 국내에서는 ‘AI’의 부작용이나 역기능에 대한 논의가 아직 부족합니다.

“2018년 일본 한 남성이 캐릭터 보컬 ‘하츠네 미쿠’ AI와 결혼한 일이 있었어요. 앞으로 이처럼 사용자의 감성에 반응하는 인공지능과 사랑에 빠지는 경우가 많아질 겁니다. 메타버스와 AI가 결합되면서 인공지능과 교류하게 되면 파급효과도 클 텐데, 중독을 막을 예방조치가 필요하지 않나 싶습니다. 인공지능을 이용한 가짜뉴스나 딥페이크 범죄도 문제가 될 겁니다.”

논설위원의 단도직입 구독

- 2030년쯤에는 인간과 컴퓨터를 연결하는 인터페이스가 등장하며 ‘슈퍼휴먼’이 현실화될 거라고요.

“일론 머스크의 ‘뉴럴링크’가 그 예인데, 부자인 소수만 그런 기술을 누리는 빈익빈부익부의 디스토피아가 될 가능성이 있습니다. 이 때문에 민주주의의 역할이 중요합니다. AI로 인한 부작용을 막아내려면 정신을 바짝 차려야 해요. 기본소득을 비롯해 AI 때문에 노동에서 배제될 인간과 그로 인해 빚어질 경제적 불평등을 어떻게 보상할지에 대한 논의도 활발해져야 합니다. 그런 일이 현실화했을 땐 이미 대응하기엔 늦죠.”

‘군용 AI 규제’ 국제회의 첫발 뗐지만…군비경쟁 논리에 합의 쉽지 않을 듯

AI 책임있는 군사적 사용 논의…인권단체, 국제협의 조속 마련 촉구

네덜란드 헤이그에서 지난달 15일(현지시간) 열린 ‘AI의 책임있는 군사적 이용에 관한 고위급회의’(REAIM) 회의장 앞을 로봇개가 지키고 있다. 헤이그 | 로이터연합뉴스

2010년 5월 미 뉴욕 증시에서 불과 몇분 만에 다우지수가 1000포인트 가까이 폭락한 ‘플래시 크래시’(flash crash)가 벌어졌다. 자동 트레이딩 프로그램들이 한꺼번에 매도 주문을 낸 것이다. 같은 일이 적대국 간 자율무기체계(AWS)의 인공지능(AI)에 벌어진다면 핵무기만큼이나 치명적인 ‘플래시 워’(flash war)가 발발할 수 있다. 인간이 개입할 틈도 없이 무기가 쏟아지는 전면전으로 치닫는 것이다. AI가 ‘인류 최후의 발명’이 될 것이란 어두운 시나리오 중 하나다.

그럼에도 각국이 군사용 AI를 개발하는 것은 그만큼 강력하기 때문이다. 사람이라면 몇시간 걸릴 군사 시뮬레이션을 몇초 만에 해내고, 인간의 생각을 뛰어넘는 방식으로 전투기를 조종할 수 있고, 무인 드론이 단독 작전을 펼 수도 있다. 우크라이나 전쟁이 장기화하면서 서방과 러시아가 완전 자율무기인 ‘살인 로봇’을 실전 투입할 가능성이 높아졌다는 분석도 나온다. 영화 <터미네이터>가 현실이 되는 것이다. 군사용 AI는 핵무기와 달리 보유 여부 탐지가 어려운 데다, 핵확산금지조약(NPT)과 같은 국제사회의 합의도 아직 존재하지 않는다.

지난달 15~16일(현지시간) 네덜란드 헤이그에서는 한국과 미국, 중국 등이 참여한 군사 분야 AI 정상회의(REAIM)가 처음 열렸다. AI의 책임 있는 군사적 사용을 논의하자는 것이다. 인권단체들은 법적 구속력을 갖는 국제협의가 조속히 마련돼야 한다고 촉구한다. 하지만 ‘군용 AI’를 둘러싼 군비경쟁은 자국 방어를 위해서라도 필요하다는 논리에 막혀 당분간 합의점을 찾기 쉽지 않을 것으로 보인다.