[인공지능 길들이기]AI 운명 결정할 ‘FATE’…인류의 미래도 달려 있다

오픈AI의 이미지 생성 모델 DALL·E 2가 소파에 앉아 휴대전화를 보는 사람을 형상화한 이미지. 출처 오픈AI

‘휴일 오후 소파에 누워 휴대전화로 온라인 쇼핑을 시작한다. 비교 검색을 활용해 A제품과 B제품을 찾아낸다. 화면 오른쪽 아래에 있는 로봇 아이콘을 누른다. 식품에 부착되는 식품영양정보처럼 관련 세부 정보가 한눈에 들어온다. A제품은 구매평·찜(좋아요) 항목에서 가장 높은 점수를 받았지만, 어뷰징·가이드라인 위반 항목에서 일부 감점을 당한 사실이 확인됐다. 결국 A제품 대신 B제품이 장바구니에 담긴다.’

아직은 가상의 사례다. 인공지능의 신뢰성을 높이기 위한 장치가 제대로 마련됐을 때나 가능한 일이다. 지금은 검색 알고리즘 구성 요소는 공개되지만, 항목별 가중치가 얼마나 어떻게 부여되는지 등은 베일에 싸여 있다. 사용자 입장에서 보자면 내부를 들여다볼 수 없는 일종의 ‘블랙박스’인 셈이다.

인공지능의 신뢰성과 안전성을 담보하려면 블랙박스 안으로 빛을 비추는 게 핵심이다. 전문가들은 이를 위해 공정성(Fairness), 책임성(Accountability), 투명성(Transparency), 윤리의식(Ethics)이라는 네 가지 기준을 제시한다. 각 키워드의 앞글자를 모은 ‘FATE’는 인공지능 모델 개발과 사용, 양측에서 필요한 기준이다.

FATE는 영어로 ‘운명’이라는 뜻이다. 인공지능의 신뢰성과 안전성을 얼마나 담보하느냐에 인류의 운명이 달렸다는 의미로도 읽힌다. 정보기술(IT) 발달을 주도하고 있는 지역과 국가들이 인공지능의 FATE를 규율할 제도적 ‘틀’을 마련하기 위한 작업에 속도를 내기 시작한 것도 이 때문이다.

한발 앞선 EU 인공지능법 논의

우르줄라 폰데어라이엔 유럽연합(EU) 집행위원장. 신화연합뉴스

인공지능 관련 규범에 있어 가장 적극적이고 빠른 곳은 유럽연합(EU)이다. EU는 개인정보보호 규범의 국제 표준으로 자리 잡은 ‘개인정보보호규정(GDPR)’을 2016년 도입했고, 이르면 내년 ‘디지털시장법(DMA)’과 ‘디지털서비스법(DSA)’을 본격적으로 시행한다. DMA는 알고리즘 조작 금지 등 공정한 거래, DSA는 차별 금지나 추천 알고리즘 공개 등 공정하고 투명한 운영에 초점을 맞추고 있다. 두 법이 시행되면 구글, 메타 등 이른바 ‘빅테크’들의 개발 및 영업 행태에 직접적인 영향을 미칠 전망이다.

EU는 인간의 기본권 존중과 안전에 초점을 맞춘 ‘인공지능법(AI Act)’ 제정에도 박차를 가하고 있다. EU 집행위원회는 2021년 4월 세계 최초로 인공지능 시스템에 대한 포괄적 규제 방안을 담은 인공지능법 제정안 초안을 공개해 주목을 받았다. 법안이 실제로 제정되려면 EU 의회와 이사회, 집행위 간 삼자 합의가 필요하다. EU 안팎에선 이르면 올해 삼자 합의가 이뤄질 것이란 전망이 나온다.

EU 인공지능법은 인공지능 기술이 활용되는 시스템이나 서비스 운용자의 의무를 강화하고, 위험도에 따라 ‘금지된 위험의 인공지능’ ‘고위험 인공지능’ ‘낮은 위험 인공지능’ 등으로 구분한 것이 가장 큰 특징이다.

금지된 위험의 인공지능은 말 그대로 개발 및 사용이 금지되는 것이다. 예를 들어 인간이 인지하지 못하는 방식으로 인간의 행동이나 의견, 결정을 조작해 자신이나 타인에게 신체적·정신적 위험을 초래할 수 있는 인공지능, 인종이나 성별·나이 등 개인의 특성을 기반으로 신뢰도를 평가하거나 차별적인 대우를 하는 시스템 등이 해당한다.

고위험 인공지능은 도로·교통·물·가스·전기 등 중요 인프라 관리 및 운영, 입사지원자 선별 및 승진 등 노동과 직결된 인공지능, 경찰 등이 법 집행을 위해 이용하는 인공지능 등이다. 이런 분야의 인공지능은 까다로운 관리·감독 규정을 지켜야 한다. 고위험 인공지능은 로그 기록을 문서로 보관하고, 적합성 평가를 거쳐 인증(CE) 마크를 부착하도록 했다. 낮은 위험 인공지능도 적합성 평가와 인증 등은 받아야 하지만 규제 정도가 덜하다.

이밖에 인공지능의 결과물이 EU 안에서 이용될 경우 공급자나 사용자가 제3국에 있더라도 규제 대상임을 명시한 역외적용, 매출액에 기반한 과징금, 품질 관리 시스템 및 절차 문서화 의무 규정도 담았다.

미국에서도 지난해 2월 미국판 인공지능법인 ‘알고리즘책임법(AAA)’이 의회에 발의됐다. ‘인공지능’을 ‘자동화된 의사결정 시스템’으로, ‘고위험’을 ‘중요한 의사결정 과정’으로 부르는 등 일부 표현에서 EU 인공지능법과 차이는 있지만 FATE를 강화하려는 취지는 거의 같다.

■ FATE를 강화할 EU 인공지능법 주요 조항

제9조(고위험 인공지능의 위험 관리 시스템) 7항
고위험 인공지능 시스템의 테스트는 적절한 경우 개발 과정에서 임의의 시점에 수행돼야 하며, 어떠한 경우에도 출시 또는 서비스 개시 전에 수행돼야 한다. 테스트는 고위험 인공지능 시스템의 원래 목적에 적합한 사전 정의된 척도와 확률적 임계 값을 기준으로 이루어져야 한다.

제13조(투명성 및 정보 제공) 1항
고위험 인공지능 시스템은 사용자가 시스템의 결과를 해석하고 적절히 사용할 수 있을 만큼 충분히 투명하게 운영되도록 설계·개발돼야 한다. 사용자와 제공자가 각자의 의무를 준수할 수 있도록 적절한 유형과 수준의 투명성이 보장돼야 한다.

제19조(적합성 평가) 1항
고위험 인공지능 시스템의 공급자는 각자의 시스템이 출시 또는 서비스 개시되기 전에 적합성 평가 절차를 거쳐야 한다. 이러한 적합성 평가에 따라 요구사항을 준수하는 것으로 입증된 경우, 공급자는 유럽연합 적합성 선언을 작성하고 CE 적합성 마크를 부착해야 한다.

제20조(자동으로 생성되는 로그) 1항
고위험 인공지능 시스템의 공급자는 각자의 시스템이 자동으로 생성하는 로그를 통제할 수 있다면 시스템의 원래 목적과 유럽연합법 또는 각 국가법에 따른 의무대로 적절한 기간 보관해야 한다.

제52조(감정 인식 또는 생체 인식 분류 등 특정 인공지능 시스템에 대한 투명성 의무) 3항
실제 사람이나 물체, 장소, 기타 실제 사건과 현저히 유사하고 마치 진본처럼 보이는 이미지나 오디오, 영상 콘텐츠를 생성하거나 조작하는(딥페이크) 인공지능 시스템의 사용자는 해당 콘텐츠가 인공적으로 생성 또는 조작되었음을 공개해야 한다.

한국, 자율 규제 vs 법적 규제 팽팽

한국도 인공지능을 규율할 틀을 만들기 위한 논의가 정부와 국회에서 이뤄지고 있다. 하지만 접근 방식을 둘러싼 견해차가 적지 않다.

인공지능 산업 발전에 방점을 찍고 있는 정부는 엄격한 법적 규제보다 자율적이고 사후적인 규제를 선호하는 분위기다. 윤석열 정부가 앞세운 탈규제 기조, 업계가 주장하는 국내 인공지능 산업 미성숙론의 영향도 있다. 국가데이터정책위원회 위원을 맡고 있는 이성엽 고려대 교수는 “법으로 규제하는 것보다 제품이나 기업이 신뢰를 잃으면 자연스럽게 도태되도록 시장에 맡기는 게 자본주의 사회에서 적합한 방식”이라고 말했다. 이 교수는 EU 내에서도 인공지능법 제정안이 역내 기업들에 족쇄로 작용할 수 있다는 우려와 반발이 나오고 있다고 전했다.

네이버와 카카오의 특정 목적을 위한 알고리즘 조정이 공정거래법 위반으로 적발됐고, 구글과 메타가 개인정보보호법 위반으로 과징금을 부과받은 것처럼 기존 법률로도 충분히 규제할 수 있다는 주장도 있다. 김병필 카이스트 기술경영학부 교수는 “사실 기업들도 인공지능 기술이 앞으로 어떻게 얼마나 발달할지 알기가 어려운 상황”이라면서 “정말 시급한 문제가 드러난 게 아닌 이상 규제 법을 만들면 혼란만 키울 수 있다”고 우려했다.

국회에선 인공지능 산업을 진흥하는 동시에 기존 법률의 적용을 받지 않는 부분을 다루기 위해 인공지능기본법을 제정해야 한다는 의견이 힘을 받고 있다. 인공지능 관련 법안 제정안이 7건이나 발의돼 있었는데 최근 챗GPT로 인공지능에 관한 관심이 폭증하면서 논의가 속도를 내기 시작했다. 국회 과학기술정보방송통신위원회는 지난달 14일 법안심사소위원회를 열어 관련 법안 7개를 통합한 위원회안으로 만들기로 의결했다.

법안심사소위가 마련키로 한 위원회안의 구체적인 내용은 확정되지 않았지만 제출된 7개 법안의 핵심은 크게 3가지다. 인공지능 기술 발전을 위한 ‘우선 허용, 사후 규제’ 대원칙 명문화, 인공지능 기본계획을 수립하고 관장하는 ‘콘트롤타워’로서 인공지능위원회 신설, ‘고위험 영역 인공지능’ 지정 대상 구체화 등이다.

신용우 변호사는 “최소한의 규제가 있어야 인공지능 사용자들의 신뢰도와 수용성이 높아질 것”이라며 “적정한 수준의 규제 도입이 오히려 산업 발전에 도움이 될 수 있다”고 말했다. 신 변호사는 위원회안의 골자가 된 윤영찬 의원 대표발의안 마련 작업에 참여했다. 국가인권위원회 비상임위원을 지낸 김기중 변호사도 “인공지능의 위험은 개인정보 보호나 소비자 보호를 넘어 다른 측면에서 발생할 수도 있다”며 “인공지능 고유의 위험을 추출해 방지 장치를 마련할 필요가 있다”고 말했다.

세계적 추세와 간극…무엇을 위한 법인가

국회 삽화. 경향 자료 이미지

이처럼 인공지능 기본법 제정을 위한 첫발은 뗐지만 실제 통과까지는 많은 논쟁이 예상된다. 당장 상임위에서 마련키로 한 위원회안이 애초 취지에서 너무 많이 후퇴했다는 비판이 일각에서 나온다. 세계적 추세인 FATE 강화보다는 인공지능 산업 진흥에만 초점을 맞췄다는 것이다.

일례로 지난해 12월 법안소위 논의에선 인공지능 개발 및 출시에 대해 ‘허용을 원칙으로 하되 국민의 생명·안전·권익에 위해가 되거나 공공의 안전 보장을 현저히 저해하는 경우 제한할 수 있다’고 정리하기로 했지만 지난달 논의에선 ‘현저한 위험이나 우려가 있는 경우가 아니면 개발이나 출시를 제한해서는 안 된다’는 쪽으로 선회한 것으로 알려졌다. EU 법안이 인공지능의 오용과 부작용을 사전에 방지하기 위해 출시 전 위험영향평가, 적합성평가, 데이터영향평가, 인권영향평가 등 다양한 사전 영향평가와 조치를 의무화한 것과 대비된다.

EU 법안 같은 과징금 부과 조항도 없는 것으로 알려졌다. EU 법안은 ‘금지된 위험의 인공지능’을 판매하거나 서비스하면 최대 3000만유로(약 418억원) 또는 전세계 총매출의 6% 중 높은 금액을 과징금으로 부과하는 등 매우 엄격하다. 미국의 알고리즘책임법안은 과징금을 명시하는 대신 연방거래위원회법으로 처벌할 수 있다고 규정했다. 민주사회를 위한 변호사모임 디지털정보위원장인 김하나 변호사는 “FATE 강화를 위해 많은 연구가 이뤄졌는데 그 부분은 빠지고 진흥에만 방점을 둔 법안으로 변질될까 우려된다”고 말했다.

핵심은 투명성 강화

인공지능 기술이 비약적으로 발전하고 활용 범위가 넓어지면서 안전성과 신뢰성에 대한 우려도 높아지고 있다. 식품에 ‘식품영양표시’를 부착하도록 하는 것처럼 인공지능 서비스 제공 업체들에 ‘알고리즘 정보’를 표시하도록 하는 방안이 거론된다.

FATE에서도 가장 핵심은 T, 즉 투명성이다. 인공지능 모델이 어떤 데이터로 어떻게 학습하고, 예측결과를 그렇게 도출했는지 들여다 볼 수 있어야 공정성·책임성·윤리 문제 등을 따질 수 있다는 것이다. 소비자가 식품영양표시를 통해 성분과 칼로리·원산지 등을 확인할 수 있도록 하고, 정보 제공을 소홀히 하거나 허위 정보를 기재한 기업을 제재함으로써 책임성을 제고하는 원리와 마찬가지다.

그런데 머신 러닝을 기반으로 하는 대다수의 인공지능 모델은 개발자조차 그 과정을 일일이 알 수 없다는 난점이 있다. 이를 해결하고 보완하기 위해 나온 개념 중 하나가 ‘설명가능 인공지능(XAI)’이다. 인공지능의 의사결정 구조를 설명할 수 있어야 한다는 것이다. 최재식 카이스트 설명가능인공지능연구센터장은 “설명가능 인공지능의 궁극적 목표는 한 마디로 ‘가족을 맡길 정도로 신뢰할 수 있는 인공지능’을 만드는 것”이라며 “설명가능 인공지능의 범위가 확대될수록 인공지능의 안전성도 확대될 것”이라고 말했다.

이처럼 인공지능이 설명 가능해야 관련 정보를 제공할 수 있다. 인공지능 규제에 부정적인 국내 전문가들도 생활 영역에서 최소한의 설명 의무를 규정할 필요가 있다는 데 동의한다. 기업들은 ‘영업기밀’이라는 이유로 알고리즘 공개는 여전히 거부한다. 다만 설명 향상 조치는 마련 중이다. 네이버·카카오 등 국내 기업들의 자체 가이드라인 마련 논의에 참여 중인 이성엽 교수는 “자율 가이드라인에 이용자가 찾아보기 쉬운 위치에 알기 쉽게 설명하는 형태로 보여주는 쪽으로 의견을 모으고 있다”고 말했다.

투명성 강화가 역효과를 일으킬 수 있다는 우려도 있다. 예를 들어 인공지능을 활용한 채용에서는 ‘알고리즘 맞춤형 지원자’들만 대량 양산할 가능성이 있고, 유튜브 추천 알고리즘을 있는 그대로 투명하게 공개하면 집중 공략 대상이 돼 오히려 유튜브 콘텐츠의 다양성을 해칠 수도 있다. 이 때문에 제3의 방안에 대한 아이디어도 나온다. 박성규 강원대 인공지능융합학과 교수는 “기업이나 정부로부터 독립적인 전문가 심의기구를 통해 인공지능이 공정하게 운영되는지 관리 감독하는 방법이 현실적 절충안이 될 수 있다”고 말했다.