[책과 삶]빅테크가 훼손한 인간적 가치, 회복할 길은 기술을 통제하는 민주주의···‘시스템 에러’

시스템 에러
롭 라이히·메흐란 사하미·제러미 M 와인스타인 지음·이영래 옮김 | 어크로스 | 448쪽 | 1만9800원

수년 전 ‘문송합니다’(문과라서 죄송합니다)라는 말이 유행했다. 대학 졸업자 중에서도 유독 취업이 힘든 인문계 전공자들의 자조와 한탄을 담은 표현인데, 요새는 잘 쓰지 않는다. 대신 쓰는 말은 ‘네카라쿠배’다. 네이버, 카카오, 라인, 쿠팡, 배달의민족 등 취업준비생들의 ‘꿈의 직장’으로 불리는 국내 IT기업들을 엮어 이렇게 부른다. 말의 기원은 미국 실리콘밸리의 ‘FAANG’(페이스북, 아마존, 애플, 넷플릭스, 구글)에 있다. 기술이 곧 꿈이자 부, 권력이 되는 현상은 이미 세계적이다.

책 <시스템 에러>는 이 막강한 기술기업의 논리가 훼손해온 ‘인간적 가치’들을 질문하며 제시하는 ‘빅테크 윤리학’이다. 책은 빠르게 세상을 바꿔나가는 기술과는 대조적으로 느리고 비효율적으로만 보이는 민주주의야말로 빅테크의 해로움에서 인간을 구할 ‘방호벽’이자 ‘시스템’이며 ‘기술’임을 주장한다. 그러므로 ‘문송’은 필요 없다. 인문학적 통찰과 민주주의 없이는, 기술에 통제받는 대신 기술을 통제하는 존재로 시민의 위치를 지켜낼 수 없기 때문이다.

책의 세 저자 롭 라이히, 메흐란 사하미, 제러미 M 와인스타인은 실리콘밸리의 인재 산실로 불리는 미국 스탠퍼드대에서 지난 20년간 각각 철학, 컴퓨터과학, 정치학을 가르쳐왔다. 이들은 “일과 여가, 가족과 우정, 지역 사회와 시민권 등이 도처에 편재한 디지털 도구와 플랫폼에 의해 재편”되는 현실 앞에서 기술이 개인과 사회에 끼친 “명백한 피해”를 문제시해왔다. 한편으론 ‘혁신’과 ‘파괴’만 외치며 기술이 빈곤부터 인종차별, 독재정권까지 사회의 모든 문제를 해결해줄 전능한 해법이라 믿는 캠퍼스의 학생들과 실리콘밸리 기술 전문가들을 우려했다.

저자들이 “학생들이 코드를 만들면서 내리는 결정이 수백만명의 삶을 좌우할 수 있다는 점을 깨닫길 바라”며 기술시대의 인문학적 논점을 다루는 강의를 만든 것은 바로 그 때문이었다. 강의는 곧 캠퍼스 안팎에서 화제를 모았다. 저자들의 ‘빅테크 윤리학’은 실리콘밸리 엔지니어와 벤처투자가들, 포드재단과 퓨리서치센터 등 각종 연구기관을 대상으로 한 공개 강의로 확대됐고, 그 내용을 정리한 책이 바로 <시스템 에러>다.

“일단 결과를 만들어내고 용서는 나중에 구하라.” 저자들은 실리콘밸리 기술 전문가들이 공유하는 사고방식을 이렇게 요약한다. 업계에서 추앙받는 것은 구글 창업자 래리 페이지나, 아마존을 만든 제프 베이조스처럼 순식간에 “부를 이루는 컴퓨터광”일 뿐, 이들이 만든 기술이 미칠 부정적 영향에는 아무런 관심이 없다. 문제는 이런 사고방식으로 성공한 엔지니어들이 실리콘밸리에 막대한 자본을 대는 벤처투자가가 돼 “말 그대로 수백명의 저커버그 지망생”들을 만들고, 이들이 “다음 세상을 변화시키는, 파괴적이고 최적화를 지향하는, 사회적 문제를 야기할 수 있는 상품을 만들기 위해 노력하고 있다”는 사실이다.

<시스템 에러>는 ‘최적화’ 사고방식으로 무장한 “말 그대로 수백명의 저커버그 지망생”들이 “다음 세상을 변화시키는, 파괴적이고 최적화를 지향하는, 사회적 문제를 야기할 수 있는 상품을 만들기 위해 노력하고 있다”는 사실을 지적한다. 마크 저커버그가 설립한 메타(페이스북) 본사의 간판에 ‘좋아요’ 로고가 붙어 있다. AP 연합뉴스

저자들이 가장 문제시하는 것은 기술 전문가들과 그 지망생들이 공유하는 ‘최적화 사고방식’이다. 엔지니어나 컴퓨터과학자에게 있어 ‘효율성’과 이를 달성하기 위한 ‘최적화’는 지상 최대의 과제다. 빅테크 기업들은 ‘OKR’(목표를 뜻하는 Objective와 핵심 결과를 뜻하는 Key Results) 등 경영 도구를 내세워 특정한 목표를 설정하고 이를 “반드시 측정할 수 있는” 핵심 결과로 이끌어내야 한다는 ‘최적화 프로세스’를 통해 폭발적 성장을 거뒀다. 저자들이 지적하는 것은 “최적화하기로 선택한 대상”의 ‘적절성’ 문제가 이 과정에서 고려되지 않는다는 점이다.

가령 유튜브 엔지니어링 부문 부사장 크리스토 굿로는 2011년 유튜브가 도달해야 할 핵심 지표로 “하루 10억시간의 시청 시간”을 설정했다. “시청 시간”이 늘어날수록 시청자의 행복에 기여할 것이라는 굿로의 가정이 얼마나 황당했는가와 상관없이, 목표는 순조롭게 달성됐다. 끝도 없는 알고리즘 추천으로 영상을 보는 데 허비한 시간이나, 유튜브를 통해 유포되는 가짜뉴스와 음모 이론 등에 의한 악영향은 이 ‘핵심 지표’에 포함되지 않았다. 이처럼 기술자들이 내세우는 ‘최적화’에는 측정하기 어려운 “환경, 정의, 존엄, 행복, 정보에 입각한 민주주의의 촉진” 등 우리 사회에 꼭 필요한 가치들이 포함되지 않는다. 저자들은 이러한 ‘최적화’가 기술자 개개인을 넘어 업계 전체를 추동하는 사고방식이 되면서, 사회 곳곳에서 개인의 행복과 민주사회의 건전성이 저해되는 문제가 발생했다고 말한다.

1부에서 최적화 사고방식으로 시장을 독점한 기술기업들이 개인과 사회에 끼친 피해의 구조를 분석한다면 2부에선 첨단 기술의 결과물인 인공지능, 소셜미디어의 알고리즘, 자율주행차, 안면인식 같은 개별 기술이 실제로 우리 삶에 어떤 악영향을 미치고 있는지 구체적으로 서술한다.

저자들은 미국 위스콘신 출신의 남성 에릭 루미스의 사례를 소개한다. 루미스는 2014년 도난 차량을 운전하다 체포된 후 징역 6년형을 선고받았다. 선고를 내린 판사는 COMPAS라는 알고리즘 방식의 위험 평가 도구를 이용했다. 문제는 “판사도 변호사도 루미스도 COMPAS가 어떻게 작동하는지 알지 못했다”는 것이다. 책에 따르면 인간 사회에서 통용되는 ‘공정성’은 “시대를 초월한 보편적 정의”가 아니다. 젠더와 인종, 종교 등을 때에 따라 고려해 “관련된 상황에 대한 우리의 집단적인 이해에 좌우”되는 것이다. 그러나 COMPAS를 비롯한 알고리즘 설계는 이 공정성을 쉽게 정의한다. 심지어 판사도, 변호사도 ‘알 수 없는’ 과정을 통해서.

저자들은 알고리즘이 남긴 의문에 우리가 “답을 요구할 자격”이 있음을 역설한다. 책은 알고리즘 의사결정 시스템이 인간의 결함을 일부 보완할 수 있는 효율적 도구임을 인정한다. 문제가 있다는 이유로 기술을 폐기하자는 것이 아니라 알고리즘 시스템에 대해 “투명성과 감사를 요구”하는 과정의 필요성과 ‘권리’를 강조한다. 이때 시민의 권리는 사회의 “공정한 의사결정 시스템”을 통해 보장돼야 한다. 저자들은 기술에 통제받는 것이 아니라, 기술을 통제하기 위해 무엇보다 필요한 것은 바로 기술의 악영향을 감시하는 민주적 제도와 절차임을 수차례 이야기한다. 기술기업의 데이터 수집으로 침해되는 개인정보 문제에 대해서도 저자들은 ‘익명화’, ‘차등 정보 보호’ 등 현존하는 기술적 해법과 더불어 데이터를 수집하는 기업에 강도 높은 책임을 묻는 유럽연합의 개인정보보호규정(GDPR)과 미국 캘리포니아 소비자개인정보보호법(CCPA)의 사례를 면밀히 검토한다.

기술은 가치중립적이지 않다. 기술자 사회에 널리 유포된 ‘효율 만능주의’라는 가치관이 인간 사회의 거의 모든 영역에 스며든 첨단 기술에 담겨 있다. 기술은 그렇게 사회를 지속 가능하게 하는 “공정성, 사생활, 자율성, 평등, 민주주의, 정의 같은 이상”들을 위태롭게 만든다. 가치들이 상충하는 이러한 상황에서 저자들이 제시하는 ‘믿는 구석’은 바로 민주주의다. 이들은 민주주의는 “상충되는 사상과 욕구들 사이에서 결정을 내리는 유서 깊은 체계”임을 강조하며 이를 통해 “우리가 살고자 하는 사회가 어떤 모습인지에 대해 모두가 뜻을 같이할 수는 없더라도 개인에게 위해를 끼치고, 약자에게 잔인하고, 이류 계층을 만드는 등 최악의 결과를 피하는 데는 합의”할 수 있다고 자신한다.

물론 이러한 민주주의의 실현을 위해서는 변화가 필요하다. 개개인이 기술 변화에 의한 피해를 자각하는 것은 물론이고 기술을 제대로 알고 새롭게 규제할 능력을 갖춘 정부의 탄생이 무엇보다 중요하다. 저자들은 끝으로 “민주주의는 그 자체가 일종의 기술”임을 이야기한다. 민주주의는 “개인의 권리를 옹호하고, 시민의 목소리에 힘을 실어주고, 끊임없이 변화하는 사회 환경에 적응하는 것을 가장 큰 미덕으로 삼는 사회 문제 해결의 기술”이라는 것이다. 디지털 환경에서 기술이 초래한 문제를 민주주의의 틀로 해결해 나가고자 하는 세 저자의 목소리에 귀기울일 필요가 있다.

시스템 에러 빅테크 시대의 윤리학