[전문가의 세계 - 박주용의 퓨처라마](16)모든 가능성을 열어둬라, 확률은 과정 속에서 찾은 정확한 믿음이니까

베이지언이 안내하는 진실 찾기 여정

일러스트 | 김상민 기자 yellow@kyunghyang.com

충분히 올바른 관찰을 반복해 쌓은
양질의 데이터에 베이지언 적용 땐
‘전확률 값에 크게 관여 받지 않는’
최종적인 후확률로 수렴할 수 있다

자율주행·의학 등 발전에서 보이듯
더 정확한 ‘정답’을 찾는 과정에서
사고의 유연성과 겸허함은 필수다
닫힌 마음으론 진실 못 보기 때문

지난 회에는 미래를 완벽하게 보는 능력을 갖고서도 누구도 자신의 말을 믿어주지 않는 저주에 걸려 고국의 멸망을 비참하게 지켜보아야 했던 카산드라의 이야기로 시작하여 베이지언이라는 추론 방법론을 소개하였다. 베이지언은 한 사건의 관찰(‘병 안에 손을 넣어 고른 초콜릿이 화이트였다’)을 근거로 복수개의 가능성들(내가 골랐던 병이 A인가, B인가)의 확률이 어떻게 변화하는지 알려준다고 했었는데, 이것을 조금 더 일반적으로 표현하자면 어떤 상태를 나타내는 변수 χ(‘병 A를 골랐는지’, ‘병 B를 골랐는지’)의 ‘전확률 P(χ)’가 ‘관찰(데이터)Ｄ’가 얻어졌을 때 그를 기반으로 새로운 ‘후확률 P(χ|D)’로 변하는 과정에서 그것들이 제멋대로가 아니라 정확히 P(χ|D)=P(D|χ)P(χ)/P(D)의 수학적 관계로 이어져 있다는 것을 알려주는 것이 베이지언 공식인 것이다. 자동차에 장착된 카메라에 포착된 사물의 이미지가 길인지 장애물인지 판단해 계속 가야 할지 멈춰야 할지 결정하는 자율주행차부터 마지막 교신 지점과 바다에 떠 있는 기체 잔해의 위치를 보고 추락한 비행기를 수색하는 일에까지 현대 데이터 사회에서 제일 자주 사용되고 있는 공식이 베이지언인데, 필자의 연구원 시절에는 신기한 데이터 기반 앱이나 서비스가 등장하면 동료들이 이구동성으로 “베이지언을 미친 듯이 쓰고 있다는 것만은 확실해”라고 할 정도였다.

이어서 오늘은 이 베이지언 공식 안에 P(χ), P(χ|D) 같은 전·후확률의 형태로 들어가 있는 바로 ‘확률’의 정확한 개념을 이야기해보려고 한다. 뉴에이스 국어사전에는 확률을 “하나의 사상(事象) 혹은 사건이 일어날 수 있는 가능성의 정도 또는 수치”라고 정의하고 있는데, 확률은 0(0%·일어날 수 없음)과 1(100%·반드시 일어남) 사이의 값을 가지며, 확률 0.5(50%)인 사건은 일어날 가능성과 일어나지 않을 가능성이 같다는 뜻으로 통상 이해한다. 확률의 값은 데이터로부터 나오는데, 가령 지난 100일 동안 아침에 비가 20번 왔다면 ‘아침에 비가 올 확률은 20%’라고 말하는 식이다.

그런데 사건의 확률을 이러한 데이터 속의 빈도(頻度·frequency)와 동일시하는 ‘빈도주의자’들에 맞서 새로운 부류의 학자들이 등장하면서 20세기 통계학은 확률의 정확한 의미에 관한 논쟁의 장이 되었다. 빈도주의자들에 반대하던 이 신흥학파는 “지난 100일 동안 비가 20번 왔다면 20%, 200일 동안 45일이었다면 22.5%, 1000일 동안 230일이었다면 23%가 되어 변할 수 있는데 어떻게 데이터로부터 단 하나의 정확한 확률을 찾아낼 수 있다는 것인가”라고 물었고, 이에 대해 빈도주의자들이 ‘100, 200, 1000개가 아니라 무한한 데이터로부터 계산되는 하나의 값을 확률이라고 하면 된다’고 반박하자 반대파는 다시 ‘무한한 데이터는 존재할 수 없으므로 그에 따라 당신들의 확률도 존재하지 않는 자가당착에 빠진다’며 재반박하였다.

이 논쟁의 요점을 조금 더 쉽게 이해하기 위하여 여기에서 한 가지 사고 실험(gedanken experiment·아인슈타인이 특히나 좋아했다고 한다)을 해보자. 집에서 굴러다니다가 공중으로 던져진 100원짜리 동전이 충무공 얼굴이 보이게 땅에 떨어질 확률은 얼마이겠는가? 수업시간에 이 질문을 학생들에게 던졌을 때 누군가 50%라고 대답을 하고, 나머지 학생들도 이에 동의하는 이견을 잘 제시하지 않는다. 그런데 빈도주의자들 주장에 따르면 이 학생들은 애초에 불가능한 무한한 실험을 하지 않고서는 알 수 없는 귀신같은 존재에 대해 확신을 갖고 말한 사람들이 된다. 과학을 전공한다는 사람들이!

‘확률의 개념은 존재하되 결코 알아낼 수 없는 것’이라는 자가당착의 문제를 해결하기 위해서 반대파들은 확률에 대한 완전히 새로운 정의가 필요하다고 주장을 하게 된다. 그리고 그들이 내세운 정의는 확률이란 바로 사건이 벌어질 가능성에 대한 ‘믿음’의 척도라는 것이었다. 즉 이들은 차갑고 객관적인 숫자의 세계를 다뤄야 하는 과학에 다소 생뚱맞은 ‘믿음’이라고 하는 주관성을 넣음으로써 빈도주의의 모순을 해소시킬 수 있다고 한 것이었다. 위의 100원짜리 동전의 예로 돌아가자면 학생들은 단지 ‘확률이 50%’라는 ‘믿음’을 표시한 것이기 때문에 더 이상 문제가 되지 않는다는 것이다. 정확한 값은 모르지만 그럴 것이라고 믿는다는 데 어찌할 것인가.

이렇게 ‘확률은 주관적 믿음’이라고 한 빈도주의 반대파의 이름은 흥미롭게도 바로 ‘베이지언 학파’였다. 왜 베이지언을 연구하다가 확률의 주관성을 주장하게 되었는지에 대해 한 베이지언 학자의 소회를 읽어보니, 아주 단순한 공식을 적용해 전확률로부터 후확률을 쉬지 않고 계산해내는 것이 베이지언 추론의 본질인데 확률이 계산될 때마다 “무한한 반복실험으로 검증을 해야 믿어주겠다”는 빈도주의자들의 발목 잡는 태도를 매우 성가시게 여겼던 것 같다(지면상 이들의 흥미진진한 무용담을 더 풀어낼 수 없는 것이 아쉽지만, ‘확률의 주관성’이 여전히 이상하게 생각되는 독자께는 베이지언 추론으로 이루어진 수많은 현대과학기술의 성과를 봐서라도 한번 이해해보려고 해주기를 부탁드린다).

자, 이들의 이러한 주장을 받아들인다면 이제는 과연 ‘옳은’ 또는 ‘정확한’ 확률값이라는 것이 애초에 과연 존재할 수 있는 것인가 하는 심오한 질문으로 이어진다. 확률이 단지 ‘개인의 믿음’에 지나지 않는 임의의 값이라면 모든 변수 χ에 대한 확률은 사람마다 다를 수 있으므로 우리는 어떠한 공통된 진실이 없는 아나키(anarchy)의 우주에 살게 되는 것이고, 그게 아니고 χ마다 옳은 확률값이 있는데 알 방법이 없는 것이라면 우리는 그 값을 알고 있는 신통한 소수를 제외하면 그릇된 거짓을 믿고 있는 사람으로 전락해버리고 마는 것이다.

풀려고 하면 할수록 꼬이고 마는 이 매듭 같은 철학적 문제에서 헤어나기 위하여(이 논쟁이 왜 정답 없이 수십년 동안 이어졌는지 알 것 같기도 하다) 100원짜리 동전의 예를 마지막으로 한번 다시 들어보도록 한다. 이번에는 필자가 허공에 동전을 던진 뒤 내려오는 동전을 안 보이게 두 손으로 잡은 뒤 한 손에 넣고, 주먹 쥔 두 손을 내밀고 여러분에게 이렇게 묻는다고 상상하자. “내가 오른손을 폈을 때 동전이 있을 확률은?”

이 질문에 대해서도 두 손에 있을 확률이 같으니까 50%라고 말하는 사람들이 제일 많을 것 같고, 필자가 오른손잡이인 걸 아는 일부는 높은 60% 정도일 것 같다고 말할 수도 있을 것 같다. 그런데 여러분이 내 질문에 대답하는 내내 나는 그 동전을 내 왼손에 쥐고 있었으니(나는 어느 손인지 아니까) 위 질문에 대한 올바른 답은 ‘0%’여야 하는데 사람들은 그와 다른 ‘50%’ ‘60%’라는 답을 내게 준 것이다.

그런데 과연 이 사람들에게 나는 “나만 옳고 당신들은 틀렸어”라고 당당하게 말해줄 수 있을까? “정답은 아는 사람만이 알고 있고, 나머지는 다 틀리다”라는 너무 센 기준을 고집해서 매사에 옳고 그름을 따진다면 어떻게 될까? 모든 것에 대한 답을 알고 있는 전지(全知)한 신이 존재한다면 ‘아무것도 모르는’ 인류가 하는 많은 일들이 얼마나 하찮아 보일까 자조감이 들기도 한다. 그리고 또한 ‘아니 정확한 확률을 알 수 없다면서 베이지언 공식은 왜 이렇게 잘 작동을 하는 건지?’라는 궁금증도 생길 것 같다. 즉 모두가 다른 주관적인 전확률을 갖고 있을 수밖에 없으니 베이지언 식을 아무리 정확하게 적용시킨다고 해도 그에 따라 나오는 후확률도 결국 사람마다 다를 수밖에 없지 않은가 하는 것이다.

하지만 베이지언 추론의 역사를 통해 인류가 알게 된 사실은, 충분히 올바른 관찰을 반복하며 쌓인 양질의 데이터에 베이지언을 적용시키면 ‘전확률 값에 크게 무관하게’ 결국에는 공통의 최종적인 후확률로 수렴해 갈 수 있다는 것이었다. 이 교훈은 과학기술에서뿐만 아니라 다양한 분야에서 구성원들의 공통된 합의가 이루어질 가능성을 과학적으로 보여줬다는 의미가 있는데, 발전을 거듭할수록 더 똑똑해지는 자율주행차에서도 볼 수가 있고, 여러 번의 검사를 통해서 정확한 병명을 진단해가는 의학, 여러 번의 재판을 거쳐 논증과 반박을 통해 유무죄를 결정해가는 현대의 법제도 같은 것이 바로 ‘진실이란 단계를 거쳐서 접근해가는 것’이라는 인류의 경험을 반영한다고 볼 수 있다.

상상할수록 아득한 복잡성을 띠고 있는 우리 우주 안에서도 이러한 점진적 진실 찾기 과정이 있다는 사실은 인류에게 큰 안도감의 원천이 될 수 있을 것 같다. 옳고 그름이란 어떠한 전지한 타인이 갖고 있는 ‘정답’을 기준으로 절대적으로 결정되어 있는 것이 아니라, 비록 부정확한 믿음(전확률)으로부터 시작을 하더라도 꾸밈없는 증거와 지치지 않는 관찰에 의거하여 더욱 더 정확한 믿음(후확률)을 만들어간다는 인류의 마음가짐이 우주라는 카오스(chaos) 속에서 지금의 문명을 만들어온 것이다. 그렇다면 다시 한번 그것이 한순간의 ‘완벽한 지식’에 대한 맹신보다는 우리의 주관적인 믿음이 언제든 바뀔 수 있다는 사고의 유연성과 겸허함으로 이루어졌다는 사실은 아무리 강조해도 지나치지 않을 것이다.

그러나 위대한 문명을 가능하게 한 이러한 강력한 과학적 장치조차 완벽하게 이겨낼 수 없는 것이 있으니 바로 사람의 닫힌 마음이다. 신념의 불완전성을 극복하고 진실에 수렴해가게 해주는 베이지언 공식조차 극도로 편향된 사람의 선입견과 편견 앞에서는 어쩔 수 없다. 즉 ‘내 마음에 들지 않는 가능성의 확률은 무조건 0%일 수밖에 없어’라는 극단적 신념(전확률)을 가진 사람에게는 아무리 강력한 증거들이 제시된다 하더라도 후확률은 언제나 0%를 벗어날 수 없기 때문이다.

전문가의 세계 - 박주용의 퓨처라마 구독

진실은 닫힌 마음에게는 영원히 그 정체를 드러내지 않는다. 특히 한 집단이 자신들 믿음에 거역하는 어떤 다른 가능성도 허용하지 않을 때 벌어질 수 있는 파국을 보여주는 것이 바로 카산드라의 이야기이다. 카산드라의 저주가 실은 카산드라 개인에게 내려진 것이 아니라, 카산드라의 말이 옳을 수도 있다는 생각을 좁쌀만큼도 하지 못하게 된 트로이 시민들에게 내려진 것이라는 것을 우리는 이제 이해할 수 있다. ‘카산드라를 절대로 믿지 않는다’는 선입견은 스파르타군의 후퇴를 의심할 여지 없는 승리의 증거로, 그들이 남겨놓은 목마를 전리품으로만 생각하도록 만들었으며 그 결과는 멸망이었다.

다행히도 현대사회는 신화를 통해 전해내려온 카산드라의 교훈과 베이지언이라는 무기를 갖고 있다. 그래서 우리는 카산드라의 저주로부터 완벽히 풀려나 있을까? 근본적으로 낙관주의자인 필자는 조금이라도 나아졌을 것이라고 생각한다. 하지만 아직도 ‘우리 생각만이 옳다’는 선입견과 ‘모든 것은 우리만 옳다는 것을 증명해주고 있다’는 확증편향을 갖고, 그것조차 여의치 않아지면 ‘누군가가 우리를 속이기 위해 조작을 하고 있다’는 음모론을 펼치는 집단들이 보이고 있다. 만약에 그러한 모습이 필자 눈에만 들어오는 것이 아니라면 카산드라의 저주를 내쫓고 더 발전된 퓨처라마를 열기 위한 베이지언의 사투는 여전히 진행형인 것이다.

▶박주용 교수

[전문가의 세계 - 박주용의 퓨처라마](16)모든 가능성을 열어둬라, 확률은 과정 속에서 찾은 정확한 믿음이니까

서울대학교 물리학과를 졸업하고 미국 미시간대학교(앤아버)에서 통계물리학·네트워크과학·복잡계과학으로 물리학 박사 학위를 받았다. 하버드 데이나-파버 암연구소에서 연구원으로 시스템스 생물학을 연구하고, 현재 카이스트 문화기술대학원에서 문화와 예술의 물리학을 연구하고 있다. 제주도에 현무암 상징물 ‘팡도라네’를 공동 제작·설치했고, 대전시립미술관의 ‘어떻게 볼 것인가: 프로젝트 X’에서 큐레이터로 활동했다. 학창 시절 미식축구에 빠져 대학팀 랭킹 알고리즘을 창시한 뒤 지금도 빠져 있으며, 남는 시간에 자전거와 모터사이클을 타고 싶어 한다.