인류가 수를 처음 발견한 것은 셈(counting)의 필요 때문이었다. 아프리카에서 발견된 기원전 2만년 전의 것으로 추정되는 동물 뼈인 ‘이샹고 뼈’에 칼로 그어진 선들은 원시 부족에서의 셈의 흔적을 보여준다. 요즘 초등학교에서도 처음 수를 접할 때 셈의 개념에서 출발해 자연수를 배운다.

이런 수들로 사칙연산을 하면 뺄셈에서 음수가 나오고 나눗셈에서 분수가 나와서 유리수의 개념으로 확장된다. 유리수(有理數)는 ‘합리적인 수’라는 뜻의 영어 표현인 ‘rational number’를 번역한 말이다. 자연수로 사칙연산을 하는 과정에서 ‘합리적으로 파생되는 수’라는 뜻으로 해석할 수 있다. 유리수끼리 사칙연산을 해도 여전히 유리수 안에 머무르니, 유리수는 사칙연산에 관해 자기 완결적인 우주다. ‘연산은 수를 자기 완결의 체계로 확장한다’는 철학은, 현대 군론(group theory)으로 체계화되었다.

고대 그리스인들은 만물을 잘게 쪼개면 어떤 기본단위로 이루어져 있을 것으로 생각했다. 물질의 기본단위를 원소로 보는 플라톤의 사원소론처럼, 수도 기본단위인 소수로 이루어져 있다고 보았다.

소수는 1과 자신만으로 나눠지는 자연수인데, 2, 3, 5, 7, 11 같은 수다. 이런 소수의 리스트는 어딘가에서 끝나는 게 아니고 무한히 이어진다. ‘소수는 왜 무한히 많은가?’라는 질문은 예전에 대입 논술에서 가끔 출제되기도 했었다.

소수 아직도 완전 정복 못해

소수는 ‘주요 수’라는 뜻의 ‘prime number’를 번역한 말인데, 모든 수는 이들의 곱으로 표현된다는 의미에서 마치 수의 원소 같은 역할을 한다. 한자로도 ‘素數’, 즉 원소 같은 수라는 뜻이다. 놀랍게도, 오랜 노력에도 불구하고 인류는 아직도 소수를 완전히 정복하지 못했다.

예를 들어보자. 둘 다 소수이면서 서로의 차이가 2인 숫자들을 ‘쌍둥이 소수’라고 한다. ‘3, 5’ ‘5, 7’ ‘11, 13’ 같은 숫자 쌍들이다. 더 커질수록 점점 희박해진다. 그래서 드는 의문. 이러다가 어딘가에서 끝날까? 아니면 희박해지긴 하지만 그래도 무한히 계속될까? 인류는 아직 답을 모른다. 현존하는 수학 난제를 언급할 때마다 빠지지 않는 리만가설도 소수가 아주 커질 때 어떤 분포를 이루는가와 연결되어 있다.

사원소론은 오래전에 폐기되어 더 이상 유효하지 않지만, 학교에서 배우는 소인수분해가 현대사회에 미친 거대한 영향을 알고 있는 사람은 드물다. 12의 소인수분해는 2×2×3인데, 요즘 아이들이 일상적으로 하는 쉬운 계산이다.

그런데 수가 커지면 문제가 생긴다. 100억이 넘는 수를 주고 소인수분해를 해보라고 하면 작은 소수부터 차례대로 나눠보아야 하니 이게 만만한 일이 아니다. 게다가 무지막지하게 큰 이 수가 원래 소수라면 끝없이 나눠보아도 중간에 끝날 리가 없다. 그래서 소인수분해는 ‘계산이 아주 어려운 문제’의 범주인 NP 문제에 속한다.

수학 문제를 풀 때 우리는 공격자가 된다. 하지만 입장을 바꿔, 우리를 지켜주는 문제가 공격으로부터 굳건히 버티기를 바라는 방어자의 입장이 되어보자. 이 문제의 해답이 민감한 정보를 지키기 위한 암호라면, 이 암호가 해커에게 쉽게 뚫리면 안 된다. 그래서 큰 수의 소인수분해가 어렵다는 사실을 이용한 암호가 출현했다. 개발자 3인의 이름 첫 자를 딴 RSA 암호는 1977년에 개발된 뒤 인터넷 뱅킹과 통신 과정에서 개인정보를 보호하는 웹보안의 핵심이 되었다.

‘양자오류 보정’ 해결 낙관론 커져

하지만 세상에 영원한 건 없는 모양이다. 1994년 MIT의 수학자 피터 쇼는 양자중첩을 이용하면 소인수분해 문제가 (계산 가능 범주인) P 문제가 됨을 밝혔다. RSA 암호가 양자컴퓨터를 사용한 해킹에 무방비 상태가 된다는 뜻이다. 사람들은 그다지 걱정하지 않았다. 양자 띄우기(quantum hype)에 냉소적인 시각이 많았고, 유의미한 수준의 양자컴퓨터가 하드웨어로 구현되려면 장구한 세월이 걸릴 거라고 믿었으니까.

최근 양자 기술의 발전 추세는 상황을 크게 바꾸었다. 미국 정부는 기존 정보보안체계가 곧 무너질 수 있다고 공개 경고했고, 세계 곳곳의 연구팀들이 양자내성암호 개발에 뛰어들기 시작했다. 양자컴퓨터의 고질적 문제인 양자오류보정 등의 해결은 여전히 오리무중이지만, 곧 둑이 무너질 거라는 낙관론은 분명 거세지고 있다.

박형주 아주대 수학과 석좌교수