[점선면] [Lite] 🤖 1등급에게 과외 받기

2024. 11. 27.

"국어(언어)는 원래 잘하던 애들이 잘한다."

고등학생 때 많이 듣던 말입니다. 영어, 수학 같은 과목보다 국어 점수를 올리는 데에 더 많은 시간과 공이 든다는 뜻이었어요. 국어 영역은 단순히 문제를 많이 푼다고, 혹은 교과서를 여러 번 읽는다고 늘지 않는 어떤 특수한 능력을 요구하는 것 같았습니다.

그런데 생각을 고쳐야겠습니다. 방대한 데이터를 학습한 인공지능(AI)이 올해 수능 국어영역에서 1등급을 받았습니다. 비결이 뭘까요. 기사를 읽은 뒤 더 이야기 나눠요.

수능 국어 1등급 받아든 AI

2024. 11. 25. 김원진 기자

지난 14일 2025학년 대학수학능력시험이 끝난 뒤 인공지능(AI) 챗GPT의 최신 버전인 'o1-프리뷰'가 국어영역에서 97점(원점수)을 맞은 사실이 화제가 됐다. 지금까지 국어영역에서 AI가 받은 가장 높은 점수로 알려져 있다. 이 소식을 접한 사람들 사이에선 "AI 추론 기능이 더 좋아진 것인지" "문제 패턴이 정형화된 수능의 한계가 드러난 것" 등의 이야기가 나왔다.

스타트업 '마커 AI'는 주요 AI 모델에 수능 국어영역 시험을 보게 한 뒤 나온 점수를 블로그에 공개하고 있다. 마커 AI 블로그에는 AI 모델별 2015~2024학년도 수능 국어영역 점수가 나와 있다. 지난 21~23일 마커 AI의 정철현 대표(한양대 산업융합학부 겸임교수), 진민성 연구원과 e메일·전화 인터뷰를 진행했다. 마커 AI는 AI 기반의 프로그램을 만들거나 서비스를 제공하는 회사다. 다음은 일문일답.

💻 AI로 수능을 보게 하는 작업을 해온 이유가 있을까. 국어영역만 테스트하는 이유도 궁금하다.

"대규모 언어 모델(LLM) 기반의 AI와 사람의 역량을 비교 평가하는 작업이 간단하진 않다. 문제은행식으로 출제되는 시험은 AI가 학습을 통해 일종의 커닝을 하게 된다. 반면 수능은 출제 유형과 기조는 유지되지만 매해 문제가 바뀐다. 국어영역을 우선 테스트하는 이유는 LLM 기반의 AI가 논리성을 갖춘 영역에서 활용도가 높아서다."

💻 이번 국어영역에서 AI가 원점수 97점을 맞은 사실이 알려지면서 화제가 됐다. 성적이 확 좋아진 것 같다.

"올해 수능 문제를 학습하지 않은 챗GPT(o1-프리뷰)의 가장 최근 모델이 국어영역에서 한 문제를 틀렸다. 이전 챗GPT 모델에게 올해 수능 국어영역을 풀게 했을 때에는 4~8등급에 그쳤다. 지난해 수능 국어영역을 챗GPT 이외에 다른 AI 모델이 풀었을 때에도 원점수가 70점이 넘질 못했다."

인공지능(AI)이 푼 2025학년도 대학수학능력시험(수능) 국어영역 성적표. 마커 AI 제공

💻 수험생들은 국어영역 45문항을 80분 안에 풀어야 한다. AI가 문제풀이에 걸린 시간은 얼마나 되나.

"한 문제에 1분 안팎이 걸렸다. 45문항을 모두 푸는 데에는 35분 정도 소요됐다."

💻 AI의 수능 국어영역 성적이 좋아진 이유가 있을까.

"물론 추정이긴 하지만 이번에 국어영역 97점을 맞은 모델은 그냥 바로 답을 내놓지 않고, 여러 개의 답안을 고민해보고 그 중에서 하나를 선택하도록 설계돼 있다. 여러개의 생각하는 과정을 거쳤다고 생각하면 된다. 단계적으로 답을 찾는 이 과정을 생각의 사슬(CoT)라고 부르는데, 생각의 사슬로 추론능력이 더 좋아졌다고 흔히 이야기한다."

💻 올해 수능 국어영역 8번 문제를 틀렸다. 수험생들의 정답률도 20% 안팎에 그칠 것으로 예상되는 문제다. AI가 8번 문제를 틀린 이유는 무엇일까.

"왜 틀렸는지 정확히 파악하는 것은 쉽지 않다. 눈 가리고 코끼리를 만지면서 이 동물이 무엇인지 추정하는 것에 가깝다. 다만 독서 문제인 수능 8번은 지문이 2개이고 보기까지 제시돼 있다. 일단 정보량이 많았다. 글의 표면에 드러나는 내용보다 지문과 보기의 맥락을 파악해 ①~⑤번에 나온 설명과 하나하나 일치시켜야 하는 다소 복잡한 문제였다. AI가 논리적 추론을 하는 과정에서 어려움을 겪은 것 아닐까 추정한다. 아마 두 지문을 부분부분별로 비교 하는 작업을 AI가 안 해봤던 것 같다."

💻 수능 국어영역 고득점이 지난해보다 올해 쉬워진 수능 난이도에서 비롯된 것은 아닐까.

"그렇게 단정짓기는 어려울 것 같다. 사람이 어려워하는 문제를 AI가 쉽게 느끼기도 하고, 그 반대의 경우도 있다. AI는 학습된 데이터에 기반해 움직인다. 예를 들어 빈칸 추론을 묻는 문제를 많이 학습했다고 하면 수험생들은 어려워해도 AI는 상대적으로 수월하게 풀어낼 수 있다. 그리고 AI는 대체로 글의 시작과 끝에서 주제를 파악하려고 하는데, 중간에 주제가 있으면 놓치는 경향이 보인다. 저희가 10년간 테스트를 한 결과를 보면 '물수능'이나 '불수능' 경향과 AI가 받아든 점수는 일치하지 않을 때가 적지 않다."

💻 AI의 추론 역량이 좋아졌다기보단 학습량이 늘어나면서 축적된 지식을 바탕으로 국어영역에서 좋은 점수를 낸 것 아니냐는 분석도 있다.

"AI의 많아진 학습량, 향상된 추론능력 모두 좋은 성적에 작용했다고 본다. 다만 많아진 학습량만으로는 아직까지 국어영역 성적이 좋아지진 않았다. 학습량이 많은 메타의 모델은 여전히 국어영역 3~4등급 수준에 그친다. 추론 능력은 앞서 언급했듯이 그냥 답을 내놓는 게 아니라 답변의 근거를 'A→B→C' 순으로 찾아가게 되면서 더 향상된 것으로 보인다. 조금 더 생각을 곱씹으면서 한다고 보면 된다."

지난 11월 14일, 서울 서초구 반포고등학교에 마련된 고사장에서 수험생이 시험을 준비하고 있다. 사진공동취재단

💻 수능 문제가 패턴화됐다는 지적이 많다. 반복해 패턴을 익히면 상대적으로 쉽게 풀 수 있다는 것이다. AI가 수능 국어영역 문제 패턴을 '해킹'하면서 더 잘 풀게 된 것은 아닐까.

"단순히 수능 문제의 패턴 학습만으로 고득점을 했다고 보기는 어려울 것 같다. 물론 예전 수능 문제를 학습한 것이 고득점에 영향을 미칠 순 있겠지만, 수능은 문제은행 형태가 아니다. 아예 새로운 문제가 매해 출제되기 때문에 패턴의 학습만으로 좋은 성적을 받았다고 보기는 어렵다."

AI가 풀어낸 국어영역 점수를 둘러싼 해석은 여전히 분분하다. 교육계에선 AI의 국어영역 고득점을 놓고 관점이 다른 의견을 내놓기도 한다. 크게 두 가지 주장이 있다. ① AI의 문제 풀이 속도가 인간보다 빨라 단순 비교는 어렵고 ② 지문이 짧아지고 문장을 꼬아내는 등 지엽적인 문제가 많아지면서 AI가 더 수월하게 풀 수 있는 문제가 많아졌다는 것이다.

"AI에 게임을 시키면 '빠르게' 전략을 구사한다. 인간이 클릭을 할 때 손동작의 속도에는 한계가 있지만 AI는 그렇지 않다. 수능을 풀 때에도 판단의 속도에 인간과 차이가 나는데 인간과 AI를 동일선상에서 비교하는 것은 큰 의미가 없다고 본다. 게다가 요즘 수능 국어영역은 너무 어렵다는 비판을 피하기 위해 약관에 깨알 같은 글씨를 숨겨놓는 듯한 지엽적인 수준의 문제가 많다. 지문도 짧아졌다. 고차원적 사고를 파악한다고 보긴 어렵다. AI가 기계적이고 순간적인 판단은 더 잘할 수 있다."(<수능 해킹> 저자 문호진씨)

지난해 6월, 인공지능(AI) 디지털교과서 추진방안을 브리핑하기 위해 회견장에 입장한 이주호 교육부 장관. 연합뉴스

💻 AI를 교육에 활용하려는 시도가 늘어나고 있다. AI를 기술적으로 다루는 입장에선 어떤 장단점이 있을까.

"개도국이나 교육 소외 지역에서 AI 기반 디지털 기기를 사용하면 상대적으로 양질의 교육을 받을 수 있을 거라고 생각한다. 다만 교육에서 AI를 많이 활용할수록 우리는 더 긴장하고 공부를 해야 한다. 확신을 가지면 안 된다. AI는 인간이 던지는 질문에 기계적으로 답을 내놓는데 일종의 '환각'이라 불리는 현상이 언제든 나타날 수 있다. AI는 질문과 전혀 관련 없는 답변이나 세상에 존재하지 않는 사실을 그럴싸하게 포장해 내놓기도 한다. 무분별하게 AI가 제시하는 답변을 수용하지 않는 연습을 해야 한다."

💻 디지털 리터러시가 점점 더 중요해진다는 이야기로 들린다.

"맞다. 요즘 학생들은 AI에 물어보고 나온 답변을 자신이 내세우는 주장의 근거로 삼는 일이 많이 보인다. 집에 아이들이 굳이 왜 '구글에 검색해서 찾아야 하냐'고 묻기도 한다. AI가 바로 답변해주는데 구글에서 검색한 뒤, 여러 결과를 꼭 비교해봐야 하냐는 것이다. 위험한 현상이라고 생각한다. 모든 사실을 의심하고 비판적으로 생각하는 연습이 필요한데 이같은 역량이 떨어져 있다. 교육에서 AI 쓰임이 많아질수록 비판적 독해를 할 수 있는 역량을 키워야 한다."

💻 이미 사교육에는 AI를 활용한 학습 프로그램이 많이 보급돼 있다. 수학처럼 문제풀이 중심의 과목에서 더 많이 이용된다고 한다.

"아마 수학이라고 하면 풀이를 설명해주고 반복해서 약점을 조언해준다고 들었다. 학생 입장에선 좋을 수 있다. 바로 바로 답변을 해주니까. 그런데 달리 생각해볼 여지도 있다. 언제든 쉽게 AI에게 물어보고 답변을 들을 수 있다고 하면 내 머릿속에 기억해둘 필요도, 스스로 생각을 많이 할 필요도 없어질 우려가 있다. AI를 교육에 붙인다고 해서 항상 좋은 것만은 아닌 것 같다."

💻 내년부턴 교육현장에 AI 디지털교과서도 도입된다. AI 기반 프로그램이 설치된 디지털 디바이스를 학생들이 교과서로 사용하게 된다.

"긍정적, 부정적 측면이 두루 있다고 본다. 현장의 교사가 채워주지 못하는 점을 AI 교과서가 채워줄 수 있지 않을까. 디지털 디바이스에 내재된 AI가 방대한 지식을 학생들에게 전달해줄 수 있는 점이 긍정적일 거라고 본다. 반대로 AI에는 편향성 문제가 있다. 사람은 개성이 있고 다양한데 AI는 통계적으로 확률이 높은 쪽으로 치중된다. 학생들이 AI 이야기를 계속 듣다보면 특정 분야에 경도될 수 있다. 여기서 편향이라는 것은 AI가 학습하고 AI에 축적된 '데이터 편향'이다. 어떤 이들의 입장에선 AI가 굉장히 공격적인 답변을 내놓을 수 있다. 현재 기술적으로는 AI가 윤리적이지 않은 답변을 하게 될 때 스스로 멈추게하는 등의 장치를 마련하고 있다."

🔎경향신문 홈페이지에서 기사를 읽으려면 여기를 클릭하세요.

'가장 인간적'인 과목으로 느껴지는 국어에서 AI가 좋은 성적을 받아들었다는 뉴스를 봤을 때 어안이 벙벙했습니다. 더구나 챗GPT의 'o1-프리뷰'가 틀렸다는 한 문제는 비문학 영역입니다. '보다 인간적'으로 느껴지는 문학 영역은 전부 맞혔습니다.

o1-프리뷰에게 수능을 풀게 한 마커 AI의 정철현 대표와 진민성 연구원 설명을 듣고 또 한번 놀랐습니다. o1-프리뷰의 고득점 비결이 '바로 답을 내놓지 않고 여러 개의 답안을 고민하고 선택한 것'이기 때문입니다. "조금 더 생각을 곱씹으면서 한" 게 o1-프리뷰가 메타의 AI나 챗GPT의 다른 모델보다 좋은 성적을 받아든 이유라고 해요.

AI는 누구보다 많은 문제와 답을 학습한 데다 문제를 풀기 위해 최적화된 사고 과정까지 탑재한 교사가 아닐까요.

교육부가 교과서에 도입한다는 인공지능은 o1-프리뷰 같은 거대언어모델(LLM)이 아니라 훨씬 단순한 버전이긴 합니다. 학생이 문제를 풀면 그 데이터를 수집해 오답 패턴을 예측하고 오답을 줄이는 데 중점을 둡니다. 지난 8월 점선면Lite에서 관련 내용을 소개해 드린 적 있지요.

AI의 수능 국어 만점은 시간문제일 겁니다. 더 빠르게, 더 많은 답을 맞히는 것이 유일한 목표라면 그 분야에서 AI를 당할 수 없으니까요. 혹자는 'AI도 풀 수 있는' 수능 문제 자체를 비판하기도 합니다. 수능은 '패턴 학습'을 통해 풀 수 있는 문제의 묶음일 뿐 학생들의 창의력이나 사고력을 평가하지 못하는 도구라는 주장입니다.

"교육에서 AI를 많이 활용할수록 우리는 더 긴장하고 공부를 해야 한다. 확신을 가지면 안 된다." "무분별하게 AI가 제시하는 답변을 수용하지 않는 연습을 해야 한다."

정 대표와 진 연구원의 당부입니다. AI를 제대로 활용하려면 '비판적 사고 능력'을 갖춰야 한다는 겁니다. 그런데 그간 입시 교육은 정답을 의심하지 않고 내면화한 뒤 그 방식을 다른 문제에 적용하는 능력을 요구해 왔어요. AI가 도입되는 지금이야말로 학교 교육이 다른 길을 찾지 않으면 안 될 때 같아요. '디지털 리터러시' '창의력' '사고력' 같은 거창한 말들 사이에서 제대로 된 활로를 찾아낼 수 있을까요? 독자님의 생각도 궁금합니다.

✦ 1. 2025학년 수능 국어영역에서 챗GPT 최신 버전이 1등급을 받았다.

✦ 2. 챗GPT에게 수능을 보게 한 스타트업 연구진은 '생각의 사슬'을 통한 AI의 추론 능력이 향상됐기 때문이라고 진단했다. 더 빨리 더 많은 정답을 맞혀야 하는 수능에서 인간이 AI를 이기기는 점차 힘들어질 것이다.

✦ 3. AI 시대가 요구하는 '비판적 사고 능력'은 입시 경쟁이 요구하던 능력과 정반대다. 학교 교육은 어디로 나아가야 할까.

사도광산 추도식, 왜 실패인가

한·일 정부가 합의한 '사도광산 추도식'이 한국 정부와 강제동원 유가족 참석 없이 열리면서 외교 실패라는 비판이 제기됩니다. 무슨 일인지 정희완 기자가 짚었습니다.

유·무죄 가른 건 '고의성'

이재명 더불어민주당 대표가 최근 두 건의 재판에서 1건 유죄, 1건 무죄를 선고 받았습니다. 유무죄를 가른 것은 '고의성 인정 여부'였습니다. 판결문을 뜯어봤습니다.

서울에서 창원팀 응원하기

플랫 시리즈 <'얼빠' 아니고 '야빠'인데요> 중 글 한 편을 가져왔어요. 창원에서 19년을 살다 서울로 온 김정화 기자가 NC 다이노스를 응원하는 마음을 이야기합니다.

문신 지워드립니다

1만개가 넘는 문신을 지워 온 의사 박재웅씨를 만났습니다. 그는 "문신은 개인의 자유이고, 문신이 아닌 문신에 대한 편견이 문제"라면서도 문신을 하기 전 숙고하라고 말합니다.

📬 20대 초반 대학생입니다. 개인적으로는 장례식이라는 행위의 필요에 대해 동의하진 못했습니다. 이미 세상에 없는 이를 위해서 돈과 시간을 들여서 무언가를 한다는 게 납득이 가지 않았습니다. 이번 글을 읽고 생각이 바뀌었습니다. 장례는 떠난 이가 아니라 남아있는 이를 위한 일이라는 말이 와닿았습니다. 보편적 장례복지, 죽음의 하한선이 정말 필요한 것 같습니다.

　고독사에 대한 다른 관점도 새로웠습니다. 점차 혈연 관계, 법적 가족만 중요하지 않은 세상이 오고 있는 것 같습니다. 논외이지만 생활동반자 법안이 말 나온 적 있듯, 다양한 형태의 가족이 세상에 나오고 있습니다. '고인은 우리가 원래 알던 분은 아니지만 우리랑 상관없는 분이 아니다' 라는 문장이 참 인상 깊었네요. 우리는 미래 세대에게 죽음을 어떤 방식으로 가르쳐 주어야 할까요? (꼬똥드툴레아님)

📬 법적 가족이 누구에게나 당연하지 않은 시대라는 분석에, 무연고 사망·고독사가 더욱 저의 문제로 와닿았습니다. 가족의 형태가 변하는 만큼, 삶과 죽음의 존엄성을 지키기 위한 방법이 더 많이 논의되어야하는 시기에 필요하고 또 마음에 새기고 싶은 레터였습니다. (기차안에서님)

📬 고독사라는 주제는 피상적 연민입니다. 사회적 장례란 의미있기도 하나, 고독사가 불행한 죽음이라는 전제 하에 접근하는 거죠. 보다 긍정적인 접근은 고독사냐 아니냐가 아니라, 1인 가족이든 아니든 고령층이 죽기 전에 적절한 의료와 생계 지원을 받을 수 있느냐, 사회적 연결(노조, 모임, 마을 주민 등)로 만족스러운 일상을 지내느냐, 숙련 기술과 지식 등을 노년에도 활용할 수 있느냐 등입니다. 1인 가구든 다인 가구든 행복하게 사는 사회, 이게 우리 시대의 과제입니다. (익명의 독자님)

📬 가까운 관계가 아니더라도 동네에서 오며가며 인사하는 어르신이나 단골가게 사장님도 며칠 안 보이시면 걱정하곤 했는데, 후에 안 좋은 소식을 듣게 되면 삶의 헛헛함과 허망함이 배가 되더라고요. 죽음에도 돈이 든다는 현실적인 문제가 개입되지 않는다면 대부분의 사람들이 이런 의견에 공감할 거 같아요. 문제는 늘 그렇듯 돈인데, 이를 '죽음의 하한선'을 만든다는 공영장례제도로 느리지만 해결해 나가고 있는 모습에 조금 안심이 되네요. 저도 공영장례 조문을 다녀와봐야겠다는 생각이 드네요. (낭만고먐미님)

📬 삶을 영위하는데도 돈이 필요하지만, 죽음에도 돈이 필요하다는 사실이 씁쓸했어요. 우리 사회가 좀 더 고독에 관심을 갖고, 정부도, 지자체도, 시민들의 의식도 점점 나아졌으면 좋겠어요. (하얀나라님)

📝 지난 점선면Lite <🌠 먼 이웃의 죽음>에 보내주신 독자님들의 이야기입니다.

영화 <딸에 대하여>를 독자님들께 추천드리고 싶어요. 젊은 시절 이름을 날렸지만 치매에 걸리자 아무도 찾아오지 않는 노인 이제희, 그를 돌보는 요양보호사 엄마, 그의 레즈비언 딸 그린이 주인공입니다. 이들은 모두 혈연이나 혼인으로 맺어진 가족이 남아있지 않거나 한 줌뿐이에요. 영화는 홀로 된 이의 죽음뿐 아니라 중년과 노년의 생활도 상상하게 만듭니다. 독자님들이 남겨주신 메시지와도 맞닿는 부분이 있는 것 같아요.

뉴스레터 점선면은 독자님의 이야기로 더 풍성해집니다. 레터를 읽고 떠오른 생각이나 통찰이 있다면 언제든 아래 버튼을 눌러 남겨주세요.

오늘 읽은 레터 어땠나요?😉

💌 의견 전달하기