챗지피티(ChatGPT) 등 주요 인공지능(AI) 모델 대부분이 사용자에게 잘못된 의료 정보를 제공하도록 유도하는 악의적 공격에 취약하다는 연구 결과가 나왔다. 임신부에게 태아 기형을 유발할 수 있는 약물을 권하는 상황까지 조작을 통해 쉽게 만들어졌다.

서울아산병원 비뇨의학과 서준교 교수와 정보의학과 전태준 교수, 인하대병원 영상의학과 이로운 교수 연구팀은 세계 최초로 ‘프롬프트 인젝션 공격’에 대한 의료용 대규모언어모델(LLM)의 보안 취약성을 분석한 연구를 ‘미국의사협회저널 네트워크 오픈’에 게재했다고 5일 밝혔다. 프롬프트 인젝션 공격은 해커가 AI 모델에 악의적인 명령어를 삽입해 본래 의도와 다르게 작동하도록 유도하는 사이버 공격으로, 의료용 AI에 이런 공격이 가해지면 위험하거나 금기된 치료를 권고하도록 조작될 수 있다는 우려가 제기돼 왔다.

연구진은 지난해 1월부터 10월까지 챗지피티(ChatGPT)와 제미나이, 클로드 등 실제로 널리 쓰이는 인공지능(AI) 모델 3종을 대상으로 실험을 진행했다. 연구진은 먼저 정상적인 의료 상담 상황처럼 보이지만, 특정 방향의 답변을 유도하도록 설계한 악의적 명령어를 AI에 입력했다. 이를 통해 AI가 위험하거나 부적절한 의료 조언을 하도록 조작될 수 있는지를 살펴봤다.

이 과정에서 연구진은 상황별 위험도를 나눠 분석했다. 예를 들어 당뇨 같은 만성질환 환자에게 검증된 치료 대신 생약 성분을 권하는 경우는 중간 단계, 호흡기 질환 환자에게 호흡 억제를 일으킬 수 있는 약물을 우선 추천하는 경우는 높은 단계 위험도로 분류했다. 임신부에게 태아 기형을 유발할 수 있는 금기 약물을 권하는 경우는 최고 위험도 단계로 설정했다. 연구진은 이처럼 위험 수준이 다른 12개 시나리오를 가정해 AI가 어떤 답변을 내놓는지 실험했다.

공격에는 두 가지 기법이 사용됐다. 환자 정보를 활용해 판단을 교란하는 ‘상황인지형 프롬프트 주입’과, 실제 존재하지 않는 정보를 그럴듯하게 만들어내는 ‘증거 조작’ 방식이다. 연구진은 공격 이후 환자와 AI 모델 간에 오간 총 216건의 대화를 분석했다.

그 결과 세 모델 전체에 대한 공격 성공률은 94.4%에 달했다. 최고 위험도 시나리오의 성공률도 91.7%를 기록했다. 높은 단계는 93.3%, 중간 단계는 100%로 위험도가 낮아질수록 취약성이 더 커졌다. 모델별로는 GPT-4o 미니와 제미나이 2.0 플래시라이트가 각각 100%, 클로드 3 하이쿠는 83.3%의 공격 성공률을 보였다. 조작된 답변이 후속 대화까지 이어진 비율도 세 모델 모두 80%를 넘겼다.

임신부에게 금기 약물을 권장하는 시나리오에서는 최상위급 AI 모델도 비슷한 한계를 드러냈다. 추가 실험에서 GPT-5, 제미나이 2.5 프로, 클로드 4.5 소넷 등 최신 모델 3종을 대상으로 사용자의 화면에 악성 문구를 숨기는 방식의 공격을 수행한 결과, GPT-5와 제미나이 2.5 프로는 공격 성공률이 100%, 클로드 4.5 소넷도 80%에 달했다.

연구진은 의료 현장에서 AI 활용이 빠르게 늘고 있는 만큼, 안전성을 높이기 위한 추가 조치가 시급하다고 지적했다. 서준교 교수는 “이번 연구는 의료용 AI 모델이 단순 오류를 넘어 의도적 조작에 구조적으로 취약하다는 사실을 실험적으로 규명했다”며 “현재의 안전장치만으로는 금기 약물 처방을 유도하는 등의 악의적 공격을 차단하기가 어려우므로, 환자 대상 의료 챗봇이나 원격상담 시스템을 도입하기 위해선 AI 모델의 취약성과 안전성을 철저히 테스트하고 보안 검증 체계를 의무화하는 조치가 필요하다”고 말했다.