앤트로픽의 최첨단 인공지능(AI) 모델이 테스트 도중 가짜 신분으로 사람을 속이고 악성 코드를 심으려 하는 등 이상행동을 보인 것으로 나타났다.

영국 인공지능보안연구소(AISI)는 앤트로픽과 오픈AI 모델을 시험한 결과 이들 모델이 승인되지 않은 작업을 수행하면서 ‘사회공학 기법’을 사용한 사실을 처음 확인했다고 5일(현지시간) CNN이 보도했다. 사회공학 기법은 인간의 심리적 취약점을 이용해 정보를 얻어내는 공격 방법으로 피싱이 대표적이다. AISI는 “실제 사람을 대상으로, 아무 지시 없이 이처럼 심각한 수준의 사기 행위가 확인된 것은 처음”이라고 했다.

AISI는 최근 보고서에서 122번의 사이버 보안 테스트 중 10차례 AI 에이전트가 자율적으로 행동하며 사람과 조직을 표적으로 삼았다고 했다. 앤트로픽 미토스 5 모델에서 다수 사례가 발견됐으며 오픈AI의 GPT-5.6 솔 모델에서도 비슷한 일이 발생했다. 아직 실제 피해 증거는 파악되지 않았다.

테스트에서 이들 AI 에이전트는 오픈소스 프로젝트에 악성 코드를 심으려 했다. 여러 개의 가짜 신분을 만들었고, 실제 사람에게 메시지와 파일을 보내 그 사람의 AI 코딩 도구가 악성 코드를 실행하게 하려 했다. 이 시도가 실패하자 고의로 이뤄진 일이 아닌 것처럼 이전 기록을 수정했다. 관리자가 악성 코드를 발견하면서 AI의 시도는 무위에 그쳤다.

테스트는 안전성 평가를 위해 AI 에이전트의 인터넷 접근 권한 등을 허용하고 안전장치를 제거한 조건에서 이뤄졌다. 앤트로픽은 엑스에서 “(실험) 모델들은 실제 상용 모델과는 다르게 의도적으로 통제되지 않은 환경에서 시험받았다”며 “자체 조사를 진행하면서 AISI와 긴밀하게 협력해 이번 사건의 세부 정황을 파악하고 있다”고 밝혔다.

최근 메타에서도 자체 테스트 과정에서 비슷한 문제가 나타났다.

사이버 보안 전문가 마크 로저스는 폴리티코에 “이런 공격이 인간 소행이었다면 명백히 기소됐을 것”이라며 “컴퓨터 보안법 개정을 논의해야 할 때”라고했다.