구글의 7세대 TPU ‘아이언우드’. 구글 클라우드 제공

구글이 자체 개발한 텐서처리장치(TPU)가 ‘엔비디아 천하’인 인공지능(AI) 반도체 시장에서 존재감을 키우고 있다. 다만 엔비디아 지위가 역전될 것이라는 전망은 과도하다는 평가가 대체적이다. TPU가 치고 올라오긴 해도, GPU가 왕좌를 쉽게 내줄 상대는 아니라는 것이다.

1일 업계에 따르면 최근 구글이 TPU로 학습했다고 밝힌 새 AI 모델 ‘제미나이 3 프로’가 오픈AI의 최신 모델(GPT-5.1)을 능가하는 성능을 보이면서 TPU가 급격히 부상했다. 구글이 엔비디아 GPU에 의존하지 않고도 고성능 모델을 만들 수 있다는 가능성을 보여줬다는 점에 시장은 주목하고 있다.

이미 구글은 12년 전인 2013년 점차 늘어나는 딥러닝(인간의 뇌 신경망을 모방한 AI 기술) 연산량 증가에 대비해 TPU 개발을 본격화했다. 맞춤형 반도체(ASIC) 설계 전문인 브로드컴과 협력했다. 구글은 2015년부터 음성 인식, 이미지 검색, 번역, 콘텐츠 추천 등 내부 서비스에 TPU를 활용했다. 이전 제미나이 버전을 발표할 때도 TPU를 기반으로 학습했다고 알렸지만 이번처럼 호평을 받진 못했다.

GPU가 다용도로 쓰이는 ‘맥가이버 칼’이라면, TPU는 단일 목적 도구에 가깝다. GPU는 AI, 그래픽, 과학 컴퓨팅 등 활용 분야가 다양하다. 반면 TPU는 특정 AI 연산(딥러닝 행렬 연산)에 특화돼 범용성은 떨어지지만 전력 효율성을 갖췄다.

AI 모델 학습·추론을 막론하고 엔비디아 GPU 성능은 탁월하고 평가된다. 하지만 구하기도 힘든 데다 비싸고 전력을 많이 소모한다. 구글뿐만 아니라 아마존, 메타, 마이크로소프트, 오픈AI 등도 자체 칩을 개발해 엔비디아 의존도를 낮추려 하고 있다.

구글은 자사 클라우드를 통한 TPU 대여를 넘어 직접 판매도 추진 중이다. 메타가 구글 TPU 도입을 검토한다는 보도도 나왔다. 엔비디아에 대한 부정적 전망이 확산하자 엔비디아는 SNS에 “우리는 (TPU와 같은) ASIC보다 뛰어난 성능과 범용성, 호환성을 제공한다”고 밝히기도 했다. 엔비디아의 자신감과 조급함이 동시에 읽힌다.

업계와 전문가들은 ‘TPU가 GPU를 완전히 대체한다’는 식의 전망은 과장됐다고 본다. 두 장치의 특성이 엄연히 다르고, 엔비디아 GPU 위에서만 구동되는 개발 도구 플랫폼 ‘쿠다’(CUDA) 생태계가 막강하기 때문이다. 이미 익숙한 개발 환경을 TPU 기반으로 옮기는 데는 전환 비용이 뒤따른다. AI 업계 관계자는 “구글도 JAX 등 소프트웨어를 제공하고는 있지만 쿠다 생태계를 무시할 순 없다”며 “둘의 활용성이 똑같지 않은 만큼 TPU가 완전히 대체하기는 어려울 것”이라고 말했다.

이병훈 포항공대 전자전기공학과 교수는 “지금은 시장이 10에서 100으로 커지는 국면”이라며 “기존에 10을 독점하던 회사(엔비디아)가 앞으로는 100 중 70 정도만 가져가게 되는 상황으로 볼 수 있다”고 말했다. 이 교수는 “범용성을 가진 GPU와 TPU처럼 효율성을 갖춘 칩이 병행되는 흐름”이라며 “결국 시장 규모가 커지면서 각자 몫을 가져가게 될 것”이라고 했다.

한종목·김은지 미래에셋증권 연구원은 최근 보고서에서 “TPU의 약진이 엔비디아의 붕괴를 의미하지는 않는다”며 “시장은 한쪽이 망하고 다른 쪽이 독식하는 것이 아니라 ‘역할 분담’을 통해 나뉠 것”이라고 봤다.

엔비디아 GPU만으로는 감당하지 못하는 수요를 TPU 등이 분담할 것으로 전망된다. 전체 AI 가속기 시장의 수요 증가는 가속기에 탑재되는 메모리 수요 증가로 이어져 SK하이닉스와 삼성전자에도 긍정적이다. 이 교수는 “TPU든 GPU든 결국 메모리가 필요하다”며 “지금은 시장이 성장하는 단계인 만큼 메모리 시장도 커질 것으로 본다”고 말했다.