구글 훈련·추론 분리한 8세대 TPU공개…엔비디아 정조준 - 한겨레

구글이 자사 인공지능 칩인 8세대 텐서처리장치(TPU)를 새로 공개했다. 인공지능의 ‘학습’과 ‘추론’을 겸용해왔던 전작들과 달리, 기능별 최적화를 위해 각 임무에 특화된 두 종류의 칩을 한꺼번에 내놨다. 구글의 이번 신제품이 그래픽처리장치(GPU)를 필두로 인공지능 반도체 시장에서 압도적 우위를 점하고 있는 엔비디아 체제에 균열을 낼지 관심이 쏠린다. 구글 클라우드는 22일(현지시각) 미국 라스베이거스에서 열린 ‘구글 클라우드 넥스트 2026’에서 훈련용 텐서처리장치 8티(t·training)와 추론용 텐서처리장치 8아이(i·inference)를 내보였다. 인공지능은 무수한 데이터를 읽으며 패턴을 익히는 학습 과정을 거치고, 이후 학습한 내용을 토대로 사용자의 요구에 맞는 결과물을 내놓는 추론 과정을 거친다. 엔비디아의 그래픽처리장치는 물론, 구글의 이전 세대 모델들 또한 학습과 추론 과정에서 범용으로 사용돼왔는데 이번에 처음으로 물리적 기능 분리가 이뤄진 것이다. 학습용 8티는 한 팟(묶음)에 칩 9600개를 연결해 초당 121엑사플롭스(1엑사플롭스=1초당 100경번 계산) 수준의 연산 성능을 보인다. 전작인 아이언우드보다 3배 가까이 성능을 끌어올렸다. 구글은 8t의 압도적인 컴퓨팅 성능으로 수 개월 걸리던 학습 기간을 몇 주로 단축 할 수 있다고 강조한다. 추론용 8아이는 동시 작업 처리 능력을 키우고 지연 시간을 줄였다. 288GB(기가바이트)의 고대역폭메모리(HBM)와 이전 세대 텐서처리장치보다 3배 커진 384MB(메가바이트) 규모의 에스(S) 램을 탑재해 메모리 병목을 줄여 더 빠른 응답이 가능해졌다. 구글은 설계 혁신으로 이전 세대보다 달러당 계산 성능을 80%까지 높일 수 있다고 밝혔다. 구글이 이같은 물리적 기능 분리에 나선 건 인공지능 에이전트(비서)를 구현하기 위해 인공지능 칩의 최적화가 필요하다고 판단했기 때문이다. 학습 과정에선 거대한 데이터를 처리하기 위해 대규모 연산 수행 능력이 중요한 반면, 추론 과정에선 데이터를 빠르게 읽어내고 여러 작업을 동시 처리하는 능력이 필요하다. 특히 인공지능 비서 수준의 기능을 구현하기 위해선 이전 대화 내용과 웹 검색의 결과를 모두 기억하는 동시에 연쇄적으로 사고하고 검증하는 과정이 필요해 추론 성능의 중요성이 더욱 부각되는 상황이다. 구글 클라우드는 “인공지능 모델이 대규모로 배포됨에 따라 고객들로부터 추론에 대한 수요가 증가할 것으로 예상했다”며 “인공지능 에이전트의 등장으로 학습과 서비스(추론) 각각의 요구 사항에 맞춰 개별적으로 최적화된 칩을 제공하는 게 도움이 될 것이라 판단했다”고 밝혔다. 구글은 올해 하반기에 8세대 텐서처리장치를 정식 출시할 예정이다. 강재구 기자 [email protected]