구글 '13년 결실' 8세대 TPU, 엔비디아 'AI칩' 독점 흔들까 - 네이트

- 슈퍼사이클 이후 시장의 '가성비 병기' 부상 가능성 - 블룸버그 "TPU, 실리콘밸리서 최근 가장 핫한 상품" | 순다르 피차이 구글 최고경영자(CEO)는 이날 미국 라스베이거스에서 개막한 구글 클라우드의 연례 기술 콘퍼런스인 ‘넥스트 2026’에서 “에이전틱 AI는 추론, 계획, 실행의 연속적인 루프 속에서 작동하며, 이는 기존과 전혀 다른 차원의 인프라 요구사항을 발생시킨다”며 “8세대 TPU는 최첨단 모델 학습부터 수백만 개의 에이전트 동시 구동까지 모든 단계를 지원하는 수직 최적화된 시스템”이라고 강조했다. 훈련 전용 8t와 추론 특화 8i로 이원화…100만 칩 연결하는 괴물급 확장성 이번 발표의 핵심은 학습(Training)과 추론(Inference)이라는 AI의 두 핵심 공정에 각각 특화된 전용 칩 아키텍처를 선보였다는 점이다. 학습 전용 가속기인 ‘TPU 8t’는 거대 언어모델(LLM) 개발 주기를 수개월에서 수주 단위로 단축하도록 설계됐다. 단일 슈퍼포드에서 9600개의 칩을 연결해 초당 100경 번 연산이 가능한 121 엑사플롭스의 성능과 2페타바이트의 공유 메모리를 제공한다. 기술적 핵심인 네이티브 FP4(4비트 부동소수점) 방식을 도입해 대규모 훈련 시 이전 세대 대비 달러당 성능을 2.7배나 끌어올렸다. 특히 버고(Virgo) 네트워크를 통해 최대 100만 개 이상의 칩을 하나의 클러스터로 묶어 선형에 가까운 확장성(Near-linear scaling)을 구현했다. 실제 AI 에이전트가 업무를 처리하는 ‘추론’ 영역은 ‘TPU 8i’가 담당한다. 구글은 에이전틱 AI의 응답 지연(렉) 문제를 해결하기 위해 온칩 SRAM 용량을 이전 세대보다 3배 늘린 384MB를 탑재, 데이터를 칩 내부에서 즉각 처리하도록 했다. 또 새롭게 도입된 보드플라이(Boardfly) 토폴로지는 데이터 이동 단계를 기존 16홉에서 7홉으로 단축해 꼬리 지연 시간을 56% 개선했다. 칩 간 동기화 단계를 5배 가속화하는 집합 가속 엔진(CAE)을 통해 TPU 8i는 이전 세대보다 달러당 추론 성능이 80% 향상됐다. 디와카 굽타 수석 엔지니어는 이번 아키텍처 설계 철학에 대해 “AI 인프라는 단순히 부동소수점 연산 속도(FLOPS)를 더하는 것이 아니라 최신 워크로드의 구체적인 운영 강도를 충족하도록 진화해야 한다”고 밝혔다. 이어 “에이전틱 AI의 부상은 긴 컨텍스트 윈도우와 복잡한 순차 로직을 처리할 수 있는 인프라를 요구하며, 새로운 에이전트들은 위험한 시행착오 대신 시뮬레이션된 미래 시나리오를 통해 ‘상상’하며 학습하게 될 것”이라고 강조했다. | 이는 에이전트가 사람처럼 상황을 판단하고 행동하기 위해 필요한 고도의 추론 능력을 지원하고자 칩의 구조 자체를 재설계했음을 의미한다. 훈련용과 추론용을 분리한 전략은 엔비디아 등 경쟁사들과 궤를 같이한다. 현재 시장을 주도하는 엔비디아 역시 자사 ‘베라 루빈’ 생태계에 루빈 GPU 외에도 추론 전용 언어처리장치(LPU) 기술을 추가하며 라인업을 세분화하고 있다. 구글의 TPU 8t가 루빈 GPU에, TPU 8i가 그록(Groq)의 LPU에 대응해 맞불을 놓는 모양새다. 이번 8세대 TPU의 또 다른 변화는 자체 설계한 Arm 기반 CPU인 액시온(Axion)을 호스트로 전격 통합했다는 점이다. 이를 통해 호스트와 가속기 간의 병목 현상을 제거하고 시스템 전체의 에너지 효율을 이전 세대 대비 최대 2배 개선했다. 또한 4세대 액체 냉각 기술을 적용해 공랭식으로는 감당하기 어려운 성능 밀도를 안정적으로 유지한다. 토마스 쿠리안 구글 클라우드 CEO는 파이토치(PyTorch) 네이티브 지원이라는 승부수를 던지며 “파편화된 시스템을 조각조각 이어 붙이는 대신 하드웨어부터 소프트웨어까지 함께 개발된 수직 최적화 스택을 제공한다”고 가격 경쟁력을 자신했다. 트랜잭션당 비용 최소화에 승부수…엔비디아 아성 흔드는 ‘가장 핫한 상품’ 이러한 구글의 ‘칩 독립’ 역사는 2013년 비밀리에 시작되어 2016년 ‘알파고’의 두뇌로 이름을 알린 이후 10년 넘게 이어진 집념의 산물이다. 업계에서는 반도체 공급 부족이 해소되는 포스트 슈퍼 사이클 시기에 접어들면, 기업들이 단순 성능보다는 운영 비용(TCO)과 전력 효율에 집중하게 되어 구글 TPU의 가성비 경쟁력이 더욱 높아질 것으로 내다보고 있다. 블룸버그는 구글이 엔비디아가 장악한 시장에서 가장 성공적인 자체 칩 제조사 중 하나로 부상했으며, 최근 실리콘밸리에서 TPU가 ‘가장 핫한 상품(Hot commodity)’이 됐다고 평가했다. 마크 로메이어 구글 컴퓨팅 및 AI 인프라 부사장은 블룸버그 인터뷰에서 “결국 핵심은 거래당 최저 비용으로 최저 지연 시간의 응답을 제공하는 것”이라며 “트랜잭션 수가 급증하고 있는 만큼 규모의 확장을 위해 거래당 비용은 획기적으로 낮아져야 한다”고 강조했다. ▶ 관련기사 ◀ ☞ 호르무즈 틀어쥔 이란 vs 원해 봉쇄 나선 미국…‘해상 충돌 격화' ☞ [속보]유가 급등에 뉴욕증시 ‘숨고르기'…텍사스 인스트루먼트 19%↑ ☞ SK하이닉스 실적 잔칫날, 삼전 노조는 '춘투' 으름장 ☞ 왕년의 '500만원 황제주' 돌아왔다…SKT 주가 요즘 뜨거운 이유 ☞ 안성재 믿고 갔는데…'와인 바꿔치기' 결국 사과 [바이오 성공 투자 '1%를 위한 길라잡이' 팜이데일리] [새로워진 '이데일리 연재 시리즈' 취향대로 PICK하기] [뉴땡 Shorts 아직 못봤어? 뉴스가 땡길 때, 1분 순삭!] [10대의 뉴스는 다르다. 하이스쿨 커뮤니티 '하이니티'] [다양한 미국 주식정보! 꿀 떨어지는 '이유TV'에서 확인!] [빅데이터 AI트레이딩 솔루션 '매직차트'] ＜ⓒ종합 경제정보 미디어 이데일리 - 무단전재 & 재배포 금지＞