구글 '13년 결실' 8세대 TPU, 엔비디아 'AI칩' 독점 흔들까 - 이데일리TV

구글 '13년 결실' 8세대 TPU, 엔비디아 'AI칩' 독점 흔들까 - 학습·추론칩 이원화…'에이전틱AI' 최적화로 경쟁력↑ - 슈퍼사이클 이후 시장의 '가성비 병기' 부상 가능성 - 블룸버그 "TPU, 실리콘밸리서 최근 가장 핫한 상품" Google Cloud. (REUTERS) [이데일리 한광범 기자] 구글이 22일(현지시간) 자체 설계 인공지능(AI) 반도체인 8세대 TPU(TPU 8t·8i)를 전격 선보였다. 강력한 성능과 높은 비용 효율을 앞세운 이번 신제품을 통해 구글은 엔비디아가 장악한 AI 반도체 시장의 독점 체제에 실질적인 균열을 낼 것으로 기대하고 있다.순다르 피차이 구글 최고경영자(CEO)는 이날 미국 라스베이거스에서 개막한 구글 클라우드의 연례 기술 콘퍼런스인 ‘넥스트 2026’에서 “에이전틱 AI는 추론, 계획, 실행의 연속적인 루프 속에서 작동하며, 이는 기존과 전혀 다른 차원의 인프라 요구사항을 발생시킨다”며 “8세대 TPU는 최첨단 모델 학습부터 수백만 개의 에이전트 동시 구동까지 모든 단계를 지원하는 수직 최적화된 시스템”이라고 강조했다. 훈련 전용 8t와 추론 특화 8i로 이원화…100만 칩 연결하는 괴물급 확장성 이번 발표의 핵심은 학습(Training)과 추론(Inference)이라는 AI의 두 핵심 공정에 각각 특화된 전용 칩 아키텍처를 선보였다는 점이다. 학습 전용 가속기인 ‘TPU 8t’는 거대 언어모델(LLM) 개발 주기를 수개월에서 수주 단위로 단축하도록 설계됐다. 단일 슈퍼포드에서 9600개의 칩을 연결해 초당 100경 번 연산이 가능한 121 엑사플롭스의 성능과 2페타바이트의 공유 메모리를 제공한다. 기술적 핵심인 네이티브 FP4(4비트 부동소수점) 방식을 도입해 대규모 훈련 시 이전 세대 대비 달러당 성능을 2.7배나 끌어올렸다. 특히 버고(Virgo) 네트워크를 통해 최대 100만 개 이상의 칩을 하나의 클러스터로 묶어 선형에 가까운 확장성(Near-linear scaling)을 구현했다. 실제 AI 에이전트가 업무를 처리하는 ‘추론’ 영역은 ‘TPU 8i’가 담당한다. 구글은 에이전틱 AI의 응답 지연(렉) 문제를 해결하기 위해 온칩 SRAM 용량을 이전 세대보다 3배 늘린 384MB를 탑재, 데이터를 칩 내부에서 즉각 처리하도록 했다. 또 새롭게 도입된 보드플라이(Boardfly) 토폴로지는 데이터 이동 단계를 기존 16홉에서 7홉으로 단축해 꼬리 지연 시간을 56% 개선했다. 칩 간 동기화 단계를 5배 가속화하는 집합 가속 엔진(CAE)을 통해 TPU 8i는 이전 세대보다 달러당 추론 성능이 80% 향상됐다. 디와카 굽타 수석 엔지니어는 이번 아키텍처 설계 철학에 대해 “AI 인프라는 단순히 부동소수점 연산 속도(FLOPS)를 더하는 것이 아니라 최신 워크로드의 구체적인 운영 강도를 충족하도록 진화해야 한다”고 밝혔다. 이어 “에이전틱 AI의 부상은 긴 컨텍스트 윈도우와 복잡한 순차 로직을 처리할 수 있는 인프라를 요구하며, 새로운 에이전트들은 위험한 시행착오 대신 시뮬레이션된 미래 시나리오를 통해 ‘상상’하며 학습하게 될 것”이라고 강조했다. 구글 8세대 TPU(TPU 8t·8i). (이미지=구글) 자체 설계 CPU ‘액시온’과 수직 최적화 결합… 전력 효율 2배 높인 인프라 독립이는 에이전트가 사람처럼 상황을 판단하고 행동하기 위해 필요한 고도의 추론 능력을 지원하고자 칩의 구조 자체를 재설계했음을 의미한다. 훈련용과 추론용을 분리한 전략은 엔비디아 등 경쟁사들과 궤를 같이한다. 현재 시장을 주도하는 엔비디아 역시 자사 ‘베라 루빈’ 생태계에 루빈 GPU 외에도 추론 전용 언어처리장치(LPU) 기술을 추가하며 라인업을 세분화하고 있다. 구글의 TPU 8t가 루빈 GPU에, TPU 8i가 그록(Groq)의 LPU에 대응해 맞불을 놓는 모양새다. 이번 8세대 TPU의 또 다른 변화는 자체 설계한 Arm 기반 CPU인 액시온(Axion)을 호스트로 전격 통합했다는 점이다. 이를 통해 호스트와 가속기 간의 병목 현상을 제거하고 시스템 전체의 에너지 효율을 이전 세대 대비 최대 2배 개선했다. 또한 4세대 액체 냉각 기술을 적용해 공랭식으로는 감당하기 어려운 성능 밀도를 안정적으로 유지한다. 토마스 쿠리안 구글 클라우드 CEO는 파이토치(PyTorch) 네이티브 지원이라는 승부수를 던지며 “파편화된 시스템을 조각조각 이어 붙이는 대신 하드웨어부터 소프트웨어까지 함께 개발된 수직 최적화 스택을 제공한다”고 가격 경쟁력을 자신했다. 트랜잭션당 비용 최소화에 승부수…엔비디아 아성 흔드는 ‘가장 핫한 상품’ 이러한 구글의 ‘칩 독립’ 역사는 2013년 비밀리에 시작되어 2016년 ‘알파고’의 두뇌로 이름을 알린 이후 10년 넘게 이어진 집념의 산물이다. 업계에서는 반도체 공급 부족이 해소되는 포스트 슈퍼 사이클 시기에 접어들면, 기업들이 단순 성능보다는 운영 비용(TCO)과 전력 효율에 집중하게 되어 구글 TPU의 가성비 경쟁력이 더욱 높아질 것으로 내다보고 있다. 블룸버그는 구글이 엔비디아가 장악한 시장에서 가장 성공적인 자체 칩 제조사 중 하나로 부상했으며, 최근 실리콘밸리에서 TPU가 ‘가장 핫한 상품(Hot commodity)’이 됐다고 평가했다. 마크 로메이어 구글 컴퓨팅 및 AI 인프라 부사장은 블룸버그 인터뷰에서 “결국 핵심은 거래당 최저 비용으로 최저 지연 시간의 응답을 제공하는 것”이라며 “트랜잭션 수가 급증하고 있는 만큼 규모의 확장을 위해 거래당 비용은 획기적으로 낮아져야 한다”고 강조했다. 저작권자 © 이데일리 & 이데일리TV - 상업적 무단전재 & 재배포 금지 지금 뜨는 뉴스 추천 읽을거리 VOD 하이라이트 - - 무료 / 인기 2026.04.18 - 이난희의 333 153회260418 - - 무료 / 인기 2026.04.18 - 주식 클래스 346회 (20260418) - - 무료 / 인기 2026.04.18 - 부동산 로드맵 8회 (20260418) - - 무료 / 인기 2026.04.18 - 주태영의 주식사서함56회(260418) - - 무료 / 인기 2026.04.17 - [정필승] 개인투자자 고충 처리반 | 新대가들의투자비법 (20260417) - - 무료 / 인기 2026.04.21 - 주식투자 고민해결사 1회 (260416) - - 무료 / 인기 2026.04.17 - 어쨌든 경제 34회 (20260417) - - 무료 / 인기 2026.04.20 - 마켓나우 2부 492회 (20260420)