엔비디아 “AI 인프라, FLOPS 아닌 ‘토큰당 비용’으로 평가해야” - 테크데일리

생성형 AI 시대, 데이터센터 ‘토큰 생산 공장’으로 진화 GPU 가격보다 ‘토큰 처리량’이 수익성 결정 블랙웰, 호퍼 대비 토큰 비용 35배 절감…AI 경제성 재편 [테크데일리] 생성형 인공지능(AI) 확산과 함께 AI 인프라의 경제성을 평가하는 기준이 빠르게 변화하고 있다. 기존에는 GPU 가격이나 연산 성능(FLOPS)이 주요 지표였지만, 이제는 ‘토큰당 비용(Cost per Token)’이 AI 수익성을 판단하는 핵심 기준으로 떠오르고 있다. 업계에 따르면 AI 데이터센터는 더 이상 단순한 데이터 저장·처리 시설이 아니라, 텍스트와 응답을 생성하는 ‘토큰 생산 공장’으로 진화하고 있다. 특히 AI 추론이 주요 작업으로 자리 잡으면서, 기업이 실제로 얻는 결과물은 연산량이 아닌 ‘토큰 출력’이라는 점이 강조된다. 이러한 변화 속에서 기존의 평가 방식은 한계를 드러내고 있다. 기업들은 여전히 GPU 시간당 비용이나 달러당 FLOPS 같은 입력 지표에 집중하는 경향이 있지만, 이는 실제 비즈니스 성과를 제대로 반영하지 못한다. 입력이 아닌 출력 중심으로 접근해야 한다는 지적이다. 토큰당 비용은 AI 시스템이 생성하는 결과물 1단위에 드는 총비용을 의미한다. 일반적으로 ‘백만 토큰당 비용’으로 계산되며, 하드웨어 성능뿐 아니라 소프트웨어 최적화, 네트워크, 전력 효율, 시스템 활용도 등 전체 인프라 요소를 반영한다는 점에서 총소유비용(TCO)의 핵심 지표로 평가된다. 특히 토큰당 비용을 낮추기 위해서는 단순히 GPU 가격을 낮추는 것이 아니라 ‘초당 토큰 처리량’을 극대화하는 것이 중요하다. 동일한 인프라에서도 더 많은 토큰을 생산할수록 단위 비용은 낮아지고, 이는 곧 서비스 수익성 개선으로 이어진다. 이 같은 개념은 ‘추론 빙산’이라는 비유로 설명된다. GPU 가격이나 FLOPS는 수면 위에 보이는 요소인 반면, 실제 성능을 좌우하는 소프트웨어 최적화, 네트워크 구조, 메모리 효율 등은 수면 아래에 숨어 있다는 것이다. 실제 사례에서도 이러한 차이는 뚜렷하게 나타난다. 엔비디아의 최신 AI 플랫폼인 블랙웰은 이전 세대 호퍼 대비 GPU 비용은 약 2배 높지만, 초당 토큰 처리량은 최대 65배 증가한 것으로 분석됐다. 그 결과 백만 토큰당 비용은 약 35배 낮아지는 효과를 보였다. 이는 단순한 연산 성능 향상이 아닌, 전체 시스템 최적화를 통한 ‘출력 중심 혁신’이라는 평가다. 특히 전력당 토큰 생산량에서도 큰 차이를 보여, 동일한 에너지로 훨씬 많은 AI 서비스를 제공할 수 있는 것으로 나타났다. 전문가들은 앞으로 AI 인프라 투자 기준이 크게 바뀔 것으로 전망한다. 단순한 하드웨어 성능 경쟁에서 벗어나, 실제 서비스 제공 능력과 수익성을 반영하는 토큰 기반 지표가 중심이 될 것이라는 분석이다. 업계 관계자는 “AI 시대에는 얼마나 많은 연산을 하느냐보다, 얼마나 효율적으로 결과를 만들어내느냐가 중요하다”며 “토큰당 비용은 AI 비즈니스의 실질적인 경쟁력을 보여주는 지표”라고 설명했다. 이에 따라 기업들은 AI 인프라 도입 시 단순 가격 비교를 넘어, 토큰 처리량과 전체 시스템 최적화 수준을 종합적으로 고려해야 할 것으로 보인다.