“AI는 이제 추론 시대” SKT, Arm·리벨리온과 저전력 AI 인프라 개발 - 테크데일리

[테크데일리] SK텔레콤이 글로벌 반도체 기업 Arm, AI 반도체 스타트업 리벨리온과 손잡고 차세대 AI 인프라 구축에 나선다. SK텔레콤은 지난 9일 Arm, 리벨리온과 전략적 업무협약(MOU)을 체결하고 AI 추론에 최적화된 데이터센터 인프라를 공동 개발하기로 했다고 밝혔다. 이번 협력은 Arm의 ‘AGI CPU’와 리벨리온의 ‘리벨카드(RebelCard)’를 결합한 서버 설루션을 개발하고, 이를 SK텔레콤 AI 데이터센터에서 실증하는 것이 핵심이다. 이번 협력의 배경에는 AI 산업의 패러다임 변화가 자리한다. 기존에는 대규모 데이터를 학습하는 ‘트레이닝(Training)’ 중심이었지만, 최근에는 실제 서비스 제공 단계인 ‘추론(Inference)’의 중요성이 빠르게 커지고 있다. 추론은 24시간 지속적으로 운영되는 만큼 전력 효율과 비용 절감이 핵심 경쟁 요소로 떠오르고 있다. 이러한 흐름 속에서 GPU 중심 구조의 한계도 부각되고 있다. GPU는 강력한 연산 성능을 갖췄지만, 추론 작업에는 과도한 전력과 비용이 발생한다는 단점이 있다. 이에 따라 업계에서는 추론에 특화된 NPU(신경망처리장치)가 새로운 대안으로 부상하고 있다. SK텔레콤은 CPU와 NPU를 결합한 ‘이종 컴퓨팅’ 구조를 통해 문제를 해결한다는 전략이다. Arm의 AGI CPU가 데이터 처리와 시스템 운영을 담당하고, 리벨리온의 NPU가 AI 추론 연산을 수행하는 방식이다. 이를 통해 전력 효율을 높이면서도 운영 비용을 낮출 수 있다는 설명이다. 특히 Arm AGI CPU는 Arm이 데이터센터 시장을 겨냥해 처음 선보인 프로세서로, AI 추론 서비스에 최적화된 설계가 특징이다. 리벨리온의 리벨카드 역시 대규모 AI 추론 처리에 특화된 고성능 칩으로 평가된다. 양사의 기술을 결합하면 고효율 AI 인프라 구축이 가능할 것으로 기대된다. 세 회사는 이미 해당 기술의 가능성을 검증한 바 있다. 지난 ‘Arm Everywhere’ 행사에서는 두 칩을 결합해 대규모 언어모델 기반 AI 서비스를 실시간으로 시연하며 상용화 가능성을 입증했다. SK텔레콤은 향후 이 설루션을 자사 AI 데이터센터에 적용해 성능과 안정성을 검증할 계획이다. 또한 자체 개발한 AI 파운데이션 모델 ‘A.X K1’을 해당 인프라에서 운영하는 방안도 검토 중이다. 업계에서는 이번 협력이 AI 데이터센터 구조 변화의 신호탄이 될 수 있다는 평가가 나온다. AI 서비스 확산과 함께 전력 효율과 비용 최적화가 핵심 경쟁력으로 떠오르는 가운데, SK텔레콤은 이번 협력을 통해 저전력·고효율 AI 인프라 확보에 속도를 낼 것으로 보인다. SK텔레콤 관계자는 “AI 추론에 최적화된 인프라와 자체 AI 모델을 결합해 데이터센터 경쟁력을 강화하겠다”고 밝혔다.