SKT, 'CPU+NPU' AI 서버 솔루션 개발…AI 데이터센터 경쟁력 강화 - theitplus.kr

SK텔레콤이 반도체 설계 기업 Arm, 국내 AI 반도체 스타트업 리벨리온과 손잡고 AI 데이터센터 사업 협력에 나선다. SK텔레콤은 9일 Arm, 리벨리온과 AI 인프라 구축을 위한 전략적 파트너십(MOU)을 체결했다고 밝혔다. 이번 협약에 따라 3개사는 Arm의 'Arm AGI CPU'와 리벨리온이 출시 예정인 '리벨카드(RebelCard™)'를 하나의 서버에 함께 탑재해 AI 추론 성능을 높일 수 있는 솔루션을 공동 개발한다. 개발된 솔루션은 SK텔레콤의 AI 데이터센터에서 실증할 예정이다. 이번 협력의 배경에는 AI 산업의 중심축이 AI 모델을 만드는 '학습(Training)'에서 실제 서비스를 구현하는 '추론(Inference)'으로 옮겨가고 있는 흐름이 깔려 있다. 이에 따라 AI 인프라의 핵심 과제도 학습을 위한 대규모 연산 능력 확보에서, 적은 전력으로 빠르고 저렴하게 AI 서비스를 제공하는 방향으로 전환되고 있다. 추론은 365일 멈추지 않고 작동해야 하는 만큼, 전력 효율이 곧 비용 경쟁력과 직결된다는 설명이다. AI 추론은 학습과 달리 상대적으로 가벼운 연산을 빠르게, 반복적으로 처리하는 작업이다. GPU도 이런 추론 작업에 활용할 수 있지만, 대형 트럭으로 택배를 배달하는 것처럼 전력 소모가 크고 비용 부담도 높다. 이 때문에 업계에서는 추론에 특화된 전용 칩인 NPU(Neural Processing Unit, 신경망처리장치)가 새로운 대안으로 떠오르고 있다. NPU에 CPU를 결합하는 이유도 분명하다. 실제 AI 서비스 운영 환경에서는 AI 연산뿐 아니라 데이터 입출력, 네트워크 통신, 메모리 관리, 작업 스케줄링 등 다양한 범용 처리도 동시에 이뤄져야 한다. CPU는 시스템의 관제탑 역할을 맡아 데이터 흐름과 시스템 운영 전반을 총괄하고, NPU는 AI 추론 연산을 전담한다. 이 같은 이종 컴퓨팅(Heterogeneous Computing) 구조가 시스템 성능과 효율을 높일 수 있다는 것이다. 'Arm AGI CPU'는 Arm이 처음으로 직접 생산하는 데이터센터용 프로세서로, AI 추론 서비스에 최적화된 것이 특징이다. 리벨리온의 '리벨카드(RebelCard™)' 역시 대규모 AI 추론에 특화된 NPU다. 두 칩을 하나의 서버 안에 탑재하면 CPU가 데이터 처리와 시스템 운영 등 범용 연산을 맡고, NPU가 AI 추론 연산을 담당하는 구조가 된다. SK텔레콤은 이 같은 방식이 대규모 AI 서비스를 운영하는 데이터센터에 적합한 효율적 서버 아키텍처라고 설명했다. SK텔레콤은 이 솔루션이 적용된 서버를 자사 AI 데이터센터에 탑재해 성능과 안정성을 검증할 계획이다. 아울러 해당 서버에서 SK텔레콤이 독자 개발한 AI 파운데이션 모델 에이닷엑스 케이원(A.X K1)을 운영하는 방안도 함께 검토하고 있다.