엔비디아, 클라우드 없는 실시간 AI 구현…로봇·자율시스템 확산 신호 - 이코노미트리뷴

[이코노미트리뷴 = 김용현 기자] 엔비디아가 구글 딥마인드의 멀티모달 인공지능(AI) 모델 ‘Gemma 4’를 소형 엣지 디바이스에서 구동하는 데모를 공개하며, 온디바이스 AI 확산 가능성을 제시했다. 22일 (현지시간) 엔비디아는 Hugging Face 기술 블로그를 통해 ‘Gemma 4 비전-언어 보조(VLA)’ 모델을 자사 엣지 컴퓨팅 모듈 ‘Jetson Orin Nano Super’에서 실행하는 사례를 공개했다. Gemma 4는 약 90억개 파라미터 규모의 멀티모달 모델로, 텍스트와 이미지 정보를 동시에 처리할 수 있는 것이 특징이다. 실시간 영상 스트림을 분석해 장면을 설명하거나 사물·행동에 대한 질문에 응답하는 등 비전과 언어를 결합한 기능을 수행한다. 이번 데모는 해당 모델이 클라우드 서버가 아닌 디바이스 내부에서 직접 구동된다는 점에서 의미가 크다. 기존에는 고성능 AI 연산이 데이터센터 GPU에 의존했다면, 이번 사례는 엣지 환경에서도 실시간 추론이 가능함을 보여줬다는 평가다. ◇ Jetson Orin Nano Super로 실시간 추론 구현 시연에 활용된 ‘Jetson Orin Nano Super’는 16GB LPDDR5 메모리를 탑재하고 최대 80 TOPS 수준의 AI 연산 성능을 제공하는 엣지 모듈로, 엔비디아의 추론 최적화 소프트웨어 TensorRT가 적용됐다. 해당 환경에서 ‘Gemma 4’ 모델은 영상 입력을 처리하는 동시에 초당 30토큰 이상의 텍스트 생성 속도를 기록한 것으로 나타났으며, 별도의 클라우드 API 없이 모든 연산이 로컬에서 수행된 점이 특징이다. 업계에서는 이번 사례를 계기로 AI 처리 구조가 데이터센터 중심에서 디바이스 중심으로 확장되는 흐름이 가속될 것으로 보고 있다. 특히 로봇, 스마트 카메라, 산업용 자동화 장비 등 실시간 판단이 필요한 영역에서 활용도가 높을 것으로 전망된다. 엔비디아 측은 “비전-언어 기능을 엣지 환경에서 구현하는 것은 차세대 자율 시스템의 핵심 요소”라며 “온디바이스 AI는 지연을 줄이고 데이터 보안을 강화하는 동시에 새로운 제품 설계를 가능하게 할 것”이라고 밝혔다. 한편 엔비디아와 Hugging Face는 이번 데모에 사용된 코드와 최적화된 모델을 공개해 개발자들이 동일 환경을 구현하고 응용 서비스를 개발할 수 있도록 지원할 계획이다. [email protected]