사이냅소프트, 구글의 ‘터보퀀트’ 기술 적용…”OCR 메모리 효율 극대화” - AI타임스

도큐먼트 AI 전문 사이냅소프트(대표 전경헌)는 구글이 공개한 최신 벡터 양자화 알고리즘 ‘터보퀀트(TurboQuant)’를 AI 솔루션 ‘사이냅 OCR IX’에 적용했다고 15일 밝혔다. 사이냅 OCR IX는 비전언어모델(VLM)과 AI 에이전트 기술을 결합해 비정형 문서의 맥락을 이해하고 데이터를 추출하는 AI 에이전틱 광학문자인식(OCR) 솔루션이다. 일반적으로 대형언어모델(LLM)이나 VLM을 운영할 때, 긴 문서를 처리할수록 AI의 단기 기억 장치인 ‘KV 캐시(Key-Value Cache)’가 방대한 메모리를 차지해 고가의 고성능 GPU가 요구된다는 한계가 있었다. 사이냅소프트는 이러한 인프라 구축 부담을 해결하기 위해 터보퀀트를 채택했다. 모델의 인식 정확도 손실을 최소화하면서도 KV 캐시를 고도로 압축할 수 있도록 사이냅 OCR IX의 VLM 엔진에 적용한 것이다. 이를 통해 사이냅 OCR IX는 동일 GPU 환경에서 더 긴 컨텍스트와 더 큰 배치를 병목 없이 빠르고 안정적으로 처리할 수 있게 됐다는 설명이다. 고가의 고성능 GPU 서버를 별도로 구축하기 부담스러웠던 고객들의 TCO(총소유비용)을 낮추겠다는 계획이다. 더불어, GPU 인프라 구축이 제한적인 환경을 위해 ‘사이냅 OCR IX CPU 버전’도 지원하고 있다. 자체 개발 모델 특성에 맞춘 정밀 프로파일링으로 연산 효율을 극대화해, 품질 손실을 1% 이하로 억제하면서도 CPU 서버만으로 분당 약 100건 수준의 원활한 추론 처리가 가능하도록 성능을 확보했다고 강조했다. 전경헌 사이냅소프트 대표는 “단순히 자체 기술력에만 머물지 않고, 글로벌 빅테크의 최신 연구 성과인 터보퀀트를 기민하게 상용화해 기존 VLM의 한계를 극복했다”라며 “CPU 버전까지 아우르는 유연한 인프라 지원을 통해, 기업들이 도입 비용 걱정 없이 에이전틱 OCR 환경을 구축하고 실질적인 업무 자동화를 이룰 수 있도록 적극 지원하겠다”라고 말했다. ​​​​장세민 기자 [email protected]