MLC-LLM으로 iOS에서 로컬 LLM(Gemma 3) 실행하기

Gemma 3 모델을 MLC-LLM을 통해 iOS 기기에서 로컬로 구동하는 방법과 실구동 성능 지표를 정리한 포스팅입니다. 요약 MLC-LLM 활용 : Metal API 가속을 통해 모바일 기기에서도 지연 시간(Latency)이 거의 없는 쾌적한 추론 환경 구축 Gemma 3 1B 빌드 과정 : Hugging Face 모델 다운로드부터 q4f16_1 양자화, 대화 템플릿(gemma3_instruction) 적용 및 Metal 커널 컴파일까지의 전체 워크플로우 가이드 성능 및 리소스 지표 : Gemma 2 2B : 약 2.4GB VRAM 점유 Gemma 3 1B : 약 1.14GB VRAM 점유 실행 팁 : mlc-package-config.json 설정을 통해 커스텀 모델을 Xcode 프로젝트에 패키징하는 방법 포함 평가 MLC-LLM을 활용하면 고성능 LLM을 iOS 기기에 직접 이식하여 개인 정보 보호와 오프라인 실행이라는 장점을 모두 챙길 수 있음 JSON 포맷과 같이 구조화된 응답을 생성하는 것을 다소 어려워하는 모습을 보임 복잡한 시스템 프롬프트가 필요한 기능이나 데이터 추출 업무에 활용하기 위해서는 프롬프트 엔지니어링이나 추가적인 파인튜닝 등의 보완 작업이 필요해 보임 앞으로 모델 전용 파이프라인 연결과 프로젝트 최적화 작업이 병행된다면, 더욱 실용적인 On-Device AI 서비스를 구축할 수 있을 것으로 기대됨