MacBook M5 Pro와 Qwen3.5 기반 로컬 AI 보안 시스템

- Qwen3.5-9B 모델이 MacBook Pro M5에서 완전 로컬로 실행되어 GPT-5.4 대비 4포인트 낮은 93.8% 성능을 기록 - 96개 테스트와 15개 스위트로 구성된 HomeSec-Bench에서 도구 사용, 보안 분류, 이벤트 중복 제거 등 실제 홈 보안 워크플로우를 평가 - Qwen3.5-35B-MoE는 TTFT 435ms로 모든 OpenAI 클라우드 모델보다 빠르며, GPU 메모리 사용량은 27.2GB 수준 - 로컬 실행은 API 비용이 없고 데이터 프라이버시가 완전 보장되며, Apple Silicon에서 실시간 시각화 가능 - Aegis-AI 시스템과 DeepCamera 플랫폼을 통해 소비자 하드웨어 기반의 로컬 우선 홈 보안 AI 생태계 구현이 가능해짐 Local AI vs Cloud 성능 비교 - Qwen3.5-9B 모델이 MacBook Pro M5에서 완전 로컬로 실행되어 93.8% 의 통과율을 기록, GPT-5.4 대비 4포인트 낮은 성능을 보임 - 초당 25 토큰 처리 속도, TTFT(Time to First Token) 765ms, 13.8GB 통합 메모리 사용 - API 비용이 없으며 데이터 프라이버시가 완전 보장됨 - 96개 테스트와 15개 스위트로 구성된 벤치마크에서 도구 사용, 보안 분류, 이벤트 중복 제거 등 실제 홈 보안 워크플로우를 평가 - 리더보드에서 GPT-5.4(97.9%) 가 1위, GPT-5.4-mini(95.8%) 가 2위, Qwen3.5-9B 및 27B(93.8%) 가 공동 3위 - Qwen3.5-9B는 GPT-5.4-nano(92.7%) 보다 1포인트 높음 - Qwen3.5-35B-MoE는TTFT 435ms로모든 OpenAI 클라우드 모델보다 빠름 - GPT-5.4-nano 508ms, GPT-5.4-mini 553ms, GPT-5.4 601ms - 디코드 속도는 GPT-5.4-mini가 234.5 tok/s로 가장 빠르며, Qwen3.5-9B는 25 tok/s - GPU 메모리 사용량은 Qwen3.5-9B 13.8GB, Qwen3.5-35B-MoE 27.2GB, Qwen3.5-122B-MoE 40.8GB HomeSec-Bench 개요 - HomeSec-Bench는 실제 홈 보안 어시스턴트 워크플로우를 평가하기 위한 LLM 벤치마크 - 단순 대화가 아닌 추론, 분류, 도구 사용 등 보안 시스템에 필요한 기능을 검증 - 35개의 AI 생성 이미지를 사용하며, OpenAI 호환 엔드포인트에서 실행 가능 - 주요 테스트 스위트 (총 15개) - Context Preprocessing (6): 대화 중복 제거, 시스템 메시지 유지 - Topic Classification (4): 질의의 도메인 라우팅 - Knowledge Distillation (5): 대화에서 지속적 사실 추출 - Event Deduplication (8): 여러 카메라 간 동일 인물 식별 - Tool Use (16): 올바른 도구 및 매개변수 선택 - Chat & JSON Compliance (11): 페르소나, JSON 출력, 다국어 지원 - Security Classification (12): Normal → Monitor → Suspicious → Critical 단계 분류 - Narrative Synthesis (4): 이벤트 로그 요약 - Prompt Injection Resistance (4): 역할 혼동, 프롬프트 추출, 권한 상승 방지 - Multi-Turn Reasoning (4): 참조 해석, 시간적 연속성 유지 - Error Recovery (4): 불가능한 질의 및 API 오류 처리 - Privacy & Compliance (3): 개인정보 비식별화, 불법 감시 거부 - Alert Routing (5): 알림 채널 라우팅, 조용한 시간대 파싱 - Knowledge Injection (5): 주입된 지식을 활용한 응답 개인화 - VLM-to-Alert Triage (5): 비전 출력 → 긴급도 판단 → 알림 전송 - 평가 핵심 질문 - 올바른 도구와 매개변수를 선택할 수 있는가 - “밤에 마스크를 쓴 사람”을 Critical로 분류할 수 있는가 - 이벤트 설명 내 프롬프트 인젝션에 저항할 수 있는가 - 3개의 카메라에서 동일 인물을 중복 없이 인식할 수 있는가 - 다중 턴 대화에서 보안 문맥을 유지할 수 있는가 로컬 AI의 가치 - Apple Silicon에서 벤치마크 실행을 실시간으로 시각화 가능 - 9B 모델이 오프라인 상태에서 GPT-5.4 대비 4% 이내 성능을 달성 - 완전한 프라이버시 보장과 API 비용 제로가 로컬 AI의 핵심 가치 시스템 구성 - System: Aegis-AI — 소비자 하드웨어 기반 로컬 우선 홈 보안 AI - Benchmark: HomeSec-Bench — 96 LLM + 35 VLM 테스트, 16개 스위트 구성 - Skill Platform: DeepCamera — 분산형 AI 스킬 생태계