HN 표시: GolfStudent v2 - GPTQ-lite + Muon을 사용하는 15MB의 24M 매개변수 LLM
hackernews
|
|
📦 오픈소스
#ai 모델
#golfstudent
#gptq-lite
#muon
#swiglu
#소형 llm
원문 출처: hackernews · Genesis Park에서 요약 및 분석
요약
GolfStudent v2는 2026년 3월 25일 공개된 24M 매개변수를 가진 초경량 언어 모델(LLM)로, 전체 용량이 15MB에 불과합니다. 해당 모델은 GPTQ-lite와 스케줄 프리(Schedule-Free) 기술을 채용하여 효율성을 극대화했으며, 모델의 차원은 352로 설정되었습니다. 또한 Muon 최적화와 EMA를 결합하여 성능을 개선한 가치 기반 잔차 구조를 특징으로 합니다.
본문
GolfStudent v2 — 16MB Hybrid LM Architecture: d=352, L=14 (10x GatedMLP + 4x Attention every 3rd layer), vocab=1024, weight-tied embedding/lm_head, SwiGLU FFN (3x expansion), RoPE on attention layers, orthogonal weight init v2 improvements over v1: d=352 (from 288) — +65% model capacity, ~15MB INT8+zlib (94% of 16MB budget) Value Residuals — learned scalar skip gates (init=0, tanh-gated) every 3 blocks GPTQ-lite — 5 clip percentile candidates per row, min reconstruction MSE INT8 Schedule-Free final 120s — constant LR floor (10%) + faster EMA (decay=0.97) instead of LR→0 warmdown Training: Muon optimizer (momentum 0.85→0.99 warmup over 1500 steps, WD=0.04) for matrix params Adam (fused) for embeddings/scalars EMA decay=0.997, updated every step Wallclock-aware schedule: cosine + schedule-free final 120s Grad clip=0.3 Quantization: Per-row INT8 GPTQ-lite (5 clip percentiles, min MSE) + zlib level=9 Size: ~15.06MB / 16MB (94.1% budget)
Genesis Park 편집팀이 AI를 활용하여 작성한 분석입니다. 원문은 출처 링크를 통해 확인할 수 있습니다.
공유