브라우저의 Bonsai 1.7B: WebGPU의 290MB 1비트 LLM
hackernews
|
|
{'이벤트': '📰', '머신러닝/연구': '📰', '하드웨어/반도체': '📰', '취약점/보안': '📰', '기타 AI': '📰', 'AI 딜': '📰', 'AI 모델': '📰', 'AI 서비스': '📰', 'discount': '📰', 'news': '📰', 'review': '📰', 'tip': '📰'} 하드웨어/반도체
#하드웨어/반도체
요약
Hugging Face 커뮤니티 webml-community는 웹브라우저에서 구동되는 17억 파라미터 규모의 1비트 LLM 'Bonsai'를 WebGPU 기반으로 구현한 데모를 공개했습니다. Bonsai 모델은 1비트 양자화로 압축되어 약 290MB 크기로, 별도 설치 없이 웹에서 대화형 AI를 경험할 수 있는 환경을 제공합니다.
왜 중요한가
본문
# [Spaces](https://huggingface.co/spaces) [](https://huggingface.co/) * * * [  ](https://huggingface.co/webml-community) [webml-community](https://huggingface.co/webml-community) / [bonsai-webgpu](https://huggingface.co/spaces/webml-community/bonsai-webgpu) like 56 Running [ App ](https://huggingface.co/spaces/webml-community/bonsai-webgpu)[ Files Files ](https://huggingface.co/spaces/webml-community/bonsai-webgpu/tree/main)[ Community ](https://huggingface.co/spaces/webml-community/bonsai-webgpu/discussions) Refreshing