HN에게 물어보세요: 일반 하드웨어를 사용하는 로컬 모델이 경쟁하게 될까요?
hackernews
|
|
🤖 AI 모델
#ai 모델
#chatgpt
원문 출처: hackernews · Genesis Park에서 요약 및 분석
요약
저는 24GB RAM을 갖춘 Macbook Air M3를 사용하고 있습니다. 얼마 전 처음으로 로컬에서 LLM을 운영해 보고 싶었습니다. gemma-4-e4b를 실행하고 이에 대해 몇 가지 채팅을 했습니다.<p>그것은 ChatGPT에 대한 나의 첫 경험을 조금 생각나게 했습니다. 분명히 Opus 4.6과 같은 제품에 비해 성능은 떨어지지만 가능성에 대해 흥분하게 되었습니다.</p><p>상당히 유능한 모델은 멋진 GPU를 가진 단순한 필사자에 의해 실행될 수 있다는 것을 알고 있습니다.</p><p>제 진짜 질문은 하드웨어와 소프트웨어의 조합이 최적화될 것인가입니다.
본문
I have a Macbook Air M3 with 24gb RAM. The other day, I wanted to try running an LLM locally for the first time ever. I ran gemma-4-e4b and threw some chats at it.<p>It reminded me of my very first experiences with ChatGPT a bit. Clearly less capable than something like Opus 4.6, but I made me excited about the possibilities.</p><p>I know that fairly capable models can be run by mere mortals who have a fancy GPU.</p><p>My real question is, will some combination of hardware and software optimizations get us anywhere close to "state of the art" models running on truly basic hardware?</p><p>With all the ridiculous capex being spent on datacenters etc, what if something akin to Moore's Law, or other algorithmic breakthroughs, will get us super capable LLMs that can run on the average machine?</p>
Genesis Park 편집팀이 AI를 활용하여 작성한 분석입니다. 원문은 출처 링크를 통해 확인할 수 있습니다.
공유