차트로 돌아가기

drumih/turbo-fieldfare

8GB Mac용 Gemma 4 26B-A4B 로컬 추론 런타임

차트
지금은 차트에 없어요
스타
7,427

GitHub에서 보기

무엇인가요

Apple Silicon Mac에서 약 2GB RAM만으로 Gemma 4 26B-A4B 모델을 실행하는 Swift 및 Metal 기반 추론 런타임이에요. 공유 코어와 KV 캐시만 메모리에 두고 토큰마다 필요한 expert만 SSD에서 스트리밍해 8GB RAM 기기에서도 동작해요.

누구에게 좋나요

메모리가 제한된 Apple Silicon Mac에서 대형 오픈 웨이트 LLM을 로컬로 실행하려는 개발자와 사용자에게 적합해요.

왜 지금 주목받나요

2026년 11월 14일에 0.10.0 버전이 릴리스되었으며, MLX나 llama.cpp 래퍼가 아닌 모델 전용 Swift + Metal 런타임으로 26B 규모 모델을 8GB Mac에서 구동할 수 있다는 점이 돋보여요.

주요 기능

  • 네이티브 Mac 앱, CLI, 로컬 OpenAI 호환 서버 제공
  • 전체 체크포인트를 중복 저장하지 않는 스트리밍 모델 설치 및 검증
  • M2 이상 Mac에서 이미지 입력을 지원하는 선택형 비전 팩
  • expert 캐시 슬롯과 프리페치를 조절할 수 있는 Swift + Metal 4 런타임

2026년 11월 17일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요