Helldez/BigMoeOnEdge
메모리보다 큰 MoE 모델 스트리밍 추론 엔진
- 차트
- 지금은 차트에 없어요
- 스타
- 1,028
무엇인가요
기기 메모리보다 큰 MoE 모델을 플래시 스토리지에서 필요한 전문가 가중치만 스트리밍해 실행하는 llama.cpp 기반 추론 엔진이에요. 데스크톱과 모바일 앱, 그리고 OpenAI·Anthropic 호환 로컬 서버를 함께 제공해요.
누구에게 좋나요
스마트폰, 노트북, 보급형 GPU 환경에서 대형 MoE 모델을 로컬로 실행하려는 개발자가 사용하기 좋아요.
왜 지금 주목받나요
오늘 하루 98개의 스타를 얻었으며, 별도 모델 코드 수정 없이 모든 GGUF MoE 모델과 양자화를 지원하고 Android·iOS·데스크톱·NPU까지 폭넓은 하드웨어를 아우르는 점이 돋보여요.
주요 기능
- VRAM, RAM, 플래시 3단계 캐싱으로 무손실 MoE 스트리밍 추론
- 하드웨어와 모델을 측정해 캐시와 스레드를 자동 설정하는 `--auto` 플래너
- OpenAI 및 Anthropic 호환 API 서버와 코딩 에이전트 연동 지원
- `mmproj` 기반 비전 모델 이미지 입력 및 멀티 백엔드 지원
2026년 11월 17일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요