incoai/splash
Apple silicon용 로컬 LLM 추론 엔진
- 차트
- 지금은 차트에 없어요
- 스타
- 2,421
무엇인가요
Mac에서 코딩 에이전트와 OpenAI 또는 Anthropic 호환 애플리케이션을 실행하는 Apple silicon용 로컬 추론 엔진이에요. DFlash 2 추측 디코딩과 전용 Metal 커널, 자동 메모리 관리를 결합해 모델을 구동해요.
누구에게 좋나요
Apple M3 이상 Mac에서 코딩 에이전트나 로컬 LLM API 서버를 실행하려는 개발자에게 적합해요.
왜 지금 주목받나요
2026년 11월 17일에 Splash 1.7.0이 릴리스되었고 오늘 51개의 스타를 얻으며 총 2,404개를 기록했어요. 각 모델에 맞춘 DFlash 2 드래프트와 사전 컴파일된 Metal 커널을 결합하고, 프리픽스 캐시 재사용과 동시 요청 배칭을 자동으로 처리하는 점이 특징이에요.
주요 기능
- OpenAI 및 Anthropic 호환 API와 스트리밍, 도구 호출, JSON Schema 출력 지원
- 이미지와 PDF 비전 입력, 내장 채팅 웹 페이지 및 macOS 데스크톱 앱 제공
- GGUF(1~8비트), MLX, NVFP4 등 다양한 양자화 포맷과 자동 드래프트 선택 지원
- 프리픽스 캐시 재사용, 동시 요청 자동 배칭 및 메모리·SSD 캐시 제어
2026년 11월 19일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요