kvcache-ai/Mooncake
KVCache 중심 LLM 분산 서빙 플랫폼
- 차트
- 지금은 차트에 없어요
- 스타
- 7,087
무엇인가요
Moonshot AI의 LLM 서비스 Kimi를 위해 개발된 KVCache 중심의 분산 추론 서빙 플랫폼이에요. 분산된 KV 캐시 풀링과 RDMA 기반 데이터 전송을 통해 대규모 LLM 서빙을 지원해요.
누구에게 좋나요
vLLM, SGLang, TensorRT-LLM 등의 엔진으로 대규모 LLM 추론 및 분산 서빙 인프라를 운영하는 AI 엔지니어가 주로 사용해요.
왜 지금 주목받나요
최근 v0.3.14 릴리스가 공개되었고, 오늘 10개의 스타를 추가로 받으며 총 7,081개의 스타를 기록했어요. 실제 Kimi 워크로드에서 SLO를 준수하며 75% 더 많은 요청을 처리하는 구조와 주요 추론 엔진들과의 폭넓은 연동이 특징이에요.
주요 기능
- Mooncake Store 기반 분산 KV 캐시 풀링 및 프리픽스 재사용
- Mooncake Transfer Engine을 통한 RDMA 제로카피 데이터 전송
- vLLM, SGLang, TensorRT-LLM, LMDeploy 등 주요 추론 엔진 연동
- Prefill-Decode(PD) 및 Encode-Prefill-Decode(EPD) 분리 서빙 지원
2026년 11월 19일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요