차트로 돌아가기

JustVugg/colibri

대형 MoE 모델을 위한 계층형 추론 엔진

차트
지금은 차트에 없어요
스타
5.2만

GitHub에서 보기홈페이지

무엇인가요

colibri는 수천억 파라미터 규모의 대형 MoE 모델을 일반 PC 하드웨어에서 실행하는 C 기반 추론 엔진이에요. 밀집 레이어와 자주 쓰이는 expert는 GPU나 RAM에 두고, 나머지는 NVMe 디스크에서 스트리밍해 GPU 없이도 동작해요.

누구에게 좋나요

고성능 GPU 없이 로컬 환경에서 대형 오픈소스 AI 모델을 실행하고 싶은 개발자와 연구자가 쓰기 좋아요.

왜 지금 주목받나요

오늘 하루에만 9,415개의 스타를 얻어 총 51,669개에 달하며 큰 관심을 받고 있어요. 13개 엔진으로 GLM-5.2, DeepSeek V4 Flash, Kimi K3 등 다양한 모델을 지원하고, CUDA·Vulkan·CPU를 모두 아우르는 점이 돋보여요.

주요 기능

  • CUDA, Vulkan, CPU 백엔드 및 GGUF 파일 실행 지원
  • 원스톱 설치 스크립트와 하드웨어 기반 모델 추천 제공
  • OpenAI·Anthropic 호환 API 및 웹 대시보드 내장
  • AI 어시스턴트 연동을 위한 coli mcp 서버 지원

2026년 11월 17일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요