AI·머신러닝 · C · 11월 17일 (화) 월간 차트
AI·머신러닝 분야 레포를 모든 언어 차트에서 모아 스타 증가순으로 다시 매긴 순위예요. 11월 17일 (화) 오후 9시 기준.
- 1
JustVugg/colibri
대형 MoE 모델을 위한 계층형 추론 엔진
colibri는 수천억 파라미터 규모의 대형 MoE 모델을 일반 PC 하드웨어에서 실행하는 C 기반 추론 엔진이에요. 밀집 레이어와 자주 쓰이는 expert는 GPU나 RAM에 두고, 나머지는 NVMe 디스크에서 스트리밍해 GPU 없이도 동작해요.
+9,41530일간