차트로 돌아가기

FareedKhan-dev/kimi-k3-in-c

단일 CPU와 8GB RAM용 Kimi K3 C99 추론 엔진

차트
지금은 차트에 없어요
스타
1.2만

GitHub에서 보기홈페이지

무엇인가요

2.78조 파라미터 규모의 Kimi K3 모델을 BLAS, 프레임워크, GPU 없이 순수 C99로 추론하는 엔진이에요. 1.56TB 체크포인트를 디스크에서 스트리밍하며 8.24GB RAM 환경에서도 동일한 결과를 생성해요.

누구에게 좋나요

외부 의존성 없이 일반 CPU 환경에서 초대형 MoE 모델을 실행하거나 저수준 추론 구조를 살펴보려는 시스템 및 AI 개발자가 사용할 수 있어요.

왜 지금 주목받나요

오늘 하루에만 3,259개의 스타를 얻었으며, 최근 macOS·Windows·NEON 지원과 chat 모드 등이 포함된 v2.0.0이 출시됐어요. 8GB부터 128GB 이상까지 메모리 크기에 상관없이 바이트 단위로 동일한 출력을 내는 점이 특징이에요.

주요 기능

  • BLAS나 딥러닝 프레임워크 없이 C99와 OpenMP만으로 빌드되는 176KB 크기 엔진
  • 4비트 전문가 가중치 직접 연산 및 트렁크 스트리밍으로 8.24GB RAM에서 추론
  • Linux x86-64, macOS arm64, Windows x86-64 환경에서 AVX2 및 NEON 지원
  • 모델 파일 없이 PyTorch 레퍼런스와 대조 검증하는 자체 테스트 스위트 제공

2026년 11월 18일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요