차트로 돌아가기

microsoft/BitNet

1비트 LLM 공식 추론 프레임워크

차트
지금은 차트에 없어요
스타
4.2만

GitHub에서 보기

무엇인가요

bitnet.cpp는 BitNet b1.58 같은 1비트(1.58비트) LLM을 CPU와 GPU에서 빠르고 손실 없이 추론할 수 있도록 지원하는 공식 프레임워크예요. 최적화된 커널을 통해 x86 및 ARM 환경에서 높은 속도 향상과 전력 절감을 제공합니다.

누구에게 좋나요

로컬 환경이나 엣지 디바이스에서 경량화된 LLM 및 임베딩 모델을 효율적으로 실행하려는 AI 개발자와 연구자가 사용하기 좋아요.

왜 지금 주목받나요

오늘 하루에만 367개의 스타를 새로 얻어 누적 41,865개를 기록하고 있어요. 최근 1비트 임베딩 모델과 CPU 기반 실시간 음성 인식 엔진인 VibeASR.cpp 등이 공개되며 활용 범위가 넓어지고 있습니다.

주요 기능

  • x86·ARM CPU 및 GPU용 1.58비트 추론 커널 제공
  • 단일 CPU에서 100B 규모 모델 실행 및 전력 소모 절감
  • BitNet-b1.58-2B-4T와 1비트 임베딩 모델(0.6B, 270M) 지원
  • I2_S, TL1, TL2 등 다양한 양자화 커널 지원

2026년 11월 18일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요.