ggml-org/llama.cpp
C/C++ 기반 LLM 추론 엔진
- 차트
- 지금은 차트에 없어요
- 스타
- 13.6만
무엇인가요
ggml 라이브러리 위에서 최소한의 설정으로 다양한 하드웨어에서 LLM과 MLLM 추론을 수행하는 C/C++ 프로젝트예요.
누구에게 좋나요
로컬이나 클라우드 환경에서 언어 모델을 직접 실행하거나 OpenAI 호환 API 서버를 구축하려는 개발자에게 적합해요.
왜 지금 주목받나요
최근 v1.0.0 릴리즈를 공개했으며, 오늘 하루에만 4,449개의 스타를 얻어 주목받고 있어요.
주요 기능
- Hugging Face 모델 직접 다운로드 및 CLI 실행
- OpenAI 호환 API 서버(llama serve) 및 내장 채팅 앱
- 멀티모달(VLM), TTS, GBNF 문법 지원
- Docker, 사전 빌드 바이너리, 소스 빌드 등 다양한 설치 방식
2026년 11월 17일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요.