차트로 돌아가기

ggml-org/llama.cpp

C/C++ 기반 LLM 추론 엔진

차트
지금은 차트에 없어요
스타
13.6만

GitHub에서 보기홈페이지

무엇인가요

ggml 라이브러리 위에서 최소한의 설정으로 다양한 하드웨어에서 LLM과 MLLM 추론을 수행하는 C/C++ 프로젝트예요.

누구에게 좋나요

로컬이나 클라우드 환경에서 언어 모델을 직접 실행하거나 OpenAI 호환 API 서버를 구축하려는 개발자에게 적합해요.

왜 지금 주목받나요

최근 v1.0.0 릴리즈를 공개했으며, 오늘 하루에만 4,449개의 스타를 얻어 주목받고 있어요.

주요 기능

  • Hugging Face 모델 직접 다운로드 및 CLI 실행
  • OpenAI 호환 API 서버(llama serve) 및 내장 채팅 앱
  • 멀티모달(VLM), TTS, GBNF 문법 지원
  • Docker, 사전 빌드 바이너리, 소스 빌드 등 다양한 설치 방식

2026년 11월 17일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요.