vllm-project/vllm
고성능 LLM 추론 및 서빙 엔진
- 차트
- 지금은 차트에 없어요
- 스타
- 9.7만
무엇인가요
vLLM은 PagedAttention 기반의 메모리 관리와 연속 배칭을 통해 높은 처리량으로 LLM을 추론하고 서빙하는 오픈소스 엔진이에요. Hugging Face의 200개 이상의 모델 아키텍처와 OpenAI 호환 API 서버를 지원해요.
누구에게 좋나요
LLM을 프로덕션 환경에 배포하거나 대량의 추론 요청을 효율적으로 처리해야 하는 AI 엔지니어와 연구자가 사용하기 좋아요.
왜 지금 주목받나요
오늘 하루에만 스타 3,311개를 추가로 얻으며 누적 97,099개에 도달했고, 최근 v0.34.0 릴리스가 공개되었어요.
주요 기능
- PagedAttention과 연속 배칭, 프리픽스 캐싱을 통한 높은 서빙 처리량
- FP8, INT8, INT4, GPTQ/AWQ 등 다양한 양자화 및 투기적 디코딩 지원
- NVIDIA·AMD·Intel GPU와 TPU 등 다양한 하드웨어 및 분산 병렬 추론 지원
- OpenAI 호환 API, Anthropic Messages API, gRPC 서버 및 멀티 LoRA 지원
2026년 11월 18일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요