vllm-project/vllm-ascend
Huawei Ascend NPU용 vLLM 하드웨어 플러그인
- 차트
- 지금은 차트에 없어요
- 스타
- 3,112
무엇인가요
vLLM을 Huawei Ascend NPU에서 실행할 수 있게 해주는 커뮤니티 기반 하드웨어 플러그인이에요. vLLM의 하드웨어 플러그형 인터페이스를 따라 Ascend NPU 통합을 분리해 제공해요.
누구에게 좋나요
Huawei Ascend NPU 환경에서 vLLM으로 오픈소스 LLM을 서빙하거나 배포하려는 AI 엔지니어와 인프라 담당자가 주로 사용해요.
왜 지금 주목받나요
최근 v0.30.0 공식 버전을 릴리스하며 꾸준히 업데이트되고 있고, 총 3,106개의 스타를 모은 프로젝트예요. vLLM 커뮤니티에서 Ascend 백엔드 지원을 위한 권장 방식으로 자리 잡고 있어요.
주요 기능
- Transformer, MoE, Embedding, 멀티모달 LLM 등 다양한 오픈소스 모델 지원
- vLLM 하드웨어 플러그형 인터페이스를 통한 Ascend NPU 백엔드 분리 통합
- Atlas 800I A2/A3, Atlas 300I Duo 등 다양한 Ascend 하드웨어 지원
- PyTorch, TorchNPU, CANN 기반 Linux 환경 및 버전별 릴리스 브랜치 유지 관리
2026년 11월 18일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요