Neroued/ninfer
RTX 5090·DGX Spark용 네이티브 C++/CUDA 추론 엔진
- 차트
- 지금은 차트에 없어요
- 스타
- 3,383
무엇인가요
NInfer는 RTX 5090과 DGX Spark 환경에서 Qwen3.6/3.8 및 GLM-5.3-Flash 등 지정된 모델을 실행하는 네이티브 C++/CUDA 추론 엔진이에요. 로컬 CLI와 OpenAI·Anthropic 호환 HTTP API를 통해 텍스트, 이미지, 비디오 생성과 오프라인 퍼플렉시티 측정을 지원해요.
누구에게 좋나요
RTX 5090이나 DGX Spark 하드웨어에서 고성능 로컬 LLM·멀티모달 추론 서버를 직접 구축하려는 개발자와 엔지니어가 사용하기 좋아요.
왜 지금 주목받나요
누적 스타 3,376개(오늘 9개 증가)를 기록한 프로젝트로, CUDA Graph 디코드와 투기적 디코딩(MTP/DFlash), 공유 프리픽스 캐싱을 네이티브 C++로 구현해 단일 GPU 및 듀얼 Spark 분산 실행에 최적화한 점이 돋보여요.
주요 기능
- 로컬 CLI 및 OpenAI·Anthropic 호환 HTTP API 제공
- CUDA Graph 디코드, MTP/DFlash 투기적 디코딩, 공유 프리픽스 캐싱 지원
- 단일 디바이스 실행 및 듀얼 DGX Spark RDMA/NCCL 모델 병렬 실행
- 텍스트, Vision, 도구 호출, 구조화된 출력 및 CPU 전문가 오프로드 지원
2026년 11월 18일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요