차트로 돌아가기

ashhart/TensorFold

Python 없이 실행하는 Zig 기반 LLM 추론 엔진

차트
지금은 차트에 없어요
스타
2,334

GitHub에서 보기홈페이지

무엇인가요

Apple Silicon과 NVIDIA GPU 환경에서 언어 모델을 서빙하는 Zig 바이너리 기반 추론 엔진이에요. 체크포인트 로딩, 토크나이징, Metal·CUDA 커널 실행을 직접 처리하며 Python이나 MLX 설치가 필요 없어요.

누구에게 좋나요

로컬 환경이나 GPU 서버에서 별도의 Python 런타임 없이 가볍게 LLM을 서빙하려는 개발자와 팀이 사용하기 좋아요.

왜 지금 주목받나요

오늘 하루에만 954개의 스타를 얻어 총 2,298개를 기록했고, 2026년 11월 15일 TensorFold 1.2.9 릴리스가 공개되었어요. Python 의존성 없이 단일 네이티브 바이너리로 OpenAI·Anthropic 호환 API를 제공하는 점이 특징이에요.

주요 기능

  • OpenAI 호환 채팅·컴플리션·Responses API 및 Anthropic Messages API 지원
  • --parallel 옵션을 통한 동시 요청 처리 및 대기열 관리
  • 로컬 웹 앱(tensorfold web)과 macOS 데스크톱 앱 제공
  • 실행 중인 모델 가중치에 새 사실을 학습시키는 실험적 Living Weights(--slide) 기능

2026년 11월 17일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요.