Mesh-LLM/mesh-llm
분산 GPU·메모리 풀링 기반 LLM 추론 네트워크
- 차트
- 지금은 차트에 없어요
- 스타
- 4,168
무엇인가요
여러 머신의 GPU와 메모리를 하나로 묶어 로컬 포트 9337의 단일 OpenAI 호환 API로 제공하는 분산 LLM 실행 도구예요. 모델 크기에 따라 로컬 실행, 피어 라우팅, Skippy 스테이지 분할 실행을 자동으로 선택해요.
누구에게 좋나요
여러 대의 장비를 묶어 대형 LLM을 돌리거나 공개·비공개 메시에 컴퓨팅 자원을 공유하려는 개발자와 AI 에이전트 사용자에게 적합해요.
왜 지금 주목받나요
2026년 11월 16일 v0.80.0 릴리즈와 함께 하루 만에 646개의 스타를 얻으며 주목받고 있어요. 단일 머신에 들어가지 않는 모델도 레이어 단위로 분할해 여러 노드에 걸쳐 실행할 수 있는 점이 특징이에요.
주요 기능
- QUIC 종단간 암호화 기반 피어 간 추론 및 라우팅
- 단일 머신 한계를 넘는 Skippy 스테이지 분할 실행 지원
- Nostr 기반 공개 메시 탐색 및 초대 토큰 기반 비공개 메시 구성
- model: "mesh" 요청을 통한 호환 모델 자동 선택
2026년 11월 17일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요