jingyaogong/minimind
2시간 만에 학습하는 64M 초경량 LLM
- 차트
- 지금은 차트에 없어요
- 스타
- 6.7만
- 일간 최고
- 14위
- 차트에 오른 날
- 2
무엇인가요
PyTorch만으로 약 64M 파라미터 규모의 초경량 언어 모델을 처음부터 직접 학습할 수 있는 오픈소스 프로젝트예요. 데이터 정제부터 사전 학습, SFT, 강화학습(DPO, PPO, GRPO), Tool Use까지 LLM의 전체 학습 파이프라인을 외부 고수준 래퍼 없이 구현했어요.
누구에게 좋나요
개인용 GPU 환경에서 LLM의 내부 구조와 전체 학습 과정을 코드 수준에서 직접 이해하고 재현해 보고 싶은 개발자와 학습자에게 적합해요.
왜 지금 주목받나요
오늘 하루 188개의 스타를 추가로 얻어 총 65,693개에 달하는 높은 관심을 받고 있어요. transformers나 trl 같은 추상화 라이브러리에 의존하지 않고 핵심 알고리즘을 처음부터 구현해 낸 점이 돋보여요.
주요 기능
- Dense 및 MoE 모델 구조와 핵심 학습 알고리즘을 순수 PyTorch로 직접 구현
- Pretrain, SFT, LoRA, DPO, RLAIF(PPO/GRPO/CISPO), Agentic RL 등 전 단계 지원
- OpenAI API 호환 서버, Streamlit 기반 WebUI 및 llama.cpp, vllm, ollama 연동 지원
- 사전 학습 및 SFT용 오픈소스 데이터셋과 커스텀 Tokenizer 학습 코드 제공
2026년 11월 17일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요