pytorch/torchtitan
PyTorch 네이티브 대규모 생성형 AI 모델 학습 플랫폼
- 차트
- 지금은 차트에 없어요
- 스타
- 5,927
무엇인가요
사전 학습부터 SFT, 강화 학습까지 하나의 코드베이스에서 처리하는 PyTorch 기반 대규모 모델 학습 플랫폼이에요. 모델을 다시 작성하지 않고도 FSDP2, TP, PP, CP, EP 등 다양한 병렬화 기법을 조합해 적용할 수 있어요.
누구에게 좋나요
대규모 생성형 AI 모델의 사전 학습이나 사후 학습을 연구하고 실험하는 ML 연구자와 엔지니어에게 적합해요.
왜 지금 주목받나요
2026년 10월 28일 v0.4.0이 릴리스되었으며, 읽기 쉬운 Python 레시피 기반 설정과 TitanRL을 통한 사전 학습·강화 학습 통합 스택을 제공하는 점이 돋보여요.
주요 기능
- DeviceMesh와 DTensor를 활용한 FSDP2, TP, PP, CP, EP 조합 병렬화
- TitanRL을 통한 학습기와 vLLM 생성 간 모델 정의 공유 및 RL 지원
- Python 함수 레시피 기반 설정 및 컴포넌트 오버라이드
- MXFP8/NVFP4 저정밀도 학습 및 비동기 분산 체크포인트
2026년 11월 19일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요