D4Vinci/Scrapling
Python 웹 스크래핑·크롤링 프레임워크
- 차트
- 지금은 차트에 없어요
- 스타
- 10.4만
무엇인가요
HTTP 요청, 스텔스 브라우저, 요소 파싱, 병렬 크롤링을 하나의 라이브러리로 제공하는 Python 웹 스크래핑 프레임워크예요. 단일 페이지 데이터 추출부터 프록시 로테이션과 일시 중지·재개가 가능한 대규모 스파이더 크롤링까지 지원해요.
누구에게 좋나요
동적 웹사이트나 봇 차단이 적용된 페이지에서 데이터를 수집하거나, AI 에이전트용 웹 스크래핑 파이프라인을 구축하는 Python 개발자에게 적합해요.
왜 지금 주목받나요
오늘 하루에만 15,971개의 스타를 얻어 누적 103,812개를 기록했고, 2026년 11월 4일에 v0.5.1 릴리스가 공개되었어요. 일반 HTTP 요청과 스텔스 브라우저, 스파이더 크롤러, MCP 서버까지 한 프레임워크에 통합한 점이 돋보여요.
주요 기능
- TLS 핑거프린트 위장 HTTP 요청 및 Cloudflare Turnstile 대응 스텔스 브라우저
- CSS·XPath·정규식 선택자와 웹사이트 변경 시 요소 위치를 다시 찾는 스마트 추적
- 일시 중지·재개, AutoThrottle, 프록시 로테이션, JSON·CSV 등 내장 내보내기를 지원하는 병렬 스파이더
- AI 에이전트 연동을 위한 MCP 서버, Agent Skill, CLI 및 Markdown 변환
2026년 11월 17일에 README와 저장소 정보를 바탕으로 정리한 요약이에요. 틀린 내용이 있을 수 있으니 중요한 판단은 원문을 확인해 주세요. 요약이 틀렸다면 알려 주세요