Scrapling

简介

Scrapling 是埃及开发者 Karim Shoair（D4Vinci）以 BSD 3-Clause 协议开源的 Python 网页抓取框架，把请求、浏览器渲染、解析、整站爬取和数据导出放进同一个库。抓取层分两类：Fetcher 发普通 HTTP 请求，可以模拟浏览器的 TLS 指纹和请求头并支持 HTTP/3；StealthyFetcher 用 Playwright 的 Chromium 或 Google Chrome 做完整浏览器自动化，渲染 JavaScript 并带指纹伪装，官方称能处理 Cloudflare Turnstile 验证；两类都支持会话复用、代理轮换（ProxyRotator）、广告拦截和 DNS over HTTPS，也能连接远程浏览器（CDP）并抓取页面背后的 API 响应。解析层支持 CSS、XPath、文本和正则查找，最有特色的是「自适应元素跟踪」：网站改版后，按相似度重新定位原来的元素，减少选择器失效；page.markdown() 可以把网页转成干净的 Markdown，ContentSpider 模板能把整站爬成 Markdown 语料，用于 RAG。爬取层是类似 Scrapy 的 Spider 框架，支持并发、多会话混用、Ctrl+C 暂停后用 crawldir 断点续爬、流式输出、AutoThrottle 自动限速、可选遵守 robots.txt，并内置 CrawlSpider、SitemapSpider、ShopifySpider 等模板，结果可导出为 JSON、JSONL、CSV、XML。面向 AI 的部分有 MCP 服务器，Claude、Cursor 等智能体可以通过它请求网页、操作浏览器、截图和提取数据，另有 Agent Skill；终端里有命令行工具和交互式抓取 Shell，可把 curl 命令直接转成 Scrapling 请求。安装用 pip install scrapling，需要抓取器时装 scrapling[fetchers] 并运行 scrapling install；也提供 Docker 镜像。项目 2024 年 10 月开源，GitHub 约 9.3 万星，最新版本 0.5（2026-10-18 发布），仓库附有中文 README。抓取他人网站时请遵守目标网站的服务条款、robots.txt 和当地法律。官方来源：https://github.com/D4Vinci/Scrapling 、https://scrapling.readthedocs.io/en/latest/ 、https://pypi.org/project/scrapling/ （2026-11-03 核对）。 定价：开源免费，BSD 3-Clause 协议，可商用；没有官方付费版或托管服务，代理、验证码等第三方服务需另行购买。

• 两类抓取器｜Fetcher 模拟浏览器 TLS 指纹快速发请求，StealthyFetcher 用 Chromium 或 Chrome 渲染 JavaScript 并做指纹伪装。
• 自适应解析｜支持 CSS、XPath、文本和正则，网站改版后可按相似度重新定位元素，减少选择器失效。
• Scrapy 式爬虫框架｜并发、多会话混用、断点续爬、流式输出、自动限速，可选遵守 robots.txt。
• 代理与会话｜内置代理轮换、会话复用、广告拦截和 DNS over HTTPS，可连接远程浏览器。
• MCP 与 Agent Skill｜AI 智能体可通过 MCP 服务器请求网页、操作浏览器、截图并提取数据。
• 网页转 Markdown｜一行 page.markdown() 输出干净 Markdown，可整站爬成语料用于 RAG，并可导出 JSON、CSV、XML。

界面截图

可左右滑动，或使用方向键、Home 和 End 浏览截图。