Scrapling 0.5 上手：用命令行和 Fetcher 抓网页、用自适应选择器扛住改版、用 Spider 写可续爬的爬虫，再作为 MCP 服务器交给 AI 智能体

按 Scrapling 官方文档（0.5 实测）：装好这个 Python 开源抓取框架，不写代码用 extract 把网页存成 Markdown 并去掉可能藏提示词注入的隐藏内容，用 Fetcher 加 CSS/XPath 取数据、用 find_similar 少写选择器、用 adaptive 在网页改版后找回元素；用 StealthyFetcher 抓 JS 和延迟加载页面、记录网络请求找到数据接口、写一个遵守 robots.txt 的 Spider 抓完 100 条数据并暂停续爬；再把 scrapling-mcp 配进 Claude Desktop、Claude Code、Cursor，用 Python 脚本跑通 16 个工具里的抓取、登录和 HTTP 令牌鉴权。

入门3 课时65 分钟图文实操

免费学习无需登录

开始学习查看课程目录

你将学会

安装 Scrapling 并锁定版本
用 extract 把网页存成 Markdown
用 CSS 和 XPath 解析页面
用 adaptive 应对网页改版
用 Spider 抓分页并断点续爬
把抓取能力作为 MCP 交给智能体

适合谁

想用 Python 抓网页数据的人
想把网页喂给大模型的开发者
想给 AI 智能体配抓取工具的人

课前准备

会用终端和 pip
能看懂简单的 Python
Python 3.10 或更高版本

课程目录

3 课时 · 65 分钟

01装好 Scrapling，用 extract 和 Fetcher 抓取解析网页在虚拟环境里装 scrapling[all]==0.5，用 extract get 把网页存成 Markdown、用 -s 选元素、用 --ai-targeted 去掉隐藏内容，用 Fetcher 加 CSS/XPath 取名言和翻页链接，用 find_by_text、find_similar、generate_css_selector 少写选择器，再用 auto_save 加 adaptive 在模拟改版后找回元素。图文20 分钟开始本课
02抓 JS 页面、找数据接口，写一个能暂停续爬的 Spider用 scrapling install 准备浏览器，对比 curl 与 extract fetch 抓 JS 页面，用 StealthyFetcher 的 wait_selector 等延迟内容，用 StealthySession 的 record_requests 和 network.search 找到无限滚动背后的接口，再写一个遵守 robots.txt 的 Spider 抓完 10 页 100 条名言、导出 JSON/CSV，并用 crawldir 加 Ctrl+C 暂停续爬、用 on_scraped_item 边抓边存。图文25 分钟开始本课
03把 Scrapling 交给 AI 智能体：MCP stdio 与 HTTP按官方文档把 scrapling-mcp 配进 Claude Desktop、Claude Code、Cursor，用 Python MCP SDK 2.x 写客户端走 stdio 列出 16 个工具，按顺序调用 make_request、browser_open、browser_fetch、browser_actions、brows图文20 分钟开始本课

课程说明

Scrapling 是一个开源的 Python 网页抓取框架（BSD-3 许可证），作者是埃及开发者 Karim Shoair（GitHub 用户名 D4Vinci）。它把几件常用的事放进一个库里：用模仿真实浏览器指纹的 HTTP 请求或隐身浏览器下载页面；用和 Scrapy 一样的 CSS、XPath 写法解析数据；用「自适应」选择器在网站改版后自动找回元素；用自带的 Spider 框架做并发爬取和断点续爬；还能作为 MCP 服务器，把这些能力交给 Claude、Cursor 等 AI 应用直接调用。2026 年 10 月 18 日发布的 0.5 版删除了旧的 DynamicFetcher 和 capture_xhr，统一用 StealthyFetcher 和 record_requests；它的 MCP 服务器提供 16 个工具。

本课按 Scrapling 官方文档（https://scrapling.readthedocs.io/en/latest/ ）和 GitHub 仓库（https://github.com/D4Vinci/Scrapling ）整理。2026-11-04 在一台 Linux x86_64 云主机上，用 Python 3.13 的虚拟环境安装 Scrapling 0.5（随附 patchright 1.64.4、Python MCP SDK 2.3.0），以官方常用的练习站 quotes.toscrape.com 为对象，逐条实跑了安装、命令行抓取、Python 解析、自适应定位、浏览器抓取、网络记录、Spider 爬取与暂停续爬、MCP stdio 和 MCP HTTP 调用。「对照结果」都是真实输出，只做了节选和折行。在 Claude Desktop、Claude Code、Cursor 里配置 MCP 和对话提示词两部分，测试机没有这些桌面应用，按官方文档整理，课内单独注明「未实测」。全课共 3 课时：

课时	你会做完的事	需要什么
1	装好 Scrapling，用命令行把网页存成 Markdown，用 Python 解析数据，体验网页改版后自动找回元素	终端，Python 3.10+
2	抓 JS 渲染和延迟加载的页面，找到页面背后的数据接口，写一个能暂停、能续爬的爬虫	同上，需下载浏览器
3	把 Scrapling 作为 MCP 服务器接入 AI 应用，用 Python 脚本跑一遍智能体的抓取和登录操作	同上，可选 Claude 等 AI 应用

适合

想用 Python 抓取网页数据、又不想同时学好几个库的人
想把网页批量转成 Markdown 喂给大模型的开发者
想给 AI 智能体配一套抓取工具的人

先修

会用终端和 pip
能看懂简单的 Python
本机有 Python 3.10 或更高版本

你会学到

用 pip 安装 Scrapling 0.5，知道各个可选依赖分别装什么
用 scrapling extract 把网页存成 Markdown，并用 --ai-targeted 去掉隐藏内容
用 Fetcher、CSS、XPath、find_similar() 解析页面，用 adaptive 应对网页改版
用 StealthyFetcher 和 record_requests 抓 JS 页面、找到数据接口
用 Spider 抓完分页数据、导出 JSON/CSV，并暂停续爬
把 scrapling-mcp 接入 MCP 客户端，了解 16 个工具和 HTTP 令牌鉴权

官方资料

文档首页：https://scrapling.readthedocs.io/en/latest/
HTTP 请求：https://scrapling.readthedocs.io/en/latest/fetching/static.html
浏览器抓取：https://scrapling.readthedocs.io/en/latest/fetching/stealthy.html
自适应抓取：https://scrapling.readthedocs.io/en/latest/parsing/adaptive.html
extract 命令：https://scrapling.readthedocs.io/en/latest/cli/extract-commands.html
爬虫入门：https://scrapling.readthedocs.io/en/latest/spiders/getting-started.html
MCP 服务器：https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html
迁移到 0.5：https://scrapling.readthedocs.io/en/latest/migrating-to-v0.5.html
源码：https://github.com/D4Vinci/Scrapling

绑定工具： Scrapling（https://www.kun.net/tools/scrapling/ ）