Crawl4AI

简介

Crawl4AI 是新加坡开发者 UncleCode 发起的 Apache-2.0 开源网页爬虫，专门为大模型、RAG 和 AI 智能体准备数据，GitHub 约 8.7 万星，最新版本 v0.9.5（2026-10-14）。它基于 Playwright 驱动真实浏览器，能处理 JavaScript 渲染、滚动加载和登录态等动态页面，把网页转成去掉导航与广告的干净 Markdown；可以用 CSS/XPath 规则或大模型按 schema 提取结构化 JSON，支持深度爬取、并发批量抓取、缓存、代理、截图和 PDF 导出，并提供命令行 crwl 和 Docker 部署。安装用 pip install crawl4ai（Python 3.10 至 3.13），再运行 crawl4ai-setup 装好浏览器即可。2026 年作者推出托管版 Crawl4AI Cloud，一个 API Key 就能调用 /scrape 网页转 Markdown、/extract 按描述提取 JSON、/search 谷歌搜索结果、/answer 带出处的问答（测试版）和 /serp（测试版），并提供远程 MCP 服务器（https://api.crawl4ai.com/mcp）给 Claude Code 等智能体使用。官方来源：https://docs.crawl4ai.com/ 、https://github.com/unclecode/crawl4ai 、https://crawl4ai.com/ （2026-11-04 核对）。 定价：开源版免费。托管版 Crawl4AI Cloud 目前为试运营价：免费版每月 1,000 credits（每分钟 10 次、并发 2）；Starter 每月 10 美元（10,000 credits）、Builder 每月 99 美元（125,000 credits）、Scale 每月 499 美元（750,000 credits），按年付赠送 2 个月；企业版另议。1 credit 等于 0.001 美元。

• 网页转 Markdown｜把动态网页抓成去掉导航和广告的干净 Markdown，直接喂给大模型和 RAG。
• 结构化提取｜用 CSS/XPath 规则或大模型按 schema 提取 JSON 数据。
• 真实浏览器抓取｜基于 Playwright，处理 JavaScript 渲染、滚动加载、登录态、代理和截图。
• 深度与批量爬取｜支持深度爬取、并发批量抓取和缓存，有命令行 crwl 和 Docker 部署。
• 托管 Cloud API｜一个 API Key 调用 scrape、extract、search、answer 等接口，免装浏览器。
• 智能体接入｜远程 MCP 服务器，可接入 Claude Code 等 AI 智能体客户端。

界面截图

可左右滑动，或使用方向键、Home 和 End 浏览截图。