开发工具 / 全球
D4Vinci/Scrapling：从网页读取到批量导出的 Python 采集工具
Scrapling 把 HTTP 请求、浏览器渲染、页面解析和并发采集放进同一套 Python 接口，也提供 CLI 与 MCP，适合需要整理公开网页资料的开发者。
+6,071近 7 天 Star
96,800总 Star
项目用途
Scrapling 可以从单页字段提取逐步扩展到多页采集。静态页面可用 HTTP 请求处理，需要 JavaScript 的页面则可交给浏览器；解析层支持 CSS、XPath、文本和正则搜索，也能输出适合后续整理的 Markdown。爬虫使用异步回调和可复用会话，能够在同一个任务里选择不同获取方式，减少为每类网页重复搭建处理流程。
能力与使用入口
框架提供并发限制、按域名节流、自动重试、暂停恢复与流式结果输出，结果可导出为 JSON、JSONL、CSV 或 XML。开发模式能够缓存响应，让解析逻辑迭代时不必反复请求目标网站；还提供遵守 robots.txt 的可选配置，以及站点地图、订阅源等模板。README 从简单页面示例开始，并链接完整文档、命令行和 MCP 使用说明。适合先验证少量页面的字段准确性，再决定请求频率和导出结构；这些能力不代表任何来源都能稳定读取。