scrapingant-automation

Scrapingant 自动化技能 — 通过 Rube MCP 集成网页抓取

技能概述

通过 Composio 的 Rube MCP 服务自动化 Scrapingant 网页抓取任务，无需 API 密钥即可快速集成。

适用场景

1. Claude 中的网页数据采集

在 Claude 对话中直接触发网页抓取任务，适合需要快速获取网页内容的场景。只需连接 Rube MCP 并激活 Scrapingant 工具包，即可通过自然语言指令启动抓取流程。

2. 批量抓取工作流自动化

需要处理多个网页或分页结果时，使用 RUBE_MULTI_EXECUTE_TOOL 批量执行工具，配合会话 ID 复用机制，高效完成大规模数据采集任务。

3. 动态工具模式集成

Scrapingant 工具模式会动态更新，该技能始终优先通过 RUBE_SEARCH_TOOLS 发现最新模式，确保每次执行都使用当前正确的参数结构，避免硬编码过时字段导致的失败。

核心功能

1. 工具发现与模式检索

通过 RUBE_SEARCH_TOOLS 实时获取 Scrapingant 工具列表、参数结构和推荐执行计划。返回结果包含可用工具 slug、输入模式、已知陷阱说明，确保每次调用都基于最新信息。

2. 连接管理与状态检查

使用 RUBE_MANAGE_CONNECTIONS 管理 Scrapingant 连接生命周期。查询连接状态、获取认证链接、激活连接后执行工作流。连接状态必须为 ACTIVE 才能运行任务。

3. 多工具执行与会话复用

通过 RUBE_MULTI_EXECUTE_TOOL 单次调用执行多个 Scrapingant 操作，复用同一会话 ID 保持上下文连续性。支持传入空 memory 对象、处理分页响应、批量处理数据采集任务。

常见问题

如何在 Claude 中使用 Scrapingant 进行网页抓取？

首先确保 Rube MCP 已连接（添加 https://rube.app/mcp 到 MCP 服务器配置），然后调用 RUBE_MANAGE_CONNECTIONS 激活 Scrapingant 工具包。连接激活后，使用 RUBE_SEARCH_TOOLS 发现可用工具，再通过 RUBE_MULTI_EXECUTE_TOOL 执行具体抓取任务。

为什么使用 Scrapingant 前要先搜索工具？

Scrapingant 的工具模式（tool slugs 和参数结构）会随时间动态更新。直接硬编码工具名和参数容易因模式变更导致失败。RUBE_SEARCH_TOOLS 返回最新的模式信息和执行计划，确保每次调用都使用正确的字段名和类型。

RUBE_MULTI_EXECUTE_TOOL 如何执行多个 Scrapingant 任务？

在 tools 数组中传入多个工具对象，每个对象包含从搜索结果获取的 tool_slug 和符合模式的 arguments。即使 memory 为空也需传入 {}，复用同一 session_id 可在多个操作间保持上下文。响应中的分页 token 需用于继续获取完整结果。

---

Powered by Composio