scrapegraph-ai-automation

Scrapegraph AI 自动化技能

技能概述

通过 Rube MCP 自动化执行 Scrapegraph AI 网页抓取任务，支持工具发现、连接管理和批量操作。

适用场景

批量网页数据采集 - 需要定期或大批量抓取网页内容的自动化工作流，无需手动操作 Scrapegraph AI 界面

API 集成与编排 - 将 Scrapegraph AI 能力集成到现有系统或其他自动化流程中，通过标准化的 MCP 协议调用

动态工具调用 - 在运行时发现并调用最新的 Scrapegraph AI 工具，适应工具 schema 变化，避免硬编码过期的 API

核心功能

工具发现与验证 - 通过 RUBE_SEARCH_TOOLS 实时获取 Scrapegraph AI 的可用工具列表、输入 schema 和推荐执行计划，确保调用参数始终与最新版本兼容

连接状态管理 - 使用 RUBE_MANAGE_CONNECTIONS 管理 Scrapegraph AI 连接生命周期，检查连接状态（ACTIVE/未连接），支持通过授权链接完成首次配置

批量任务执行 - 通过 RUBE_MULTI_EXECUTE_TOOL 批量执行多个 Scrapegraph AI 工具，支持 session 复用和 memory 传递，适合复杂的多步骤抓取工作流

常见问题

如何首次连接 Scrapegraph AI？

首先确保 Rube MCP 已添加到客户端配置（endpoint: https://rube.app/mcp）。然后调用 RUBE_MANAGE_CONNECTIONS 并传入 toolkit 参数 scrapegraph_ai，如果连接未激活，返回结果会包含授权链接，完成授权后状态变为 ACTIVE 即可使用。

为什么每次调用工具前都要先搜索？

Scrapegraph AI 的工具 schema 会定期更新，直接硬编码工具 slug 和参数可能导致调用失败。通过 RUBE_SEARCH_TOOLS 可以获取最新的工具定义、字段类型和已知陷阱，确保自动化脚本的稳定性。

如何执行批量抓取任务？

使用 RUBE_MULTI_EXECUTE_TOOL 时，在 tools 参数中传入多个工具调用对象，每个对象包含 tool_slug（来自搜索结果）和 arguments（符合搜索返回的 schema）。确保使用相同的 session_id 以复用会话，并始终包含 memory 参数（即使为空对象）以避免参数错误。

连接显示非 ACTIVE 怎么办？

检查是否已完成 Scrapegraph AI 的授权流程。如果 RUBE_MANAGE_CONNECTIONS 返回的状态不是 ACTIVE，按返回中的 auth_link 完成授权，然后重新调用连接管理接口确认状态。注意 Composio 连接可能需要定期刷新。

支持哪些 Scrapegraph AI 工具？

可通过 RUBE_SEARCH_TOOLS 实时查询完整的工具列表，包括网页抓取、数据提取、链接解析等能力。搜索结果会返回每个工具的 slug、描述、输入 schema 和使用建议。具体的工具名称和参数随 Composio 工具包版本更新而变化。