scrapfly-automation

Scrapfly Automation - Rube MCP 自动化技能

技能概述

通过 Rube MCP 集成 Composio 的 Scrapfly 工具包，实现 Scrapfly 网页抓取任务的自动化操作，无需 API 密钥即可连接并执行 Scrapfly 工具。

适用场景

自动化抓取任务管理：需要定期或按需执行 Scrapfly 抓取操作，通过 RUBE_MULTI_EXECUTE_TOOL 批量处理多个抓取请求。

动态工具发现与执行：Scrapfly 工具 Schema 可能变化，使用 RUBE_SEARCH_TOOLS 实时获取最新工具模式，确保代码兼容性。

企业级抓取工作流：通过 Rube MCP 的会话管理和连接状态检查，构建可靠的 Scrapfly 自动化流程，适合生产环境部署。

核心功能

工具自动发现：通过 RUBE_SEARCH_TOOLS 实时查询可用工具，获取完整的工具 Schema、输入参数和执行计划，避免硬编码过期的工具定义。

连接管理：使用 RUBE_MANAGE_CONNECTIONS 检查 Scrapfly 连接状态，支持通过 Composio 的认证链接建立连接，确保执行前连接已激活。

批量工具执行：通过 RUBE_MULTI_EXECUTE_TOOL 一次执行多个 Scrapfly 操作，支持会话复用和内存管理，提高批量任务效率。

常见问题

Rube MCP 需要什么配置？

只需将 https://rube.app/mcp 添加为 MCP 服务器即可使用，无需 API 密钥。添加后可通过 RUBE_SEARCH_TOOLS 验证连接是否正常。

如何处理 Scrapfly 工具 Schema 变更？

始终在执行前调用 RUBE_SEARCH_TOOLS 获取当前工具模式。该工具会返回最新的工具定义、输入 Schema 和已知陷阱，确保代码与 Scrapfly 的最新版本兼容。

执行 Scrapfly 任务前需要检查什么？

使用 RUBE_MANAGE_CONNECTIONS 检查 Scrapfly 连接状态是否为 ACTIVE。如果未激活，按返回的认证链接完成 Composio 授权。执行后检查响应中的分页标记，确保获取完整结果。