scrape-do-automation
通过Rube MCP(Composio)自动化执行抓取任务。始终优先搜索工具以获取当前架构。
分类
开发工具安装
下载并解压到你的 skills 目录
复制命令,发送给智能体自动安装:
Scrape Do 自动化 - Rube MCP 集成指南
技能概述
通过 Rube MCP 自动化 Scrape Do 网页抓取任务,无需 API 密钥即可快速集成 Composio 抓取工具包,支持动态工具发现和批量操作执行。
适用场景
需要定期或大规模执行网页数据抓取任务,通过 Rube MCP 统一管理抓取工具,避免每次手动配置和硬编码工具模式。
抓取工具的 API 和模式经常更新,需要在运行时动态获取最新的工具定义和输入模式,而不是在代码中硬编码过时的模式。
希望通过标准 MCP 协议快速集成 Scrape Do,无需处理复杂的 API 密钥管理和认证流程,专注于抓取逻辑本身。
核心功能
通过 RUBE_SEARCH_TOOLS 动态查询可用的 Scrape Do 工具,实时获取最新的工具模式(schema)、输入参数定义和执行计划,避免工具更新导致的代码失效。
使用 RUBE_MANAGE_CONNECTIONS 检查和管理 Scrape Do 连接状态,支持一键激活连接、验证授权状态,确保工具执行前连接就绪。
通过 RUBE_MULTI_EXECUTE_TOOL 在单个会话中执行多个抓取任务,支持会话复用、内存传递和分页处理,适合高吞吐量的抓取工作流。
常见问题
如何在 Rube MCP 中连接 Scrape Do?
首先确保已将 https://rube.app/mcp 添加为 MCP 服务器,然后调用 RUBE_MANAGE_CONNECTIONS 并指定 toolkit 为 scrape_do。如果连接未激活,按照返回的授权链接完成设置即可开始使用。
Scrape Do 自动化需要 API 密钥吗?
不需要。Rube MCP 通过 Composio 工具包集成 Scrape Do,无需单独管理 API 密钥或处理认证流程。只需确保 MCP 服务器正常连接并激活 Scrape Do 工具包即可。
如何获取 Scrape Do 工具的最新模式?
在执行任何抓取任务前,先调用 RUBE_SEARCH_TOOLS 并传入你的具体用例(如"网页抓取操作"),它会返回当前可用的工具列表、精确的输入模式、推荐执行计划以及已知问题,确保你使用的工具模式始终是最新的。