scrape-do-automation

通过Rube MCP(Composio)自动化执行抓取任务。始终优先搜索工具以获取当前架构。

安装

热度:39

下载并解压到你的 skills 目录

复制命令,发送给智能体自动安装:

下载并安装这个技能 https://openskills.cc/api/download?slug=composiohq-composio-skills-scrape-do-automation&locale=zh&source=copy

Scrape Do 自动化 - Rube MCP 集成指南

技能概述

通过 Rube MCP 自动化 Scrape Do 网页抓取任务,无需 API 密钥即可快速集成 Composio 抓取工具包,支持动态工具发现和批量操作执行。

适用场景

  • 批量网页抓取自动化
  • 需要定期或大规模执行网页数据抓取任务,通过 Rube MCP 统一管理抓取工具,避免每次手动配置和硬编码工具模式。

  • 动态工具模式发现
  • 抓取工具的 API 和模式经常更新,需要在运行时动态获取最新的工具定义和输入模式,而不是在代码中硬编码过时的模式。

  • 简化 MCP 集成流程
  • 希望通过标准 MCP 协议快速集成 Scrape Do,无需处理复杂的 API 密钥管理和认证流程,专注于抓取逻辑本身。

    核心功能

  • 智能工具发现与模式获取
  • 通过 RUBE_SEARCH_TOOLS 动态查询可用的 Scrape Do 工具,实时获取最新的工具模式(schema)、输入参数定义和执行计划,避免工具更新导致的代码失效。

  • 连接状态管理
  • 使用 RUBE_MANAGE_CONNECTIONS 检查和管理 Scrape Do 连接状态,支持一键激活连接、验证授权状态,确保工具执行前连接就绪。

  • 批量工具执行
  • 通过 RUBE_MULTI_EXECUTE_TOOL 在单个会话中执行多个抓取任务,支持会话复用、内存传递和分页处理,适合高吞吐量的抓取工作流。

    常见问题

    如何在 Rube MCP 中连接 Scrape Do?

    首先确保已将 https://rube.app/mcp 添加为 MCP 服务器,然后调用 RUBE_MANAGE_CONNECTIONS 并指定 toolkit 为 scrape_do。如果连接未激活,按照返回的授权链接完成设置即可开始使用。

    Scrape Do 自动化需要 API 密钥吗?

    不需要。Rube MCP 通过 Composio 工具包集成 Scrape Do,无需单独管理 API 密钥或处理认证流程。只需确保 MCP 服务器正常连接并激活 Scrape Do 工具包即可。

    如何获取 Scrape Do 工具的最新模式?

    在执行任何抓取任务前,先调用 RUBE_SEARCH_TOOLS 并传入你的具体用例(如"网页抓取操作"),它会返回当前可用的工具列表、精确的输入模式、推荐执行计划以及已知问题,确保你使用的工具模式始终是最新的。