Open Skills Logo
Open Skills

baoyu-url-to-markdown

获取任意网址并使用Chrome开发者工具协议转换为Markdown格式。支持两种模式：页面加载时自动捕获，或等待用户信号（适用于需要登录的页面）。当用户希望将网页保存为Markdown时使用此功能。

作者

@JimLiu

分类

文档处理

安装

热度:31

下载并解压到你的 skills 目录

复制命令，发送给 OpenClaw 自动安装：

下载并安装这个技能 https://openskills.cc/api/download?slug=jimliu-skills-baoyu-url-to-markdown&locale=zh&source=copy

baoyu-url-to-markdown

技能概述


baoyu-url-to-markdown 是一个基于 Chrome CDP 的网页抓取工具，可以将任何 URL 转换为格式规范的 Markdown 文件，支持自动抓取和手动触发两种模式。

适用场景


  • 保存需要登录的网页内容 — 使用等待模式，在浏览器中完成登录后手动触发抓取，适合会员文章、付费内容等场景

  • 抓取动态渲染网页 — 通过 Chrome CDP 完整执行 JavaScript，获取渲染后的最终页面内容，适合 SPA 应用、懒加载页面

  • 网页内容归档整理 — 自动提取网页元数据（标题、描述、发布时间等），按域名和标题自动组织目录结构，适合知识库建设和内容收集

    • 核心功能


  • Chrome CDP 深度抓取 — 使用 Chrome DevTools Protocol 控制浏览器，完整执行页面 JavaScript，确保抓取到渲染后的真实内容，而非静态 HTML

  • 双模式抓取支持 — 自动模式在网络空闲时立即抓取，适合公开页面；等待模式等待用户手动信号，适合需要登录或交互的复杂页面

  • 智能输出组织 — 自动提取页面元数据生成 YAML front matter，按域名和标题生成 kebab-case 文件名，支持冲突检测和时间戳重命名

    • 常见问题

    baoyu-url-to-markdown 是什么？


    baoyu-url-to-markdown 是一个命令行工具，通过 Chrome CDP（Chrome DevTools Protocol）控制浏览器访问指定 URL，将网页内容转换为格式规范的 Markdown 文件。相比传统爬虫，它能完整执行 JavaScript，获取动态渲染后的内容。

    如何使用？


    基本用法：npx -y bun ${SKILL_DIR}/scripts/main.ts <url>
    等待模式（适合登录页）：npx -y bun ${SKILL_DIR}/scripts/main.ts <url> --wait
    指定输出文件：npx -y bun ${SKILL_DIR}/scripts/main.ts <url> -o output.md

    支持需要登录的网页吗？


    支持。使用 --wait 参数启动等待模式，工具会打开 Chrome 浏览器等待你手动登录或完成页面交互。当页面准备好后，在终端按回车键即可触发抓取。这是处理需要登录、有多重验证或有复杂交互流程的页面的最佳方式。