Open Skills Logo
Open Skillsopenskills.cc
技能baoyu-url-to-markdown
B

baoyu-url-to-markdown

获取任意网址并使用Chrome开发者工具协议转换为Markdown格式。支持两种模式：页面加载时自动捕获，或等待用户信号（适用于需要登录的页面）。当用户希望将网页保存为Markdown时使用此功能。

baoyu-url-to-markdown

技能概述

baoyu-url-to-markdown 是一个基于 Chrome CDP 的网页抓取工具，可以将任何 URL 转换为格式规范的 Markdown 文件，支持自动抓取和手动触发两种模式。

适用场景

  1. 保存需要登录的网页内容 — 使用等待模式，在浏览器中完成登录后手动触发抓取，适合会员文章、付费内容等场景
  2. 抓取动态渲染网页 — 通过 Chrome CDP 完整执行 JavaScript，获取渲染后的最终页面内容，适合 SPA 应用、懒加载页面
  3. 网页内容归档整理 — 自动提取网页元数据（标题、描述、发布时间等），按域名和标题自动组织目录结构，适合知识库建设和内容收集

核心功能

  1. Chrome CDP 深度抓取 — 使用 Chrome DevTools Protocol 控制浏览器，完整执行页面 JavaScript，确保抓取到渲染后的真实内容，而非静态 HTML
  2. 双模式抓取支持 — 自动模式在网络空闲时立即抓取，适合公开页面；等待模式等待用户手动信号，适合需要登录或交互的复杂页面
  3. 智能输出组织 — 自动提取页面元数据生成 YAML front matter，按域名和标题生成 kebab-case 文件名，支持冲突检测和时间戳重命名

常见问题

baoyu-url-to-markdown 是什么？

baoyu-url-to-markdown 是一个命令行工具，通过 Chrome CDP（Chrome DevTools Protocol）控制浏览器访问指定 URL，将网页内容转换为格式规范的 Markdown 文件。相比传统爬虫，它能完整执行 JavaScript，获取动态渲染后的内容。

如何使用？

基本用法：npx -y bun ${SKILL_DIR}/scripts/main.ts <url> 等待模式（适合登录页）：npx -y bun ${SKILL_DIR}/scripts/main.ts <url> --wait 指定输出文件：npx -y bun ${SKILL_DIR}/scripts/main.ts <url> -o output.md

支持需要登录的网页吗？

支持。使用 --wait 参数启动等待模式，工具会打开 Chrome 浏览器等待你手动登录或完成页面交互。当页面准备好后，在终端按回车键即可触发抓取。这是处理需要登录、有多重验证或有复杂交互流程的页面的最佳方式。