firecrawl-scraper
深度网页抓取、截图、PDF解析与网站爬取（使用Firecrawl API）
Firecrawl 爬虫技能
技能概述
firecrawl-scraper 是一款基于 Firecrawl API 的 Claude Code 技能，能够智能抓取网页内容、生成页面截图、解析 PDF 文件，并支持批量网站爬取，特别适合处理需要 JavaScript 渲染的动态页面。
适用场景
-
动态网页内容提取 当你需要抓取需要 JavaScript 渲染的现代网页，或者页面内容需要通过点击、滚动等交互才能加载时，Firecrawl 可以自动处理这些复杂操作。
-
批量网页采集 当你需要一次性抓取多个 URL 的内容，例如竞品分析、资料收集或数据聚合任务时，可以批量处理提高效率。
-
页面快照与文档解析 需要保存网页视觉快照（截图）或从 PDF 文件中提取文本内容时，该技能提供一体化的解决方案。
核心功能
-
深度内容抓取 自动执行页面交互操作（点击、滚动、等待加载），智能提取页面核心文本内容，无需手动处理复杂的反爬机制。
-
页面截图与 PDF 解析 一键生成网页高清截图，支持从在线 PDF 文件中提取文本内容，便于内容归档和分析。
-
批量 URL 处理 支持同时提交多个网页地址进行批量抓取，适合需要大规模数据采集的场景。
常见问题
Firecrawl API key 如何获取和配置？
访问 Firecrawl 官网注册账号后即可获取 API key。建议通过环境变量配置 API key，避免在代码中硬编码敏感信息。配置完成后即可在 Claude Code 中直接使用该技能。
Firecrawl 和普通爬虫有什么区别？
传统爬虫工具如 BeautifulSoup 或 Scrapy 只能获取静态 HTML，无法处理 JavaScript 渲染的内容。Firecrawl 使用无头浏览器技术，能够执行页面脚本、处理动态加载内容，并内置了智能的内容提取算法，开箱即用。
能否抓取需要登录的页面？
Firecrawl 支持通过配置 Cookie 或自定义请求头来处理需要认证的页面。具体实现方式可以参考项目的 GitHub 仓库文档，里面有详细的配置示例和最佳实践指南。