Open Skills Logo
Open Skillsopenskills.cc
技能autoskill
A

autoskill

通过 screenpipe 观察用户屏幕，检测重复出现的研究工作流，将它们与现有的科学智能体技能进行匹配，并为尚未覆盖的模式起草新的技能（或将现有技能串联的组合配方）。当用户请求分析其近期工作并基于其实际所做内容提出技能时使用。需要在本地运行 screenpipe 守护进程（https://github.com/screenpipe/screenpipe），并监听 3030 端口——该技能没有其他数据源；若无法连接到 screenpipe，将拒绝运行。所有检测都在本地完成；仅有已脱敏的集群摘要会发送给 LLM。

autoskill - 自动化技能生成工具

技能概述

autoskill 是一个基于屏幕活动观察的智能技能生成工具，能够自动检测用户在日常科研工作中的重复操作模式，并将其转化为可复用的 AI 技能或技能组合方案。

适用场景

  1. 科研工作流程优化

    适合经常进行文献检索、学术写作、数据分析的科研人员。autoskill 能够识别文献管理、论文撰写、图表制作等重复性流程，并生成相应的自动化技能建议，帮助研究者将日常操作转化为可复用的 AI 工作流。

  2. 重复操作模式发现

    当你发现自己频繁执行相似的屏幕操作序列，但不确定这些操作是否已被现有技能覆盖时，autoskill 可以分析你的屏幕活动记录，识别出重复模式并与现有技能库进行匹配，告诉你哪些流程可以自动化。

  3. 本地化 AI 技能创作

    适合重视隐私保护、希望所有数据处理都在本地完成的研究者。autoskill 完全基于本地的 screenpipe 守护进程和可选的本地 LLM（如 LM Studio），无需将敏感的屏幕数据上传到云端，即可获得个性化的技能建议。

核心功能

  1. 智能工作流程识别

    通过 screenpipe 捕获的屏幕活动记录，autoskill 使用会话分割和聚类算法自动识别重复的工作流程模式。它能够分析应用使用时长、窗口标题和 OCR 文本，将连续的操作序列聚类成有意义的"会话"，并检测出重复出现的工作流程。

  2. 与现有技能库智能匹配

    autoskill 内置了对 135+ 现有科学技能的嵌入索引，能够将检测到的工作流程与现有技能进行语义匹配。对于已有技能覆盖的流程，它会建议复用；对于需要多个技能组合的流程，它会生成组合方案；对于全新场景，它会起草完整的新技能。

  3. 隐私友好的本地分析

    所有敏感的数据处理都在用户本地完成：screenpipe 负责在捕获时过滤敏感应用，autoskill 的 redact 脚本会进一步清理 OCR 文本中的敏感信息（邮箱、API 密钥、电话号码），聚类和匹配完全在本地运行。用户可以选择使用本地 LLM（LM Studio）进行技能生成，确保没有任何原始屏幕数据离开机器。

常见问题

autoskill 如何保护我的隐私和数据安全？

autoskill 采用多层隐私保护机制。首先，screenpipe 在捕获时就会根据配置文件排除敏感应用（如密码管理器、银行应用等）。其次，autoskill 的 redact 脚本会在分析前清理 OCR 文本中的敏感信息（邮箱、API 密钥、Bearer token、电话号码）。最重要的是，所有聚类和匹配都在本地完成，你可以选择使用本地 LLM（如 LM Studio）进行技能生成，这样任何原始屏幕数据都不会离开你的机器。

使用 autoskill 需要哪些前置条件和依赖？

使用 autoskill 需要三个主要组件：（1）screenpipe 守护进程在本地运行并绑定到 localhost:3030；（2）Python 环境，通过 pipenv 安装 httpx、pyyaml 和 sentence-transformers；（3）可选的 LLM 后端。默认配置使用本地运行的 LM Studio（需下载 Gemma-4-31B-it 模型），也可以选择使用 Claude API（需要 ANTHROPIC_API_KEY）或 Foundry 网关。

autoskill 能识别哪些类型的工作流程？

autoskill 特别适合识别科研场景中的重复工作流程，包括文献检索与管理（如 Zotero、PubMed 相关操作）、学术写作（如 LaTeX、Word 编辑模式）、科研绘图（如 Python matplotlib、R ggplot2）、演示制作（如 PowerPoint、Beamer）等。它会识别跨多个应用的复杂工作流，只要这些操作在时间上呈现重复模式，就能被检测到。

生成的技能建议如何审核和发布？

autoskill 会将生成的建议存放在 ~/.autoskill/proposed/<timestamp>/ 目录中，包括一份报告和草拟的 SKILL.md 文件。你需要手动查看这些草稿，编辑修改，然后使用 promote 命令将认可的建议移动到正式的 skills 目录中。promote 命令会拒绝覆盖已存在的技能，确保不会意外丢失已有内容。

autoskill 生成的技能是复用现有技能还是新技能？

这取决于 LLM 对工作流程的判断。如果检测到的工作流程与现有技能高度匹配，它会建议"复用"（reuse）。如果工作流程需要多个现有技能按顺序执行，它会生成"组合方案"（compose），输出一个包含多个技能调用序列的 SKILL.md。只有当现有技能都无法覆盖时，它才会生成"新技能"（novel）的完整草稿。

如何配置敏感应用的过滤规则？

screenpipe 使用配置文件来管理应用过滤。autoskill 提供了 references/screenpipe-config.yaml 作为起始模板，其中包含常见敏感应用的拒绝列表。你需要将此文件复制到 screenpipe 的配置目录，并根据个人需求添加或移除应用。这样 screenpipe 在捕获时会直接跳过这些应用的屏幕内容。

本地运行 autoskill 需要什么硬件配置？

本地运行 autoskill 的硬件需求主要取决于选择的 LLM 后端。如果使用默认的本地 LM Studio 后端，你需要一块能运行 Gemma-4-31B-it 模型的 GPU（推荐 8GB+ VRAM）。如果没有足够 GPU，可以选择使用 Claude API 或 Foundry 云端后端，此时硬件要求可以大幅降低。screenpipe 本身的 OCR 聚类和匹配计算对 CPU 和内存要求不高，现代笔记本电脑即可流畅运行。