最近在尝试将AI智能体集成到本地开发环境时，发现很多工具要么过于复杂，要么功能单一。直到我深入体验了Hermes 0.18.2版本，其强大的 /learn 命令让我眼前一亮。这个功能允许智能体通过观察你的操作来学习新技能，极大地提升了自动化效率。本文将为你完整拆解Hermes 0.18.2的 /learn 命令，从核心概念、环境搭建到实战教学，手把手教你如何让AI智能体成为你的得力助手。

1. Hermes与Learn命令：智能体学习的革命

在AI智能体领域，一个核心挑战是如何让智能体快速适应新的、未预定义的任务。传统的智能体依赖于预设的指令集或API，一旦遇到复杂或个性化的操作流程，往往束手无策。Hermes项目正是为了解决这一问题而生，它旨在构建一个能够理解、执行并学习人类在计算机上操作的通用智能体。

Hermes 0.18.2版本 带来了一个关键特性： /learn 命令 。这个命令不是简单地记录宏操作，而是实现了“演示学习”（Learning from Demonstration）。其核心流程是： 观察（Observe） -> 理解（Understand） -> 泛化（Generalize） -> 执行（Execute） 。当你执行 /learn 命令后，Hermes智能体会开始录制你的屏幕操作（如鼠标点击、键盘输入、窗口切换），并尝试理解这些操作背后的意图和操作对象（如按钮、输入框、文件）。随后，它会将这一系列具体操作抽象成一个可复用的“技能”（Skill）。当下次遇到类似场景时，智能体便能自动调用这个技能来完成工作。

为什么开发者需要掌握它？ 对于开发者、测试工程师或运维人员来说，日常工作充斥着大量重复性操作：环境配置、日志查询、数据备份、服务部署等。 /learn 命令能够将这些操作“教”给AI智能体，实现“一次教学，终身受用”。这不仅仅是自动化，更是智能化的提升，让智能体真正理解你的工作流。

2. 环境准备与安装部署

在开始教学之前，我们需要一个可运行的Hermes环境。根据网络上的讨论，安装过程可能会遇到一些依赖问题，因此本节将提供一份清晰的避坑指南。

2.1 系统与环境要求

  • 操作系统 : 推荐使用 Ubuntu 22.04 LTS 或 macOS 。Windows系统可通过WSL2（Windows Subsystem for Linux）获得最佳支持。部分GUI操作学习在纯服务器环境下可能受限。
  • Python : 版本 3.9 至 3.11 。建议使用 pyenv 或 conda 管理Python环境，避免系统Python冲突。
  • Node.js : 如果使用Web UI，需要Node.js环境（v16+）。
  • Git : 用于克隆代码仓库。
  • 硬件 : 由于涉及屏幕录制和模型推理，建议配备独立显卡（NVIDIA GPU为佳）以获得更流畅的体验。CPU也可运行，但响应速度会慢一些。

2.2 安装步骤详解

步骤一：克隆代码仓库 打开终端，执行以下命令克隆Hermes的主仓库。注意，网络问题可能导致克隆失败，请确保网络通畅。

# 克隆 Hermes 仓库
git clone https://github.com/your-org/hermes.git
# 进入项目目录
cd hermes

注意 ：上述URL为示例，请替换为Hermes项目实际的官方GitHub地址。网络上的“cloning hermes repository”关键词正是指此操作。

步骤二：创建并激活Python虚拟环境 使用虚拟环境可以隔离项目依赖，是Python项目的最佳实践。

# 创建虚拟环境
python -m venv venv

# 激活虚拟环境
# Linux/macOS
source venv/bin/activate
# Windows (CMD/PowerShell)
venv\Scripts\activate

步骤三：安装依赖包 使用项目提供的 requirements.txt 文件安装依赖。这是最容易出错的一步。

# 升级pip
pip install --upgrade pip

# 安装核心依赖
pip install -r requirements.txt
  • 常见问题1： hermes安装失败 如果安装失败，通常是某个依赖包（如 torch 、 opencv-python ）与当前系统不兼容。可以尝试：
    1. 单独安装有问题的包，指定版本或从特定源下载。例如，对于PyTorch，应去 官网 获取适合你CUDA版本的安装命令。
    2. 检查Python版本是否在支持范围内。
    3. 确保系统已安装必要的开发工具（如 build-essential 、 cmake ）。

步骤四：配置模型与API密钥 Hermes通常需要大语言模型（LLM）作为“大脑”，以及计算机视觉（CV）模型来理解屏幕内容。

  1. LLM配置 ：在项目根目录创建或修改 .env 文件，填入你的OpenAI API密钥或本地LLM（如Ollama）的端点。 
    # .env 文件示例
OPENAI_API_KEY=sk-your-openai-api-key-here
# 或者使用本地模型
LLM_BASE_URL=http://localhost:11434/v1
LLM_MODEL=llama3.2
  2. CV模型 ：首次运行时，程序可能会自动下载所需的CV模型权重文件。请保持网络连接。

步骤五：启动Hermes 根据你的需求，可以选择启动命令行版本或Web UI版本。

  • 启动命令行版本 ： 
    python -m hermes.cli
  • 启动Web UI（如果可用） ： 网络热词中提到了 hermes webui 和 hermes desktop ，说明社区对图形界面有强烈需求。如果项目提供了UI，通常需要： 
    # 进入前端目录安装依赖并启动
cd hermes-webui
npm install
npm run dev
# 同时启动后端服务
cd ..
python -m hermes.server
    然后在浏览器中访问 http://localhost:3000 。

3. /learn 命令核心原理与语法拆解

安装成功后，我们来深入理解 /learn 命令是如何工作的。

3.1 命令语法与参数

在Hermes CLI中， /learn 命令的基本语法如下：

# 基础语法
/learn <skill_name> [--description “技能描述”] [--trigger “触发关键词”]

# 示例：学习如何清理下载文件夹
/learn cleanup_downloads --description “将Downloads文件夹中超过30天的文件移动到Archive文件夹” --trigger “清理下载”
  • <skill_name> (必填)：技能的标识符，使用蛇形命名法（如 open_ide , deploy_service ）。这是你后续调用该技能的名字。
  • --description (可选)：用自然语言描述这个技能是做什么的。这有助于LLM理解技能的意图，对于技能的泛化和后续的智能调用至关重要。
  • --trigger (可选)：定义一个或多个触发关键词。当你在后续对话中提到这些关键词时，Hermes可能会自动建议或直接执行该技能。例如，触发词设为“清理下载”，你说“帮我清理一下下载”，智能体就会联想到这个技能。

3.2 学习过程的技术内幕

当你输入 /learn 命令并回车后，会发生以下事情：

  1. 屏幕录制启动 ：Hermes会启动一个后台进程，以高频率截取屏幕截图。它并不录制视频流，而是捕获离散的帧序列以及同步的输入事件（鼠标坐标、点击、键盘按键）。
  2. 操作分段与意图识别 ：CV模型和事件分析器会将连续的操作流分割成有意义的“步骤”。例如，“双击图标 -> 等待窗口打开 -> 在地址栏输入路径 -> 回车”被视为一个完整的“打开文件夹”步骤。LLM会结合屏幕内容和操作序列，推测用户的意图（“用户想打开项目目录”）。
  3. 抽象与泛化 ：这是最关键的一步。系统不会记录“点击了屏幕(120, 450)位置的Chrome图标”。而是会尝试识别出那个图标是“Chrome浏览器图标”，并抽象出操作：“启动Chrome浏览器”。对于输入文本，它会记录输入的内容，但也会尝试判断输入框的语义（如“搜索框”、“用户名框”）。
  4. 技能存储 ：抽象后的操作序列、相关的屏幕元素特征（通过CV模型提取）、描述和触发词，会被序列化并存储到本地的技能库（通常是一个JSON或数据库文件）中。这就是 hermes的skill下载 和 hermes skill 等热词背后所指的内容——技能的分享与复用。

3.3 与普通宏录制的区别

特性 传统宏/按键精灵 Hermes /learn 命令
录制基础 精确的坐标与按键序列 屏幕视觉元素与操作意图
环境适应性 差（窗口位置、分辨率变化即失效） 强（通过CV识别元素，适应位置变化）
可理解性 低（一串二进制指令） 高（生成可读的自然语言描述）
泛化能力 无（只能复现原操作） 有（可在相似场景下尝试应用）
维护成本 高（环境一变就要重录） 相对较低

4. 完整实战：教Hermes学习“项目初始化”技能

现在，我们通过一个完整的实战案例，学习如何使用 /learn 命令让Hermes掌握一个对开发者非常有用的技能： 一键初始化一个新的Python项目 。

技能目标 ：在桌面创建一个名为 my_new_project 的文件夹，初始化git仓库，创建虚拟环境，并生成一个基础的 README.md 和 main.py 文件。

4.1 启动学习模式

  1. 确保Hermes CLI已运行，并且虚拟环境已激活。
  2. 在Hermes命令行中输入以下命令开始学习： 
    /learn init_python_project --description “在桌面创建指定名称的Python项目，初始化git和venv，并创建基础文件。” --trigger “初始化项目 创建项目”
    输入命令后，你会看到提示：“开始录制，请演示技能。完成后按 Ctrl+C 停止。”

4.2 演示操作流程

请严格按照以下步骤操作，动作可以稍慢一些，以便CV模型更好地捕捉：

  1. 打开终端 ：使用快捷键（如 Ctrl+Alt+T ）或点击图标打开系统终端。
  2. 导航到桌面 ：在终端中输入 cd ~/Desktop 并回车。
  3. 创建项目文件夹 ：输入 mkdir my_new_project && cd my_new_project 并回车。
  4. 初始化Git仓库 ：输入 git init 并回车。
  5. 创建虚拟环境 ：输入 python -m venv venv 并回车。
  6. 创建README.md ：输入 echo “# My New Project” > README.md 并回车。
  7. 创建main.py ：输入 echo ‘print(“Hello from Hermes!”)’ > main.py 并回车。
  8. 列出文件 （可选，让智能体看到结果）：输入 ls -la 并回车。

4.3 结束学习与技能存储

操作演示完毕后，回到Hermes CLI窗口，按下 Ctrl+C 组合键结束录制。 Hermes后台会开始处理录制的数据。你会看到类似以下的输出：

正在分析录制内容...
识别出操作序列：打开终端 -> 切换目录 -> 创建目录 -> 初始化git -> 创建虚拟环境 -> 创建文本文件。
已抽象出技能 ‘init_python_project’。
技能已保存至技能库。你可以使用 /run init_python_project 来执行它。

至此，技能学习完成。所有操作被抽象并存储。你可以查看技能库文件（如 skills.json ）来了解其内部表示。

4.4 测试与执行技能

现在，我们来测试刚学会的技能。

  1. 直接运行 ：在Hermes CLI中输入 /run init_python_project 。智能体会尝试在桌面创建一个新的项目（它可能会自动生成一个不同的项目名，或询问你项目名）。
  2. 通过对话触发 ：在CLI中，直接输入自然语言指令：“帮我初始化一个Python项目叫 test_hermes ”。由于我们设置了触发词“初始化项目”，Hermes会识别出意图，并询问你是否要执行 init_python_project 技能，或者直接开始执行。

4.5 结果验证

前往桌面，你应该能看到一个新创建的文件夹（名称可能是 my_new_project_1 或 test_hermes ，取决于执行时的参数处理）。进入文件夹，检查 git 仓库、 venv 目录、 README.md 和 main.py 文件是否都已成功创建。

5. 常见问题与排查思路（FAQ）

在实际使用 /learn 命令时，你可能会遇到以下问题。这里提供系统的排查思路。

问题现象 可能原因 解决思路
/learn 命令无响应或报错 1. Hermes服务未正常启动。
2. 屏幕录制权限未开启。
3. 缺少CV或GUI操作库。		 1. 检查Hermes进程是否运行，查看日志。
2. 在系统设置中为终端或Python赋予屏幕录制权限（macOS/Windows）。
3. 确认安装了 pyautogui , opencv-python , mss 等库。
技能执行时操作错位（点错按钮） 1. 屏幕分辨率或缩放比例与学习时不同。
2. 应用程序界面布局更新。
3. CV模型未能准确定位目标元素。		 1. 尽量在相同的显示设置下教学和使用技能。
2. 教学时操作速度放慢，在关键界面稍作停留。
3. 考虑在技能中增加“查找元素”的逻辑，而非依赖绝对坐标。
技能无法泛化到相似场景 1. 教学时的操作场景过于特殊。
2. 技能描述不够清晰，LLM无法理解核心意图。		 1. 在教学时，展示该操作在不同上下文中的通用模式（例如，在不同文件夹下创建项目）。
2. 编写更详细、准确的 --description ，说明技能的输入、输出和适用条件。
学习过程中卡住或崩溃 1. 录制数据过大，内存溢出。
2. 与系统其他快捷键冲突。		 1. 缩短演示时长，复杂技能可以分多个子技能学习。
2. 检查Hermes的快捷键设置，避免与演示操作冲突。
/run 时提示技能未找到 1. 技能名称拼写错误。
2. 技能库文件损坏或路径错误。		 1. 使用 /list 命令查看所有已学技能的正确名称。
2. 检查技能存储路径（如 ~/.hermes/skills/ ）下的文件。

6. 最佳实践与高级技巧

要让 /learn 命令发挥最大效力，遵循以下最佳实践至关重要。

6.1 教学阶段的最佳实践

  1. 单一职责 ：一个技能只做一件事。不要将“打开IDE、编写代码、运行测试、提交Git”作为一个技能教学。应拆分为 open_ide 、 write_boilerplate 、 run_tests 、 git_commit 等多个小技能。这提高了技能的复用性和可靠性。
  2. 清晰的开场与结束 ：开始教学前，确保屏幕处于一个明确的“初始状态”（如桌面）。操作结束后，最好回到一个“干净的状态”（如关闭所有打开的窗口）。这有助于智能体界定技能的边界。
  3. 使用明确的界面元素 ：尽量点击有文字标签的按钮、菜单，而不是空白区域。在输入时，先点击输入框获得焦点，再输入内容。这为CV模型提供了更强的识别信号。
  4. 提供丰富的描述 ： --description 参数是技能的“说明书”。不仅要写“做什么”，还要写“为什么做”和“输入输出是什么”。例如：“技能： fetch_logs 。描述：从服务器 /var/log/app/ 目录下载当天产生的日志文件到本地 ./logs/ 目录，用于故障排查。输入：服务器IP地址。输出：下载的日志文件列表。”

6.2 技能管理与工程化建议

  1. 版本化技能库 ：将技能库文件（如 skills.json ）纳入版本控制（如Git）。这样可以在团队间共享技能，并回滚到之前的版本。
  2. 技能参数化 ：高级用法是让技能接受参数。例如， init_python_project 技能可以接受一个 project_name 参数。这需要在教学时，演示如何将变量（如通过命令行参数或对话输入）融入到操作中。Hermes的后续版本可能会原生支持。
  3. 组合技能 ：通过对话或脚本，将多个基本技能组合起来完成复杂工作流。例如：“首先，执行 fetch_latest_code 技能；然后，执行 run_build 技能；最后，如果构建成功，执行 deploy_to_staging 技能。”
  4. 定期测试与维护 ：应用程序更新后，原有的技能可能会失效。建立定期测试技能有效性的机制，并及时对失效的技能进行重新教学或调整。

6.3 安全边界提醒

这是最重要的一条 ： /learn 命令功能强大，但也存在风险。

  • 最小权限原则 ：不要在Hermes具有高权限（如root）的会话中教学涉及系统关键操作（ rm -rf / , dd 等）的技能。
  • 危险操作隔离 ：避免教学直接操作生产数据库、删除重要文件、重启关键服务等高风险技能。如果必须，要在技能描述中加入明确的警告，并在执行前增加 人工确认环节 。
  • 环境隔离 ：建议在虚拟机或专属的开发环境中进行教学和测试，避免对主机环境造成意外影响。
  • 技能审核 ：在团队共享技能前，应对技能代码（抽象后的操作序列）进行审核，防止恶意或危险的操作被传播。

通过以上步骤，你不仅能够掌握Hermes /learn 命令的基本用法，更能理解其背后的原理，并能在实际项目中安全、高效地运用这一强大功能，将重复性劳动真正交给智能体，从而专注于更有创造性的开发工作。

# AI智能体
Logo
亚马逊云科技技术品牌专区

更多推荐

cover

单片机基础核心知识点汇总（十）

avatar 亚马逊云科技技术品牌专区
cover

Hugging Face Optimum 源码静态评测：模型部署优化框架的工程结构与验证边界

avatar 亚马逊云科技技术品牌专区
cover

AI 工具能解决独立站获客难的问题吗？

avatar 亚马逊云科技技术品牌专区