Qwen-MM-Plugins完全指南：让任何智能体轻松驾驭多模态能力的终极平台

孙泽忱

1021人浏览 · 2026-08-11 08:28:30

孙泽忱 · 2026-08-11 08:28:30 发布

Qwen-MM-Plugins完全指南：让任何智能体轻松驾驭多模态能力的终极平台

【免费下载链接】Qwen-MM-Plugins Make any agent harness multimodal-native. 项目地址: https://gitcode.com/gh_mirrors/qw/Qwen-MM-Plugins

Qwen-MM-Plugins是一个功能强大的开源平台，旨在让任何智能体都能轻松具备多模态能力。通过这个平台，开发者可以为智能体添加处理图像、视频、文本等多种媒体类型的能力，极大地扩展了智能体的应用范围和交互方式。无论是构建教育助手、创意设计工具还是企业级应用，Qwen-MM-Plugins都能提供全方位的支持。

为什么选择Qwen-MM-Plugins？

在当今人工智能快速发展的时代，单一模态的智能体已经无法满足复杂的应用需求。多模态能力成为衡量智能体先进性的重要标准。Qwen-MM-Plugins应运而生，它提供了一套完整的解决方案，让开发者能够快速为智能体集成各种多模态功能。

Qwen-MM-Plugins的核心优势在于其模块化设计和丰富的功能集。平台包含多个功能模块，如核心视觉处理、视频记忆、视频编辑、3D建模等，每个模块都可以独立使用或组合应用。这种设计不仅提高了开发效率，还保证了系统的灵活性和可扩展性。

$Qwen3VL架构图$

Qwen3VL架构图展示了平台的多模态处理能力，支持图像、视频等多种输入类型

快速开始：安装与配置

环境要求

Qwen-MM-Plugins支持Linux和macOS系统，Windows用户可以通过WSL2运行。安装前请确保系统满足以下要求：

Python 3.8+
Node.js 18+ (用于edu-agent模块)
必要的系统工具：ffmpeg, libreoffice, blender等

一键安装

对于支持插件市场的平台（如Qwen Code, Gemini CLI），可以通过以下命令快速安装：

git clone https://gitcode.com/gh_mirrors/qw/Qwen-MM-Plugins
cd Qwen-MM-Plugins
bash install.sh

安装程序会引导你完成整个安装过程，包括选择需要的功能模块和配置API密钥。

QwenWork安装界面展示了插件安装和配置过程

手动安装

对于不支持插件市场的平台，可以通过手动注册skill和MCP server的方式安装：

# 注册skill
ln -s "$(pwd)/src/capabilities/core/skill" ~/.claude/skills/qwen-mm-plugins-core

# 注册MCP server
claude mcp add qwen-mm-plugins-core -- \
  uvx --from "qwen-mm-plugins[core] @ git+https://github.com/QwenLM/Qwen-MM-Plugins.git@main" qwen-mm-plugins-core

详细的安装指南可以参考官方文档：docs/zh/installation.md

核心功能模块介绍

1. 核心视觉处理（core）

core模块提供了基础的视觉处理能力，包括图像读取、视频分析、OCR识别等。通过这些工具，智能体可以"看懂"图像和视频内容，为后续的分析和交互奠定基础。

视频内容分析示例展示了智能体如何解析视频帧并生成描述

主要功能包括：

read_image: 读取和处理图像文件
read_video: 分析视频内容，提取关键帧
ocr: 多语言文字识别
grounding: 图像中物体定位

2. 视频记忆（video-memory）

video-memory模块让智能体能够"记住"视频内容，通过构建层次化的语义结构，实现对长视频的高效检索和分析。这对于视频监控、内容审核等应用场景非常有用。

3. 视频编辑（video-edit）

video-edit模块提供了视频剪辑、特效添加、音频处理等功能。结合AI生成能力，智能体可以自动创建专业级的视频内容。

4. 3D建模工具（blender/freecad）

Qwen-MM-Plugins集成了Blender和FreeCAD等3D建模工具，使智能体能够处理和生成3D模型。这为工程设计、游戏开发等领域提供了强大支持。

FreeCAD 3D模型示例展示了智能体生成的机械零件设计

多语言支持能力

Qwen-MM-Plugins具有强大的多语言处理能力，特别是在OCR识别方面，支持超过30种语言，识别准确率普遍在80%以上。

$多语言OCR支持$

多语言OCR支持展示了平台在不同语言上的识别准确率

这使得Qwen-MM-Plugins能够轻松应对全球化应用场景，为不同语言背景的用户提供优质服务。

开发指南：构建自定义插件

Qwen-MM-Plugins的模块化设计使得开发自定义插件变得简单。只需遵循以下步骤，你就可以为平台添加新的能力：

复制示例插件模板：

cp -r src/capabilities/example/ src/capabilities/your_plugin/

修改插件元信息，包括名称、描述和依赖项。
实现工具逻辑，每个工具需要定义输入参数和处理函数：

class EchoArgs(BaseModel):
    message: str = Field(description="Text to echo back.")
    repeat: int = Field(default=1, description="Repeat count (1-10).")

TOOL = {"name": "echo", "description": "Echoes back the input message.", "args": EchoArgs}

def handle(arguments: dict) -> list[dict]:
    message = arguments["message"]
    repeat = arguments["repeat"]
    return [{"type": "text", "text": message * repeat}]