Qwen2.5-VL 是阿里通义千问团队推出的多模态大模型，能够同时理解图像、视频和文本信息。下面我将为你详细介绍它的特点，并提供一份清晰的安装与开发指南。

👁️ 模型核心特点

Qwen2.5-VL 的核心能力在于其出色的视觉-语言理解和生成能力，具体表现在以下几个方面：

• 强大的多模态能力：不仅在标准的图像描述（Captioning）、视觉问答（VQA）、文档问答（DocVQA）和指代理解（Grounding）等任务上表现优异，还增强了对时间和空间尺度的感知能力。
• 灵活的视觉处理：模型能够动态地将不同尺寸的图像转换为不同长度的 token，并使用图像的实际尺寸来表示坐标信息，这使其能够更好地作为一个视觉 Agent 来推理并动态使用工具。
• 支持长上下文：文本上下文长度最高可支持 128K tokens，使其能够处理非常长的对话或文档。
• 多语言友好：天然支持中文、英文等多语言对话，并对中文场景有良好的优化。

🛠️ 安装与环境配置

在开始编写代码前，你需要配置好合适的Python环境。以下是基于不同部署方式的推荐方案。

1. 创建并激活虚拟环境（推荐，以避免包冲突）：

   conda create -n qwen_vl python=3.10
   conda activate qwen_vl
   

2. 安装核心Python库：
   如果你选择使用 Transformers 方案，可以安装以下依赖：

   # 安装基础库
   pip install transformers accelerate
   # 安装Qwen2.5-VL相关的工具库
   pip install qwen-vl-utils[decord]
   # 安装PyTorch（请根据你的CUDA版本选择合适命令，以下是CUDA 11.8的示例）
   pip install torch==2.7.0 torchvision==0.22.0 torchaudio==2.7.0 --index-url https://download.pytorch.org/whl/cu118
   

   如果你想启用 flash_attention_2 以获得更好的加速和内存节省，尤其是在处理多图或视频时，可以安装支持该功能的Transformers版本。

3. （可选）安装开发框架Qwen-Agent：
   Qwen-Agent是一个基于Qwen模型的Agent开发框架，可以让你更方便地构建具备工具使用、规划等能力的智能体应用。

   # 从源码安装开发版本，并包含GUI、代码解释器等可选功能
   git clone https://github.com/QwenLM/Qwen-Agent.git
   cd Qwen-Agent
   pip install -e ./"[gui,code_interpreter]"
   

💻 基础开发示例

环境准备好后，你就可以开始编写代码了。以下是一个使用 Transformers库 进行图像描述的基础示例：

from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

# 1. 加载模型和处理器（会自动从Hugging Face下载模型，首次运行较慢）
# 如果模型已下载到本地，可以将"Qwen/Qwen2.5-VL-7B-Instruct"替换为本地路径
model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Qwen/Qwen2.5-VL-7B-Instruct",
    torch_dtype="auto",
    device_map="auto"
)
processor = AutoProcessor.from_pretrained("Qwen/Qwen2.5-VL-7B-Instruct")

# 2. 构建多模态对话消息
messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "path/to/your/image.jpg",  # 请替换为你的本地图片路径
            },
            {"type": "text", "text": "描述这张图片。"},
        ],
    }
]

# 3. 预处理输入（处理图像和文本）
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)  # 处理视觉信息
inputs = processor(
    text=[text],
    images=image_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to(model.device)

# 4. 模型推理生成回答
generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)

# 5. 打印结果
print(output_text[0])

🚀 进阶应用与优化

• 使用Qwen-Agent构建智能体：Qwen-Agent框架允许你轻松地为模型扩展工具使用能力。例如，你可以创建一个能查询天气并生成对应图像的助手。

  from qwen_agent.agents import Assistant
  
  # 配置模型（也可以配置为使用本地部署的模型）
  llm_cfg = {
      'model': 'qwen-plus-latest',  # 使用阿里云DashScope服务
      # 或者使用本地模型：'model': 'Qwen/Qwen2.5-VL-7B-Instruct', 'model_server': 'http://localhost:8000/v1'
  }
  
  # 创建助手，并指定它可以使用的工具列表
  bot = Assistant(
      llm=llm_cfg,
      function_list=['image_gen', 'code_interpreter']  # 指定图像生成和代码解释工具
  )
  
  # 与智能体交互
  messages = [{'role': 'user', 'text': '画一只在沙滩上的狗。'}]
  for response in bot.run(messages=messages):
      # 流式输出响应
      print(response)
  

• 性能优化提示：

  • 量化：如果显存有限，可以考虑使用GGUF量化格式的模型或使用OpenVINO进行INT4量化，以显著降低资源占用。
  • 视觉token调整：通过设置 min_pixels 和 max_pixels 参数，可以调整每张图像生成的视觉token数量范围，在性能和成本之间取得平衡。

💎 如何选择部署方案

为了帮助你更好地启动项目，可以根据你的目标来参考下表选择起点：