一、项目缘起：用技术传递温度

作为一名开发者，我一直相信技术不仅是解决问题的工具，更是传递温暖的桥梁。一次偶然的机会，我了解到视障人士在信息时代面临的困境——他们无法「看到」微信家庭群里的照片、电商平台的商品图片、新闻网页的配图，甚至无法自主处理医疗影像和证件图片。

全球约有 2.53 亿视障/低视力人士（WHO 2023 数据），中国约 1700 万。在信息图像化的今天，他们面临的困境包括：
● 微信家庭群里的照片，完全不知道是什么。
● 电商平台购物，无法浏览商品图片。
● 新闻网页满是配图，无法获取视觉信息。
● 医疗影像/证件图片，无法自主处理。

这让我萌生了一个想法：能否利用端侧 AI 技术，为视障人士打造一款无障碍图像解说工具？于是，「AI Accessibility Narrator」项目应运而生。

AI Accessibility Narrator 是一个非常适合新手入门的开源项目，它不仅技术栈相对简单，而且具有实际的社会价值。通过参与这个项目，你可以：

1. 学习端侧 AI 部署的完整流程
2. 了解多模态 AI 模型的使用方法
3. 掌握 OpenVINO™ 等开源工具的基本用法
4. 为无障碍领域贡献自己的力量
5. 积累开源项目的参与经验

二、项目简介：端侧 AI 的力量

本文选择了视障无障碍这个方向，原因不是为了技术炫技，而是因为它是一个真实存在、长期被忽视的问题。

全球约有 2.53 亿视障与低视力人士，中国有约 1700 万。他们每天面对的数字世界越来越依赖图像——家人分享的照片、电商平台的商品图、新闻网站的配图，甚至医院的检查报告——这些对于正常人几秒钟就能理解的内容，对视障者来说是一堵看不见的墙。现有的屏幕阅读器只能处理文字，图像信息的鸿沟从未被系统性地填上。

我们构建了一套端侧 AI 无障碍图像解说系统并发布到GitCode上。核心思路是：将视觉语言模型（VLM）通过 OpenVINO 量化和运行时优化，压缩部署到普通 Intel CPU 上，再结合 TTS 文字转语音模块，实现「拍图 → 理解 → 朗读」的完整闭环。整个推理链路无需联网、无需 GPU、无需云端 API，在标准 Intel Core Ultra 设备上即可运行，NPU 加速时延迟相比 CPU 降低约 50%，功耗降低约 68%。我们为此开发了 Gradio Web 应用、命令行工具和一键演示脚本，支持三种输出模式（详细描述、关键词提取、情感朗读），并将完整能力封装为 OpenClaw Skill，使其可以被 Agent 直接调用，而不是停留在一个独立的应用孤岛。

这套系统的意义在于：它把一项此前需要云端大模型才能完成的能力，真正带到了端侧、带到了可以离线使用的设备上，同时保持了对普通用户友好的交互门槛。

核心功能

• 三级解说深度：简洁模式（1-2句概括）、标准模式（约100字）、详细模式（200-300字）
• 双引擎语音合成：edge-tts（联网，音质好）和 pyttsx3（离线，稳定）自动切换
• 批量处理：支持整个文件夹的图片批处理
• WCAG 2.1 合规报告：生成符合无障碍标准的 HTML 报告，包含可直接使用的 alt 描述
• 多设备支持：自动适配 CPU、GPU、NPU 等不同硬件

三、快速上手：从环境搭建到运行

1. 环境要求

项目	要求
Python	3.9 ~ 3.11（推荐 3.11）
CPU	Intel 第 11 代+ / Core Ultra（AI PC）
内存	≥ 16GB（推荐 32GB）
磁盘	≥ 10GB 可用空间（模型约 3.5GB）
操作系统	Windows 10/11（64位）/ Ubuntu 20.04+

2. 安装步骤

Windows 一键安装（推荐）：

双击运行 setup_env.bat

手动安装：

# ⚠️ nncf 必须先装！
pip install nncf>=2.7.0
pip install openvino>=2024.5.0 openvino-genai>=2024.5.0
pip install "optimum-intel[openvino]>=1.20.0"
pip install Pillow gradio tqdm edge-tts pyttsx3 jupyter

3. 下载并转换模型

# 国内用户（魔搭镜像，速度快）：
python download_model.py --mirror ms

# 使用 HuggingFace 国内镜像：
python download_model.py --mirror hf

# 检查模型是否已就绪：
python download_model.py --check

⏳ 首次下载+转换约需 15-30 分钟，之后无需重复

4. 运行方式

方式 1：Gradio Web 界面（推荐）

python app.py
# 访问 http://localhost:7860

方式 2：命令行单图处理

python app.py --image your_photo.jpg --mode standard --tts

方式 3：批量处理

python app.py --batch ./your_images/ --mode standard --out report.html

我们搭建一套本地化运行的系统，运行效果如下：

运行解说效果如下：

四、开源经验分享：从 0 到 1 的实践

1. 技术选型的思考

在项目初期，我面临一个关键选择：是使用云端 API 还是端侧部署？

对比维度	云端 API（如 GPT-4o）	端侧 OpenVINO
隐私安全	❌ 图片上传至云端	✅ 全程本地处理
使用成本	❌ 约 ¥0.1-0.5/次	✅ 零费用
网络依赖	❌ 必须联网	✅ 可完全离线
首字延迟	❌ 1-5 秒（含网络）	✅ < 1 秒（本地）
敏感图片	❌ 存在外泄风险	✅ 无任何外泄

对于视障用户的日常场景，端侧方案在隐私、成本、离线可用性三个维度均有绝对优势。因此，我选择了 OpenVINO™ 作为推理框架，MiniCPM-V 作为视觉模型。

2. 开源踩坑实录

坑 1：HuggingFace 下载超时（国内用户）

问题：snapshot_download 或 optimum-cli export 时卡在 Fetching ...，反复超时。

解决：使用魔搭 SDK 或设置 HF 镜像环境变量

# 方法一：使用魔搭 SDK（速度最快）
from modelscope import snapshot_download
snapshot_download('OpenBMB/MiniCPM-V-2_6', local_dir='./models/minicpm-v')

# 方法二：设置 HF 镜像环境变量
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

坑 2：INT4 量化时 nncf 模块缺失

问题：ModuleNotFoundError: No module named 'nncf.torch'

原因：optimum-intel 安装时没有找到 nncf，需要提前安装。

解决：

pip uninstall nncf optimum-intel -y
pip install nncf              # 先装 nncf
pip install optimum-intel[openvino]  # 再装 optimum-intel

坑 3：Windows 上 edge-tts 报 WinError 10054

问题：网络不稳定时，edge-tts 会报 ConnectionResetError: [WinError 10054]。

解决：实现自动降级策略，edge-tts 失败后自动切换到 pyttsx3 离线引擎。

3. 开源协作建议

• 文档先行：完善的 README.md 和技术文档是吸引贡献者的关键
• 模块化设计：将核心功能封装成独立模块，便于他人理解和修改
• 提供示例：包含完整的示例代码和测试数据，降低上手门槛
• 响应及时：及时回复 issues 和 PR，建立活跃的社区氛围

五、项目价值与未来规划

社会价值

• 赋能视障人士：让视障者能够「听见」图片内容，提升信息获取能力
• 降低技术门槛：端侧部署使得普通设备也能运行先进的 AI 模型
• 隐私保护：全程本地处理，保护用户隐私

未来规划

• Windows 无障碍插件：集成 Win + Shift + S 截图快捷键，截图后自动解说
• 读屏软件集成：与 NVDA、JAWS 合作，内置为图像处理插件
• 多语种解说：扩展英文、日文、粤语等无障碍解说
• 轻量化模型：探索 MiniCPM-V 3B 版本，进一步降低内存门槛

六、结语

开源不仅是代码的共享，更是理念的传递。通过「AI Accessibility Narrator」项目，我希望能够：

1. 为视障人士提供一个实用的工具，帮助他们更好地融入数字世界
2. 展示端侧 AI 的潜力，推动边缘计算在无障碍领域的应用
3. 鼓励更多开发者关注无障碍技术，共同构建更加包容的数字生态

如果你对项目感兴趣，欢迎访问 项目仓库，贡献代码、提出建议，或者只是给个 star 支持一下。让我们一起用技术创造更美好的世界！

项目地址：https://gitcode.com/wdracky/ai-accessibility-narrator
技术栈：Python、OpenVINO™、MiniCPM-V、Gradio