写文章
- @weixin_70615793
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
Qwen3-VL-2B-Instruct 转 RKNN + RKLLM 部署到 RK3588 实战记录
1. Vision ONNX 可以在 Windows 或 Linux 导出；2. ONNX 转 RKNN 建议在 Linux 中完成；3. RKLLM 导出必须使用 x86_64 Linux 环境；4. 量化优化阶段耗时较长，CPU 下 1 小时以上属于正常；5. 不同 transformers 版本可能导致模型结构路径不同，需要注意 visual 模块位置。至此，Qwen3-VL-2B-Inst
RK3588 部署 Qwen3-VL 多模态大模型：RKNN-LLM 项目部分实践日志
在 RK3588 NPU 上运行 Qwen3-VL-2B。通过局域网网页完成图片问答和连续文字对话。使用 Python Web 服务、SSE 和 Unix Socket 连接 C++ 推理进程。通过 Sherpa-Onnx + RKNN 接入 Type-C 耳机麦克风，实现中文实时语音识别。通过受限 Function Calling 控制本地音乐播放。保留 RKLLM 原生 C++ API 示例、
到底了