
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
高通跃龙IQ-9100平台上 7B 模型 FastRPC SMMU 映射失败后,本篇将展示如何通过 QAIRT Python API 突破这一限制,将二进制压缩到 4.7 GB。但压缩后仍面临 4 GB IOVA 上限的质疑——为什么 4.7 GB 模型能成功运行?答案藏在三个运行时机制中。

文章摘要 本文介绍了高通跃龙IQ-9100芯片在具身智能机器人中的应用方案。该芯片通过16路ISP接口和100TOPS NPU算力支持多路摄像头感知,采用双Tensor Processor架构实现并行推理,可同时处理6路摄像头输入并达到22fps的检测速度。系统采用分层设计:感知层运行YOLOv8s目标检测模型,理解层部署Llama 2 7B语言模型,决策层通过8核CPU实现实时路径规划,执行层则

摘要: 在利用高通QAIRT SDK部署Qwen2.5-7B(w4a16量化模型)时,发现CLI工具(qnn-context-binary-generator)在多图模式下无法正确执行4-bit权重打包,导致本地编译产物体积(8.4GB)达云编译(4.7GB)的2倍。分析表明,CLI工具在多图模式下跳过权重打包,且配置文件中的关键参数(如weights_packing)被静默忽略。通过Python

本文记录了在高通跃龙IQ-9100(SA8775P)工业级平台上部署Qwen系列大语言模型时遇到的7个关键问题及其解决方案。主要问题包括: Genie二进制文件路径问题 CDSP守护进程未运行 动态库缺失 DSP skel库符号链接缺失 ARM与DSP侧库版本不匹配 模型编译版本与固件不兼容 DSP资源占用冲突 这些问题主要源于工业平台与消费级平台在软件栈、库路径和版本管理上的差异。通过调整环境变

摘要:高通AI部署提供SNPE、QNN和Genie三套推理SDK,各有侧重。 SNPE:高层API,支持多处理器,适合传统CNN任务,但LLM和复杂模型支持有限。 QNN:底层引擎,精细控制算子,支持混合量化,适用于扩散模型和3D视觉等复杂场景。 Genie:基于QNN的LLM专用层,封装tokenizer、KV Cache管理等,适合大语言模型部署。 案例: LLM(如Qwen2.5):首选Ge

摘要: 在Qualcomm设备上本地编译Qwen2.5-7B模型时,图名称(graph name)的格式错误导致推理输出乱码或加载失败。官方要求名称必须包含ar(处理token数)和cl(上下文长度)字段,格式为{type}_ar{N}_cl{M}_{K}_of_{T}(如prompt_ar128_cl4096_2_of_8)。Genie引擎优先通过张量推断AR/CL值,若失败则回退解析图名称,缺

本文介绍了在Qualcomm QCS9075开发板上部署Qwen2.5-7B大模型的端侧AI农业助手实现方案。系统基于Ubuntu 24.04,采用双进程架构:Genie服务处理模型推理(Hexagon HTP加速),FastAPI处理传感器数据与Web交互。模型经过6分片量化编译为4.7GB HTP二进制,实现约8.3 token/s的推理速度。方案整合了温湿度传感器监测、离线对话和阈值告警功能

本文介绍了基于高通第四代骁龙座舱平台(SA8295P)的车载摄像头驱动开发与360°全景环视(AVM)系统实现。首先分析了SA8295P的摄像头子系统架构,包括硬件数据流传输路径和SerDes远距离传输方案。重点展示了IMX390传感器驱动的开发过程,包含寄存器配置、初始化流程及曝光增益控制等核心代码实现。同时提供了CSI PHY接口的配置示例,为车载摄像头的硬件接入和驱动开发提供了完整的技术方案

本文介绍了在工业仪表OCR识别项目中,如何将PP-OCRv4模型部署到高通IQ-9075平台的完整流程。文章首先对比了PP-OCRv4与其他OCR模型的优势,详细说明了环境配置、模型导出为ONNX格式的步骤,包括检测模型和识别模型的转换与优化。重点讲解了如何固定动态维度以满足QNN编译要求,为后续板端部署打下基础。整个方案实现了从图像采集到识别结果输出的全流程板端处理,避免了云端依赖带来的延迟和带

搭载骁龙 X2 Elite(X2E-96-100)的轻薄本,18 核 Oryon CPU + 85 TOPS Hexagon NPU,这配置不拿来跑本地 AI 简直是浪费。本文从介绍WSL2 安装 + Ubuntu ARM64 基础环境配置开始,到Ollama 本地大模型部署与优化,再到利用Open WebUI + Continue.dev 打造本地 AI 编程助手








