登录社区云，与社区用户共同成长
邀请您加入社区
本文记录了在Ubuntu24.04系统下使用MNN和QNN运行大模型的环境搭建过程。重点包括：1）编译MNN时添加-DMNN_QNN=ON选项；2）获取QNN SDK依赖并配置路径；3）针对模拟器环境调整HTP核心库的配置方法；4）解决libc++.so.1缺失问题；5）处理模拟器运行时的平台信息查询警告。作者使用Modelscope提供的Qwen2.5-Omni-3B-MNN模型，详细说明了在没
本文基于cool-pi CM5 32G内存版本验证，系统为coolpi官方ubuntu20.04.
使用MNN的整体流程，训练，使用训练数据训练出模型；转换，将其他训练框架模型转换为MNN模型的阶段。MNN当前支持Tensorflow(Lite), ONNX, TorchScript的模型转换；推理，在端侧加载MNN模型进行推理。准备工作：1.下载MNN;——
简介本文介绍Pytorch模型转成ONNX和MNN模型，ONNX和MNN框架不做详细介绍。PyTorch转ONNX需要安装好pytorch环境和onnx包pip install torchpip install onnx以mobilenet为例，下载好mobilenet.py和预训练模型mobilenet_v2-b0353104.pth，转换代码如下import torchimport torch
yolov8直接导出ncnn部署推理
项目需要在Android平台用MNN部署语音模型,实现实时语音转文字等功能,先简单搭建下环境,跑通直线检测模型.这边记录下过程,及出现的问题.
最近尝试用 MNN 框架在我的 Android 手机上跑一个大模型。这篇笔记记录了我从零开始，克服重重困难，最终成功配置好开发环境的心路历程。
.
快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)
移动端/边缘设备部署 7B 参数量以下的 LLM，追求低延迟、小体积。
本文介绍了将PyTorch模型转换为MNN格式并在C++中进行推理的完整流程。首先，确保已完成PyTorch到ONNX的转换，然后使用MNN工具将ONNX模型转换为MNN格式。接着，搭建C++推理工程，工程结构包括CMake配置文件、头文件和源文件。通过CMake配置项目，链接MNN和OpenCV库，并生成可执行文件。核心代码部分展示了如何使用MNN库加载模型、初始化会话并进行推理。通过抽取公共预
背景：手机端需要调用深度学习模型的计算。方案：python训练模型–>转到MNN框架模型–>放入C++调用（SDK）–>Java调用SDK（JNI）
MNN3dAvatar是阿里巴巴基于MNN框架开发的3D数字人开源方案，支持本地离线运行和多模态交互。该框架可实现实时面部捕捉与表情映射，让3D虚拟角色呈现逼真效果。主要特色包括本地聊天机器人、智能语音识别、声音驱动表情等完全离线功能，适用于直播带货、虚拟展示、教育等场景。技术亮点在于轻量化部署和跨平台支持，但需要旗舰级手机硬件配置（骁龙8Gen3/天玑9200+芯片，8GB内存）。该项目拓展了阿
深度学习端侧推理框架介绍
C#简单使用Yolov5的Onnx格式模型进行目标检测
请参阅这里的文档: 在Jetson Nano上安装MNN深度学习框架参阅这里: NVIDIA Jetson编译报错安装 MNN 2.7.1 编译不会报错版本号 2.7.1参阅这里: 求助！MNN编译错误
这篇文章主要介绍在linux上基于MNN部署yolov5,使用的是cpp_demo,并增加ROS相关代码，使得这个demo可以订阅topic和发布topic。
MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。下面就介绍如何使用MNN在Android设备上实现图像分类。
阿里巴巴于近日有了重磅之举 —— 开源全新的 3D 数字人框架 Mnn3dAvatar。这一框架犹如一颗投入平静湖面的巨石，为开发者们带来了强大的实时面部捕捉与 3D 虚拟角色生成工具，凭借其显著的高效性与易用性，极有可能为直播带货、虚拟展示等场景带来翻天覆地的变革。
1. Pytorch分类器网络# 定义一个简单的分类网络class SimpleNet(nn.Module):def __init__(self):super(SimpleNet, self).__init__()# 三个卷积层用于提取特征# 1 input channel image 90x90, 8 output channel image 44x44self.conv1 = nn.Seque
作者：吴茂贵，郁明敏，杨本法，李涛，张粤磊 著出版社:机械工业出版社品牌:机工出版出版时间:2019-11-01Python深度学习：基于PyTorch [Deep Learning with Python and PyTorch]
为了应对模块化神经网络（MNN）构建中子网络的冷启动问题并提高模型的计算效率，荐读的论文开发了一种多源迁移学习模块化神经网络（MSTL-MNN）方法，如图1所示。所提出的MSTL-MNN由两个部分组成：知识驱动的多源迁移学习过程和数据驱动的微调过程。对于前者，从每个源领域中提取有效知识，并将其融合成多源领域知识，以形成目标领域的初始子网络。知识驱动的多源迁移学习策略促进了积极的迁移过程，从而提高了
TNN 是腾讯开发的高效深度学习推理框架，专为移动端和嵌入式设备优化。特点：高性能：通过内存优化和多线程加速，适合多平台部署。多平台支持：支持 ARM、X86、NPU 等多种硬件平台。灵活性：支持多种深度学习框架和模型格式，如 Caffe、TensorFlow。
MNN是一个轻量级高性能推理引擎，由阿里巴巴团队开发，支持Android、iOS、Windows、Linux、MacOS、WebGL等
LLM（大语言模型）因其强大的语言理解能力赢得了众多用户的青睐，但LLM庞大规模的参数导致其部署条件苛刻；在网络受限，计算资源有限的场景下无法使用大语言模型的能力；低算力，本地化部署的问题亟待解决。ChatGLM-6B在60亿参数的情况下做到了优秀的中英文对话效果，且能够支持在消费级显卡本地部署；因此在HuggingFace Trends上很快登顶。6B的参数量虽然能够做到本地部署，但是目前的实现
在MNN与opencl进行联合编译中，需要注意一些事项：1、在MNN中cmakelists进行修改后2、在source/backend/opencl/core/runtime中OpenCLWarpper.cpp中文件进行修改。否则在编译过程中不报错，而在执行过程报以下错误：OpenCL init error, fallback ..例如我们使用全志T507的liunx系统进行开发，需要把liunx
3. 在命令窗口中，进入到MNN所在的目录。cd MNN/build 先进入到build文件夹中。cd MNN/build 先进入到build文件夹中。2. 进入MNN文件夹，然后运行下面命令行。前提已经安装好Visual Studio。（目前最新版本是2.0.0）。（目前最新版本是2.0.0）。...
简介MNN是阿里巴巴的一个深度学习框架，在端侧推理和训练性能优秀。本文通过一个简单的分类模型，来给出一个简单的C++和Python Demo，让大家快速上手。MNN 文档地址：https://www.yuque.com/mnn/cnMNN Github地址：https://github.com/alibaba/MNN/blob/master/README_CN.md注：由于初入公司，需要把Pyto
主要介绍推理引擎MNN的安装及初步使用
转化成mnn模型虽然可以进行推理不过模型文件可能较大或者运行较慢的情况特别是在移动设备等边缘设备上，算力和储存空间受限因此压缩模型是一个急需的工作mnn自带了量化工具，环境安装很简单，这文章编译就可以使用量化了mnn模型文件是使用的是之前的文章训练并转化的mnn文件在使用之前需要新建一个json文件，里面配置好内容preprocessConfig.json{"format":"GRAY","mea
std::make _ unique在C++14以后新加入的函数，用来创建std::unique_ptr智能指针对象
Ubuntu20.04环境下编译MNN并部署mnist
在编译MNN时，由于protobuf已编译在自定义路径，但是cmake时，却提示Could NOT find Protobuf (missing: Protobuf_INCLUDE_DIR)，在/etc/profile中添加环境变量后，还是无用。提示如下图所示解决方法：cmake 时用-DCMAKE_PREFIX_PATH指定protobuf所在路径‘’‘cmake -DCMAKE_PREFIX_
本文介绍了如何将 OpenCV Mat 对象转换为 MNN::CV 中的 VARP 对象，使您能够在 MNN 框架中进行深度学习计算和图像处理操作。这在涉及多个图像处理和计算框架的项目中是非常有用的技能，帮助您更灵活地处理和转换数据。// MNN 中的 CV 相关功能，您需要引入相应的头文件，然后读取图片。
开篇吐槽在决定使用MNN实现在线训练之前，也比较了TNN/NCNN，但是发现目前各大端侧推理引擎的训练框架都不成熟，半斤八两的状态，可能都把精力放在在线预测和op支持上，但是端侧训练的需求真的少么？fine-tune在端侧应用难道不是刚需？查了下NCNN关于训练框架的文档或教程几乎没有，移植到端侧应用的更是没找到案例，NCNN发布几年至今没有完善的官方文档，目前只有github里的几个关于编译和
随着移动端（手机/平板等）算力、内存、磁盘空间的不断增长，在移动端部署大模型逐渐成为可能。在端侧运行大模型，可以有一系列好处：去除网络延迟，加快响应速度；降低算力成本，便于大规模应用；不需数据上传，保护用户稳私。概述为了在更广泛的设备上部署大模型，MNN团队开发了 MNN-LLM / MNN-Diffusion，合称MNN-Transformer ，支持大语言模型和文生图等AIGC模型，具有如下特
mnn
——mnn
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
北京朝阳AI社区
魔乐社区
讯飞AI开发者社区
2048 AI社区
天启AI社区
DAMO开发者矩阵
NVIDIA AI 技术专区
MCP技术社区
