登录社区云，与社区用户共同成长
邀请您加入社区
最近尝试用 MNN 框架在我的 Android 手机上跑一个大模型。这篇笔记记录了我从零开始，克服重重困难，最终成功配置好开发环境的心路历程。
.
快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)
移动端/边缘设备部署 7B 参数量以下的 LLM，追求低延迟、小体积。
步骤报错原因解决找不到 toolchain.cmake默认路径不对设置环境变量cmake …没有 CMakeLists.txt路径选错必须在项目根目录执行make找不到 makeWindows 下没有 GNU Make用Ninja网络问题配置代理，关闭 offline modekotlin-compiler 下载很慢包很大 (56MB)等待即可准备环境CMake:Ninja: 已安装 (正常)编译
本文介绍了将PyTorch模型转换为MNN格式并在C++中进行推理的完整流程。首先，确保已完成PyTorch到ONNX的转换，然后使用MNN工具将ONNX模型转换为MNN格式。接着，搭建C++推理工程，工程结构包括CMake配置文件、头文件和源文件。通过CMake配置项目，链接MNN和OpenCV库，并生成可执行文件。核心代码部分展示了如何使用MNN库加载模型、初始化会话并进行推理。通过抽取公共预
背景：手机端需要调用深度学习模型的计算。方案：python训练模型–>转到MNN框架模型–>放入C++调用（SDK）–>Java调用SDK（JNI）
MNN3dAvatar是阿里巴巴基于MNN框架开发的3D数字人开源方案，支持本地离线运行和多模态交互。该框架可实现实时面部捕捉与表情映射，让3D虚拟角色呈现逼真效果。主要特色包括本地聊天机器人、智能语音识别、声音驱动表情等完全离线功能，适用于直播带货、虚拟展示、教育等场景。技术亮点在于轻量化部署和跨平台支持，但需要旗舰级手机硬件配置（骁龙8Gen3/天玑9200+芯片，8GB内存）。该项目拓展了阿
深度学习端侧推理框架介绍
C#简单使用Yolov5的Onnx格式模型进行目标检测
请参阅这里的文档: 在Jetson Nano上安装MNN深度学习框架参阅这里: NVIDIA Jetson编译报错安装 MNN 2.7.1 编译不会报错版本号 2.7.1参阅这里: 求助！MNN编译错误
这篇文章主要介绍在linux上基于MNN部署yolov5,使用的是cpp_demo,并增加ROS相关代码，使得这个demo可以订阅topic和发布topic。
MNN是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。目前，MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等20多个App中使用，覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。此外，IoT等场景下也有若干应用。下面就介绍如何使用MNN在Android设备上实现图像分类。
阿里巴巴于近日有了重磅之举 —— 开源全新的 3D 数字人框架 Mnn3dAvatar。这一框架犹如一颗投入平静湖面的巨石，为开发者们带来了强大的实时面部捕捉与 3D 虚拟角色生成工具，凭借其显著的高效性与易用性，极有可能为直播带货、虚拟展示等场景带来翻天覆地的变革。
1. Pytorch分类器网络# 定义一个简单的分类网络class SimpleNet(nn.Module):def __init__(self):super(SimpleNet, self).__init__()# 三个卷积层用于提取特征# 1 input channel image 90x90, 8 output channel image 44x44self.conv1 = nn.Seque
作者：吴茂贵，郁明敏，杨本法，李涛，张粤磊 著出版社:机械工业出版社品牌:机工出版出版时间:2019-11-01Python深度学习：基于PyTorch [Deep Learning with Python and PyTorch]
为了应对模块化神经网络（MNN）构建中子网络的冷启动问题并提高模型的计算效率，荐读的论文开发了一种多源迁移学习模块化神经网络（MSTL-MNN）方法，如图1所示。所提出的MSTL-MNN由两个部分组成：知识驱动的多源迁移学习过程和数据驱动的微调过程。对于前者，从每个源领域中提取有效知识，并将其融合成多源领域知识，以形成目标领域的初始子网络。知识驱动的多源迁移学习策略促进了积极的迁移过程，从而提高了
TNN 是腾讯开发的高效深度学习推理框架，专为移动端和嵌入式设备优化。特点：高性能：通过内存优化和多线程加速，适合多平台部署。多平台支持：支持 ARM、X86、NPU 等多种硬件平台。灵活性：支持多种深度学习框架和模型格式，如 Caffe、TensorFlow。
MNN是一个轻量级高性能推理引擎，由阿里巴巴团队开发，支持Android、iOS、Windows、Linux、MacOS、WebGL等
LLM（大语言模型）因其强大的语言理解能力赢得了众多用户的青睐，但LLM庞大规模的参数导致其部署条件苛刻；在网络受限，计算资源有限的场景下无法使用大语言模型的能力；低算力，本地化部署的问题亟待解决。ChatGLM-6B在60亿参数的情况下做到了优秀的中英文对话效果，且能够支持在消费级显卡本地部署；因此在HuggingFace Trends上很快登顶。6B的参数量虽然能够做到本地部署，但是目前的实现
在MNN与opencl进行联合编译中，需要注意一些事项：1、在MNN中cmakelists进行修改后2、在source/backend/opencl/core/runtime中OpenCLWarpper.cpp中文件进行修改。否则在编译过程中不报错，而在执行过程报以下错误：OpenCL init error, fallback ..例如我们使用全志T507的liunx系统进行开发，需要把liunx
3. 在命令窗口中，进入到MNN所在的目录。cd MNN/build 先进入到build文件夹中。cd MNN/build 先进入到build文件夹中。2. 进入MNN文件夹，然后运行下面命令行。前提已经安装好Visual Studio。（目前最新版本是2.0.0）。（目前最新版本是2.0.0）。...
简介MNN是阿里巴巴的一个深度学习框架，在端侧推理和训练性能优秀。本文通过一个简单的分类模型，来给出一个简单的C++和Python Demo，让大家快速上手。MNN 文档地址：https://www.yuque.com/mnn/cnMNN Github地址：https://github.com/alibaba/MNN/blob/master/README_CN.md注：由于初入公司，需要把Pyto
主要介绍推理引擎MNN的安装及初步使用
转化成mnn模型虽然可以进行推理不过模型文件可能较大或者运行较慢的情况特别是在移动设备等边缘设备上，算力和储存空间受限因此压缩模型是一个急需的工作mnn自带了量化工具，环境安装很简单，这文章编译就可以使用量化了mnn模型文件是使用的是之前的文章训练并转化的mnn文件在使用之前需要新建一个json文件，里面配置好内容preprocessConfig.json{"format":"GRAY","mea
std::make _ unique在C++14以后新加入的函数，用来创建std::unique_ptr智能指针对象
Ubuntu20.04环境下编译MNN并部署mnist
在编译MNN时，由于protobuf已编译在自定义路径，但是cmake时，却提示Could NOT find Protobuf (missing: Protobuf_INCLUDE_DIR)，在/etc/profile中添加环境变量后，还是无用。提示如下图所示解决方法：cmake 时用-DCMAKE_PREFIX_PATH指定protobuf所在路径‘’‘cmake -DCMAKE_PREFIX_
本文介绍了如何将 OpenCV Mat 对象转换为 MNN::CV 中的 VARP 对象，使您能够在 MNN 框架中进行深度学习计算和图像处理操作。这在涉及多个图像处理和计算框架的项目中是非常有用的技能，帮助您更灵活地处理和转换数据。// MNN 中的 CV 相关功能，您需要引入相应的头文件，然后读取图片。
onnx、openvino和mnn都是作为cpu推理的框架，推理速度这里进行对比一下模型使用的python版openvino使用这篇 文章onnx文件对比代码如下：from openvino.inference_engine import IECoreimport onnxruntimeimport MNNimport numpy as npimport cv2import timemodel="
开篇吐槽在决定使用MNN实现在线训练之前，也比较了TNN/NCNN，但是发现目前各大端侧推理引擎的训练框架都不成熟，半斤八两的状态，可能都把精力放在在线预测和op支持上，但是端侧训练的需求真的少么？fine-tune在端侧应用难道不是刚需？查了下NCNN关于训练框架的文档或教程几乎没有，移植到端侧应用的更是没找到案例，NCNN发布几年至今没有完善的官方文档，目前只有github里的几个关于编译和
随着移动端（手机/平板等）算力、内存、磁盘空间的不断增长，在移动端部署大模型逐渐成为可能。在端侧运行大模型，可以有一系列好处：去除网络延迟，加快响应速度；降低算力成本，便于大规模应用；不需数据上传，保护用户稳私。概述为了在更广泛的设备上部署大模型，MNN团队开发了 MNN-LLM / MNN-Diffusion，合称MNN-Transformer ，支持大语言模型和文生图等AIGC模型，具有如下特
MNN模型转化以及量化的方法指南
abiFilters "armeabi-v7a", "arm64-v8a" // 根据需求选择 }通过以上步骤，即可在 Android 应用中使用 MNN 进行大模型推理，支持语音交互等功能。# 基础编译配置（armeabi-v7a架构，启用NEON优化，关闭GPU）# 安装Android NDK（建议使用r21版本或更高）在Ubtuntu下面的编译，先整理编译环境。复制到 Android 项目的
YOLOv5训练自己的模型并部署mnn框架使用
mnn
——mnn
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
2048 AI社区
天启AI社区
魔乐社区
DAMO开发者矩阵
NVIDIA AI 技术专区
讯飞AI开发者社区
MCP技术社区
