MNN is a highly efficient and lightweight deep learning framework. It supports inference and training of deep learning models and has industry-leading performance for inference and training on-device.

默认使用CPU，如果使用其他后端或能力，可以在编译MNN时添加MNN编译宏. cuda: -DMNN_CUDA=ON; opencl: -DMNN_OPENCL=ON; metal: -DMNN_METAL=ON

MNN（Mobile Neural Network）是阿里巴巴集团开源的轻量级深度学习推理框架，为移动端、服务器、个人电脑、嵌入式设备等多种设备提供高效的模型部署能力。

mnn-llm 是一个多功能的推理框架，旨在优化和加速大语言模型在移动设备和本地 pc 上的部署。 通过模型量化、混合存储和硬件特定优化等创新措施，解决高内存消耗和计算成本等挑战。

MNN-LLM: A Generic Inference Engine for Fast Large Language Model Deployment on Mobile Devices. 论文地址： https:// dl.acm.org/doi/pdf/10.1 145/3700410.3702126. 源码地址： https:// github.com/alibaba/MNN. 运行文档： 大语言模型 - MNN-Doc 2.1.1 documentation. 文章发表在MMAsia'24: ACM Multimedia Asia Workshops会议 ...

2025年2月7日 · MNN-LLM App 是阿里巴巴推出的开源 Android 应用，专注于在手机上离线运行大语言模型（LLM）。 核心功能：支持多模态交互，包括文本生成文本、图像生成文本、音频转文本及文本生成图像。 技术原理：针对移动端 CPU 推理进行了深度优化，预填充和解码速度显著提升。 MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开源的 Android 手机应用，支持各类大语言模型（LLM）在手机上离线运行。 该应用具备多模态功能，能实现文本生成文本、图像生成文本 …

MNN-Converter：模型转换工具，由Frontends和Graph Optimize构成。前者负责支持不同的训练框架，MNN当前支持Tensorflow(Lite)、Caffe、ONNX(PyTorch/MXNet的模型可先转为ONNX模型再转到MNN)和Torchscripts；后者通过算子融合、算子替代、布局调整等方式优化图，一般离线运 …

2025年1月30日 · mnn是一个轻量级的深度学习端侧推理引擎，核心解决深度神经网络模型在端侧推理运行问题，涵盖深度神经网络模型的优化、转换和推理，支持深度学习的推理与训练。适用于服务器/个人电脑/手机/嵌入式各类设备。

CPU推理优化：在安卓设备上，MNN-LLM 展现出卓越的CPU性能。与 llama.cpp 相比，预填充速度提升 8.6 倍，解码速度提高 2.3 倍；相较于 fastllm，预填充速度提升 20.5 倍，解码速度快 8.9 倍，大幅提升推理效率。

MNN（Mobile Neural Network）是一个轻量级深度学习框架，支持深度模型推理与训练。 在端侧应用MNN的三个阶段： 训练：MNN提供训练模型的能力，但主要用于端侧训练或模型调优。 转换：将其他训练框架模型转换为MNN模型，目前支持支持 TensorFlow (Lite)、 Caffe 和 ONNX 的模型转换，对于 PyTorch 训练的模型而言则可以通过先转成ONNX表达的方式进行模型转换。 推理：在端侧加载MNN模型进行推理，提供了iOS、Android、Linux/macOS/Ubuntu、Windows各 …