MNN/docs/start/overall.md

2.1 KiB
Raw Permalink Blame History

快速开始

使用MNN整体流程

在端侧应用MNN大致可以分为三个阶段 concept.png

训练

在训练框架上根据训练数据训练出模型的阶段。虽然当前MNN也提供了训练模型的能力但主要用于端侧训练或模型调优。在数据量较大时依然建议使用成熟的训练框架如TensorFlow、PyTorch等。除了自行训练外也可以直接利用开源的预训练模型。

转换

将其他训练框架模型转换为MNN模型的阶段。MNN当前支持Tensorflow(Lite)、Caffe、ONNX和TorchScript的模型转换。模型转换工具可以参考使用说明。支持转换的算子,可以参考算子列表文档;在遇到不支持的算子时,可以尝试自定义算子或在Github上给我们提交issue。此外,模型打印工具可以用于输出模型结构辅助调试。除模型转换外MNN也提供了模型量化工具,可以对浮点模型进行量化压缩。

推理

在端侧加载MNN模型进行推理的阶段。端侧运行库的编译请参考各平台的编译文档iOSAndroidLinux/macOS/UbuntuWindows。我们提供了API接口文档,也详细说明了会话创建数据输入执行推理数据输出相关的接口和参数。demo/exec下提供了使用示例,如图像识别 demo/exec/pictureRecognition.cpp ,图像实例分割(人像分割)demo/exec/segment.cpp更多demo。此外,测试工具benchmark工具也可以用于问题定位。