mirror of https://github.com/alibaba/MNN.git
Doc:Opt: Add harmony compile and llm depend
This commit is contained in:
parent
6a5abf5fc5
commit
6fbe95c7d7
|
@ -76,7 +76,6 @@ mkdir build && cd build && cmake .. -DCMAKE_OSX_ARCHITECTURES=arm64 && make -j8
|
|||
- ndk
|
||||
- 相关编译选项
|
||||
- `MNN_OPENCL` 是否使用OpenCL后端,OpenCL后端可以利用GPU加速
|
||||
- `MNN_NNAPI` 是否使用NNAPI后端,NNAPI后端会尝试使用设备上的NPU进行加速
|
||||
- `MNN_ARM82` 是否支持fp16推理,开启该编译选项后,在precision设成Precision_Low时,会在支持的设备(ARMv8.2 及以上架构)上启用低精度(fp16)推理,减少内存占用,提升性能
|
||||
- `MNN_SUPPORT_BF16` 是否支持bf16推理,开启该编译选项后,在precision设成Precision_Low_BF16 时,会启用bf16推理,减少内存占用,提升性能
|
||||
- 具体步骤
|
||||
|
@ -113,6 +112,24 @@ mkdir build && cd build && cmake .. -DCMAKE_OSX_ARCHITECTURES=arm64 && make -j8
|
|||
sh package_scripts/ios/buildiOS.sh "-DMNN_ARM82=true"
|
||||
```
|
||||
|
||||
## 鸿蒙(Harmony)
|
||||
|
||||
### 环境要求
|
||||
- cmake >= 3.10
|
||||
- 下载鸿蒙开发工具并配置环境 https://developer.huawei.com/consumer/cn/deveco-studio/
|
||||
|
||||
### 编译
|
||||
|
||||
```
|
||||
cd project/harmony
|
||||
mkdir build && cd build
|
||||
../build_64.sh
|
||||
```
|
||||
|
||||
- 默认编译 arm64 架构
|
||||
- 如需编译模拟器的 x86 架构,将`project/harmony/build_64.sh`中`-DOHOS_ARCH="arm64-v8a"` 改成`-DOHOS_ARCH="x86_64"`
|
||||
|
||||
|
||||
## 其他平台交叉编译
|
||||
由于交叉编译的目标设备及厂商提供的编译环境类型众多,本文恕无法提供手把手教学。 以下是大致流程,请按照具体场景做相应修改。
|
||||
交叉编译大致上分为以下两个步骤,即获取交叉编译器以及配置CMake进行交叉编译。
|
||||
|
|
|
@ -4,15 +4,27 @@
|
|||
- 模型导出:将torch模型导出为onnx,然后转换为mnn模型;导出tokenizer文件,embedding等文件;
|
||||
- 模型推理:支持导出的模型推理,支持LLM模型的文本生成;
|
||||
|
||||
|
||||
## 模型导出
|
||||
|
||||
|
||||
`llmexport`是一个llm模型导出工具,能够将llm模型导出为onnx和mnn模型。
|
||||
|
||||
### 依赖安装
|
||||
```
|
||||
cd ./transformers/llm/export
|
||||
pip install -r requirements.txt
|
||||
```
|
||||
|
||||
### 用法
|
||||
1. 将需要导出的LLM项目clone到本地,如:Qwen2-0.5B-Instruct
|
||||
```sh
|
||||
git lfs install
|
||||
git clone https://www.modelscope.cn/qwen/Qwen2-0.5B-Instruct.git
|
||||
```
|
||||
|
||||
***clone 后检查一下模型大小,有可能因为lfs没安装导致下载的是空模型***
|
||||
|
||||
3. 执行`llmexport.py`导出模型
|
||||
```sh
|
||||
cd ./transformers/llm/export
|
||||
|
|
Loading…
Reference in New Issue