Doc:Opt: Add harmony compile and llm depend

This commit is contained in:
xiaying 2025-02-06 17:29:12 +08:00
parent 6a5abf5fc5
commit 6fbe95c7d7
2 changed files with 30 additions and 1 deletions

View File

@ -76,7 +76,6 @@ mkdir build && cd build && cmake .. -DCMAKE_OSX_ARCHITECTURES=arm64 && make -j8
- ndk
- 相关编译选项
- `MNN_OPENCL` 是否使用OpenCL后端OpenCL后端可以利用GPU加速
- `MNN_NNAPI` 是否使用NNAPI后端NNAPI后端会尝试使用设备上的NPU进行加速
- `MNN_ARM82` 是否支持fp16推理开启该编译选项后在precision设成Precision_Low时会在支持的设备ARMv8.2 及以上架构)上启用低精度(fp16)推理,减少内存占用,提升性能
- `MNN_SUPPORT_BF16` 是否支持bf16推理开启该编译选项后在precision设成Precision_Low_BF16 时会启用bf16推理减少内存占用提升性能
- 具体步骤
@ -113,6 +112,24 @@ mkdir build && cd build && cmake .. -DCMAKE_OSX_ARCHITECTURES=arm64 && make -j8
sh package_scripts/ios/buildiOS.sh "-DMNN_ARM82=true"
```
## 鸿蒙(Harmony)
### 环境要求
- cmake >= 3.10
- 下载鸿蒙开发工具并配置环境 https://developer.huawei.com/consumer/cn/deveco-studio/
### 编译
```
cd project/harmony
mkdir build && cd build
../build_64.sh
```
- 默认编译 arm64 架构
- 如需编译模拟器的 x86 架构,将`project/harmony/build_64.sh`中`-DOHOS_ARCH="arm64-v8a"` 改成`-DOHOS_ARCH="x86_64"`
## 其他平台交叉编译
由于交叉编译的目标设备及厂商提供的编译环境类型众多,本文恕无法提供手把手教学。 以下是大致流程,请按照具体场景做相应修改。
交叉编译大致上分为以下两个步骤即获取交叉编译器以及配置CMake进行交叉编译。

View File

@ -4,15 +4,27 @@
- 模型导出将torch模型导出为onnx然后转换为mnn模型导出tokenizer文件embedding等文件
- 模型推理支持导出的模型推理支持LLM模型的文本生成
## 模型导出
`llmexport`是一个llm模型导出工具能够将llm模型导出为onnx和mnn模型。
### 依赖安装
```
cd ./transformers/llm/export
pip install -r requirements.txt
```
### 用法
1. 将需要导出的LLM项目clone到本地Qwen2-0.5B-Instruct
```sh
git lfs install
git clone https://www.modelscope.cn/qwen/Qwen2-0.5B-Instruct.git
```
***clone 后检查一下模型大小有可能因为lfs没安装导致下载的是空模型***
3. 执行`llmexport.py`导出模型
```sh
cd ./transformers/llm/export