diff --git a/Docs/算法模型在嵌入式平台上的部署.docx b/Docs/算法模型在嵌入式平台上的部署.docx new file mode 100755 index 0000000..3f791b8 --- /dev/null +++ b/Docs/算法模型在嵌入式平台上的部署.docx @@ -0,0 +1,128 @@ + 算法模型在嵌入式平台上的部署 + -- -- -- 以RK3588s为例 +ROC-RK3588S-PC，采用Rockchip RK3588S新一代八核64位处理器，最大可配32GB大内存；支持8K视频编解码；支持NVMe SSD硬盘扩展；支持多种操作系统；可适用于边缘计算、人工智能、云计算、虚拟/增强现实等领域。 +RK3588S是Rockchip全新一代旗舰AIoT芯片，采用了8nm LP制程；搭载八核64位CPU，主频高达2.4GHz；集成ARM Mali-G610 MP4四核GPU，内置AI加速器NPU，可提供6Tops算力，支持主流的深度学习框架。参见ROC-RK3588S-PC [HYPERLINK: https://www.t-firefly.com/product/industry/rocrk3588spc]。 +NPU（Neural-network Processing Units）可以说是为了嵌入式神经网络和边缘计算量身定制的，但若想调用RK3588s的NPU单元进行推理加速，则需要首先将模型转换为.rknn格式的模型。 +1、过程概述 +这次我们将yolov5模型部署在RK3588s上，并使用NPU推理。过程分以下几步： +1.使用正确版本（v5.0）的yolov5进行训练得到pt模型。 +2.将pt模型使用yolov5工程中的export.py转换为onnx模型。（pt->onnx） +3.将onnx模型使用rknn-toolkit2中onnx文件夹的test.py转换为rknn模型。(onnx->rknn) +4.在板子上使用rknpu2工具调用rknn模型，实现NPU推理加速。 + +2、部署过程 +2.1、训练yolov5模型(平台：windows) +注意需要使用特定版本的yolov5。进入yolov5官网 [HYPERLINK: https://github.com/ultralytics/yolov5]，搜索c5360f6e7009eb4d05f14d1cc9dae0963e949213。 +找到特定版本的commit。 + +点击Browse files去到特定版本yolov5源码。 + +接下来，点击download zip，注意不要git clone，那样还是最新版的yolov5版本。 + +代码下载好后，开始训练自己的pt模型；此处实际上是yolov5 5.0版本的工程，其中未包含预训练模型yolov5s.pt，需要自行下载，在releases链接 [HYPERLINK: https://github.com/ultralytics/yolov5/releases]中找到V5.0下载yolov5s.pt： + +接下来就是配置好yolov5所需的环境，用自己的数据集训练yolov5模型，得到目标模型best.pt。 +2.2 best.pt转换为best.onnx（平台：windows） +修改一段代码（注意，训练阶段不要修改）。将yolov5/models/yolo.py文件中class Detect(nn.Module)类的函数forword修改。 + +修改后将best.pt移动至yolov5/export.py同一文件夹下，在命令行调用以下命令： +python export.py --weights best.pt --img 640 --batch 1 --include onnx +便可以得到成功转换的模型best.onnx。 + (可能会报错说ONNX版本不支持，那么就将export.py中parse_opt()函数的--opset参数修改为12) +(也可能报错说不支持SiLU，把./models/common.py里的SiLU改成ReLU即可) +2.3 best.onnx转换为best.rknn（平台：Linux） +此处的转换工具只能在Linux系统上运行，在linux上下载（clone）转换工具rknn-toolkit2 [HYPERLINK: https://github.com/rockchip-linux/rknn-toolkit2]。并配置好相关环境，使用docker或直接配置。 + Docker +根据rknn-toolkit2\docker\docker_file\ubuntu_18_04_cp36目录下的Dockerfile构建。 + 直接配置（我所采用的） + 2.1 下载conda环境（有的话跳过） + wget -c https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh + chmod 777 Miniconda3-latest-Linux-x86_64.sh + sh Miniconda3-latest-Linux-x86_64.sh + 结束后重启命令行或执行source ~/.bashrc。 + 创建名为rknntool的python3.8环境，并进入： + conda create -n rknntool python=3.8 + conda activate rknntool + 2.3 进入./doc目录 + pip install -r requirements_cp38-1.5.0.txt + 进入./ packages目录 + pip install rknn_toolkit2-1.5.0+1fa95b5c-cp38-cp38-linux_x86_64.whl +终端中运行python，输入from rknn.api import RKNN，不报错即成功。 +进入./examples/onnx/yolov5，将上文得到的best.onnx文件和待预测图片（也可以没有）复制到此文件夹中，修改test.py文件。（还） + + +修改完后执行python test.py，这里的test.py构建了一个虚拟的NPU运行环境，模拟在RK3588上真实运行的情况。 +这时在当前文件夹./example/onnx/yolov5中可以看到生成的best.rknn模型和结果图片result.jpg。 +2.4 RK3588s部署实现NPU加速（平台：开发板Linux系统） +开发板原生是安卓系统，如果用户要运行其他操作系统，需要使用对应的固件烧写到主板。完整流程及各种开发指南参见：RPC-RKL3588S-PC [HYPERLINK: https://wiki.t-firefly.com/zh_CN/ROC-RK3588S-PC/] +2.4.1 换系统 +2.4.1.1 准备 +需要： + ROC-RK3588S-PC 开发板 + 固件 [HYPERLINK: https://www.t-firefly.com/doc/download/164.html] + 主机（本机windows） + 良好的Type-C 数据线 +固件一栏中Ubuntu固件，里面版本有点多，有简装版和桌面版等。我所下载的是Ubuntu>Ubuntu20.04>Minimal中的ROC-RK3588S-PC_Ubuntu20.04-Minimal-r2407_v1.1.1a_230704.7z压缩包（学习用途sb才下Minimal，直接桌面版）。下载好后解压，改名为update.img。 +2.4.1.2 安装烧写工具 +进入Release_DriverAssistant.zip [HYPERLINK: https://www.t-firefly.com/doc/download/164.html]，下载里面部分文件。 + +解压，然后运行DriverAssitant里面的DriverInstall.exe 。为了所有设备都使用更新的驱动，请先选择驱动卸载，然后再选择驱动安装。 + +然后运行RKDevTool_v3.15_for_window文件夹里的RKDevTool.exe，显示如下： + +2.4.1.3 进入升级模式 + 先断开电源适配器连接 + 使用 Type-C 数据线一端连接主机，一端连接开发板 + 按住设备上的 RECOVERY （恢复）键并保持 + + 接上电源 + 大约两秒钟后，松开 RECOVERY 键 +通过RKDevTool.exe工具可以看到下方提示Found One LOADER Device。（上方是啥不管） +2.4.1.4 烧写固件 + 切换至Upgrade Firmware（升级固件）页。 + 按Firmware（固件）按钮，打开要升级的固件文件（刚刚的update.img）。升级工具会显示详细的固件信息。 + 按Upgrade（升级）按钮开始升级，等待右侧成功完成即可。 +此时系统就换完了，重新上电后就是以ubuntu系统启动，可以连接hdmi进入可视化的命令行操作。 +2.4.2 网络配置（平台：开发板系统） +（桌面版直接连WIFI或者热点，再用本机windows ssh连接）Ubuntu Minimal系统开机启动后，自动登录到 root 用户，密码为 firefly。其他系统参见：ROC-RK3588S-PC [HYPERLINK: https://wiki.t-firefly.com/zh_CN/Firefly-Linux-Guide/first_use.html]。 +我所配置的是wifi网络，重启后会自动连接。更多种网络配置参见：Firefly Linux 开发指南 [HYPERLINK: https://wiki.t-firefly.com/zh_CN/Firefly-Linux-Guide/index.html]。 +依次执行图中指令： + +最后的指令是：nmcli dev wifi connect WIFI名 password WIFI密码 +可用ip a指令查看当前的ip地址，以及ping指令验证是否网络配置成功。 + + 成功后需要开启ssh服务方便操作开发板，参见：ubuntu ssh服务 [HYPERLINK: https://blog.csdn.net/qq_16102655/article/details/85340432] +2.4.3 ssh连接（平台： windows） + 注意要与开发板在一个局域网下，使用XShell等软件或ssh指令或VSCode等。 + 1. 使用XShell新建会话： + + + 2. 使用ssh指令：ssh 要登录的用户@ip地址 + 例如：ssh root@192.168.10.103 [HYPERLINK: mailto:root@192.168.10.103]。然后输入密码即可。 + 完成后即可在本机操作开发板（可能会有卡顿）。 +2.4.4 部署 +现在开发板环境还不完备，后面需要什么就安装什么，apt install xxx，例如git，gcc，g++等。 + 1. 拉取官方demo：rockchip-linux/rknpu2 [HYPERLINK: https://github.com/rockchip-linux/rknpu2]到自己的目录下 + git clone https://github.com/rockchip-linux/rknpu2 + (注意此步骤不能windows上下载后传到开发板，要在开发板上拉取) + 2. 进入/home/lhk/rknpu2/examples/rknn_yolov5_demo目录。有需要的话则修改下图内容为自己的。 + + 将转换后的best.rknn文件放在model/RK3588目录下，运行bash ./build-linux_RK3588.sh，成功后生成install文件夹，进入install/rknn_yolov5_demo_Linux。（需要gcc，g++环境，安装即可） + 在model目录下放入需要推理的图片test.jpg，运行./rknn_yolov5_demo ./model/RK3588/best.rknn ./model/test.jpg + 能看到命令行中： + + 在当前文件夹下生成out.jpg，例如下： + +此时完成了单张图片在开发板上的推理。 +也可以支持h264、h265、rtsp视频流。 +1. 例如h264视频流，指令: +./rknn_yolov5_video_demo model/RK3588/best.rknn model/test.h264 264 +在当前文件夹下生成out.h264文件。(out.mp4 [HYPERLINK: file:///D:\桌面\rk\out.mp4]) +注意需要使用h264码流视频，可以使用如下命令转换得到： +ffmpeg -i xxx.mp4 -vcodec h264 out.h264 +2.例如rtsp视频流，指令： +./rknn_yolov5_video_demo model/RK3588/best.rknn 265 + +2.4.5 性能 +while true ; do cat /sys/kernel/debug/rknpu/load ; sleep 1 ; done; +pidstat -r -p 1 > memory_data.txt