需要用到的工具:rknn-toolkit2、yolov5
RKNN 软件栈可以帮助用户快速将 AI 模型部署到 Rockchip 芯片上。总体框架如下:
在这里插入图片描述
为了使用 RKNPU,需要先在电脑上运行 RKNN-Toolkit2 工具,将训练好的模型转换为 RKNN 格式的模型,然后在开发板上使用 RKNN C API 或 Python API 进行推理。

RKNN-Toolkit2 是一款软件开发套件,供用户在 PC 和 Rockchip NPU 平台上进行模型转换、推理和性能评估。

RKNN-Toolkit-Lite2 为 Rockchip NPU 平台提供 Python 编程接口,帮助用户部署 RKNN 模型,加速 AI 应用的落地。

RKNN Runtime 为 Rockchip NPU 平台提供 C/C++ 编程接口,帮助用户部署 RKNN 模型,加速 AI 应用的落地。

RKNPU 内核驱动负责与 NPU 硬件交互。它一直是开源的,可以在 Rockchip 内核代码中找到。

  • 首先,根据这个地址去下载rknn-toolkit2:https://github.com/airockchip/rknn-toolkit2/tree/v2.1.0?tab=readme-ov-file
  • 其次,下载yolov5:https://github.com/ultralytics/yolov5

下载之后安装相应的环境:yolov5的环境安装就不在此过多赘述了。对yolov5进行训练,然后pt转化为onnx,这里需要对原始的yolov5
模型做一些修改,主要是将官方的模型的box decode删除。
然后再利用rknn-toolkit2//rknpu2/examples/rknn_yolov5_demo/convert_rknn_demo/yolov5做转化,转成rknn进行部署。
安装rknn所需环境参考这篇:https://blog.csdn.net/sinovoip/article/details/143294558

最后的检测结果如下:在这里插入图片描述

更多推荐