关键词:tensorrt,插件

首先需要python转onnx正确。其次采用onnx-tensorrt进行onnx模型解析。解析成tensorrt的模型。如果这一步解析有问题,可能这个时候就要写插件了。插件的写法可以参考tensorrt官方的项目

  1. tensorrt官方c_api
    可以看类的继承关系或框架结构

  2. tensorrt7之后,插件和解析的exe onnx2trt是分开的。模块化做的很好。可以参考tensorrt项目进行插件书写。

  • 采用cmake18.x才编译通过,16.x编译有问题。
  • tensorrt7的插件库在tensorrt库的plugin路径下,其和onnx-tensorrt库是分开的。在5.x的时候,tensorrt的插件也是放在onnx-tensorrt库中的。
  • 所以tensorrt7插件可以在tensorrt库中书写,然后再编译解析库,解析库可以用tensorrt或onnx-tensorrt二者之一,注意链接libnvinfer_plugin.so的时候,需要用前面编译的插件动态库。
  1. 可以看这篇博客的一些解释实现TensorRT-7.0插件自由!(如果不踩坑使用TensorRT插件功能)

更多推荐