实践教程｜TensorRT中对ONNX模型解析过程

今日应用

电子课本

电子课本-电子课本网

今日话题

实践教程｜TensorRT中对ONNX模型解析过程

 

重点标签 tag1、ONNX模型、tag2、TensorRT计算图、tag3、IR信息、tag4、转换流程、tag5、技术干货

文章摘要

摘要：
本文详细介绍了ONNX和TensorRT的中间表示（IR）信息，并梳理了从ONNX模型转换为TensorRT计算图的主要流程。文章首先回顾了ONNX模型格式的基础知识，并介绍了TensorRT中构建IR的接口。接着，文章详细阐述了TensorRT的ONNX Parser解析ONNX模型的过程，包括解析输入信息、对ONNX模型的算子进行拓扑排序、添加对应的layer以及解析输出信息等步骤。文章最后总结了整个转换流程，并提供了相关资源链接。

详细总结：

1. ONNX基础：文章首先回顾了ONNX模型格式的基础知识，提供了相关文章的链接，以便读者进一步了解。

2. TensorRT IR基础：介绍了TensorRT中构建IR的接口，特别是INetworkDefinition类，该类提供了添加输入信息、layer、输出信息等功能。文章还介绍了所有层的基类ILayer，以及IConvolutionLayer的定义和接口。

3. TensorRT解析ONNX流程：文章详细阐述了TensorRT的ONNX Parser解析ONNX模型的过程，包括以下几个步骤：
– 解析ONNX模型的输入信息，并调用TensorRT接口添加输入信息。
– 对ONNX模型的算子进行拓扑排序，然后按照拓扑序列解析ONNX的算子，并在TensorRT内添加对应的layer。
– 解析onnx模型的输出信息，在TensorRT中添加对应的输出信息。

4. 总结：文章总结了从ONNX转换成TensorRT计算图的主要流程，并提供了相关资源链接，供读者进一步学习和参考。

文章还提供了极市平台的技术专栏、极视角动态、技术综述等资源，供读者获取更多技术干货。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台