Jetson Xavier上tensorRT环境安装

MachineLearning 微众银行

目标：

在xavier上配置tensorRT及其附属环境，使其能够正常运行从pytorch/tensorflow/mxnet转换过来的模型。

步骤：

1、确认基础环境
2、pycuda安装,没有版本限制
3、onnx安装，必须是1.5.0
4、onnx-to-tensorRT安装
5、pytorch && torchvision安装（可选）

硬件环境：

1、xavier
2、PC机
确保可以通过pc机ssh进入xavier。

1、确认安装环境

• 1）查看是否安装了jetpack 4.3.

输入 ‘head -n 1 /etc/nv_tegra_release’ 输出内容和下列内容一致

# R32 (release), REVISION: 3.1, GCID: 18186506, BOARD: t186ref, EABI: aarch64, DATE: Tue Dec 10 07:03:07 UTC 2019

若没有安装，那么：
https://developer.nvidia.com/embedded/jetpack
https://blog.csdn.net/Tosonw/article/details/103990404
PS：需要准备一台x86的linux机器。

• 2）确认tensorRT环境为6.0.1，cuda环境为10.0。jetpack安装正确，这两个一般没问题，它们是jetPack自带的。

输入 ‘dpkg -l | grep TensorRT’
输出

• 3）确认系统是是ubuntu 18.04

输入 ‘cat /etc/lsb-release’ 查看。

• 4）确认GCC环境为7.4.0.

输入‘gcc -v’查看。

• 5）确认python版本为3.6.9

2、pycuda安装

https://blog.csdn.net/huiyuanliyan/article/details/97112360

sudo gedit ~/.bashrc
export PATH=/usr/local/cuda-10.0/bin:$PATH
source ~/.bashrc
export LD_LIBRARY_PATH=/usr/local/cuda-10.0/lib64
pip3 install pycuda --user -i https://pypi.tuna.tsinghua.edu.cn/simple

import无误表示成功

3、onnx安装

必须是1.5.0

sudo pip3 install onnx==1.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

4、onnx-to-tensorRT

安装这一环境的原因，是由于所依赖的检测模型，经过如下转换过程：

原始pytorch/mxnet模型->onnx模型->tensorRT-engine

后，发现tensorRT-engine版本的模型无法加载。

故退而求其次，利用以tensorRT为backend的onnx作为驱动，来实现对模型的加速。

为达到这样的目标，仅需要将模型转换到onnx，但需要额外安装onnx-to-tensorRT环境

• 0）环境下载：

onnx-to-tensorRT:
链接:https://pan.baidu.com/s/1VyLncqzp9y44IhYOeWgpJg 密码:jt0j

第三方依赖
链接:https://pan.baidu.com/s/1nHpimwULI6SOYy-gokguoQ 密码:fws6

• 1）下载&解压后，你会得到如下文件。
  

• 2）进入onnx-tensorrt-release-6.0中的third-party文件夹，删除里面onnx文件夹。

cd <your path>/onnx-tensorrt-release-6.0/third_party
rm -rf onnx

• 3）将onnx-765f5ee823a67a866f4bd28a9860e81f3c811ce8拷贝至third_party文件夹内，并重命名为onnx。

# 此时还在third_party文件夹内
cp -r <your path>/onnx-765f5ee823a67a866f4bd28a9860e81f3c811ce8 ./onnx

third_parth文件夹内部看起来就是这个样子

• 4）进入onnx-tensorrt-release-6.0目录下，开始安装。

cd ..
pwd # 输出路径应该以onnx-tensorrt-release-6.0结尾
mkdir build
cd build
cmake .. -DCUDA_INCLUDE_DIRS=/usr/local/cuda/include -DTENSORRT_ROOT=/ust/src/tensorrt -DGPU_ARCHS="53"
make -j4
sudo make install

参考：https://forums.developer.nvidia.com/t/how-to-install-onnx-tensorrt-and-how-to-solve-can-not-find-dirver-types-h-error/79714#5423987

5、pytorch&& torchvision安装

• 0）安装PILLOW
  确保pillow的版本在7以下.
  

• 1) 环境下载

torch1.2.0下载
链接:https://pan.baidu.com/s/1ZO1mjsdehG2PBCq3ZWcT-w 密码:i2xp

torch_vision 0.4.0下载
链接:https://pan.baidu.com/s/1YGrOKpEbjqqCFRkpoXx6ZA 密码:x9hh

• 2）安装torch

sudo pip3 install torch-1.2.0a0+8554416-cp36-cp36m-linux_aarch64.whl

• 3）安装torch_vision

unzip vision-0.4.0.zip
cd vision-0.4.0
sudo python3 setup.py install