配置TensorRT環(huán)境需要配置CUDA、CUDNN、英偉達(dá)顯卡驅(qū)動
- 安裝順序是先英偉達(dá)顯卡驅(qū)動,CUDA,CUDNN,如果已經(jīng)安裝就可以跳過
可以用命令查詢CUDA和英偉達(dá)驅(qū)動版本,下載對應(yīng)的CUDNN:
nvidia-smi
類似這樣,如圖我的顯卡驅(qū)動版本為515.65.01,CUDA版本為11.7
安裝CUDNN
- 到官網(wǎng)下載對應(yīng)CUDA版本的CUDNN,鏈接如下:
深度神經(jīng)網(wǎng)絡(luò)
下載需要英偉達(dá)賬號:
- 下載對應(yīng)的cudnn版本,這里附上tar版本的cudnn安裝方式。這個版本適配CUDA11.x
??
tar -xvf cudnn-linux-x86_64-8.5.0.96_cuda11-archive.tar.xz
cd cudnn-linux-x86_64-8.5.0.96_cuda11-archive/include/
sudo cp cudnn*.h /usr/local/cuda/include
cd ../lib/
sudo cp libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*
實(shí)際上就是把cudnn包里面的include和lib分別復(fù)制添加到cuda的文件中。
?
安裝TensorRT
TensorRT下載網(wǎng)址:
NVIDIA TensorRT
這里的版本適配CUDA11.0-11.7,TensorRT8.4,Tar版本安裝
tar zxf TensorRT-8.4.1.5.Linux.x86_64-gnu.cuda-11.6.cudnn8.4.tar.gz
sudo mv TensorRT-8.4.1.5 /opt
sudo gedit ~/.bashrc
添加:export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/TensorRT-8.4.1.5/lib
source ~/.bashrc
復(fù)制TensorRT目錄下 lib、include文件夾到系統(tǒng)文件夾(或者將這兩個文件夾路徑添加到.bashrc文件中)
sudo cp -r ./lib/* /usr/lib
sudo cp -r ./include/* /usr/include
安裝python相關(guān)依賴(有需要安裝),我的python環(huán)境是3.9,注意安裝對應(yīng)版本的.whl,在文件夾下有各種版本的whl
cd python
conda activate Wheel
pip install pycuda
pip install tensorrt-8.4.1.5-cp39-none-linux_x86_64.whl
完成上面的步驟之后就可以使用TensorRT轉(zhuǎn)化部署權(quán)重文件了,可以從github上拉一下yolo的代碼,利用里面的export代碼驗(yàn)證安裝是否成功,下面是yolo運(yùn)行export的命令:
python export.py --weights yolov5s.pt --include onnx engine --device 0
看到報(bào)出export success即為轉(zhuǎn)化配置成功,得到onnx和engine后綴的轉(zhuǎn)化權(quán)重文章來源:http://www.zghlxwxcb.cn/news/detail-726437.html
文章來源地址http://www.zghlxwxcb.cn/news/detail-726437.html
到了這里,關(guān)于TensorRT環(huán)境配置(2023完整版)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!