前言
目標識別如今以及迭代了這么多年,普遍受大家認可和歡迎的目標識別框架就是YOLO了。按照官方描述,YOLOv8 是一個 SOTA 模型,它建立在以前 YOLO 版本的成功基礎(chǔ)上,并引入了新的功能和改進,以進一步提升性能和靈活性。從基本的YOLOv1版本到如今v8版本,完成了多次蛻變,現(xiàn)在已經(jīng)相當成熟并且十分的親民。我見過很多初學目標識別的同學基本上只花一周時間就可以參照案例實現(xiàn)一個目標檢測的項目,這全靠YOLO強大的解耦性和部署簡易性。初學者甚至只需要修改部分超參數(shù)接口,調(diào)整數(shù)據(jù)集就可以實現(xiàn)目標檢測了。但是我想表達的并不是YOLO的原理有多么難理解,原理有多難推理。一般工作中要求我們能夠運行并且能夠完成目標檢測出來就可以了,更重要的是數(shù)據(jù)集的標注。我們不需要完成幾乎難以單人完成的造目標檢測算法輪子的過程,我們需要理解YOLO算法中每個超參數(shù)的作用以及影響。就算我們能夠訓(xùn)練出一定準確度的目標檢測模型,我們還需要根據(jù)實際情況對生成結(jié)果進行一定的改寫:例如對于圖片來說一共出現(xiàn)了幾種目標;對于一個視頻來說,定位到具體時間出現(xiàn)了識別的目標。這都是需要我們反復(fù)學習再練習的本領(lǐng)。
完成目標檢測后,我們應(yīng)該輸出定位出來的信息,YOLO是提供輸出設(shè)定的超參數(shù)的,我們需要根據(jù)輸出的信息對目標進行裁剪得到我們想要的目標之后再做上層處理。如果是車牌目標識別的項目,我們裁剪出來的車牌就可以進行OCR技術(shù)識別出車牌字符了,如果是安全帽識別項目,那么我們可以統(tǒng)計一張圖片或者一幀中出現(xiàn)檢測目標的個數(shù)做出判斷,一切都需要根據(jù)實際業(yè)務(wù)需求為主。本篇文章主要是OCR模型對車牌進行字符識別,結(jié)合YOLO算法直接定位目標進行裁剪,裁剪后生成OCR訓(xùn)練數(shù)據(jù)集即可。開源項目地址,如果有幫助希望不吝點亮star~:
基于Yolov7-LPRNet的動態(tài)車牌目標識別算法模型https://github.com/Fanstuck/Yolov7-LPRNet文章來源地址http://www.zghlxwxcb.cn/news/detail-714565.html
其中數(shù)據(jù)集的質(zhì)量是尤為重要的,決定了模型的上限,因此想要搭建一個效果較好的目標識別算法模型,就需要處理流程較為完善的開源數(shù)據(jù)集。本篇文章采用的是CCPD數(shù)據(jù)集,上篇文章已經(jīng)詳細描述了整個項目的初步搭建過程,包括數(shù)據(jù)集準備和數(shù)據(jù)預(yù)處理,大體系統(tǒng)框架和數(shù)據(jù)標簽聚合?,F(xiàn)在開始正式Y(jié)OLOv7搭建。
一、YOLOv7
YOLO算法作為one-stage目標檢測算法最典型的代表,其基于深度神經(jīng)網(wǎng)絡(luò)進行對象的識別和定位,運行速度很快,可以用于實時系統(tǒng)。從近幾年來看,模型結(jié)構(gòu)重參化和動態(tài)標簽分配已經(jīng)成為了目標檢測領(lǐng)域中的主要優(yōu)化方向。針對于結(jié)構(gòu)重參化,YOLOv7的作者是通過分析梯度的傳播路徑來為網(wǎng)絡(luò)中的不同層進行結(jié)構(gòu)重參化優(yōu)化,作者還提出了擴展和復(fù)合縮放的方式,通過這種方式可以更高效利用參數(shù)量和計算量。這樣不僅可以減少大量參數(shù),還可以提高推理速度以及檢測精度。
我們這里不作展開Yolov7詳解,開源項目里面自帶大家可直接克隆就好,省去了一些冗余功能。但是github上面的版本刪去了訓(xùn)練模塊,提供了已經(jīng)訓(xùn)練完成的模型和推理模型,這樣克隆方便展示直接效果,訓(xùn)練的權(quán)重并不是最優(yōu)的,本身并沒有迭代多次,想要精度更高的模型我將會在后續(xù)硬件支持下再訓(xùn)練,或者大家也可以去下載別人已經(jīng)訓(xùn)練好的模型。大家如有需要可以通過網(wǎng)盤下載:
鏈接:https://pan.baidu.com/s/1rjkwqC0p5kp43WP8EnMwqw
提取碼:40yu
我會在本篇文章詳細介紹模型權(quán)重的具體訓(xùn)練過程。
二、訓(xùn)練步驟
1.安裝環(huán)境
利用Yolo訓(xùn)練模型十分簡單并沒有涉及到很復(fù)雜的步驟,如果是新手的話注意下載的torch版本是否符合本身NVDIA GPU的版本,需要根據(jù)NVIDIA支持最高的cuda版本去下載兼容的Torch版本,查看cuda版本可以通過終端輸入:nvidia-smi
確定requirements.txt沒問題之后,直接通過pip下載環(huán)境即可:
pip install -r requirements.txt
?2.修改Yolo配置文件
首先增加cfg/training/yolov7-e6e-ccpd.yaml文件,此配置文件可以參數(shù)動態(tài)調(diào)整網(wǎng)絡(luò)規(guī)模,這里也不展開細講,以后會有Yolov7源碼詳解系列,敬請期待,我們需要根據(jù)我們用到的官方y(tǒng)olo模型選擇對于的yaml文件配置,我這里用的的yolov7-e6e模型訓(xùn)練,所以直接拿yolov7-e6e.yaml改寫:
# parameters
nc: 1 # number of classes
depth_multiple: 1.0 # model depth multiple
width_multiple: 1.0 # layer channel multiple
其中nc是檢測個數(shù),depth_multiple是模型深度,width_multiple表示卷積通道的縮放因子,就是將配置里面的backbone和head部分有關(guān)Conv通道的設(shè)置,全部乘以該系數(shù)。通過這兩個參數(shù)就可以實現(xiàn)不同復(fù)雜度的模型設(shè)計。然后是添加數(shù)據(jù)索引文件data/license.yaml:
train: ./split_dataset/images/train
val: ./split_dataset/images/val
test: ./split_dataset/images/test
# number of classes
nc : 1
#class names
names : ['license']
3.訓(xùn)練模型
前面train,val,test都對應(yīng)著目錄存放的訓(xùn)練數(shù)據(jù)集。之后修改train.py中的參數(shù)或者是直接在終端輸入對應(yīng)的參數(shù)自動目錄,我一般是習慣直接在defalut下面修改,parser的各類參數(shù)功能為:
#weight:指定預(yù)訓(xùn)練權(quán)重路徑;如果這里設(shè)置為空的話,就是自己從頭開始進行訓(xùn)練;官方有提供預(yù)訓(xùn)練權(quán)重
#cfg:指定模型配置文件路徑的;源碼里面提供了幾個配置文件,配置文件里面指定了一些參數(shù)信息和backbone的結(jié)構(gòu)信息。
#data:數(shù)據(jù)集對應(yīng)的參數(shù)文件;里面主要存放數(shù)據(jù)集的類別和路徑信息。
#hyp:指定超參數(shù)文件的路徑;超參數(shù)里面包含了大量的參數(shù)信息。
#epochs:訓(xùn)練的輪數(shù);默認為300輪,顯示效果是0-299
#batch-size:每批次的輸入數(shù)據(jù)量;default=-1將時自動調(diào)節(jié)batchsize大小
#img-size:訓(xùn)練集和測試集圖片的像素大??;輸入默認640*640,可以進行適當?shù)恼{(diào)整,這樣才能達到好的效果。
#rect:是否采用矩陣推理的方式去訓(xùn)練模型。
#resume:斷點續(xù)訓(xùn):即是否在之前訓(xùn)練的一個模型基礎(chǔ)上繼續(xù)訓(xùn)練,default 值默認是 false;
#nosave:是否只保存最后一輪的pt文件;我們默認是保存best.pt和last.pt兩個的;
#notest:只在最后一輪測試;正常情況下每個epoch都會計算mAP,但如果開啟了這個參數(shù),那么就只在最后一輪上進行測試,不建議開啟。
#noautoanchor:是否禁用自動錨框;默認是開啟的,自動錨點的好處是可以簡化訓(xùn)練過程。
#evolve:遺傳超參數(shù)進化;yolov7使用遺傳超參數(shù)進化,提供的默認參數(shù)是通過在COCO數(shù)據(jù)集上使用超參數(shù)進化得來的。由于超參數(shù)進化會耗費大量的資源和時間,所以建議不要動這個參數(shù)。
#bucket:谷歌云盤;通過這個參數(shù)可以下載谷歌云盤上的一些東西,但是現(xiàn)在沒必要使用了。
#cache:是否提前緩存圖片到內(nèi)存,以加快訓(xùn)練速度,默認False;開啟這個參數(shù)就會對圖片進行緩存,從而更好的訓(xùn)練模型。
#image-weights:是否啟用加權(quán)圖像策略,默認是不開啟的;主要是為了解決樣本不平衡問題;開啟后會對上一輪訓(xùn)練效果不好的圖片,在下一輪中增加一些權(quán)重;
#device:設(shè)備選擇;這個參數(shù)就是指定硬件設(shè)備的,系統(tǒng)會自己判斷。
#multi-scale:是否啟用多尺度訓(xùn)練,默認是不開啟的;多尺度訓(xùn)練是指設(shè)置幾種不同的圖片輸入尺度,訓(xùn)練時每隔一定iterations隨機選取一種尺度訓(xùn)練,這樣訓(xùn)練出來的模型魯棒性更強。
#single-cls:設(shè)定訓(xùn)練數(shù)據(jù)集是單類別還是多類別;默認為 false多類別。
#optimizer:選擇使用 Adam 優(yōu)化器
#sync-bn:是否開啟跨卡同步BN;開啟參數(shù)后即可使用 SyncBatchNorm多 GPU 進行分布式訓(xùn)練。
#local_rank:DDP參數(shù),請勿修改
#workers:最大worker數(shù)量。
#project:指定訓(xùn)練好的模型的保存路徑;默認在runs/train。
#entity:wandb 庫對應(yīng)的東西。
#name:設(shè)定保存的模型文件夾名,默認在exp;
#exist-ok:每次預(yù)測模型的結(jié)果是否保存在原來的文件夾;如果指定了這個參數(shù)的話,那么本次預(yù)測的結(jié)果還是保存在上一次保存的文件夾里;如果不指定就是每次預(yù)測結(jié)果保存一個新的文件夾下。
#quad:官方給出的開啟這個功能后的實際效果:
#好處是在比默認 640 大的數(shù)據(jù)集上訓(xùn)練效果更好
#副作用是在 640 大小的數(shù)據(jù)集上訓(xùn)練效果可能會差一些
#linear-lr:用于調(diào)整學習率;含義是通過余弦函數(shù)來降低學習率。使用梯度下降算法來優(yōu)化目標函數(shù)的時候,當越來越接近Loss值的全局最小值時,學習率應(yīng)該變得更小來使得模型盡可能接近這一點,而余弦退火可以通過余弦函數(shù)來降低學習率。
#label-smoothing:是否對標簽進行平滑處理,默認是不啟用的;
#upload_dataset:wandb 庫對應(yīng)的東西。是否上傳dataset到wandb tabel(將數(shù)據(jù)集作為交互式 dsviz表 在瀏覽器中查看、查詢、篩選和分析數(shù)據(jù)集) 默認False
#bbox_interval:wandb 庫對應(yīng)的東西,可以忽略。設(shè)置界框圖像記錄間隔 Set bounding-box image logging interval for W&B 默認-1
#save-period:用于設(shè)置多少個epoch保存一下checkpoint,int 型,默認為 -1。
#artifact_alias:表示還未實現(xiàn)的內(nèi)容,忽略即可
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('--weights', type=str, default='yolo7.pt', help='initial weights path')
parser.add_argument('--cfg', type=str, default='', help='model.yaml path')
parser.add_argument('--data', type=str, default='data/coco.yaml', help='data.yaml path')
parser.add_argument('--hyp', type=str, default='data/hyp.scratch.p5.yaml', help='hyperparameters path')
parser.add_argument('--epochs', type=int, default=300)
parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs')
parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='[train, test] image sizes')
parser.add_argument('--rect', action='store_true', help='rectangular training')
parser.add_argument('--resume', nargs='?', const=True, default=False, help='resume most recent training')
parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')
parser.add_argument('--notest', action='store_true', help='only test final epoch')
parser.add_argument('--noautoanchor', action='store_true', help='disable autoanchor check')
parser.add_argument('--evolve', action='store_true', help='evolve hyperparameters')
parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
parser.add_argument('--cache-images', action='store_true', help='cache images for faster training')
parser.add_argument('--image-weights', action='store_true', help='use weighted image selection for training')
parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%%')
parser.add_argument('--single-cls', action='store_true', help='train multi-class data as single-class')
parser.add_argument('--adam', action='store_true', help='use torch.optim.Adam() optimizer')
parser.add_argument('--sync-bn', action='store_true', help='use SyncBatchNorm, only available in DDP mode')
parser.add_argument('--local_rank', type=int, default=-1, help='DDP parameter, do not modify')
parser.add_argument('--workers', type=int, default=8, help='maximum number of dataloader workers')
parser.add_argument('--project', default='runs/train', help='save to project/name')
parser.add_argument('--entity', default=None, help='W&B entity')
parser.add_argument('--name', default='exp', help='save to project/name')
parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
parser.add_argument('--quad', action='store_true', help='quad dataloader')
parser.add_argument('--linear-lr', action='store_true', help='linear LR')
parser.add_argument('--label-smoothing', type=float, default=0.0, help='Label smoothing epsilon')
parser.add_argument('--upload_dataset', action='store_true', help='Upload dataset as W&B artifact table')
parser.add_argument('--bbox_interval', type=int, default=-1, help='Set bounding-box image logging interval for W&B')
parser.add_argument('--save_period', type=int, default=-1, help='Log model after every "save_period" epoch')
parser.add_argument('--artifact_alias', type=str, default="latest", help='version of dataset artifact to be used')
parser.add_argument('--freeze', nargs='+', type=int, default=[0], help='Freeze layers: backbone of yolov7=50, first3=0 1 2')
parser.add_argument('--v5-metric', action='store_true', help='assume maximum recall as 1.0 in AP calculation')
對應(yīng)參數(shù)修改,一般來說修改這些就足夠了:
parser.add_argument('--weights', type=str, default='weights/yolo7-e6e.pt', help='initial weights path')
parser.add_argument('--cfg', type=str, default='cfg/yolov7-e6e-ccpd', help='model.yaml path')
parser.add_argument('--data', type=str, default='data/license.yaml', help='data.yaml path')
當然也可能出現(xiàn)內(nèi)存溢出等問題,需要修改:
arser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs')
parser.add_argument('--workers', type=int, default=8, help='maximum number of dataloader workers')
?這兩個參數(shù),具體參數(shù)根據(jù)自己硬件條件修改。
然后直接終端輸入:
python train.py
?訓(xùn)練即可。生成的模型會自動保存到run/目錄里面。之后在run/train/exp/weights目錄下會產(chǎn)生兩個權(quán)重文件,一個是最后一輪的權(quán)重文件,一個是最好的權(quán)重文件,一會我們就要利用這個最好的權(quán)重文件來做推理測試。除此以外還會產(chǎn)生一些驗證文件的圖片等一些文件。
4.推理
?然后修改detect.py:
f __name__ == '__main__':
"""
--weights:權(quán)重的路徑地址
--source:測試數(shù)據(jù),可以是圖片/視頻路徑,也可以是'0'(電腦自帶攝像頭),也可以是rtsp等視頻流
--output:網(wǎng)絡(luò)預(yù)測之后的圖片/視頻的保存路徑
--img-size:網(wǎng)絡(luò)輸入圖片大小
--conf-thres:置信度閾值
--iou-thres:做nms的iou閾值
--device:是用GPU還是CPU做推理
--view-img:是否展示預(yù)測之后的圖片/視頻,默認False
--save-txt:是否將預(yù)測的框坐標以txt文件形式保存,默認False
--classes:設(shè)置只保留某一部分類別,形如0或者0 2 3
--agnostic-nms:進行nms是否也去除不同類別之間的框,默認False
--augment:推理的時候進行多尺度,翻轉(zhuǎn)等操作(TTA)推理
--update:如果為True,則對所有模型進行strip_optimizer操作,去除pt文件中的優(yōu)化器等信息,默認為False
--project:推理的結(jié)果保存在runs/detect目錄下
--name:結(jié)果保存的文件夾名稱
"""
parser = argparse.ArgumentParser()
parser.add_argument('--weights', nargs='+', type=str, default='yolov5s.pt', help='model.pt path(s)')
parser.add_argument('--source', type=str, default='data/images', help='source') # file/folder, 0 for webcam
parser.add_argument('--img-size', type=int, default=640, help='inference size (pixels)')
parser.add_argument('--conf-thres', type=float, default=0.25, help='object confidence threshold')
parser.add_argument('--iou-thres', type=float, default=0.45, help='IOU threshold for NMS')
parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
parser.add_argument('--view-img', action='store_true', help='display results')
parser.add_argument('--save-txt', action='store_true', help='save results to *.txt')
parser.add_argument('--save-conf', action='store_true', help='save confidences in --save-txt labels')
parser.add_argument('--nosave', action='store_true', help='do not save images/videos')
parser.add_argument('--classes', nargs='+', type=int, help='filter by class: --class 0, or --class 0 2 3')
parser.add_argument('--agnostic-nms', action='store_true', help='class-agnostic NMS')
parser.add_argument('--augment', action='store_true', help='augmented inference')
parser.add_argument('--update', action='store_true', help='update all models')
parser.add_argument('--project', default='runs/detect', help='save results to project/name')
parser.add_argument('--name', default='exp', help='save results to project/name')
parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')
opt = parser.parse_args()
?這里需要將剛剛訓(xùn)練好的最好的權(quán)重傳入到推理函數(shù)中去。然后就可以對圖像視頻進行推理了。
主要需要修改的參數(shù)是:
parser.add_argument('--weights', nargs='+', type=str, default='runs/train/exp/weights/best.pt', help='model.pt path(s)')
parser.add_argument('--source', type=str, default='測試數(shù)據(jù)集目錄或者圖片', help='source')
?推理測試結(jié)束以后,在run下面會生成一個detect目錄,推理結(jié)果會保存在exp目錄下。
?
備注
有問題的私信博主或者直接評論就可以了博主會長期維護此開源項目,目前此項目運行需要多部操作比較繁瑣,我將不斷更新版本優(yōu)化,下一版本將加入UI以及一鍵部署環(huán)境和添加sh指令一鍵運行項目代碼。下篇文章將詳細解讀LPRNet模型如何進行OCR識別, 再次希望對大家有幫助不吝點亮star~:文章來源:http://www.zghlxwxcb.cn/news/detail-714565.html
基于Yolov7-LPRNet的動態(tài)車牌目標識別算法模型https://github.com/Fanstuck/Yolov7-LPRNet
到了這里,關(guān)于目標識別項目實戰(zhàn):基于Yolov7-LPRNet的動態(tài)車牌目標識別算法模型(二)的文章就介紹完了。如果您還想了解更多內(nèi)容,請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!