Yolov5有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四個版本。文件中，這幾個模型的結(jié)構(gòu)基本一樣，不同的是depth_multiple模型深度和width_multiple模型寬度這兩個參數(shù)。

一、Yolov5網(wǎng)絡(luò)結(jié)構(gòu)

yolov5主要分為以下幾部分：

• Input：輸入
• Backbone：New CSP-Darknet53
• Neck：SPFF和New CSP-PAN
• Head(prediction)：Yolov3 head

yolov5 6.0版本的主要架構(gòu)如下圖所示：

1.1 Input

YOLOv5在輸入端Input采用了Mosaic數(shù)據(jù)增強，參考了CutMix數(shù)據(jù)增強的方法，Mosaic數(shù)據(jù)增強由原來的兩張圖像提高到四張圖像進(jìn)行拼接，并對圖像進(jìn)行隨機(jī)縮放，隨機(jī)裁剪和隨機(jī)排列。使用數(shù)據(jù)增強可以改善數(shù)據(jù)集中，小、中、大目標(biāo)數(shù)據(jù)不均衡的問題。

Mosaic數(shù)據(jù)增強的主要步驟為：

1. Mosaic
2. Copy paste
3. Random affine（Scale, Translation and Shear)
4. Mixup
5. Albumentations
6. Augment HSV(Hue, Saturation, Value)
7. Random horizontal flip.
   

采用Mosaic數(shù)據(jù)增強的方式有幾個優(yōu)點：

• 豐富數(shù)據(jù)集：隨機(jī)使用4張圖像，隨機(jī)縮放后隨機(jī)拼接，增加很多小目標(biāo)，大大豐富了數(shù)據(jù)集，提高了網(wǎng)絡(luò)的魯棒性。
• 減少GPU占用：隨機(jī)拼接的方式讓一張圖像可以計算四張圖像的數(shù)據(jù)，減少每個batch的數(shù)量，即使只有一個GPU，也能得到較好的結(jié)果。
• 同時通過對識別物體的裁剪，使模型根據(jù)局部特征識別物體，有助于被遮擋物體的檢測，從而提升了模型的檢測能力。

1.2 Backbone

在Backbone中，有Conv，C3，SPFF是我們需要闡明的。

1.2.1 Conv模塊

Conv卷積層由卷積，Batch Normalization和SiLu激活層組成。

batch normalization具有防止過擬合，加速收斂的作用。

SiLu激活函數(shù)是Sigmoid 加權(quán)線性組合，SiLU 函數(shù)也稱為 swish 函數(shù)。
公式：silu(x)=x?σ(x), where σ(x) is the logistic sigmoid. Silu函數(shù)處處可導(dǎo)，且連續(xù)光滑。Silu并非一個單調(diào)的函數(shù)，最大的缺點是計算量大。

1.2.2 C3模塊

（1）C3整體模塊

C3其結(jié)構(gòu)作用基本相同均為CSP架構(gòu)，只是在修正單元的選擇上有所不同，其包含了3個標(biāo)準(zhǔn)卷積層，數(shù)量由配置文件yaml的n和depth_multiple參數(shù)乘積決定。

該模塊是對殘差特征進(jìn)行學(xué)習(xí)的主要模塊，其結(jié)構(gòu)分為兩支：

• 一支使用了上述指定多個Bottleneck堆疊
• 另一支僅經(jīng)過一個基本卷積模塊，最后將兩支進(jìn)行concat操作。

這個模塊相對于之前版本BottleneckCSP模塊不同的是，經(jīng)歷過殘差輸出后的卷積模塊被去掉了，concat后的標(biāo)準(zhǔn)卷積模塊中的激活函數(shù)也為SiLU。

（2）C3中的Bottleneck

C3模塊中的Bottleneck借鑒了ResNet的殘差結(jié)構(gòu)，具體如下：

• 其中一路先進(jìn)行1 ×1卷積將特征圖的通道數(shù)減小一半，從而減少計算量，再通過3 ×3卷積提取特征，并且將通道數(shù)加倍，其輸入與輸出的通道數(shù)是不發(fā)生改變的。
• 另外一路通過shortcut進(jìn)行殘差連接，與第一路的輸出特征圖相加，從而實現(xiàn)特征融合。

在YOLOv5中，Backbone中的Bottleneck都默認(rèn)使shortcut為True，而在Head中的Bottleneck都不使用shortcut。

1.2.3 SPPF模塊

SPPF由SPP改進(jìn)而來，SPP先通過一個標(biāo)準(zhǔn)卷積模塊將輸入通道減半，然后分別做kernel-size為5，9，13的max pooling（對于不同的核大小，padding是自適應(yīng)的）。對三次最大池化的結(jié)果與未進(jìn)行池化操作的數(shù)據(jù)進(jìn)行concat，最終合并后channel數(shù)是原來的2倍。

yolo的SPP借鑒了空間金字塔的思想，通過SPP模塊實現(xiàn)了局部特征和全部特征。經(jīng)過局部特征與全矩特征相融合后，豐富了特征圖的表達(dá)能力，有利于待檢測圖像中目標(biāo)大小差異較大的情況，對yolo這種復(fù)雜的多目標(biāo)檢測的精度有很大的提升?！　?br>

SPPF（Spatial Pyramid Pooling - Fast ）使用3個5×5的最大池化，代替原來的5×5、9×9、13×13最大池化，多個小尺寸池化核級聯(lián)代替SPP模塊中單個大尺寸池化核，從而在保留原有功能，即融合不同感受野的特征圖，豐富特征圖的表達(dá)能力的情況下，進(jìn)一步提高了運行速度。

1.3 Neck

在Neck部分，yolov5主要采用了PANet結(jié)構(gòu)。

PANet在FPN（feature pyramid network）上提取網(wǎng)絡(luò)內(nèi)特征層次結(jié)構(gòu)，F(xiàn)PN中頂部信息流需要通過骨干網(wǎng)絡(luò)(Backbone)逐層地往下傳遞，由于層數(shù)相對較多，因此計算量比較大（a)。

PANet在FPN的基礎(chǔ)上又引入了一個自底向上(Bottom-up)的路徑。經(jīng)過自頂向下(Top-down)的特征融合后，再進(jìn)行自底向上(Bottom-up)的特征融合，這樣底層的位置信息也能夠傳遞到深層，從而增強多個尺度上的定位能力。

• FPN(Feature Pyramid Networks) 特征金字塔模型：https://blog.csdn.net/u012856866/article/details/130271655

1.4 Head

1.4.1 head

Head部分主要用于檢測目標(biāo)，分別輸出20*20，40*40和80*80的特征圖大小，對應(yīng)的是32*32，16*16和8*8像素的目標(biāo)。

YOLOv5的Head對Neck中得到的不同尺度的特征圖分別通過1×1卷積將通道數(shù)擴(kuò)展，擴(kuò)展后的特征通道數(shù)為：(類別數(shù)量+5)×每個檢測層上的anchor數(shù)量。
其中5分別對應(yīng)的是：預(yù)測框的中心點橫坐標(biāo)、縱坐標(biāo)、寬度、高度和置信度。這里的置信度表示預(yù)測框的可信度，取值范圍為( 0 , 1 ) ，值越大說明該預(yù)測框中越有可能存在目標(biāo)。

Head中的3個檢測層分別對應(yīng)Neck中得到的3種不同尺寸的特征圖。特征圖上的每個網(wǎng)格都預(yù)設(shè)了3個不同寬高比的anchor，可以在特征圖的通道維度上保存所有基于anchor先驗框的位置信息和分類信息，用來預(yù)測和回歸目標(biāo)。

1.4.2 目標(biāo)框回歸

YOLOv5的目標(biāo)框回歸計算公式如下所示：

其中：

• (bx, by, bw, bh)表示預(yù)測框的中心點x, y坐標(biāo)、寬度和高度
• (cx, cy)表示預(yù)測框中心點所在網(wǎng)格的左上角坐標(biāo)
• (tx,ty)表示預(yù)測框的中心點相對于網(wǎng)格左上角坐標(biāo)的偏移量
• (tw,th)表示預(yù)測框的寬高相對于anchor寬高的縮放比例
• (pw,ph)表示先驗框anchor的寬高

為了將預(yù)測框的中心點約束到當(dāng)前網(wǎng)格中，使用Sigmoid函數(shù)處理偏移量，使預(yù)測的偏移值保持在(0,1)范圍內(nèi)。這樣一來，根據(jù)目標(biāo)框回歸計算公式，預(yù)測框中心點坐標(biāo)的偏移量保持在(?0.5,1.5)范圍內(nèi)，如上圖藍(lán)色區(qū)域所示。預(yù)測框的寬度和高度對于anchor的放縮范圍為（0,4）。

1.4.3 目標(biāo)的建立

如上面所述，YOLOv5的每個檢測層上的每個網(wǎng)格都預(yù)設(shè)了多個anchor先驗框，但并不是每個網(wǎng)格中都存在目標(biāo)，也并不是每個anchor都適合用來回歸當(dāng)前目標(biāo)，因此需要對這些anchor先驗框進(jìn)行篩選，將其劃分為正樣本和負(fù)樣本。本文的正負(fù)樣本指的是預(yù)測框而不是Ground Truth(人工標(biāo)注的真實框)。

與YOLOv3/4不同的是，YOLOv5采用的是基于寬高比例的匹配策略，它的大致流程如下：

1. 對于每一個Ground Truth(人工標(biāo)注的真實框)，分別計算它與9種不同anchor的寬與寬的比值(w1/w2, w2/w1)和高與高的比值(h1/h2, h2/h1)。

2. 找到Ground Truth與anchor的寬比(w1/w2, w2/w1)和高比(h1/h2, h2/h1)中的最大值，作為該Ground Truth和anchor的比值。
3. 若Ground Truth和anchor的比值r^max小于設(shè)定的比值閾值(超參數(shù)中默認(rèn)為anchor_t = 4.0)，那么這個anchor就負(fù)責(zé)預(yù)測這個Ground Truth，這個anchor所回歸得到的預(yù)測框就被稱為正樣本，剩余所有的預(yù)測框都是負(fù)樣本。

通過上述方法，YOLOv5不僅篩選了正負(fù)樣本，同時對于部分Ground Truth在單個尺度上匹配了多個anchor來進(jìn)行預(yù)測，總體上增加了一定的正樣本數(shù)量。除此以外，YOLOv5還通過以下幾種方法增加正樣本的個數(shù)，從而加快收斂速度。

跨網(wǎng)格擴(kuò)充： 如果某個Ground Truth的中心點落在某個檢測層上的某個網(wǎng)格中，除了中心點所在的網(wǎng)格之外，其左、上、右、下4個鄰域的網(wǎng)格中，靠近Ground Truth中心點的兩個網(wǎng)格中的anchor也會參與預(yù)測和回歸，即一個目標(biāo)會由3個網(wǎng)格的anchor進(jìn)行預(yù)測，如下圖所示。

跨分支擴(kuò)充：YOLOv5的檢測頭包含了3個不同尺度的檢測層，每個檢測層上預(yù)設(shè)了3種不同長寬比的anchor，假設(shè)一個Ground Truth可以和不同尺度的檢測層上的anchor匹配，則這3個檢測層上所有符合條件的anchor都可以用來預(yù)測該Ground Truth，即一個目標(biāo)可以由多個檢測層的多個anchor進(jìn)行預(yù)測。

1.4.4 NMS（Non-Maximum Suppression）

當(dāng)我們得到對目標(biāo)的預(yù)測后，一個目標(biāo)通常會產(chǎn)生很多冗余的預(yù)測框。Non-maximum suppression（NMS）其核心思想在于抑制非極大值的目標(biāo)，去除冗余，從而搜索出局部極大值的目標(biāo)，找到最優(yōu)值。

在我們對目標(biāo)產(chǎn)生預(yù)測框后，往往會產(chǎn)生大量冗余的邊界框，因此我們需要去除位置準(zhǔn)確率低的邊界框，保留位置準(zhǔn)確率高的邊界框。NMS的主要步驟為：

1. 對于每個種類的置信度按照從大到小的順序排序，選出置信度最高的邊框。

2. 遍歷其余所有剩下的邊界框，計算這些邊界框與置信度最高的邊框的IOU值。如果某一邊界框和置信度最高的邊框IOU閾值大于我們所設(shè)定的IOU閾值，這意味著同一個物體被兩個重復(fù)的邊界框所預(yù)測，則去掉這這個邊框。

3. 從未處理的邊框中再選擇一個置信度最高的值，重復(fù)第二步的過程，直到選出的邊框不再有與它超過IOU閾值的邊框。

二、損失函數(shù)

YOLOv5的損失函數(shù)主要由三個部分組成：

• Classes loss：分類損失。采用的是BCE loss，只計算正樣本的分類損失。
• Objectness loss：置信度損失。采用的依然是BCE loss，指的是網(wǎng)絡(luò)預(yù)測的目標(biāo)邊界框與GT Box的CIoU。這里計算的是所有樣本的損失。
• Location loss：定位損失。采用的是CIoU loss，只計算正樣本的定位損失。

其中，$lambda$為平衡系數(shù)，分別為0.5，1和0.05。

2.1 分類損失

YOLOv5默認(rèn)使用二元交叉熵函數(shù)來計算分類損失。二元交叉熵函數(shù)的定義為

其中y為輸入樣本對應(yīng)的標(biāo)簽（正樣本為1，負(fù)樣本為0），p為模型預(yù)測該輸入樣本為正樣本的概率。假設(shè)：

交叉熵函數(shù)的定義可簡化為：

YOLOv5使用二元交叉熵?fù)p失函數(shù)計算類別概率和目標(biāo)置信度得分的損失，各個標(biāo)簽不是互斥的。YOLOv5使用多個獨立的邏輯（logistic）分類器替換softmax函數(shù)，以計算輸入屬于特定標(biāo)簽的可能性。在計算分類損失進(jìn)行訓(xùn)練時，對每個標(biāo)簽使用二元交叉熵?fù)p失。這也避免使用softmax函數(shù)而降低了計算復(fù)雜度。

2.2 置信度損失

每個預(yù)測框的置信度表示這個預(yù)測框的可靠程度，值越大表示該預(yù)測框越可靠，也表示越接近真實框。對于置信度標(biāo)簽，YOLO之前的版本認(rèn)為所有存在目標(biāo)的網(wǎng)格(正樣本)對應(yīng)的標(biāo)簽值均為1，其余網(wǎng)格(負(fù)樣本)對應(yīng)的標(biāo)簽值為0。但是這樣帶來的問題是有些預(yù)測框可能只是在目標(biāo)的周圍，而并不能精準(zhǔn)預(yù)測框的位置。

YOLOv5的做法是，根據(jù)網(wǎng)格對應(yīng)的預(yù)測框與真實框的CIoU作為該預(yù)測框的置信度標(biāo)簽。與計算分類損失一樣，YOLOv5默認(rèn)使用二元交叉熵函數(shù)來計算置信度損失。

同時，對于目標(biāo)損失，在不同的預(yù)測特征層也給予了不同權(quán)重。

在源碼中，針對預(yù)測小目標(biāo)的預(yù)測特征層采用的權(quán)重是4.0，針對預(yù)測中等目標(biāo)的預(yù)測特征層采用的權(quán)重是1.0，針對預(yù)測大目標(biāo)的預(yù)測特征層采用的權(quán)重是0.4，作者說這是針對COCO數(shù)據(jù)集設(shè)置的超參數(shù)。

2.3 定位損失 Location loss

IOU， intersection of Union交并比，它的作用是衡量目標(biāo)檢測中預(yù)測框與真實框的重疊程度。假設(shè)預(yù)測框為A，真實框為B，則IoU的表達(dá)式為：

但是當(dāng)預(yù)測框與真實框沒有相交時，IoU不能反映兩者之間的距離，并且此時IoU損失為0，將會影響梯度回傳，從而導(dǎo)致無法訓(xùn)練。此外，IoU無法精確的反映預(yù)測框與真實框的重合度大小。

YOLOv5默認(rèn)使用CIoU來計算邊界框損失。

（1）DIoU

CIoU基于DIoU得到，其中DIoU將預(yù)測框和真實框之間的距離，重疊率以及尺度等因素都考慮了進(jìn)去，使得目標(biāo)框回歸變得更加穩(wěn)定。DIoU的損失函數(shù)為：

其中$b$和$b^{gt}$分別表示預(yù)測框和真實框的中心點，ρ表示兩個中心點之間的歐式距離，c表示預(yù)測框和真實框的最小閉包區(qū)域的對角線距離，gt是ground truth縮寫。如下圖所示:

（2）CIoU

CIoU是在DIoU的懲罰項基礎(chǔ)上添加了一個影響因子αv，這個因子將預(yù)測框的寬高比和真實框的寬高比考慮進(jìn)去，即CIoU的損失計算公式為：文章來源地址http://www.zghlxwxcb.cn/news/detail-730885.html

參考文獻(xiàn)

• Yolov5算法解讀：https://blog.csdn.net/qq_39696563/article/details/126377377

到了這里，關(guān)于【目標(biāo)檢測】yolov5模型詳解的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！