一、缺陷檢測任務

缺陷檢測的任務通?？梢苑譃槿齻€主要階段，包括缺陷分類、缺陷定位和缺陷分割。

1.缺陷分類

缺陷分類是檢測過程的第一步，目的是將檢測到的缺陷區(qū)域分類為不同的類別，通常是根據(jù)缺陷的性質(zhì)或類型進行分類。分類的類別包括異色、空洞和經(jīng)線。這一階段的目標是確定缺陷的類型，以便后續(xù)的處理。

2.缺陷定位

缺陷定位是在確定缺陷的類型的基礎上，進一步標注出缺陷在圖像中的準確位置。這意味著需要在圖像中識別出缺陷所在的區(qū)域，通常以邊界框或者圖像中心點的相對位置進行表示。缺陷定位為后續(xù)的處理提供了關鍵信息，使得可以進一步分析缺陷的尺寸、形狀和位置。

3.缺陷分割：

缺陷分割是逐像素地將缺陷從背景中分離出來，形成缺陷區(qū)域的精確掩膜。通常涉及使用圖像分割算法，如語義分割或?qū)嵗指?，以將缺陷與周圍背景分開。這允許更詳細的分析和處理缺陷區(qū)域。

二、缺陷檢測方法

1. 有監(jiān)督方法

有監(jiān)督方法通常需要帶有標簽的訓練數(shù)據(jù)，這些標簽包括缺陷的類別、位置等信息。在這種方法中，模型在訓練階段使用帶有標簽的數(shù)據(jù)來學習缺陷的特征和模式。這意味著模型知道什么是正常和異常的圖像區(qū)域，并且可以進行分類、定位和分割缺陷。有監(jiān)督方法通常在數(shù)據(jù)標注充分的情況下效果很好，但需要大量標記的數(shù)據(jù)。

2. 無監(jiān)督方法

無監(jiān)督方法不依賴于帶有標簽的訓練數(shù)據(jù)，而是依賴于對正常數(shù)據(jù)的學習。模型通過學習正常區(qū)域的特征和分布來檢測異常。這種方法在處理大規(guī)模數(shù)據(jù)或者缺乏帶有標簽的數(shù)據(jù)時非常有用。無監(jiān)督方法可以自動檢測與正常情況不符的異常情況，但對于不同類型的缺陷可能表現(xiàn)不如有監(jiān)督方法。

3.算法比較

選擇哪種方法通常取決于數(shù)據(jù)的可用性和問題的性質(zhì)。如果有足夠的標記數(shù)據(jù)和明確定義的缺陷類別，有監(jiān)督方法通常是更可靠的選擇。無監(jiān)督方法可以用于發(fā)現(xiàn)未知的異常情況，但可能會產(chǎn)生誤報，因為它無法準確區(qū)分不同類型的缺陷。
有時候，也可以結合這兩種方法，例如使用有監(jiān)督方法來識別已知類型的缺陷，并使用無監(jiān)督方法來檢測未知類型的異常。這種混合方法可以提高缺陷檢測的魯棒性

三、識別網(wǎng)絡

1. 目標識別網(wǎng)絡

目標檢測是計算機視覺領域中的核心任務，它旨在確定圖像中目標的位置和類別?；谏疃葘W習的目標檢測方法通?？煞譃閮纱箢悾簝呻A段（two-stage）網(wǎng)絡和一階段（one-stage）網(wǎng)絡，它們在結構和工作原理上有一些關鍵差異。

1. 兩階段網(wǎng)絡（以Faster R-CNN為代表）：
   兩階段網(wǎng)絡的主要特點是分為兩個階段：首先，生成候選框（即提出框或區(qū)域建議），然后在這些候選框上進行目標檢測。這些網(wǎng)絡通常包括兩個主要組件：區(qū)域提出網(wǎng)絡（Region Proposal Network，RPN）和目標檢測網(wǎng)絡。RPN負責生成可能包含目標的候選框，并將它們提供給目標檢測網(wǎng)絡，進一步進行分類和定位。兩階段網(wǎng)絡通常在準確性上表現(xiàn)出色，特別是對于小目標或密集目標的檢測。然而，其計算復雜度較高，速度相對較慢。

2. 一階段網(wǎng)絡（以SSD或YOLO為代表）：
   一階段網(wǎng)絡直接利用深度卷積神經(jīng)網(wǎng)絡中提取的特征圖來同時預測目標的位置和類別，而無需額外的候選框生成步驟。這些網(wǎng)絡通常更快速，適用于實時應用，但在目標小而密集的情況下可能會失去一些準確性。SSD（Single Shot MultiBox Detector）和 YOLO（You Only Look Once）是一階段網(wǎng)絡的代表，它們通過密集地分析圖像中的多個位置來檢測目標。

選擇兩階段還是一階段網(wǎng)絡通常取決于應用需求。兩階段網(wǎng)絡在準確性上具有優(yōu)勢，適用于要求高準確性的任務，例如醫(yī)學影像或自動駕駛。一階段網(wǎng)絡更適合要求實時性能的應用，如實時物體檢測和跟蹤。此外，還有一些改進型的網(wǎng)絡結構和混合型方法，旨在兼顧準確性和速度，以滿足不同的應用場景。

2.小目標檢測問題

在工業(yè)表面缺陷檢測中，面臨的最大的問題是部分缺陷偏小，因為小尺寸的缺陷通常在圖像中具有低信噪比，難以精確檢測，引入以下的幾種辦法，可以對小目標檢測進行優(yōu)化：

1. 特征金字塔結構：
   特征金字塔結構允許網(wǎng)絡在不同尺度下檢測目標，從而提高多尺度檢測的準確率。這可以通過在網(wǎng)絡中引入多尺度的特征圖來實現(xiàn)，使網(wǎng)絡能夠同時處理不同大小的目標。

2. 圖像尺寸放大：
   增加圖像尺寸可以使小目標變得更大，從而提高它們的可檢測性。這通常需要在訓練和測試期間對圖像進行插值或重采樣，以增加分辨率。然而，需要注意的是，這可能會增加計算成本。

3. ROI Align替代ROI Pooling：

ROI Align 是一種精確的感興趣區(qū)域（ROI）池化方法，可以在較小的目標上提供更準確的特征。與傳統(tǒng)的ROI Pooling 不同，ROI Align 考慮了像素級的插值，提高了對小目標的精確性。

4. 超分辨率技術：
   使用生成對抗網(wǎng)絡（GAN）或其他超分辨率技術，可以將小目標的特征圖增強到更高分辨率。這可以幫助網(wǎng)絡更好地捕捉小目標的特征，從而提高檢測準確性。

四、分割網(wǎng)絡

分割網(wǎng)絡在表面缺陷檢測任務中是將任務轉(zhuǎn)化為對缺陷與正常區(qū)域進行語義分割，甚至實例分割。這種方法不僅可以提供精細的缺陷區(qū)域分割，還能夠獲取缺陷的位置、類別以及多個幾何屬性，如長度、寬度、面積、輪廓、中心等。FCN 和 Mask R-CNN常被應用在表面缺陷中：

1.FCN (Fully Convolutional Networks)

FCN 是一種語義分割方法，它將卷積神經(jīng)網(wǎng)絡（CNN）擴展為全卷積結構，以便能夠?qū)斎雸D像的每個像素進行標簽預測。這使得它適用于像表面缺陷檢測這樣的任務，其中需要對每個像素進行分類，確定它屬于正常區(qū)域還是缺陷區(qū)域，以及缺陷的類別。FCN方法在圖像分割領域具有較好的性能，并且可以用于多類別和多尺度的分割任務。

2. Mask R-CNN

Mask R-CNN 是一種實例分割方法，它是 Faster R-CNN 的擴展，除了檢測目標，還能夠生成每個目標的精確分割掩膜。這使其在缺陷檢測任務中非常有用，因為它不僅可以提供缺陷的位置和類別，還能夠提供每個缺陷的精確分割掩膜。Mask R-CNN 可以應對多個實例的分割，并且在處理小目標時也表現(xiàn)出色。

3. Yolov5/8實例分割:

在YOLOv5/8中，實例分割方法與傳統(tǒng)的實例分割方法（Mask R-CNN）存在明顯區(qū)別。它采用了不同的方法，以實現(xiàn)實例分割的功能。

主要區(qū)別包括：

• 輸入特征圖選擇：
  YOLOv5/8中，實例分割采用了Head1中尺寸最大的特征圖作為Mask分支的輸入。這個選擇通常有助于更好地保留目標的細節(jié)信息。

• Mask 生成：
  通過 proto_pred 卷積層的處理，YOLOv5/8生成了形狀為 (B, mask_channel, H, W) 的 mask_feature。這些掩膜特征用于后續(xù)的實例分割。

• 檢測框預測分支：
  YOLOv5/8的檢測框預測分支與標準的YOLOv5 Head結構基本相同，但它在特征圖通道上增加了參數(shù)，用于生成實例分割所需的掩膜信息。這些參數(shù)的數(shù)量與 proto_pred 輸出的 mask_channel 相同。

• 分割過程：
  在分割過程中，首先使用非極大值抑制（NMS）來篩選最終的檢測框。接下來，從這些檢測框中選擇相應數(shù)量的掩模參數(shù)（coeffs），然后將它們與 mask_feature 相乘并加權，以獲得最終的實例分割結果。

五、算法選擇

1.使用場景分析

在制造業(yè)中，小缺陷的檢測是一個具有挑戰(zhàn)性的問題，因為它們通常具有較少的像素覆蓋，缺乏足夠的關注和語義信息?，F(xiàn)有的卷積檢測方法忽視了上下文的長程依賴，并且缺乏自適應融合策略來利用異構特征。
深度學習方法在檢測小缺陷時通常表現(xiàn)較差，因為少數(shù)像素的覆蓋缺乏細節(jié)，如異常值、邊緣和紋理，導致語義不足和感知困難。此外，來自實際工業(yè)環(huán)境的圖像通常受到背景光反射、模糊和污垢等污染，使得難以從背景中區(qū)分輪廓并專注于小缺陷。

2.YoloV8

2.1.算法簡介

Yolov8是一個SOTA模型，它建立在Yolo系列歷史版本的基礎上，并引入了新的功能和改進點，以進一步提升性能和靈活性，使其成為實現(xiàn)目標檢測、圖像分割、姿態(tài)估計等任務的最佳選擇。其具體創(chuàng)新點包括一個新的骨干網(wǎng)絡、一個新的Ancher-Free檢測頭和一個新的損失函數(shù)，可在CPU到GPU的多種硬件平臺上運行。
Yolov8各種指標全面超越現(xiàn)有對象檢測與實例分割模型，Yolov8主要借鑒了Yolov5、Yolov6、YoloX等模型的設計優(yōu)點，其本身創(chuàng)新點不多，偏重在工程實踐上，具體創(chuàng)新如下：

1. 提供了一個全新的SOTA模型（包括P5 640和P6 1280分辨率的目標檢測網(wǎng)絡和基于YOLACT的實例分割模型）。并且，基于縮放系數(shù)提供了N/S/M/L/X不同尺度的模型，以滿足不同部署平臺和應用場景的需求。
2. Backbone：同樣借鑒了CSP模塊思想，不過將Yolov5中的C3模塊替換成了C2f模塊，實現(xiàn)了進一步輕量化，同時沿用Yolov5中的SPPF模塊，并對不同尺度的模型進行精心微調(diào)，不再是無腦式一套參數(shù)用于所有模型，大幅提升了模型性能。
3. Neck：繼續(xù)使用PAN的思想，但是通過對比Yolov5與Yolov8的結構圖可以看到，Yolov8移除了1*1降采樣層。
4. Head部分相比Yolov5改動較大，Yolov8換成了目前主流的解耦頭結構(Decoupled-Head)，將分類和檢測頭分離，同時也從Anchor-Based換成了Anchor-Free。
5. Loss計算：使用VFL Loss作為分類損失(實際訓練中使用BCE Loss)；使用DFL Loss+CIOU Loss作為回歸損失。
   標簽分配：Yolov8拋棄了以往的IoU分配或者單邊比例的分配方式，而是采用Task-Aligned Assigner正負樣本分配策略。

2.2.算法改進

在表面缺陷檢測中測試，現(xiàn)有的Yolov8的目標檢測與目標分割對小目標的處理并不理想，但引入BIFPN層之后，算法在小目標檢測方面有了很大的提升。BIFPN是Google Brain《EfficientDet: Scalable and Efficient Object Detection》提出。

BIFPN原理介紹：
BIFPN是一種特征金字塔網(wǎng)絡，它能夠自適應地融合不同尺度的特征并進行上下文信息的傳遞。通過使用BIFPN，可以提高Yolov8對
小目標的檢測精度。

1. 特征金字塔網(wǎng)絡(FPN)
   特征金字塔網(wǎng)絡是一種常用的目標檢測算法中的模塊，它通過自上而下和自下而上的方式融合來自不同層級的特征。這種設計可以提供多尺度的特征表示，從而使得算法能夠在不同大小的目標上進行檢測。
2. 雙向特征金字塔網(wǎng)絡(BiFPN)
   傳統(tǒng)的特征金字塔網(wǎng)絡在融合特征時只使用了上采樣和下采樣的操作，而沒有引入跳躍連接。受到殘差網(wǎng)絡的啟發(fā)，BiFPN引入了跳躍連接，使特征在不同層級之間可以直接傳遞。這種設計可以更好地保留高層級和低層級特征的語義信息。
3. 加權雙向特征金字塔網(wǎng)絡(BIFPN)
   BIFPN在BiFPN的基礎上進行了改進，引入了特征金字塔網(wǎng)絡中的特征融合操作。具體而言，BIFPN在每個融合節(jié)點處引入了一個權重系數(shù)，用于控制特征的融合程度。這種設計可以使得網(wǎng)絡能夠更靈活地適應不同大小目標的檢測需求。

下圖表示各類網(wǎng)絡模型的結構：

( a ) FPN 引入自上而下的路徑來融合從 3 級到 7 級（P3 ? P7）的多尺度特征；
( b ) PANet 在 FPN 之上添加了一個額外的自下而上的路徑；
( c ) NAS?FPN 使用神經(jīng)架構搜索找到不規(guī)則的特征網(wǎng)絡拓撲，然后重復應用相同的塊；
( d ) BiFPN 雙向跨尺度連接和加權特征融合,具有更好的準確性和效率權衡。

3.CANet網(wǎng)絡

從現(xiàn)有的樣本分析，能滿足當前的應用場景，可以找到CANet這篇論文：CANet: Contextual Information and Spatial Attention Based Network for Detecting Small Defects in Manufacturing Industry。
CANet是為制造業(yè)表面小缺陷而設計的網(wǎng)絡。CANet提出發(fā)兩個針對小目標的解決優(yōu)化方案：
1、提出了一種基于注意力和上下文建模的網(wǎng)絡架構，名為CANet，用于準確檢測工業(yè)檢測中的小缺陷。該網(wǎng)絡通過建立遠程依賴性和自適應融合來增強特征感知能力，并通過空間注意力編碼器和上下文塊解碼器來重建遠程依賴性和聚合上下文信息；
2、提出了一種改進的特征金字塔網(wǎng)絡（LaplacianFPN），通過考慮不同層級的多尺度特征的一致性和異質(zhì)性，實現(xiàn)了非破壞性信息融合。這種融合策略解決了在利用紋理和語義信息檢測小缺陷時出現(xiàn)的特征沖突問題。

3.1、研究方法：

CANet提出了一種基于上下文信息和空間注意力的網(wǎng)絡，利用空間長程依賴性和上下文信息進行非破壞性多尺度特征融合，來增強圖像中小尺寸缺陷的感知能力。如圖1所示，網(wǎng)絡主要由4個階段的特征提取器組成，每個階段由一個CA塊構成。在每個CA塊中，使用空間注意力編碼器（SAE）和上下文塊解碼器（CBD）來增強對小缺陷的感知能力。然后，將輸出饋送到LaplacianFPN，其中使用一致性和異質(zhì)性融合（CH）模塊來自適應融合級別相鄰的特征。最后，輸出的共享特征通過標準的RPN和RCNN頭部進行檢測。

空間注意力編碼器（SAE）部分如圖2所示，給定一個輸入特征X，SAE 首先執(zhí)行步幅為 2 的平均池化以縮小空間維度。然后通過簡化的多重對查詢Q、鍵K和值V執(zhí)行空間編碼頭注意，為了實現(xiàn)高效的空間編碼，并且降低計算復雜度，本文通過擴展從均勻分布采樣的向量p 來生成查詢矩陣，而不是經(jīng)驗注意力中特征的卷積。然后，重新映射的Q、K和V都被展平并饋入注意力編碼器。注意力編碼器通過縮放的點積權重將查詢和一組鍵值對映射到輸出。

上下文塊（CBD）如圖3所示，用于在瓶頸之后解碼和聚合上下文信息。上下文塊首先將特征通道縮小到1，通過1×1卷積形成空間概率圖 ；然后將獲得的概率圖展平，然后輸入到 softmax 函數(shù)中，沿空間維度 H 和 W 進行概率歸一化。最后經(jīng)過層歸一化、ReLU 和具有類似殘差連接的卷積之后，生成具有聚合上下文信息作為通道特定偏差的解碼輸出。

基于一致性和異質(zhì)性的融合模塊（CH）和LaplacianFPN如圖4和圖5所示，CH模塊通過兩個并行的期望和殘差分支同時對多尺度特征的一致性和異質(zhì)性進行建模。由于異質(zhì)性反映了上采樣的高層特征與相鄰低層特征之間的層次差異，這類似于拉普拉斯金字塔的基本原理，因此本文將設計的基于CH的FPN命名為LaplacianFPN。
對于CH模塊，給定一個低級特征 Fl和一個高級特征 Fh，CH 模塊首先對齊它們的空間通過對高級特征進行 2× 上采樣來調(diào)整大小，然后對其進行 1 × 1 卷積。然后期望和殘差分支并行地對一致性和異質(zhì)性進行建模。
對于CH模塊，給定一個低級特征 Fl和一個高級特征 Fh，CH 模塊首先對齊它們的空間通過對高級特征進行 2× 上采樣來調(diào)整大小，然后對其進行 1 × 1 卷積。然后期望和殘差分支并行地對一致性和異質(zhì)性進行建模。

對于LaplacianFPN，主干提取的特征定義為{C2，C3，C4，C5}，它們將被輸入到頸部LaplacianFPN中進行多尺度融合并產(chǎn)生{P2，P3，P4，P5，P6}。其中，在自上而下的路徑中，{P2，P3，P4，P5}是通過CH模塊中相應的自下而上層的橫向連接產(chǎn)生的，而額外的最高級別P6是通過C5的直接最大池化得到的。

論文的實驗部分將提出的CANet部署在NEU-DET和自建 ESD 數(shù)據(jù)集上進行性能評估。其中，NEU-DET是一個開放的缺陷檢測數(shù)據(jù)集，包含熱軋鋼板缺陷的六種類型，包括裂紋、夾雜物、斑塊、麻點表面、卷入氧化皮和劃痕，每種類型有300張圖像。總共有4189 個帶注釋的 groundtruth框。ESD數(shù)據(jù)集是從真實的工業(yè)環(huán)境中收集的，由497張圖像組成，分辨率為3620×3700。手動標記的缺陷實例有6075個，屬于劃痕和斑點2類。

論文將CANet與其他先進的方法在NEU-DET數(shù)據(jù)集上定量進行比較，結果如表1（a）所示。在NEU-DET數(shù)據(jù)集中，對于銀紋和卷入氧化皮這樣的硬缺陷，檢測起來更具挑戰(zhàn)性，即使對于此類缺陷，本文提出的方法也能產(chǎn)生平衡或有競爭力的結果（銀紋和卷入氧化皮分別為 47.0%、59.7%），這證明了檢測硬缺陷的有效性。對于ESD數(shù)據(jù)集， CANet 優(yōu)于所有其他方法，對于小物體實現(xiàn)了45.7% mAP、88.7% mAP50、20.6% mAPs，分別比同行提高了 1.2%、1.8%、4.7% 。
從論文給出的實驗可以看出，CANet有效地注意到了與背景無法區(qū)分且受到灰塵、方向等環(huán)境污染嚴重的區(qū)域的斑點，并實現(xiàn)了準確的定位和分類，對于大多數(shù)缺陷的置信度高于95%。此外，CANet 能夠檢測被污垢背景嚴重模糊的劃痕、極小尺寸的劃痕和斑點、上下文無法區(qū)分的缺陷和淺劃痕。與其他方法相比，CANet 還平衡了更高的類別置信度和更少的小缺陷漏檢。
然后，本文通過消融實驗，驗證了本文提出的CAblock和LaplacianFPN兩個主要模塊對于CANet整體的性能的影響，結果表明本文提出的兩個模塊對于檢測工業(yè)微小缺陷都有重要貢獻。

最后，為了防止模型的過擬合風險，以及增強數(shù)據(jù)的可信度，本文對 NEU-DET 和 ESD 進行了 5 折交叉驗證，結果如表2所示。值得注意的是，我們的 CANet 在具有更多小尺寸缺陷的 ESD 上比 NEU-DET 表現(xiàn)出更大的改進（與 SSD512、Faster RCNN、Faster RCNN 和 Res2Net 相比分別提高了 11.24%、4.82% 和 1.5%）。這表明CANet在提取和利用小缺陷的語義方面更加有效。

3.2、結論：

論文提出了一種用于工業(yè)中的微小缺陷檢測的CANet。它利用上下文信息和空間注意力來增強對小缺陷的感知能力。CANet 的基本模塊 CAblock 集成了空間注意力編碼器 (SAE) 和上下文塊解碼器 (CBD)分別對空間長程依賴性進行編碼，并將上下文信息解碼為通道特定偏差。此外，我們還提出了基于并行雙分支融合策略的 LaplacianFPN，以在考慮一致性和異質(zhì)性的基礎上自適應地聚合多尺度特征。在 NEU-DET 基準和自建 ESD 數(shù)據(jù)集上進行的實驗證明了 CAblock 和 LaplacianFPN 的有效性，以及 CANet 相對于最先進方法的優(yōu)越性能。它為準確檢測工業(yè)中的小缺陷檢測提供了可行的解決方案。然而，該方法在計算成本、推理速度和內(nèi)存限制等方面存在局限性，因此不適合有高速要求的環(huán)境。文章來源地址http://www.zghlxwxcb.cn/news/detail-768675.html

到了這里，關于制造業(yè)中的微小缺陷檢測——應用場景分析與算法選擇(YoloV8/CANet)的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！