摘要：智能PCB板缺陷檢測系統(tǒng)用于智能檢測工業(yè)印刷電路板（PCB）常見缺陷，自動(dòng)化標(biāo)注、記錄和保存缺陷位置和類型，以輔助電路板的質(zhì)檢。本文詳細(xì)介紹智能PCB板缺陷檢測系統(tǒng)，在介紹算法原理的同時(shí)，給出Python的實(shí)現(xiàn)代碼以及PyQt的UI界面和訓(xùn)練數(shù)據(jù)集。在界面中可以選擇各種圖片、視頻進(jìn)行檢測識別；可對圖像中存在的多種缺陷進(jìn)行識別分類，檢測速度快、識別精度高。博文提供了完整的Python代碼和使用教程，適合新入門的朋友參考，完整代碼資源文件請轉(zhuǎn)至文末的下載鏈接。本博文目錄如下：

參考視頻演示：基于深度學(xué)習(xí)的智能PCB板缺陷檢測系統(tǒng)演示與介紹_嗶哩嗶哩_bilibili

離線依賴庫下載：百度網(wǎng)盤 請輸入提取碼?（提取碼：oy4n ）文章來源地址http://www.zghlxwxcb.cn/news/detail-817658.html

前言

????????隨著社會(huì)的發(fā)展和工業(yè)產(chǎn)業(yè)的快速發(fā)展，工業(yè)電子產(chǎn)業(yè)隨之快速發(fā)展。其中PCB板是我們經(jīng)常用到，但是PCB電路板經(jīng)常會(huì)有一定的缺陷率。PCB電路板常見的缺陷檢測技術(shù)有自動(dòng)光學(xué)檢測技術(shù)、計(jì)算機(jī)視覺檢測技術(shù)等。工廠車間操作人員需借助電子顯微鏡或放大鏡，根據(jù)現(xiàn)場作業(yè)操作人員主觀經(jīng)驗(yàn)及視覺測量來確定PCB的合格率，這種傳統(tǒng)的檢測方式準(zhǔn)確率低，缺陷檢測效率低，數(shù)據(jù)集合分析難度大。PCB板缺陷檢測機(jī)器視覺識別系統(tǒng)應(yīng)運(yùn)而生。

????????基于深度學(xué)習(xí)的智能PCB板缺陷檢測系統(tǒng)是近年來計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)，同時(shí)也是目標(biāo)檢測領(lǐng)域中的難點(diǎn)。其目的是識別和定位圖像中存在的各種缺陷，在許多領(lǐng)域中都有廣泛的應(yīng)用。本系統(tǒng)采用登錄注冊進(jìn)行用戶管理，對于圖片、視頻和攝像頭捕獲的實(shí)時(shí)畫面，系統(tǒng)可檢測PCB電路板，系統(tǒng)支持結(jié)果記錄、展示和保存，每次檢測的結(jié)果記錄在表格中。對此這里給出博主設(shè)計(jì)的界面，同款的簡約風(fēng)，功能也可以滿足圖片、視頻和攝像頭的識別檢測，希望大家可以喜歡，初始界面如下圖：

????????檢測類別時(shí)的界面截圖（點(diǎn)擊圖片可放大）如下圖，可識別畫面中存在的多個(gè)類別，也可開啟攝像頭或視頻檢測：

???????? 詳細(xì)的功能演示效果參見博主的B站視頻或下一節(jié)的動(dòng)圖演示，覺得不錯(cuò)的朋友敬請點(diǎn)贊、關(guān)注加收藏！系統(tǒng)UI界面的設(shè)計(jì)工作量較大，界面美化更需仔細(xì)雕琢，大家有任何建議或意見和可在下方評論交流。

1.?效果演示

????????日常使用的軟件顏值非常重要，首先我們還是通過動(dòng)圖看一下識別的效果，系統(tǒng)主要實(shí)現(xiàn)的功能是對圖片、視頻和攝像頭畫面中的線路進(jìn)行識別，識別的結(jié)果可視化顯示在界面和圖像中，另外提供多個(gè)缺陷處的顯示選擇功能，演示效果如下。本系統(tǒng)界面上顯示的所有文字、圖標(biāo)、圖片均可自行修改，修改方式可見上面的視頻介紹。

（一）系統(tǒng)介紹

????????智能PCB板缺陷檢測系統(tǒng)主要用于印刷電路板（PCB）缺陷的智能檢測，利用相機(jī)采集的PCB圖像，基于深度學(xué)習(xí)技術(shù)識別包括漏孔、鼠牙洞、毛刺等6種常見的缺陷類型，輸出缺陷處的標(biāo)記框和對應(yīng)類別，以輔助自動(dòng)化PCB質(zhì)量檢測；軟件提供登錄注冊功能，可進(jìn)行用戶管理；軟件能有效識別相機(jī)采集的圖片、視頻等文件形式，檢測PCB表面缺陷情況，并記錄識別結(jié)果在界面表格中方便查看；可開啟攝像頭實(shí)時(shí)監(jiān)測和統(tǒng)計(jì)流水線上的PCB產(chǎn)品以檢測其缺陷，支持結(jié)果記錄、展示和保存。

（二）主要特點(diǎn)

???????? （1）YOLOv5算法實(shí)現(xiàn)，模型一鍵切換更新；
???????? （2）攝像頭實(shí)時(shí)檢測PCB，展示、記錄和保存缺陷情況；
???????? （3）檢測圖片、視頻等圖像中的PCB缺陷；
???????? （4）支持用戶登錄、注冊，檢測結(jié)果可視化功能；
???????? （5）提供數(shù)據(jù)集和訓(xùn)練代碼可重新訓(xùn)練；

（三）選擇圖片識別

????????系統(tǒng)允許選擇圖片文件進(jìn)行識別，點(diǎn)擊圖片選擇按鈕圖標(biāo)選擇圖片后，顯示所有識別的結(jié)果，可通過下拉選框查看單個(gè)結(jié)果，以便具體判斷某一特定目標(biāo)。本功能的界面展示如下圖所示：

（四）視頻識別效果展示

????????很多時(shí)候我們需要識別視頻中PCB板，這里設(shè)計(jì)了視頻選擇功能。點(diǎn)擊視頻按鈕可選擇待檢測的視頻，系統(tǒng)會(huì)自動(dòng)解析視頻逐幀識別多個(gè)PCB板的缺陷，并將結(jié)果記錄在下方表格中，效果如下圖所示：

（五）攝像頭檢測效果展示
????????在真實(shí)場景中，我們往往利用攝像頭獲取流水線的實(shí)時(shí)畫面，對PCB板進(jìn)行實(shí)時(shí)識別，因此本文考慮到此項(xiàng)功能。如下圖所示，點(diǎn)擊攝像頭按鈕后系統(tǒng)進(jìn)入準(zhǔn)備狀態(tài)，系統(tǒng)顯示實(shí)時(shí)畫面并開始檢測畫面中的PCB板，識別結(jié)果展示如下圖：

2.?基于YOLOv5的缺陷檢測

（一）PCB檢查方法

????????電氣測試通常測量測試點(diǎn)之間的阻抗特性以檢測所有連續(xù)性（即開路和短路）。視覺測試通過視覺檢查電子元件的特性和印刷電路的特性來發(fā)現(xiàn)缺陷。在尋找短路或開路缺陷時(shí)，電氣測試更加準(zhǔn)確。視覺測試可以更容易地檢測導(dǎo)體之間的缺陷，包括漏孔、開路、毛刺、鼠牙洞等。目視檢查通常在生產(chǎn)過程的早期進(jìn)行。嘗試發(fā)現(xiàn)缺陷并修復(fù)它們，以確保最高的產(chǎn)品良率。

（1）人工目檢PCB板

????????電氣測試通常測量測試點(diǎn)之間的阻抗特性以檢測所有連續(xù)性（即開路和短路）。視覺測試通過視覺檢查電子元件的特性和印刷電路的特性來發(fā)現(xiàn)缺陷。在尋找短路或開路缺陷時(shí)，電氣測試更加準(zhǔn)確。視覺測試可以更容易地檢測導(dǎo)體之間的錯(cuò)誤間隙。目視檢查通常在生產(chǎn)過程的早期進(jìn)行。嘗試發(fā)現(xiàn)缺陷并修復(fù)它們，以確保最高的產(chǎn)品良率。

（2）PCB板子在線測試

????????通過電氣性能測試識別制造缺陷并測試模擬、數(shù)字和混合信號組件電路板檢測，以確保它們符合規(guī)范。有幾種測試方法，例如針床測試儀和飛針測試儀。主要優(yōu)點(diǎn)是每塊板的測試成本低、強(qiáng)大的數(shù)字和功能測試能力、快速徹底的短開放測試、可編程固件、高缺陷覆蓋率和易于編程。主要缺點(diǎn)是需要測試夾具、編程和調(diào)試時(shí)間、夾具制造成本高、使用困難。

（3）深度學(xué)習(xí)檢測

????????PCB板缺陷檢測識別系統(tǒng)通過YoloV5網(wǎng)絡(luò)深度學(xué)習(xí)技術(shù)，對現(xiàn)場PCB是否存在缺陷部分進(jìn)行實(shí)時(shí)分析檢測，當(dāng)檢測到PCB本身存在缺陷的時(shí)候，立即抓拍存檔告警方便后期針對性的進(jìn)行調(diào)整改。Yolo系列算法是一類典型的one-stage目標(biāo)檢測算法，其利用anchor box將分類與目標(biāo)定位的回歸問題結(jié)合起來，從而做到了高效、靈活和泛化性能好，所以在工業(yè)界也十分受歡迎，接下來我們介紹本系統(tǒng)的Yolo系列算法。

（二）基于YOLOv5的缺陷識別系統(tǒng)

???????? YOLOv5的整體結(jié)構(gòu)如下圖所示，和之前版本的Yolo類似，整個(gè)YoloV5可以依然可以分為三個(gè)部分，分別是Backbone，F(xiàn)PN以及Yolo Head。

???????? Backbone可以被稱作YoloV5的主干特征提取網(wǎng)絡(luò)，根據(jù)它的結(jié)構(gòu)以及之前Yolo主干的叫法，我一般叫它CSPDarknet，輸入的圖片首先會(huì)在CSPDarknet里面進(jìn)行特征提取，提取到的特征可以被稱作特征層，是輸入圖片的特征集合。在主干部分，我們獲取了三個(gè)特征層進(jìn)行下一步網(wǎng)絡(luò)的構(gòu)建，這三個(gè)特征層我稱它為有效特征層。

????????FPN可以被稱作YoloV5的加強(qiáng)特征提取網(wǎng)絡(luò)，在主干部分獲得的三個(gè)有效特征層會(huì)在這一部分進(jìn)行特征融合，特征融合的目的是結(jié)合不同尺度的特征信息。在FPN部分，已經(jīng)獲得的有效特征層被用于繼續(xù)提取特征。在YoloV5里依然使用到了Panet的結(jié)構(gòu)，我們不僅會(huì)對特征進(jìn)行上采樣實(shí)現(xiàn)特征融合，還會(huì)對特征再次進(jìn)行下采樣實(shí)現(xiàn)特征融合。

????????Yolo Head是YoloV5的分類器與回歸器，通過CSPDarknet和FPN，我們已經(jīng)可以獲得三個(gè)加強(qiáng)過的有效特征層。每一個(gè)特征層都有寬、高和通道數(shù)，此時(shí)我們可以將特征圖看作一個(gè)又一個(gè)特征點(diǎn)的集合，每一個(gè)特征點(diǎn)都有通道數(shù)個(gè)特征。Yolo Head實(shí)際上所做的工作就是對特征點(diǎn)進(jìn)行判斷，判斷特征點(diǎn)是否有物體與其對應(yīng)。與以前版本的Yolo一樣，YoloV5所用的解耦頭是一起的，也就是分類和回歸在一個(gè)1X1卷積里實(shí)現(xiàn)。

????????因此，整個(gè)YoloV5網(wǎng)絡(luò)所作的工作就是 特征提取-特征加強(qiáng)-預(yù)測特征點(diǎn)對應(yīng)的物體情況。整個(gè)項(xiàng)目的實(shí)現(xiàn)步驟如下圖所示，首先需要配置好Python環(huán)境依賴，利用YOLOv5加載訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，得到pt模型后用于UI界面中的PCB板缺陷檢測。

3.?PCB板缺陷檢測識別

????????PCB版缺陷檢測數(shù)據(jù)集的部分截圖如下所示，其中訓(xùn)練集6975張圖片，驗(yàn)證集1989張圖片、測試集包括997張圖片，共計(jì)9961張圖片構(gòu)成。該數(shù)據(jù)集涵蓋漏孔、鼠牙洞、開路、短路、毛刺、雜銅等類別，所有缺陷處均添加標(biāo)記框。

<span style="background-color:#282c34"><span style="color:#abb2bf">Chinese_name = {<span style="color:#98c379">'missing_hole'</span>: <span style="color:#98c379">"漏孔"</span>, <span style="color:#98c379">'mouse_bite'</span>: <span style="color:#98c379">"鼠牙洞"</span>, <span style="color:#98c379">'open_circuit'</span>: <span style="color:#98c379">"開路"</span>, <span style="color:#98c379">'short'</span>: <span style="color:#98c379">"短路"</span>, <span style="color:#98c379">'spur'</span>: <span style="color:#98c379">"毛刺"</span>,
                <span style="color:#98c379">'spurious_copper'</span>: <span style="color:#98c379">"雜銅"</span>}</span></span>

????????數(shù)據(jù)集中各類標(biāo)簽、圖片的情況如下圖所示，從柱狀圖的統(tǒng)計(jì)結(jié)果可以看出各類別樣本數(shù)目接近，發(fā)布較均勻，適合用來進(jìn)行訓(xùn)練模型。

????????然后我們可以執(zhí)行train.py程序進(jìn)行訓(xùn)練。在深度學(xué)習(xí)中，我們通常通過損失函數(shù)下降的曲線來觀察模型訓(xùn)練的情況。而YOLOv5訓(xùn)練時(shí)主要包含三個(gè)方面的損失：矩形框損失(box_loss)、置信度損失（obj_loss）和分類損失(cls_loss)，在訓(xùn)練結(jié)束后，我們也可以在logs目錄下找到生成對若干訓(xùn)練過程統(tǒng)計(jì)圖。下圖為博主訓(xùn)練PCB板類識別的模型訓(xùn)練曲線圖。

????????一般我們會(huì)接觸到兩個(gè)指標(biāo)，分別是召回率recall和精度precision，兩個(gè)指標(biāo)p和r都是簡單地從一個(gè)角度來判斷模型的好壞，均是介于0到1之間的數(shù)值，其中接近于1表示模型的性能越好，接近于0表示模型的性能越差，為了綜合評價(jià)目標(biāo)檢測的性能，一般采用均值平均密度map來進(jìn)一步評估模型的好壞。我們通過設(shè)定不同的置信度的閾值，可以得到在模型在不同的閾值下所計(jì)算出的p值和r值，一般情況下，p值和r值是負(fù)相關(guān)的，繪制出來可以得到如下圖所示的曲線，其中曲線的面積我們稱AP，目標(biāo)檢測模型中每種目標(biāo)可計(jì)算出一個(gè)AP值，對所有的AP值求平均則可以得到模型的mAP值。

????????以PR-curve為例，可以看到我們的模型在驗(yàn)證集上的均值平均準(zhǔn)確率為0.862。

????????在訓(xùn)練完成后得到最佳模型，接下來我們將幀圖像輸入到這個(gè)網(wǎng)絡(luò)進(jìn)行預(yù)測，從而得到預(yù)測結(jié)果，預(yù)測方法（predict.py）部分的代碼如下所示：

<span style="background-color:#282c34"><span style="color:#abb2bf">parser = argparse.ArgumentParser()
parser.add_argument(<span style="color:#98c379">'--weights'</span>, nargs=<span style="color:#98c379">'+'</span>, <span style="color:#e6c07b">type</span>=<span style="color:#e6c07b">str</span>, default=<span style="color:#98c379">'./weights/pcb-best.pt'</span>,
                    <span style="color:#e6c07b">help</span>=<span style="color:#98c379">'model.pt path(s)'</span>)  <span style="color:#5c6370"><em># 模型路徑僅支持.pt文件</em></span>
parser.add_argument(<span style="color:#98c379">'--img-size'</span>, <span style="color:#e6c07b">type</span>=<span style="color:#e6c07b">int</span>, default=<span style="color:#d19a66">480</span>, <span style="color:#e6c07b">help</span>=<span style="color:#98c379">'inference size (pixels)'</span>)  <span style="color:#5c6370"><em># 檢測圖像大小，僅支持480</em></span>
parser.add_argument(<span style="color:#98c379">'--conf-thres'</span>, <span style="color:#e6c07b">type</span>=<span style="color:#e6c07b">float</span>, default=<span style="color:#d19a66">0.25</span>, <span style="color:#e6c07b">help</span>=<span style="color:#98c379">'object confidence threshold'</span>)  <span style="color:#5c6370"><em># 置信度閾值</em></span>
parser.add_argument(<span style="color:#98c379">'--iou-thres'</span>, <span style="color:#e6c07b">type</span>=<span style="color:#e6c07b">float</span>, default=<span style="color:#d19a66">0.45</span>, <span style="color:#e6c07b">help</span>=<span style="color:#98c379">'IOU threshold for NMS'</span>)  <span style="color:#5c6370"><em># NMS閾值</em></span>
<span style="color:#5c6370"><em># 選中運(yùn)行機(jī)器的GPU或者cpu，有GPU則GPU，沒有則cpu，若想僅使用cpu，可以填cpu即可</em></span>
parser.add_argument(<span style="color:#98c379">'--device'</span>, default=<span style="color:#98c379">''</span>,
                    <span style="color:#e6c07b">help</span>=<span style="color:#98c379">'cuda device, i.e. 0 or 0,1,2,3 or cpu'</span>)
parser.add_argument(<span style="color:#98c379">'--save-dir'</span>, <span style="color:#e6c07b">type</span>=<span style="color:#e6c07b">str</span>, default=<span style="color:#98c379">'inference'</span>, <span style="color:#e6c07b">help</span>=<span style="color:#98c379">'directory to save results'</span>)  <span style="color:#5c6370"><em># 文件保存路徑</em></span>
parser.add_argument(<span style="color:#98c379">'--classes'</span>, nargs=<span style="color:#98c379">'+'</span>, <span style="color:#e6c07b">type</span>=<span style="color:#e6c07b">int</span>,
                    <span style="color:#e6c07b">help</span>=<span style="color:#98c379">'filter by class: --class 0, or --class 0 2 3'</span>)  <span style="color:#5c6370"><em># 分開類別</em></span>
parser.add_argument(<span style="color:#98c379">'--agnostic-nms'</span>, action=<span style="color:#98c379">'store_true'</span>, <span style="color:#e6c07b">help</span>=<span style="color:#98c379">'class-agnostic NMS'</span>)  <span style="color:#5c6370"><em># 使用NMS</em></span>
opt = parser.parse_args()  <span style="color:#5c6370"><em># opt局部變量，重要</em></span>
out, weight, imgsz = opt.save_dir, opt.weights, opt.img_size  <span style="color:#5c6370"><em># 得到文件保存路徑，文件權(quán)重路徑，圖像尺寸</em></span>
device = select_device(opt.device)  <span style="color:#5c6370"><em># 檢驗(yàn)計(jì)算單元,gpu還是cpu</em></span>
half = device.<span style="color:#e6c07b">type</span> != <span style="color:#98c379">'cpu'</span>  <span style="color:#5c6370"><em># 如果使用gpu則進(jìn)行半精度推理</em></span>
 
model = attempt_load(weight, map_location=device)  <span style="color:#5c6370"><em># 讀取模型</em></span>
imgsz = check_img_size(imgsz, s=model.stride.<span style="color:#e6c07b">max</span>())  <span style="color:#5c6370"><em># 檢查圖像尺寸</em></span>
<span style="color:#c678dd">if</span> half:  <span style="color:#5c6370"><em># 如果是半精度推理</em></span>
    model.half()  <span style="color:#5c6370"><em># 轉(zhuǎn)換模型的格式</em></span>
names = model.module.names <span style="color:#c678dd">if</span> <span style="color:#e6c07b">hasattr</span>(model, <span style="color:#98c379">'module'</span>) <span style="color:#c678dd">else</span> model.names  <span style="color:#5c6370"><em># 得到模型訓(xùn)練的類別名</em></span>
 
colors = [[random.randint(<span style="color:#d19a66">0</span>, <span style="color:#d19a66">255</span>) <span style="color:#c678dd">for</span> _ <span style="color:#c678dd">in</span> <span style="color:#e6c07b">range</span>(<span style="color:#d19a66">3</span>)] <span style="color:#c678dd">for</span> _ <span style="color:#c678dd">in</span> <span style="color:#e6c07b">range</span>(<span style="color:#e6c07b">len</span>(names))]  <span style="color:#5c6370"><em># 給每個(gè)類別一個(gè)顏色</em></span>
img = torch.zeros((<span style="color:#d19a66">1</span>, <span style="color:#d19a66">3</span>, imgsz, imgsz), device=device)  <span style="color:#5c6370"><em># 創(chuàng)建一個(gè)圖像進(jìn)行預(yù)推理</em></span>
_ = model(img.half() <span style="color:#c678dd">if</span> half <span style="color:#c678dd">else</span> img) <span style="color:#c678dd">if</span> device.<span style="color:#e6c07b">type</span> != <span style="color:#98c379">'cpu'</span> <span style="color:#c678dd">else</span> <span style="color:#56b6c2">None</span>  <span style="color:#5c6370"><em># 預(yù)推理</em></span></span></span>

????????執(zhí)行得到的結(jié)果如下圖所示，圖中PCB板缺陷的種類和置信度值都標(biāo)注出來了，預(yù)測速度較快?；诖四Ｐ臀覀兛梢詫⑵湓O(shè)計(jì)成一個(gè)帶有界面的系統(tǒng)，在界面上選擇圖片、視頻或攝像頭然后調(diào)用模型進(jìn)行檢測。

????????博主對整個(gè)系統(tǒng)進(jìn)行了詳細(xì)測試，最終開發(fā)出一版流暢得到清新界面，就是博文演示部分的展示，完整的UI界面、測試圖片視頻、代碼文件，以及Python離線依賴包（方便安裝運(yùn)行，也可自行配置環(huán)境），均已打包上傳，感興趣的朋友可以通過下載鏈接獲取。

下載鏈接

????若您想獲得博文中涉及的實(shí)現(xiàn)完整全部程序文件（包括測試圖片、視頻，py, UI文件等，如下圖），這里已打包上傳至博主的面包多平臺(tái)，見可參考博客與視頻，已將所有涉及的文件同時(shí)打包到里面，點(diǎn)擊即可運(yùn)行，完整文件截圖如下：

????在文件夾下的資源顯示如下，下面的鏈接中也給出了Python的離線依賴包，讀者可在正確安裝Anaconda和Pycharm軟件后，復(fù)制離線依賴包至項(xiàng)目目錄下進(jìn)行安裝，離線依賴的使用詳細(xì)演示也可見本人B站視頻：win11從頭安裝軟件和配置環(huán)境運(yùn)行深度學(xué)習(xí)項(xiàng)目、Win10中使用pycharm和anaconda進(jìn)行python環(huán)境配置教程。

注意：該代碼采用Pycharm+Python3.8開發(fā)，經(jīng)過測試能成功運(yùn)行，運(yùn)行界面的主程序?yàn)閞unMain.py和LoginUI.py，測試圖片腳本可運(yùn)行testPicture.py，測試視頻腳本可運(yùn)行testVideo.py。為確保程序順利運(yùn)行，請按照requirements.txt配置Python依賴包的版本。Python版本：3.8，請勿使用其他版本，詳見requirements.txt文件；

完整資源中包含數(shù)據(jù)集及訓(xùn)練代碼，環(huán)境配置與界面中文字、圖片、logo等的修改方法請見視頻，項(xiàng)目完整文件下載請見參考博客文章里面，或參考視頻的簡介處給出：???

參考視頻演示：基于深度學(xué)習(xí)的智能PCB板缺陷檢測系統(tǒng)演示與介紹_嗶哩嗶哩_bilibili

離線依賴庫下載：百度網(wǎng)盤 請輸入提取碼?（提取碼：oy4n ）

到了這里，關(guān)于基于深度學(xué)習(xí)的智能PCB板缺陷檢測系統(tǒng)（Python+清新界面+數(shù)據(jù)集）的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！