摘要：智能火焰與煙霧檢測系統(tǒng)用于智能日?；馂?zāi)檢測報(bào)警，利用攝像頭畫面實(shí)時(shí)識別火焰與煙霧，另外支持圖片、視頻火焰檢測并進(jìn)行結(jié)果可視化。本文詳細(xì)介紹基于智能火焰與煙霧檢測系統(tǒng)，在介紹算法原理的同時(shí)，給出Python的實(shí)現(xiàn)代碼以及PyQt的UI界面。在界面中可以選擇各種圖片、視頻進(jìn)行檢測識別；可對圖像中存在的多目標(biāo)進(jìn)行識別分類，檢測速度快、識別精度高。博文提供了完整的Python代碼和使用教程，適合新入門的朋友參考，完整代碼資源文件請轉(zhuǎn)至文末的下載鏈接。本博文目錄如下：

?點(diǎn)擊跳轉(zhuǎn)至文末所有涉及的完整代碼文件下載頁?

前言

????????火災(zāi)事故的產(chǎn)生始終是人們在日常生活中較難避免的災(zāi)情其中之一。人們一直以來嘗試尋找正確的方式降低火災(zāi)事故所帶來的經(jīng)濟(jì)財(cái)產(chǎn)損失。雖說完全杜絕火災(zāi)事故的產(chǎn)生不切實(shí)際，但是能夠數(shù)據(jù)監(jiān)測火災(zāi)事故的產(chǎn)生，根據(jù)聲光報(bào)警，快速查找明火，用最快的時(shí)間滅掉它，以此降低火災(zāi)事故造成的損失，所以火焰和煙霧的識別始終是人們研究至關(guān)重要的方向。

????????火焰與煙霧分辨，搭配監(jiān)控?cái)z像頭，實(shí)時(shí)分辨監(jiān)管物流倉庫內(nèi)不同區(qū)域發(fā)生的明火狀況，若檢測過有火災(zāi)安全隱患，立刻發(fā)出預(yù)警并通報(bào)監(jiān)測中心解決?；鹧媾c煙霧分辨預(yù)警平臺自動(dòng)識別煙火監(jiān)測系統(tǒng)充分運(yùn)用已有普通的視頻監(jiān)控，無須安裝熱成像相機(jī)，無需控制器。火焰與煙霧分辨預(yù)警平臺自動(dòng)識別煙火監(jiān)測系統(tǒng)根據(jù)智能視頻分析和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)，完成對監(jiān)管區(qū)域范圍火焰開展實(shí)時(shí)分析識、告警，同時(shí)把火焰屏幕截圖和煙火視頻保留下來，同時(shí)把火災(zāi)數(shù)據(jù)及時(shí)推送到有關(guān)的人員及時(shí)進(jìn)行處理。

????????本系統(tǒng)基于YoloV5，采用登錄注冊進(jìn)行用戶管理，對于圖片、視頻和攝像頭捕獲的實(shí)時(shí)畫面，可檢測火焰與煙霧，系統(tǒng)支持結(jié)果記錄、展示和保存，每次檢測的結(jié)果記錄在表格中。對此這里給出博主設(shè)計(jì)的界面，同款的簡約風(fēng)，功能也可以滿足圖片、視頻和攝像頭的識別檢測，希望大家可以喜歡，初始界面如下圖：

????????檢測類別時(shí)的界面截圖（點(diǎn)擊圖片可放大）如下圖，可識別畫面中存在的多個(gè)類別，也可開啟攝像頭或視頻檢測：

???????? 詳細(xì)的功能演示效果參見博主的B站視頻或下一節(jié)的動(dòng)圖演示，覺得不錯(cuò)的朋友敬請點(diǎn)贊、關(guān)注加收藏！系統(tǒng)UI界面的設(shè)計(jì)工作量較大，界面美化更需仔細(xì)雕琢，大家有任何建議或意見和可在下方評論交流。

1. 效果演示

????????軟件好不好用，顏值很重要，首先我們還是通過動(dòng)圖看一下識別的效果，系統(tǒng)主要實(shí)現(xiàn)的功能是對圖片、視頻和攝像頭畫面中的火焰與煙霧進(jìn)行識別，識別的結(jié)果可視化顯示在界面和圖像中，另外提供多個(gè)目標(biāo)的顯示選擇功能，演示效果如下。

（一）系統(tǒng)介紹

????????智能火焰與煙霧檢測系統(tǒng)主要用于日常場景中火災(zāi)檢測，識別火焰與煙霧并標(biāo)注著火點(diǎn)的數(shù)目、位置、預(yù)測置信度等；連接攝像頭設(shè)備可開啟實(shí)時(shí)檢測功能，另外對圖片、視頻等文件中的火焰煙霧情況也可進(jìn)行測試和檢測；登錄系統(tǒng)提供用戶注冊、登錄、管理功能；訓(xùn)練和調(diào)優(yōu)的模型可有效檢測火災(zāi)情況，模型可選擇切換；可選擇單個(gè)目標(biāo)進(jìn)行單獨(dú)顯示和標(biāo)注，結(jié)果一鍵保存。

（二）技術(shù)特點(diǎn)

???????? （1）檢測算法采用YoloV5深度學(xué)習(xí)模型，便捷式訓(xùn)練和切換；
???????? （2）選擇圖片、視頻或攝像頭方式檢測火焰與煙霧情況；
???????? （3）界面基于PyQt5實(shí)現(xiàn)，結(jié)果展示、切換和保存功能；
???????? （4）支持用戶登錄、注冊、管理，界面縮放、可視化等功能；

（三）用戶注冊登錄界面

????????這里設(shè)計(jì)了一個(gè)登錄界面，可以注冊賬號和密碼，然后進(jìn)行登錄。界面還是參考了當(dāng)前流行的UI設(shè)計(jì)，左側(cè)是一個(gè)動(dòng)圖，右側(cè)輸入賬號、密碼、驗(yàn)證碼等等。

（四）選擇圖片識別

????????系統(tǒng)允許選擇圖片文件進(jìn)行識別，點(diǎn)擊圖片選擇按鈕圖標(biāo)選擇圖片后，顯示所有識別的結(jié)果，可通過下拉選框查看單個(gè)結(jié)果，以便具體判斷某一特定目標(biāo)。本功能的界面展示如下圖所示：

（五）視頻識別效果展示

????????很多時(shí)候我們需要識別一段視頻中的多個(gè)火焰與煙霧，這里設(shè)計(jì)了視頻選擇功能。點(diǎn)擊視頻按鈕可選擇待檢測的視頻，系統(tǒng)會自動(dòng)解析視頻逐幀識別多個(gè)火焰與煙霧，并將火焰與煙霧的分類和計(jì)數(shù)結(jié)果記錄在右下角表格中，效果如下圖所示：

（六）攝像頭檢測效果展示
????????在真實(shí)場景中，我們往往利用攝像頭獲取實(shí)時(shí)畫面，同時(shí)需要對火焰與煙霧進(jìn)行識別，因此本文考慮到此項(xiàng)功能。如下圖所示，點(diǎn)擊攝像頭按鈕后系統(tǒng)進(jìn)入準(zhǔn)備狀態(tài)，系統(tǒng)顯示實(shí)時(shí)畫面并開始檢測畫面中的火焰與煙霧，識別結(jié)果展示如下圖：

2. 智能火焰與煙霧數(shù)據(jù)集及訓(xùn)練

????????YOLO簡介

????????YOLO的名字來歷頗有意思，他的本意是流行語You Only Live Once的縮寫，而模型的作者Joseph Redmon改了一個(gè)詞將You Only Look One作為模型的名字。這是由于，相對于R-CNN系列算法將檢測問題分解為劃定位置和判定類別分兩步做，YOLO系列算法沒有顯式尋找區(qū)域的過程，可以實(shí)現(xiàn)端到端的快速預(yù)測，即輸入一幅圖片，在輸出中給出若干目標(biāo)的位置、類別和置信度。

????????而相對于同樣是一步到位的SSD算法，YOLO系列的特點(diǎn)在于算法一經(jīng)發(fā)出，便有各種各樣的人和團(tuán)隊(duì)對他進(jìn)行更新迭代。通過不斷地更新迭代模型版本，YOLO也得到了效果上持續(xù)的提升和更廣泛的關(guān)注。但值得注意的是，YOLO模型的原作者Joseph Redmon更新到v3版本后就退出了相關(guān)的研究，而后續(xù)的版本都是其他研究人員的工作，包括我們今天介紹的YoloV5。

????????我們首先介紹一下最原始的YOLO模型，然后簡要介紹一下YoloV5版本，主要通過具體的例子一起看看怎么把YOLOv5模型用好。

????????YOLOv1的網(wǎng)絡(luò)結(jié)構(gòu)并沒有什么特別，和我們熟悉的圖像分類一樣都是卷積神經(jīng)網(wǎng)絡(luò)，但它的輸出向量卻不太一樣。如果把神經(jīng)網(wǎng)絡(luò)看作我們熟悉的回歸分析問題，那YOLO做的事情就是改變了模型響應(yīng)的結(jié)構(gòu)，而這也奠定了YOLO目標(biāo)檢測的基礎(chǔ)。YOLO的輸出向量不僅包括目標(biāo)的類別，還有邊界框的坐標(biāo)和預(yù)測的置信度。它的核心思想在于把圖像分割成S*S的若干個(gè)小塊，在每個(gè)格子中預(yù)先放置兩個(gè)邊界框，通過卷積神經(jīng)網(wǎng)絡(luò)預(yù)測得到每個(gè)邊界框的坐標(biāo)、類別和置信度，然后通過非極大值抑制獲得局部唯一的預(yù)測框。

????????經(jīng)過若干年的版本迭代，YoloV5的網(wǎng)絡(luò)結(jié)構(gòu)博采眾長，已經(jīng)變得格外復(fù)雜，主要包括在Backbone中通過卷積和池化網(wǎng)絡(luò)結(jié)構(gòu)提取特征，在Neck部分不斷地和之前提取的特征進(jìn)行融合，Head部分則是用來進(jìn)行最終的檢測和輸出，如下圖所示。

????????我們今天選取YoloV5作為介紹，一方面是因?yàn)閺淖罱K效果來看YoloV5已經(jīng)相當(dāng)優(yōu)秀，是發(fā)展的比較完備、使用比較廣泛的一個(gè)版本；而更重要的是YoloV5的調(diào)用、訓(xùn)練和預(yù)測都十分方便，為初學(xué)者提供了良好的練手工具。YoloV5的另一個(gè)特點(diǎn)就是它為不同的設(shè)備需求和不同的應(yīng)用場景提供了大小和參數(shù)數(shù)量不同的網(wǎng)絡(luò)。

????????如圖所示，大一點(diǎn)的模型比如YOLOv5l和YOLOv5x參數(shù)更多，在大規(guī)模的COCO數(shù)據(jù)集上有更高的預(yù)測準(zhǔn)確率；而小模型比如YOLOv5n或YOLOv5s占空間更小，適合部署在移動(dòng)設(shè)備上，且推理速度更快，適合于高幀 率視頻的實(shí)時(shí)檢測。

????????數(shù)據(jù)集介紹

????????這里我們使用的火焰與煙霧識別數(shù)據(jù)集，包含訓(xùn)練集3850張圖片，驗(yàn)證集405張，測試集218張圖片，共計(jì)4473張圖片。其中部分圖像和標(biāo)注如下圖所示。

????????每張圖像均提供了圖像類標(biāo)記信息，圖像中的bounding box，關(guān)鍵part信息，以及屬性信息，數(shù)據(jù)集并解壓后得到如下的圖片。

????????配置模型的參數(shù)即可訓(xùn)練，設(shè)置好模型的地址，圖形的輸入尺寸為480×480，置信度閾值設(shè)為0.25，NMS閾值設(shè)為0.45，使用GPU進(jìn)行訓(xùn)練。

parser = argparse.ArgumentParser()
parser.add_argument('--weights', nargs='+', type=str, default='./weights/fireSmoke-best.pt',
                    help='model.pt path(s)')  # 模型路徑僅支持.pt文件
parser.add_argument('--img-size', type=int, default=480, help='inference size (pixels)')  # 檢測圖像大小，僅支持480
parser.add_argument('--conf-thres', type=float, default=0.25, help='object confidence threshold')  # 置信度閾值
parser.add_argument('--iou-thres', type=float, default=0.45, help='IOU threshold for NMS')  # NMS閾值
# 選中運(yùn)行機(jī)器的GPU或者cpu，有GPU則GPU，沒有則cpu，若想僅使用cpu，可以填cpu即可
parser.add_argument('--device', default='',
                    help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
parser.add_argument('--save-dir', type=str, default='inference', help='directory to save results')  # 文件保存路徑
parser.add_argument('--classes', nargs='+', type=int,
                    help='filter by class: --class 0, or --class 0 2 3')  # 分開類別
parser.add_argument('--agnostic-nms', action='store_true', help='class-agnostic NMS')  # 使用NMS
opt = parser.parse_args()  # opt局部變量，重要
out, weight, imgsz = opt.save_dir, opt.weights, opt.img_size  # 得到文件保存路徑，文件權(quán)重路徑，圖像尺寸
device = select_device(opt.device)  # 檢驗(yàn)計(jì)算單元,gpu還是cpu
half = device.type != 'cpu'  # 如果使用gpu則進(jìn)行半精度推理
 
model = attempt_load(weight, map_location=device)  # 讀取模型
imgsz = check_img_size(imgsz, s=model.stride.max())  # 檢查圖像尺寸
if half:  # 如果是半精度推理
    model.half()  # 轉(zhuǎn)換模型的格式
names = model.module.names if hasattr(model, 'module') else model.names  # 得到模型訓(xùn)練的類別名
 
colors = [[random.randint(0, 255) for _ in range(3)] for _ in range(len(names))]  # 給每個(gè)類別一個(gè)顏色
img = torch.zeros((1, 3, imgsz, imgsz), device=device)  # 創(chuàng)建一個(gè)圖像進(jìn)行預(yù)推理
_ = model(img.half() if half else img) if device.type != 'cpu' else None  # 預(yù)推理

????????在cmd終端中運(yùn)行train.py進(jìn)行訓(xùn)練，以下是訓(xùn)練過程中的結(jié)果截圖。歷經(jīng)8小時(shí)，便完成了訓(xùn)練，模型大小為14.1Mb。

????????在深度學(xué)習(xí)中，我們通常通過損失函數(shù)下降的曲線來觀察模型訓(xùn)練的情況。而YOLOv5訓(xùn)練時(shí)主要包含三個(gè)方面的損失：矩形框損失(box_loss)、置信度損失（obj_loss）和分類損失(cls_loss)，在訓(xùn)練結(jié)束后，我們也可以在logs目錄下找到生成對若干訓(xùn)練過程統(tǒng)計(jì)圖。下圖為博主訓(xùn)練火焰和煙霧識別的模型訓(xùn)練曲線圖。

????????一般我們會接觸到兩個(gè)指標(biāo)，分別是召回率recall和精度precision，兩個(gè)指標(biāo)p和r都是簡單地從一個(gè)角度來判斷模型的好壞，均是介于0到1之間的數(shù)值，其中接近于1表示模型的性能越好，接近于0表示模型的性能越差，為了綜合評價(jià)目標(biāo)檢測的性能，一般采用均值平均密度map來進(jìn)一步評估模型的好壞。我們通過設(shè)定不同的置信度的閾值，可以得到在模型在不同的閾值下所計(jì)算出的p值和r值，一般情況下，p值和r值是負(fù)相關(guān)的，繪制出來可以得到如下圖所示的曲線，其中曲線的面積我們稱AP，目標(biāo)檢測模型中每種目標(biāo)可計(jì)算出一個(gè)AP值，對所有的AP值求平均則可以得到模型的mAP值。

????????以PR-curve為例，可以看到我們的模型在驗(yàn)證集上的均值平均準(zhǔn)確率為0.676。

3. 智能火焰與煙霧檢測

????????在訓(xùn)練完成后得到最佳模型，接下來我們將幀圖像輸入到這個(gè)網(wǎng)絡(luò)進(jìn)行預(yù)測，從而得到預(yù)測結(jié)果，預(yù)測方法（predict.py）部分的代碼如下所示：

def predict(img):
    img = torch.from_numpy(img).to(device)
    img = img.half() if half else img.float()
    img /= 255.0
    if img.ndimension() == 3:
        img = img.unsqueeze(0)

    t1 = time_synchronized()
    pred = model(img, augment=False)[0]
    pred = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=opt.classes,
                               agnostic=opt.agnostic_nms)
    t2 = time_synchronized()
    InferNms = round((t2 - t1), 2)

    return pred, InferNms

????????得到預(yù)測結(jié)果我們便可以將幀圖像中的火焰與煙霧框出，然后在圖片上用opencv繪圖操作，輸出火焰與煙霧的類別及火焰與煙霧的預(yù)測分?jǐn)?shù)。以下是讀取一個(gè)火焰與煙霧圖片并進(jìn)行檢測的腳本，首先將圖片數(shù)據(jù)進(jìn)行預(yù)處理后送predict進(jìn)行檢測，然后計(jì)算標(biāo)記框的位置并在圖中標(biāo)注出來。

if __name__ == '__main__':
    img_path = "./UI_rec/test_/Burning-Couches_-The-Sequel-_mp4-96_jpg.rf.28706d695c18b0daccc1711efdebab0a.jpg"
    image = cv_imread(img_path)
    image = cv2.resize(image, (850, 500))
    img0 = image.copy()
    img = letterbox(img0, new_shape=imgsz)[0]
    img = np.stack(img, 0)
    img = img[:, :, ::-1].transpose(2, 0, 1)  # BGR to RGB, to 3x416x416
    img = np.ascontiguousarray(img)

    pred, useTime = predict(img)

    det = pred[0]
    p, s, im0 = None, '', img0
    if det is not None and len(det):  # 如果有檢測信息則進(jìn)入
        det[:, :4] = scale_coords(img.shape[1:], det[:, :4], im0.shape).round()  # 把圖像縮放至im0的尺寸
        number_i = 0  # 類別預(yù)編號
        detInfo = []
        for *xyxy, conf, cls in reversed(det):  # 遍歷檢測信息
            c1, c2 = (int(xyxy[0]), int(xyxy[1])), (int(xyxy[2]), int(xyxy[3]))
            # 將檢測信息添加到字典中
            detInfo.append([names[int(cls)], [c1[0], c1[1], c2[0], c2[1]], '%.2f' % conf])
            number_i += 1  # 編號數(shù)+1

            label = '%s %.2f' % (names[int(cls)], conf)

            # 畫出檢測到的目標(biāo)物
            plot_one_box(image, xyxy, label=label, color=colors[int(cls)])
    # 實(shí)時(shí)顯示檢測畫面
    cv2.imshow('Stream', image)
    # if cv2.waitKey(1) & 0xFF == ord('q'):
    #     break
    c = cv2.waitKey(0) & 0xff

????????執(zhí)行得到的結(jié)果如下圖所示，圖中火焰與煙霧的種類和置信度值都標(biāo)注出來了，預(yù)測速度較快?；诖四Ｐ臀覀兛梢詫⑵湓O(shè)計(jì)成一個(gè)帶有界面的系統(tǒng)，在界面上選擇圖片、視頻或攝像頭然后調(diào)用模型進(jìn)行檢測。

????????博主對整個(gè)系統(tǒng)進(jìn)行了詳細(xì)測試，最終開發(fā)出一版流暢得到清新界面，就是博文演示部分的展示，完整的UI界面、測試圖片視頻、代碼文件，以及Python離線依賴包（方便安裝運(yùn)行，也可自行配置環(huán)境），均已打包上傳，感興趣的朋友可以通過下載鏈接獲取。

下載鏈接

????若您想獲得博文中涉及的實(shí)現(xiàn)完整全部程序文件（包括測試圖片、視頻，py, UI文件等，如下圖），這里已打包上傳至博主的面包多平臺，見可參考博客與視頻，已將所有涉及的文件同時(shí)打包到里面，點(diǎn)擊即可運(yùn)行，完整文件截圖如下：

????在文件夾下的資源顯示如下，下面的鏈接中也給出了Python的離線依賴包，讀者可在正確安裝Anaconda和Pycharm軟件后，復(fù)制離線依賴包至項(xiàng)目目錄下進(jìn)行安裝，離線依賴的使用詳細(xì)演示也可見本人B站視頻：win11從頭安裝軟件和配置環(huán)境運(yùn)行深度學(xué)習(xí)項(xiàng)目、Win10中使用pycharm和anaconda進(jìn)行python環(huán)境配置教程。

注意：該代碼采用Pycharm+Python3.8開發(fā)，經(jīng)過測試能成功運(yùn)行，運(yùn)行界面的主程序?yàn)閞unMain.py和LoginUI.py，測試圖片腳本可運(yùn)行testPicture.py，測試視頻腳本可運(yùn)行testVideo.py。為確保程序順利運(yùn)行，請按照requirements.txt配置Python依賴包的版本。Python版本：3.8，請勿使用其他版本，詳見requirements.txt文件；

完整資源中包含數(shù)據(jù)集及訓(xùn)練代碼，環(huán)境配置與界面中文字、圖片、logo等的修改方法請見視頻，項(xiàng)目完整文件下載請見參考博客文章里面，或參考視頻的簡介處給出：???

參考博客文章：https://www.cnblogs.com/sixuwuxian/p/17238083.html

參考視頻演示：https://www.bilibili.com/video/BV1WY411z7eG/

離線依賴庫下載鏈接：https://pan.baidu.com/s/1hW9z9ofV1FRSezTSj59JSg?pwd=oy4n （提取碼：oy4n ）

界面中文字、圖標(biāo)和背景圖修改方法：

????????在Qt Designer中可以徹底修改界面的各個(gè)控件及設(shè)置，然后將ui文件轉(zhuǎn)換為py文件即可調(diào)用和顯示界面。如果只需要修改界面中的文字、圖標(biāo)和背景圖的，可以直接在ConfigUI.config文件中修改，步驟如下：
????????（1）打開UI_rec/tools/ConfigUI.config文件，若亂碼請選擇GBK編碼打開。
????????（2）如需修改界面文字，只要選中要改的字符替換成自己的就好。
????????（3）如需修改背景、圖標(biāo)等，只需修改圖片的路徑。例如，原文件中的背景圖設(shè)置如下：

mainWindow = :/images/icons/back-image.png

????????可修改為自己的名為background2.png圖片（位置在UI_rec/icons/文件夾中），可將該項(xiàng)設(shè)置如下即可修改背景圖：

mainWindow = ./icons/background2.png

結(jié)束語

????????由于博主能力有限，博文中提及的方法即使經(jīng)過試驗(yàn)，也難免會有疏漏之處。希望您能熱心指出其中的錯(cuò)誤，以便下次修改時(shí)能以一個(gè)更完美更嚴(yán)謹(jǐn)?shù)臉幼?，呈現(xiàn)在大家面前。同時(shí)如果有更好的實(shí)現(xiàn)方法也請您不吝賜教。文章來源地址http://www.zghlxwxcb.cn/news/detail-415764.html

到了這里，關(guān)于智能火焰與煙霧檢測系統(tǒng)（Python+YOLOv5深度學(xué)習(xí)模型+清新界面）的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！