前引

這算是我的第一個正式博客文章吧，在準備動手寫內(nèi)容的時候，都有點無從下手的感覺。anyway，以后應(yīng)該會寫的越來越嫻熟的。

YOLO系列我已經(jīng)用了接近一年了吧，從去年暑假開始學習，打算入坑深度學習，其中跑過demo，自己用Flask搭配YOLOv5寫過網(wǎng)頁端實時檢測，還看過源碼，可以說已經(jīng)把YOLO系列玩得已經(jīng)比較6了。

YOLO系列日新月異，如今已經(jīng)更新到了第8代，但用得最多的還是第五代，而第五代也已經(jīng)更新到了v7.0，因為更新多，所以也相對更加穩(wěn)定，使用的人也更多。

我開始學習深度學習其實到現(xiàn)在也沒有一年，我這種半路出家的，如果不好好走每一步，真的很容易出岔子。像上面提到，我用YOLO也已經(jīng)用得比較多了，項目里面三個有兩個都是用的YOLO，所以在到時候面試的時候肯定也是重點詢問項目，這樣我就更得把YOLO的每一個part熟悉了。

所以正式因為這樣，我才會寫下這篇博客，并由此作為起點來記錄，到最后把每一部分都理解通透。寫博客真的很占用時間，但為了不讓碎片化信息綁架我，我一定可以堅持寫完的！

再定個小目標，這一周之內(nèi)把YOLOv5的源碼解析寫完。

Let’s begin!??????

導航：YOLOv5-6.x源碼分析 全流程記錄

??YOLOv5-6.x源碼分析（一）---- detect.py

這個函數(shù)是推理腳本，可以輸入圖片、視頻、streams等進行檢測。執(zhí)行的結(jié)果會保存在runs/detect/xxx下。

1. 導入需要的包

import argparse
import os
import platform
import sys
from pathlib import Path

import torch
import torch.backends.cudnn as cudnn

首先是導入的常用python庫：

• argparse：它是一個用于命令項選項與參數(shù)解析的模塊，通過在程序中定義好我們需要的參數(shù)，argparse 將會從 sys.argv 中解析出這些參數(shù)，并自動生成幫助和使用信息
• os： 它提供了多種操作系統(tǒng)的接口。通過os模塊提供的操作系統(tǒng)接口，我們可以對操作系統(tǒng)里文件、終端、進程等進行操作
• sys： 它是與python解釋器交互的一個接口，該模塊提供對解釋器使用或維護的一些變量的訪問和獲取，它提供了許多函數(shù)和變量來處理 Python 運行時環(huán)境的不同部分
• pathlib： 這個庫提供了一種面向?qū)ο蟮姆绞絹砼c文件系統(tǒng)交互，可以讓代碼更簡潔、更易讀
• torch： 這是主要的Pytorch庫。它提供了構(gòu)建、訓練和評估神經(jīng)網(wǎng)絡(luò)的工具
• torch.backends. cudnn： 它提供了一個接口，用于使用cuDNN庫，在NVIDIA GPU上高效地進行深度學習。cudnn模塊是一個Pytorch庫的擴展

FILE = Path(__file__).resolve() # 得到絕對路徑 ./yolov5/detect.py
ROOT = FILE.parents[0]  # YOLOv5 root directory 父目錄 ./yolov5
if str(ROOT) not in sys.path:   # sys.path 模塊的查詢路徑列表,確保ROOT存在sys.path中
    sys.path.append(str(ROOT))  # add ROOT to PATH
ROOT = Path(os.path.relpath(ROOT, Path.cwd()))  # relative，絕對路徑轉(zhuǎn)換為相對路徑

接著定義了一些文件路徑。
這一部分的主要作用有兩個：

• 將當前項目添加到系統(tǒng)路徑上，以使得項目中的模塊可以調(diào)用。
• 將當前項目的相對路徑保存在ROOT中，便于尋找項目中的文件。

# ----------------- 導入自定義的其他包 -------------------
from models.common import DetectMultiBackend
from utils.dataloaders import IMG_FORMATS, VID_FORMATS, LoadImages, LoadStreams
from utils.general import (LOGGER, check_file, check_img_size, check_imshow, check_requirements, colorstr, cv2,
                           increment_path, non_max_suppression, print_args, scale_coords, strip_optimizer, xyxy2xywh)
from utils.plots import Annotator, colors, save_one_box
from utils.torch_utils import select_device, time_sync

最后則是一些自定義模塊，其中主要包括了：

• models/common.py：定義了一些通用的類模塊，比如各種卷積模塊。
• utils.dataloaders.py：這個文件定義了兩個類，LoadImages和LoadStreams，它們可以加載圖像或視頻幀，并對它們進行一些預(yù)處理，以便進行物體檢測或識別。
• utils.general.py：定義一些工具函數(shù)，比如日志、坐標轉(zhuǎn)換等。
• utils.plot.py：畫圖，標框。
• utils.torch_utils.py:定義了一些與pytorch相關(guān)的工具函數(shù)，比如設(shè)備選擇等。

通過導入這些模塊，可以減少代碼的復雜度、耦合性、冗余程度。

2. 執(zhí)行main函數(shù)

def main(opt):
    check_requirements(exclude=('tensorboard', 'thop')) # 檢測各種包有沒有成功安裝;打印參數(shù)
    run(**vars(opt))

if __name__ == "__main__":
    opt = parse_opt()
    main(opt)

主函數(shù)主要就是調(diào)用了run()函數(shù)，將命令行參數(shù)opt作為字典參數(shù)傳遞給run()函數(shù)。

if name == main：的作用：
一個python文件通常有兩種使用方法，第一是作為腳本直接執(zhí)行，第二是 import 到其他的 python 腳本中被調(diào)用（模塊重用）執(zhí)行。因此 if name == ‘main’:的作用就是控制這兩種情況執(zhí)行代碼的過程，在 if name == ‘main’: 下的代碼只有在第一種情況下（即文件作為腳本直接執(zhí)行）才會被執(zhí)行，而 import 到其他腳本中是不會被執(zhí)行的。

3. 設(shè)置opt參數(shù)

def parse_opt():
    parser = argparse.ArgumentParser()
    parser.add_argument('--weights', nargs='+', type=str, default=ROOT/'runs/train/strawberry/weights/best.pt', help='model path(s)')    # 權(quán)重文件
    # parser.add_argument('--source', type=str, default='http://admin:admin@192.168.43.1:8081', help='file/dir/URL/glob, 0 for webcam')
    parser.add_argument('--source', type=str, default=ROOT / "data/strawberry", help='file/dir/URL/glob, 0 for webcam') # 測試數(shù)據(jù)
    parser.add_argument('--data', type=str, default=ROOT/'data/strawberry.yaml', help='(optional) dataset.yaml path')    # 參數(shù)文件
    parser.add_argument('--imgsz', '--img', '--img-size', nargs='+', type=int, default=[640], help='inference size h,w') # 高、寬
    parser.add_argument('--conf-thres', type=float, default=0.25, help='confidence threshold')              # 置信度閾值
    parser.add_argument('--iou-thres', type=float, default=0.45, help='NMS IoU threshold')                  # 非極大抑制的iou閾值
    parser.add_argument('--max-det', type=int, default=1000, help='maximum detections per image')           # 每張圖片最大的目標個數(shù)
    parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')               # GPU加速
    parser.add_argument('--view-img', action='store_true', help='show results')                             # 是否展示預(yù)測后的圖片/視頻，默認false
    parser.add_argument('--save-txt', action='store_true', help='save results to *.txt')                    # 是否將預(yù)測的框坐標以txt文件格式保存 默認True 會在runs/detect/expn/labels下生成每張圖片預(yù)測的txt文件
    parser.add_argument('--save-conf', action='store_true', help='save confidences in --save-txt labels')   # 是否保存預(yù)測每個目標置信度到預(yù)測tx文件中
    parser.add_argument('--save-crop', action='store_true', help='save cropped prediction boxes')           # 是否需要將預(yù)測到的目標從原圖中扣出來 剪切好 并保存 會在runs/detect/expn下生成crops文件，將剪切的圖片保存在里面  默認False
    parser.add_argument('--nosave', action='store_true', help='do not save images/videos')                  # 是否不要保存預(yù)測后的圖片  默認False 就是默認要保存預(yù)測后的圖片
    parser.add_argument('--classes', nargs='+', type=int, help='filter by class: --classes 0, or --classes 0 2 3')  # 在nms中是否是只保留某些特定的類 默認是None 就是所有類只要滿足條件都可以保留
    parser.add_argument('--agnostic-nms', action='store_true', help='class-agnostic NMS')                   # 進行nms是否也除去不同類別之間的框 默認False
    parser.add_argument('--augment', action='store_true', help='augmented inference')                       # 預(yù)測是否也要采用數(shù)據(jù)加強
    parser.add_argument('--visualize', action='store_true', help='visualize features')                      # 是否將optimizer從ckpt中刪除  更新模型  默認False
    parser.add_argument('--update', action='store_true', help='update all models')
    parser.add_argument('--project', default=ROOT / 'runs/detect', help='save results to project/name')     # 保存路徑
    parser.add_argument('--name', default='exp', help='save results to project/name')                       # 保存的文件名字
    parser.add_argument('--exist-ok', action='store_true', help='existing project/name ok, do not increment')   # 如果存在文件夾，是否覆蓋
    parser.add_argument('--line-thickness', default=3, type=int, help='bounding box thickness (pixels)')        # 檢測框的線條寬度
    parser.add_argument('--hide-labels', default=False, action='store_true', help='hide labels')                # 是否隱藏label
    parser.add_argument('--hide-conf', default=False, action='store_true', help='hide confidences')             # 是否隱藏置信度
    parser.add_argument('--half', action='store_true', help='use FP16 half-precision inference')
    parser.add_argument('--dnn', action='store_true', help='use OpenCV DNN for ONNX inference')
    opt = parser.parse_args()
    opt.imgsz *= 2 if len(opt.imgsz) == 1 else 1  # expand [640,640]
    print_args(vars(opt))   # 打印所有參數(shù)信息
    return opt

這部分代碼主要是設(shè)置了一些列參數(shù)，這些參數(shù)在run()中以字典形式傳遞。

4. 執(zhí)行run函數(shù)

4.1 初始化一些配置

# ===================================== 1、初始化一些配置 =====================================
    # 是否保存預(yù)測后的圖片 默認nosave=False 所以只要傳入的文件地址不是以.txt結(jié)尾 就都是要保存預(yù)測后的圖片的
    save_img = not nosave and not source.endswith('.txt')  # save inference images  是否以.txt結(jié)尾;為true
    is_file = Path(source).suffix[1:] in (IMG_FORMATS + VID_FORMATS)    # 是否是文件地址 suffix:后綴(1:從j開頭)
    is_url = source.lower().startswith(('rtsp://', 'rtmp://', 'http://', 'https://'))   # 是否是網(wǎng)絡(luò)流地址 false
    webcam = source.isnumeric() or source.endswith('.txt') or (is_url and not is_file)  # 是否是數(shù)值(攝像頭)、.txt、網(wǎng)絡(luò)流且不是文件地址
    if is_url and is_file:
        source = check_file(source)  # download

    # Directories 保存路徑
    save_dir = increment_path(Path(project) / name, exist_ok=exist_ok)  # increment run 增量路徑（檢測保存路徑下的數(shù)字到幾了）
    (save_dir / 'labels' if save_txt else save_dir).mkdir(parents=True, exist_ok=True)  # make dir

這段代碼包括了一些保存路徑之類的定義。

4.2 載入模型

# ===================================== 2、載入模型 =====================================
    # Load model 模型加載
    device = select_device(device)  # 設(shè)備選擇
    model = DetectMultiBackend(weights, device=device, dnn=dnn, data=data, fp16=half)   # 權(quán)重、設(shè)備、false、.yaml、半精度推理過程
    stride, names, pt = model.stride, model.names, model.pt # 步長、類別名、是否為pytorch
    imgsz = check_img_size(imgsz, s=stride)  # check image size 640是32的倍數(shù)

前面兩行代碼都是在自己定義的包中，在后面再具體講解吧，這里大致只需要了解到他是選擇設(shè)備（cpu還是cuda）、載入模型。
接著下面獲取了模型的stride、name、pt等參數(shù)。
最后調(diào)用check_img_size檢查圖片是否符合要求，不符合則需要調(diào)整。

4.3 加載數(shù)據(jù)

# ===================================== 3、加載數(shù)據(jù) =====================================
    # Dataloader
    if webcam:  # false
        view_img = check_imshow()
        cudnn.benchmark = True  # set True to speed up constant image size inference
        dataset = LoadStreams(source, img_size=imgsz, stride=stride, auto=pt)
        bs = len(dataset)  # batch_size
    else:
        dataset = LoadImages(source, img_size=imgsz, stride=stride, auto=pt) # 加載圖片文件
        bs = 1  # batch_size    每次輸入一張圖片
    vid_path, vid_writer = [None] * bs, [None] * bs

這里的主要函數(shù)是LoadImages()，載入數(shù)據(jù)。

4.4 推理部分

這個part是整個算法的核心部分，通過for循環(huán)對加載的數(shù)據(jù)進行遍歷，如果是視頻流則一幀一幀地推理，然后進行NMS，最后畫框，預(yù)測類別。

4.4.1 熱身部分

# Run inference 模型推理過程
    model.warmup(imgsz=(1 if pt else bs, 3, *imgsz))  # warmup(熱身初始化)
    seen, windows, dt = 0, [], [0.0, 0.0, 0.0]  # dt：寸尺時間
    for path, im, im0s, vid_cap, s in dataset:
        t1 = time_sync()
        # 1、處理每一張圖片/視頻的格式
        im = torch.from_numpy(im).to(device)    #從numpy轉(zhuǎn)成tensor格式，放到device上
        im = im.half() if model.fp16 else im.float()  # uint8 to fp16/32  判斷有沒有用半精度
        im /= 255  # 0 - 255 to 0.0 - 1.0   歸一化
        if len(im.shape) == 3:  # 是否是3通道
            im = im[None]  # expand for batch dim [1,3,640,480]
        t2 = time_sync()
        dt[0] += t2 - t1

熱身操作，即對模型進行一些預(yù)處理以加速后續(xù)的推理過程。

作用：來自ChitGPT的答案：深度學習模型訓練熱身的作用是為了使初始權(quán)重更好地適應(yīng)數(shù)據(jù)分布，提高最終模型的收斂速度和泛化能力。通過熱身訓練，可以有效減少梯度下降的震蕩，加速收斂速度，并降低局部極小值的影響。

說簡單點就是在模型訓練初期給他一個較大的學習率，因為較大的學習率就不那么容易會使模型學偏，然后在訓練的后期再減小學習率，使其收斂。
具體可看深度學習之“訓練熱身”（warm up）–學習率的設(shè)置

在這個階段，還定義了一些變量，包括seen、windows和dt，分別表示已處理的圖片數(shù)量、窗口列表和時間消耗列表。遍歷dataset，整理圖片信息。

接著是對數(shù)據(jù)集的圖片進行預(yù)處理：

• 將圖片轉(zhuǎn)化為tensor格式，放到device上，并轉(zhuǎn)換為FP16/32。
• 將像素值0 ~ 255歸一化，變?yōu)? ~ 1，并為批處理增加一維度（batch）。
• 記錄時間消耗并更新dt

4.4.2 對每張圖片/視頻進行前向推理

# Inference     默認False
        visualize = increment_path(save_dir / Path(path).stem, mkdir=True) if visualize else False
        # 2、對每張圖片/視頻進行前向推理
        pred = model(im, augment=augment, visualize=visualize)  # augment：數(shù)據(jù)增強 pred:得到檢測框
        t3 = time_sync()
        dt[1] += t3 - t2

這里對每張圖片進行前向推理。
第二行代碼，使用model對圖像進行預(yù)測，augment和visualize參數(shù)是用于指示是否在預(yù)測時使用數(shù)據(jù)增強和可視化。
后面的代碼記錄了當前時間，并計算從上一個時間點到這個時間點的時間差，然后將這個時間差加到一個名為dt的時間差列表中的第二個元素上。

4.4.3 NMS后處理除去多余的框

# NMS 去除多余的框
        pred = non_max_suppression(pred, conf_thres, iou_thres, classes, agnostic_nms, max_det=max_det) # 1,5（5個檢測框）,6(前四個為坐標，置信度，類別）
        dt[2] += time_sync() - t3

這段是YOLO的經(jīng)典代碼：非極大值抑制（NMS），用于篩選預(yù)測結(jié)果。
再次更新計時器，記錄NMS所耗費的時間。

4.4.4 預(yù)測過程

# Process predictions  后續(xù)保存或者打印預(yù)測信息
        # 對每張圖片進行處理  將pred(相對img_size 640)映射回原圖img0 size
        for i, det in enumerate(pred):  # per image
            seen += 1   # 計數(shù)
            if webcam:  # batch_size >= 1
                p, im0, frame = path[i], im0s[i].copy(), dataset.count
                s += f'{i}: '
            else:
                p, im0, frame = path, im0s.copy(), getattr(dataset, 'frame', 0) # 如果有frame則為0

對篩選后的結(jié)果進行for循環(huán)遍歷，這一段主要是判斷是否采用網(wǎng)絡(luò)攝像頭。

• 如果使用的是網(wǎng)絡(luò)攝像頭，則代碼會遍歷每個圖像并復制一份備份到變量im0中，同時將當前圖像的路徑和計數(shù)器記錄到變量p和frame中。最后，將當前處理的物體索引和相關(guān)信息記錄到字符串變量s中。

• 如果沒有使用網(wǎng)絡(luò)攝像頭，則會直接使用im0變量中的圖像，將圖像路徑和計數(shù)器記錄到變量p和frame中。同時，還會檢查數(shù)據(jù)集中是否有"frame"屬性，如果有，則將其值記錄到變量frame中。
  det是pred的每一張圖片內(nèi)容，det就是一張圖片的東西，在后續(xù)的代碼中會用到，這里先按下不表。

p = Path(p)  # to Path
            save_path = str(save_dir / p.name)  # im.jpg
            txt_path = str(save_dir / 'labels' / p.stem) + ('' if dataset.mode == 'image' else f'_{frame}')  # im.txt
            s += '%gx%g ' % im.shape[2:]  # print string 打印圖片信息
            gn = torch.tensor(im0.shape)[[1, 0, 1, 0]]  # normalization gain whwh   獲得寬和高的大小
            imc = im0.copy() if save_crop else im0  # for save_crop 是否把檢測框裁剪下來保存成一張圖片
            annotator = Annotator(im0, line_width=line_thickness, example=str(names))	# 以便于在圖像上繪制檢測結(jié)果

這一部分主要是路徑轉(zhuǎn)換，save_crop來選擇是否把檢測框裁剪下來保存成一張圖片。
最后創(chuàng)建了一個annotator對象，以便于在圖像上繪制檢測結(jié)果。

            if len(det):
                # Rescale boxes from img_size to im0 size
                det[:, :4] = scale_coords(im.shape[2:], det[:, :4], im0.shape).round()

                # Print results
                for c in det[:, -1].unique():   # 統(tǒng)計所有框的類別
                    # 若為這幾個類別才進行結(jié)果打印
                    # if names[int(c)] == 'person' or names[int(c)] == 'bicycle' or names[int(c)] == 'car' or names[int(c)] == 'motorcycle' \
                    # or names[int(c)] == 'bus' or names[int(c)] == 'truck':
                        n = (det[:, -1] == c).sum()  # detections per class
                        s += f"{n} {names[int(c)]}{'s' * (n > 1)}, "  # add to string
                    # else:   # 如果不是，則continue
                    #     continue

這一部分是判斷有沒有框，如果有物體，則會執(zhí)行操作。

我打注釋的代碼可以只檢測部分物體。

首先，scale_coords會將檢測結(jié)果中的物體坐標從縮放的圖片大小變回去。
然后遍歷det的內(nèi)容，前面說了det就是一張圖片的信息，其實det里面包含了每一個物體的信息，將其類別和數(shù)量
添加到s字符串中。方便后面打印。

4.4.5 打印目標檢測結(jié)果

# Write results 保存結(jié)果
                for *xyxy, conf, cls in reversed(det):  # 保存.txt    # reversed：逆序
                    if save_txt:  # Write to file
                        xywh = (xyxy2xywh(torch.tensor(xyxy).view(1, 4)) / gn).view(-1).tolist()  # normalized xywh
                        line = (cls, *xywh, conf) if save_conf else (cls, *xywh)  # label format
                        with open(f'{txt_path}.txt', 'a') as f:
                            f.write(('%g ' * len(line)).rstrip() % line + '\n')

                    if save_img or save_crop or view_img:  # Add bbox to image  畫到原圖上
                        c = int(cls)  # integer class

                        # # # 只檢測幾個類別:person、bicycle、car、motorcycle、bus、truck
                        # if names[int(cls)] == 'person' or names[int(cls)] == 'bicycle' or names[int(cls)] == 'car' or names[int(cls)] == 'motorcycle' \
                        #         or names[int(cls)] == 'bus' or names[int(cls)] == 'truck':
                        #
                        label = None if hide_labels else (names[c] if hide_conf else f'{names[c]} {conf:.2f}')  # hide_labels隱藏標簽   hide_conf隱藏置信度
                        annotator.box_label(xyxy, label, color=colors(c, True))
                        # else:
                        #     continue
                    if save_crop:   # 是否截取目標框為圖片
                        save_one_box(xyxy, imc, file=save_dir / 'crops' / names[c] / f'{p.stem}.jpg', BGR=True)

如果存在目標檢測結(jié)果，就會執(zhí)行下一步操作。

這里將det中每一個物體的坐標信息進行轉(zhuǎn)換，采用的函數(shù)時xyxy2xywh()；
并將label畫到圖片annotator上，調(diào)用的函數(shù)是box_label。

剩下的就是保存圖片的功能和打印功能的實現(xiàn)了，不是很難，就不想寫了。主要是我寫這篇博客的時候，電腦太卡了，我都重啟網(wǎng)頁了好多次了。這電腦真得換了，散熱是真的不行，打游戲不行就算了，現(xiàn)在連最基本的辦公也難以實現(xiàn)。下半年就換！

detect.py算是大概寫完了吧。

進行一個總結(jié)：

這一段代碼就是目標檢測算法中的inference推理階段，大致流程就是1. 載入數(shù)據(jù)；2. 推理；3. NMS后處理；4. 畫框；5. 保存結(jié)果、打印信息。

現(xiàn)在是20：01，正好到了下班時間，健身去了~
明天繼續(xù)肝 ~文章來源地址http://www.zghlxwxcb.cn/news/detail-578983.html

到了這里，關(guān)于YOLOv5-6.x源碼分析（一）---- detect.py的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！