1 前言

?? 這兩年開始畢業(yè)設(shè)計(jì)和畢業(yè)答辯的要求和難度不斷提升，傳統(tǒng)的畢設(shè)題目缺少創(chuàng)新和亮點(diǎn)，往往達(dá)不到畢業(yè)答辯的要求，這兩年不斷有學(xué)弟學(xué)妹告訴學(xué)長(zhǎng)自己做的項(xiàng)目系統(tǒng)達(dá)不到老師的要求。

為了大家能夠順利以及最少的精力通過畢設(shè)，學(xué)長(zhǎng)分享優(yōu)質(zhì)畢業(yè)設(shè)計(jì)項(xiàng)目，今天要分享的是

?? **基于深度學(xué)習(xí)YOLOv5車輛顏色識(shí)別檢測(cè) **

??學(xué)長(zhǎng)這里給一個(gè)題目綜合評(píng)分(每項(xiàng)滿分5分)

• 難度系數(shù)：3分
• 工作量：3分
• 創(chuàng)新點(diǎn)：4分

?? 選題指導(dǎo), 項(xiàng)目分享：

https://gitee.com/dancheng-senior/project-sharing-1/blob/master/%E6%AF%95%E8%AE%BE%E6%8C%87%E5%AF%BC/README.md

2 實(shí)現(xiàn)效果

3 CNN卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(CNN)，是由多層卷積結(jié)構(gòu)組成的一種神經(jīng)網(wǎng)絡(luò)。卷積結(jié)構(gòu)可以減少網(wǎng)絡(luò)的內(nèi)存占用、參數(shù)和模型的過擬合。卷積神經(jīng)網(wǎng)絡(luò)是一種典型的深度學(xué)習(xí)算法。廣泛應(yīng)用于視覺處理和人工智能領(lǐng)域，特別是在圖像識(shí)別和人臉識(shí)別領(lǐng)域。與完全連接的神經(jīng)網(wǎng)絡(luò)相比，CNN輸入是通過交換參數(shù)和局部感知來提取圖像特征的圖像。卷積神經(jīng)網(wǎng)絡(luò)是由輸入層、卷積層、池化層、全連接層和輸出層五層結(jié)構(gòu)組成。其具體模型如下圖所示。

(1)輸入層(Input layer)：輸入層就是神經(jīng)網(wǎng)絡(luò)的輸入端口，就是把輸入傳入的入口。通常傳入的圖像的R，G，B三個(gè)通道的數(shù)據(jù)。數(shù)據(jù)的輸入一般是多維的矩陣向量，其中矩陣中的數(shù)值代表的是圖像對(duì)應(yīng)位置的像素點(diǎn)的值。

(2)卷積層(Convolution layer)：卷積層在CNN中主要具有學(xué)習(xí)功能，它主要提取輸入的數(shù)據(jù)的特征值。

(3)池化層(Pooling layer)：池化層通過對(duì)卷積層的特征值進(jìn)行壓縮來獲得自己的特征值，減小特征值的矩陣的維度，減小網(wǎng)絡(luò)計(jì)算量，加速收斂速度可以有效避免過擬合問題。

(4)全連接層(Full connected layer)：全連接層主要實(shí)現(xiàn)是把經(jīng)過卷積層和池化層處理的數(shù)據(jù)進(jìn)行集合在一起，形成一個(gè)或者多個(gè)的全連接層，該層在CNN的功能主要是實(shí)現(xiàn)高階推理計(jì)算。

(5)輸出層(Output layer)：輸出層在全連接層之后，是整個(gè)神經(jīng)網(wǎng)絡(luò)的輸出端口即把處理分析后的數(shù)據(jù)進(jìn)行輸出。

cnn卷積神經(jīng)網(wǎng)絡(luò)的編寫如下，編寫卷積層、池化層和全連接層的代碼

conv1_1 = tf.layers.conv2d(x, 16, (3, 3), padding='same', activation=tf.nn.relu, name='conv1_1')
conv1_2 = tf.layers.conv2d(conv1_1, 16, (3, 3), padding='same', activation=tf.nn.relu, name='conv1_2')
pool1 = tf.layers.max_pooling2d(conv1_2, (2, 2), (2, 2), name='pool1')
conv2_1 = tf.layers.conv2d(pool1, 32, (3, 3), padding='same', activation=tf.nn.relu, name='conv2_1')
conv2_2 = tf.layers.conv2d(conv2_1, 32, (3, 3), padding='same', activation=tf.nn.relu, name='conv2_2')
pool2 = tf.layers.max_pooling2d(conv2_2, (2, 2), (2, 2), name='pool2')
conv3_1 = tf.layers.conv2d(pool2, 64, (3, 3), padding='same', activation=tf.nn.relu, name='conv3_1')
conv3_2 = tf.layers.conv2d(conv3_1, 64, (3, 3), padding='same', activation=tf.nn.relu, name='conv3_2')
pool3 = tf.layers.max_pooling2d(conv3_2, (2, 2), (2, 2), name='pool3')
conv4_1 = tf.layers.conv2d(pool3, 128, (3, 3), padding='same', activation=tf.nn.relu, name='conv4_1')
conv4_2 = tf.layers.conv2d(conv4_1, 128, (3, 3), padding='same', activation=tf.nn.relu, name='conv4_2')
pool4 = tf.layers.max_pooling2d(conv4_2, (2, 2), (2, 2), name='pool4')

flatten = tf.layers.flatten(pool4)
fc1 = tf.layers.dense(flatten, 512, tf.nn.relu)
fc1_dropout = tf.nn.dropout(fc1, keep_prob=keep_prob)
fc2 = tf.layers.dense(fc1, 256, tf.nn.relu)
fc2_dropout = tf.nn.dropout(fc2, keep_prob=keep_prob)
fc3 = tf.layers.dense(fc2, 2, None)

4 Yolov5

簡(jiǎn)介

我們選擇當(dāng)下YOLO最新的卷積神經(jīng)網(wǎng)絡(luò)YOLOv5來進(jìn)行火焰識(shí)別檢測(cè)。6月9日，Ultralytics公司開源了YOLOv5，離上一次YOLOv4發(fā)布不到50天。而且這一次的YOLOv5是完全基于PyTorch實(shí)現(xiàn)的！在我們還對(duì)YOLOv4的各種高端操作、豐富的實(shí)驗(yàn)對(duì)比驚嘆不已時(shí)，YOLOv5又帶來了更強(qiáng)實(shí)時(shí)目標(biāo)檢測(cè)技術(shù)。按照官方給出的數(shù)目，現(xiàn)版本的YOLOv5每個(gè)圖像的推理時(shí)間最快0.007秒，即每秒140幀（FPS），但YOLOv5的權(quán)重文件大小只有YOLOv4的1/9。

目標(biāo)檢測(cè)架構(gòu)分為兩種，一種是two-stage，一種是one-stage，區(qū)別就在于 two-stage 有region proposal過程，類似于一種海選過程,網(wǎng)絡(luò)會(huì)根據(jù)候選區(qū)域生成位置和類別，而one-stage直接從圖片生成位置和類別。今天提到的 YOLO就是一種 one-stage方法。YOLO是You Only Look Once的縮寫,意思是神經(jīng)網(wǎng)絡(luò)只需要看一次圖片，就能輸出結(jié)果。YOLO 一共發(fā)布了五個(gè)版本，其中 YOLOv1 奠定了整個(gè)系列的基礎(chǔ)，后面的系列就是在第一版基礎(chǔ)上的改進(jìn)，為的是提升性能。

YOLOv5有4個(gè)版本性能如圖所示：

網(wǎng)絡(luò)架構(gòu)圖

YOLOv5是一種單階段目標(biāo)檢測(cè)算法，該算法在YOLOv4的基礎(chǔ)上添加了一些新的改進(jìn)思路，使其速度與精度都得到了極大的性能提升。主要的改進(jìn)思路如下所示：

輸入端

在模型訓(xùn)練階段，提出了一些改進(jìn)思路，主要包括Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放；

Mosaic數(shù)據(jù)增強(qiáng)：Mosaic數(shù)據(jù)增強(qiáng)的作者也是來自YOLOv5團(tuán)隊(duì)的成員，通過隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式進(jìn)行拼接，對(duì)小目標(biāo)的檢測(cè)效果很不錯(cuò)

基準(zhǔn)網(wǎng)絡(luò)

融合其它檢測(cè)算法中的一些新思路，主要包括：Focus結(jié)構(gòu)與CSP結(jié)構(gòu)；

Neck網(wǎng)絡(luò)

在目標(biāo)檢測(cè)領(lǐng)域，為了更好的提取融合特征，通常在Backbone和輸出層，會(huì)插入一些層，這個(gè)部分稱為Neck。Yolov5中添加了FPN+PAN結(jié)構(gòu)，相當(dāng)于目標(biāo)檢測(cè)網(wǎng)絡(luò)的頸部，也是非常關(guān)鍵的。

FPN+PAN的結(jié)構(gòu)

這樣結(jié)合操作，F(xiàn)PN層自頂向下傳達(dá)強(qiáng)語(yǔ)義特征（High-Level特征），而特征金字塔則自底向上傳達(dá)強(qiáng)定位特征（Low-Level特征)，兩兩聯(lián)手，從不同的主干層對(duì)不同的檢測(cè)層進(jìn)行特征聚合。

FPN+PAN借鑒的是18年CVPR的PANet，當(dāng)時(shí)主要應(yīng)用于圖像分割領(lǐng)域，但Alexey將其拆分應(yīng)用到Y(jié)olov4中，進(jìn)一步提高特征提取的能力。

Head輸出層

輸出層的錨框機(jī)制與YOLOv4相同，主要改進(jìn)的是訓(xùn)練時(shí)的損失函數(shù)GIOU_Loss，以及預(yù)測(cè)框篩選的DIOU_nms。

對(duì)于Head部分，可以看到三個(gè)紫色箭頭處的特征圖是40×40、20×20、10×10。以及最后Prediction中用于預(yù)測(cè)的3個(gè)特征圖：

①==>40×40×255

②==>20×20×255

③==>10×10×255

• 相關(guān)代碼

  class Detect(nn.Module):
      stride = None  # strides computed during build
      onnx_dynamic = False  # ONNX export parameter
  
      def __init__(self, nc=80, anchors=(), ch=(), inplace=True):  # detection layer
          super().__init__()
          self.nc = nc  # number of classes
          self.no = nc + 5  # number of outputs per anchor
          self.nl = len(anchors)  # number of detection layers
          self.na = len(anchors[0]) // 2  # number of anchors
          self.grid = [torch.zeros(1)] * self.nl  # init grid
          self.anchor_grid = [torch.zeros(1)] * self.nl  # init anchor grid
          self.register_buffer('anchors', torch.tensor(anchors).float().view(self.nl, -1, 2))  # shape(nl,na,2)
          self.m = nn.ModuleList(nn.Conv2d(x, self.no * self.na, 1) for x in ch)  # output conv
          self.inplace = inplace  # use in-place ops (e.g. slice assignment)
  
      def forward(self, x):
          z = []  # inference output
          for i in range(self.nl):
              x[i] = self.m[i](x[i])  # conv
              bs, _, ny, nx = x[i].shape  # x(bs,255,20,20) to x(bs,3,20,20,85)
              x[i] = x[i].view(bs, self.na, self.no, ny, nx).permute(0, 1, 3, 4, 2).contiguous()
  
              if not self.training:  # inference
                  if self.onnx_dynamic or self.grid[i].shape[2:4] != x[i].shape[2:4]:
                      self.grid[i], self.anchor_grid[i] = self._make_grid(nx, ny, i)
  
                  y = x[i].sigmoid()
                  if self.inplace:
                      y[..., 0:2] = (y[..., 0:2] * 2 - 0.5 + self.grid[i]) * self.stride[i]  # xy
                      y[..., 2:4] = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
                  else:  # for YOLOv5 on AWS Inferentia https://github.com/ultralytics/yolov5/pull/2953
                      xy = (y[..., 0:2] * 2 - 0.5 + self.grid[i]) * self.stride[i]  # xy
                      wh = (y[..., 2:4] * 2) ** 2 * self.anchor_grid[i]  # wh
                      y = torch.cat((xy, wh, y[..., 4:]), -1)
                  z.append(y.view(bs, -1, self.no))
  
          return x if self.training else (torch.cat(z, 1), x)
  
      def _make_grid(self, nx=20, ny=20, i=0):
          d = self.anchors[i].device
          if check_version(torch.__version__, '1.10.0'):  # torch>=1.10.0 meshgrid workaround for torch>=0.7 compatibility
              yv, xv = torch.meshgrid([torch.arange(ny).to(d), torch.arange(nx).to(d)], indexing='ij')
          else:
              yv, xv = torch.meshgrid([torch.arange(ny).to(d), torch.arange(nx).to(d)])
          grid = torch.stack((xv, yv), 2).expand((1, self.na, ny, nx, 2)).float()
          anchor_grid = (self.anchors[i].clone() * self.stride[i]) \
              .view((1, self.na, 1, 1, 2)).expand((1, self.na, ny, nx, 2)).float()
          return grid, anchor_grid
  

6 數(shù)據(jù)集處理及模型訓(xùn)練

數(shù)據(jù)集準(zhǔn)備

由于目前汽車顏色圖片并沒有現(xiàn)成的數(shù)據(jù)集，我們使用Python爬蟲利用關(guān)鍵字在互聯(lián)網(wǎng)上獲得的圖片數(shù)據(jù)，編寫程序爬了1w張，篩選后用于訓(xùn)練。

深度學(xué)習(xí)圖像標(biāo)注軟件眾多，按照不同分類標(biāo)準(zhǔn)有多中類型，本文使用LabelImg單機(jī)標(biāo)注軟件進(jìn)行標(biāo)注。LabelImg是基于角點(diǎn)的標(biāo)注方式產(chǎn)生邊界框，對(duì)圖片進(jìn)行標(biāo)注得到xml格式的標(biāo)注文件，由于邊界框?qū)z測(cè)精度的影響較大因此采用手動(dòng)標(biāo)注，并沒有使用自動(dòng)標(biāo)注軟件。

考慮到有的朋友時(shí)間不足，博主提供了標(biāo)注好的數(shù)據(jù)集和訓(xùn)練好的模型，需要請(qǐng)聯(lián)系。

數(shù)據(jù)標(biāo)注簡(jiǎn)介

通過pip指令即可安裝

pip install labelimg

在命令行中輸入labelimg即可打開

后續(xù)課查看其他標(biāo)注教程，不難。

開始訓(xùn)練模型

處理好數(shù)據(jù)集和準(zhǔn)備完yaml文件，就可以開始yolov5的訓(xùn)練了。首先我們找到train.py這個(gè)py文件。

然后找到主函數(shù)的入口，這里面有模型的主要參數(shù)。修改train.py中的weights、cfg、data、epochs、batch_size、imgsz、device、workers等參數(shù)

至此，就可以運(yùn)行train.py函數(shù)訓(xùn)練自己的模型了。

訓(xùn)練代碼成功執(zhí)行之后會(huì)在命令行中輸出下列信息，接下來就是安心等待模型訓(xùn)練結(jié)束即可。
文章來源地址http://www.zghlxwxcb.cn/news/detail-603637.html

5 最后

到了這里，關(guān)于【畢業(yè)設(shè)計(jì)】深度學(xué)習(xí)YOLOv5車輛顏色識(shí)別檢測(cè) - python opencv的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！