0 前言

?? 優(yōu)質(zhì)競(jìng)賽項(xiàng)目系列，今天要分享的是

?? **基于深度學(xué)習(xí)的自動(dòng)駕駛車道線檢測(cè)算法研究與實(shí)現(xiàn) **

該項(xiàng)目較為新穎，適合作為競(jìng)賽課題方向，學(xué)長非常推薦！

??學(xué)長這里給一個(gè)題目綜合評(píng)分(每項(xiàng)滿分5分)

• 難度系數(shù)：3分
• 工作量：4分
• 創(chuàng)新點(diǎn)：4分

?? 更多資料, 項(xiàng)目分享：

https://gitee.com/dancheng-senior/postgraduate文章來源地址http://www.zghlxwxcb.cn/news/detail-719641.html

1 課題背景

從汽車的誕生到現(xiàn)在為止已經(jīng)有一百多年的歷史了，隨著車輛的增多，交通事故頻繁發(fā)生，成為社會(huì)發(fā)展的隱患，人們的生命安全受到了嚴(yán)重威脅。多起事故發(fā)生原因中，都有一個(gè)共同點(diǎn)，那就是因?yàn)橐曈X問題使駕駛員在行車時(shí)獲取不準(zhǔn)確的信息導(dǎo)致交通事故的發(fā)生。為了解決這個(gè)問題，高級(jí)駕駛輔助系統(tǒng)（ADAS）應(yīng)運(yùn)而生，其中車道線檢測(cè)就是ADAS中相當(dāng)重要的一個(gè)環(huán)節(jié)。利用機(jī)器視覺來檢測(cè)車道線相當(dāng)于給汽車安裝上了一雙“眼睛”，從而代替人眼來獲取車道線信息，在一定程度上可以減少發(fā)生交通事故的概率。
本項(xiàng)目基于yolov5實(shí)現(xiàn)圖像車道線檢測(cè)。

2 實(shí)現(xiàn)效果

3 卷積神經(jīng)網(wǎng)絡(luò)

受到人類大腦神經(jīng)突觸結(jié)構(gòu)相互連接的模式啟發(fā)，神經(jīng)網(wǎng)絡(luò)作為人工智能領(lǐng)域的重要組成部分，通過分布式的方法處理信息，可以解決復(fù)雜的非線性問題，從構(gòu)造方面來看，主要包括輸入層、隱藏層、輸出層三大組成結(jié)構(gòu)。每一個(gè)節(jié)點(diǎn)被稱為一個(gè)神經(jīng)元，存在著對(duì)應(yīng)的權(quán)重參數(shù)，部分神經(jīng)元存在偏置，當(dāng)輸入數(shù)據(jù)ｘ進(jìn)入后，對(duì)于經(jīng)過的神經(jīng)元都會(huì)進(jìn)行類似于：y＝w*x＋b的線性函數(shù)的計(jì)算，其中ｗ為該位置神經(jīng)元的權(quán)值，b則為偏置函數(shù)。通過每一層神經(jīng)元的邏輯運(yùn)算，將結(jié)果輸入至最后一層的激活函數(shù)，最后得到輸出output。

3.1卷積層

卷積核相當(dāng)于一個(gè)滑動(dòng)窗口，示意圖中３x３大小的卷積核依次劃過６x６大小的輸入數(shù)據(jù)中的對(duì)應(yīng)區(qū)域，并與卷積核滑過區(qū)域做矩陣點(diǎn)乘，將所得結(jié)果依次填入對(duì)應(yīng)位置即可得到右側(cè)４x４尺寸的卷積特征圖，例如劃到右上角３x３所圈區(qū)域時(shí)，將進(jìn)行０x０＋１x１＋２x１＋１x１＋０x０＋１x１＋１x０＋２x０x１x１＝６的計(jì)算操作，并將得到的數(shù)值填充到卷積特征的右上角。

3.2 池化層

池化操作又稱為降采樣，提取網(wǎng)絡(luò)主要特征可以在達(dá)到空間不變性的效果同時(shí)，有效地減少網(wǎng)絡(luò)參數(shù)，因而簡化網(wǎng)絡(luò)計(jì)算復(fù)雜度，防止過擬合現(xiàn)象的出現(xiàn)。在實(shí)際操作中經(jīng)常使用最大池化或平均池化兩種方式，如下圖所示。雖然池化操作可以有效的降低參數(shù)數(shù)量，但過度池化也會(huì)導(dǎo)致一些圖片細(xì)節(jié)的丟失，因此在搭建網(wǎng)絡(luò)時(shí)要根據(jù)實(shí)際情況來調(diào)整池化操作。

3.3 激活函數(shù)：

激活函數(shù)大致分為兩種，在卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展前期，使用較為傳統(tǒng)的飽和激活函數(shù)，主要包括sigmoid函數(shù)、tanh函數(shù)等；隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展，研宄者們發(fā)現(xiàn)了飽和激活函數(shù)的弱點(diǎn)，并針對(duì)其存在的潛在問題，研宄了非飽和激活函數(shù)，其主要含有ReLU函數(shù)及其函數(shù)變體

3.4 全連接層

在整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中起到“分類器”的作用，經(jīng)過前面卷積層、池化層、激活函數(shù)層之后，網(wǎng)絡(luò)己經(jīng)對(duì)輸入圖片的原始數(shù)據(jù)進(jìn)行特征提取，并將其映射到隱藏特征空間，全連接層將負(fù)責(zé)將學(xué)習(xí)到的特征從隱藏特征空間映射到樣本標(biāo)記空間，一般包括提取到的特征在圖片上的位置信息以及特征所屬類別概率等。將隱藏特征空間的信息具象化，也是圖像處理當(dāng)中的重要一環(huán)。

3.5 使用tensorflow中keras模塊實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)

?

class CNN(tf.keras.Model):
    def __init__(self):
        super().__init__()
        self.conv1 = tf.keras.layers.Conv2D(
            filters=32,             # 卷積層神經(jīng)元（卷積核）數(shù)目
            kernel_size=[5, 5],     # 感受野大小
            padding='same',         # padding策略（vaild 或 same）
            activation=tf.nn.relu   # 激活函數(shù)
        )
        self.pool1 = tf.keras.layers.MaxPool2D(pool_size=[2, 2], strides=2)
        self.conv2 = tf.keras.layers.Conv2D(
            filters=64,
            kernel_size=[5, 5],
            padding='same',
            activation=tf.nn.relu
        )
        self.pool2 = tf.keras.layers.MaxPool2D(pool_size=[2, 2], strides=2)
        self.flatten = tf.keras.layers.Reshape(target_shape=(7 * 7 * 64,))
        self.dense1 = tf.keras.layers.Dense(units=1024, activation=tf.nn.relu)
        self.dense2 = tf.keras.layers.Dense(units=10)

    def call(self, inputs):
        x = self.conv1(inputs)                  # [batch_size, 28, 28, 32]
        x = self.pool1(x)                       # [batch_size, 14, 14, 32]
        x = self.conv2(x)                       # [batch_size, 14, 14, 64]
        x = self.pool2(x)                       # [batch_size, 7, 7, 64]
        x = self.flatten(x)                     # [batch_size, 7 * 7 * 64]
        x = self.dense1(x)                      # [batch_size, 1024]
        x = self.dense2(x)                      # [batch_size, 10]
        output = tf.nn.softmax(x)
        return output

4 YOLOV5

簡介
基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)的目標(biāo)檢測(cè)模型研究可按檢測(cè)階段分為兩類，一 類 是 基 于 候 選 框
的 兩 階 段 檢 測(cè) ， R-CNN 、 Fast R-CNN、Faster R-CNN、Mask R-CNN都是基于
目標(biāo)候選框的兩階段檢測(cè)方法；另一類是基于免候選框的單階段檢測(cè)，SSD、YOLO系列都是典型的基于回歸思想的單階段檢測(cè)方法。

YOLOv5 目標(biāo)檢測(cè)模型 2020年由Ultralytics發(fā)布的YOLOv5在網(wǎng)絡(luò)輕量化 上貢獻(xiàn)明顯，檢測(cè)速度更快也更加易于部署。與之前
版本不同，YOLOv5 實(shí)現(xiàn)了網(wǎng)絡(luò)架構(gòu)的系列化，分別 是YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、
YOLOv5x。這5種模型的結(jié)構(gòu)相似，通過改變寬度倍 數(shù)(Depth multiple)來改變卷積過程中卷積核的數(shù)量， 通 過 改 變 深 度 倍 數(shù)
(Width multiple) 來 改 變 BottleneckC3(帶3個(gè)CBS模塊的BottleneckCSP結(jié)構(gòu))中
C3的數(shù)量，從而實(shí)現(xiàn)不同網(wǎng)絡(luò)深度和不同網(wǎng)絡(luò)寬度之 間的組合，達(dá)到精度與效率的平衡。YOLOv5各版本性能如圖所示：

模型結(jié)構(gòu)圖如下：

YOLOv5s 模型算法流程和原理

YOLOv5s模型主要算法工作流程原理：

(1) 原始圖像輸入部分加入了圖像填充、自適應(yīng) 錨框計(jì)算、Mosaic數(shù)據(jù)增強(qiáng)來對(duì)數(shù)據(jù)進(jìn)行處理增加了 檢測(cè)的辨識(shí)度和準(zhǔn)確度。

(2) 主干網(wǎng)絡(luò)中采用Focus結(jié)構(gòu)和CSP1_X (X個(gè)殘差結(jié)構(gòu)) 結(jié)構(gòu)進(jìn)行特征提取。在特征生成部分， 使用基于SPP優(yōu)化后的SPPF結(jié)構(gòu)來完成。

(3) 頸部層應(yīng)用路徑聚合網(wǎng)絡(luò)和CSP2_X進(jìn)行特征融合。

(4) 使用GIOU_Loss作為損失函數(shù)。

關(guān)鍵代碼：

6 數(shù)據(jù)集處理

獲取摔倒數(shù)據(jù)集準(zhǔn)備訓(xùn)練，如果沒有準(zhǔn)備好的數(shù)據(jù)集，可自己標(biāo)注，但過程會(huì)相對(duì)繁瑣

深度學(xué)習(xí)圖像標(biāo)注軟件眾多，按照不同分類標(biāo)準(zhǔn)有多中類型，本文使用LabelImg單機(jī)標(biāo)注軟件進(jìn)行標(biāo)注。LabelImg是基于角點(diǎn)的標(biāo)注方式產(chǎn)生邊界框，對(duì)圖片進(jìn)行標(biāo)注得到xml格式的標(biāo)注文件，由于邊界框?qū)z測(cè)精度的影響較大因此采用手動(dòng)標(biāo)注，并沒有使用自動(dòng)標(biāo)注軟件。

考慮到有的朋友時(shí)間不足，博主提供了標(biāo)注好的數(shù)據(jù)集和訓(xùn)練好的模型，需要請(qǐng)聯(lián)系。

數(shù)據(jù)標(biāo)注簡介

通過pip指令即可安裝

?
pip install labelimg

在命令行中輸入labelimg即可打開

打開你所需要進(jìn)行標(biāo)注的文件夾，點(diǎn)擊紅色框區(qū)域進(jìn)行標(biāo)注格式切換，我們需要yolo格式，因此切換到y(tǒng)olo

點(diǎn)擊Create RectBo -> 拖拽鼠標(biāo)框選目標(biāo) -> 給上標(biāo)簽 -> 點(diǎn)擊ok

數(shù)據(jù)保存

點(diǎn)擊save，保存txt。

7 模型訓(xùn)練

配置超參數(shù)
主要是配置data文件夾下的yaml中的數(shù)據(jù)集位置和種類：

配置模型
這里主要是配置models目錄下的模型yaml文件，主要是進(jìn)去后修改nc這個(gè)參數(shù)來進(jìn)行類別的修改。

目前支持的模型種類如下所示：

訓(xùn)練過程

8 最后

?? 更多資料, 項(xiàng)目分享：

https://gitee.com/dancheng-senior/postgraduate

到了這里，關(guān)于競(jìng)賽選題 深度學(xué)習(xí)+opencv+python實(shí)現(xiàn)車道線檢測(cè) - 自動(dòng)駕駛的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！