卷積神經(jīng)網(wǎng)絡

?文章來源地址http://www.zghlxwxcb.cn/news/detail-612320.html

1.卷積神經(jīng)網(wǎng)絡應用領域

CV領域發(fā)展

CV領域是計算機視覺（Computer Vision）領域的簡稱。

計算機視覺是指利用計算機模擬人類視覺系統(tǒng)的科學，讓計算機具有類似于人類在觀察外界的視覺、圖像的能力，包括圖像處理、圖像分析、圖像理解等。

計算機視覺領域發(fā)展有以下特點：

1. 視覺系統(tǒng)的出現(xiàn)和不斷完善迫使不同物種間的競爭加劇，進而導致了“Big Bang”現(xiàn)象的出現(xiàn)。

2. 80年代，邏輯學和知識庫等理論在人工智能領域占據(jù)了主導地位。人們試圖建立專家系統(tǒng)來存儲先驗。

我們需要明確監(jiān)測任務，然后進行分類和檢索，對相應的對象進行超分辨重構(gòu)，卷積神經(jīng)網(wǎng)絡除了在圖像識別上有廣泛的應用以外，還在醫(yī)學任務、無人駕駛等領域也非常重要。

卷積神經(jīng)網(wǎng)絡的應用領域主要有：

1. 圖像識別、物體識別、圖像處理、語音識別、自然語言處理等。

2. 應用于計算機視覺、人工智能研究等多個領域。

3. 視頻分析、游戲AI。

2.卷積的作用

卷積在信號處理和圖像處理中主要用于以下幾方面1：

1. 特征提取：通過卷積核（也稱為濾波器）對輸入信號進行卷積操作，可以提取信號的局部特征。不同卷積核可以提取不同類型的特征，例如在圖像處理中，可以使用邊緣檢測卷積核來提取圖像中的邊緣特征。

2. 降噪：通過卷積對輸入信號進行平滑處理，可以去除噪聲。例如在圖像處理中，可以使用高斯濾波器對圖像進行平滑處理，從而去除圖像中的噪聲。

3. 壓縮：通過卷積降低信號的維度，可以實現(xiàn)數(shù)據(jù)壓縮。例如在語音處理中，可以使用卷積將語音信號壓縮成更小的維度，從而減少存儲空間和計算成本。

卷積網(wǎng)絡與傳統(tǒng)網(wǎng)絡的區(qū)別：

?

?

傳統(tǒng)神經(jīng)網(wǎng)絡輸入是一個向量，一維數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡輸入是三維長方體矩陣。

1. 傳統(tǒng)神經(jīng)網(wǎng)絡的每一層的權(quán)值參數(shù)都是一樣的，而卷積神經(jīng)網(wǎng)絡的每一層的權(quán)值是可以不同的。

2. 傳統(tǒng)神經(jīng)網(wǎng)絡有專門的預處理和后處理層，而卷積神經(jīng)網(wǎng)絡的可以沒有專門的預處理和后處理層。

3. 傳統(tǒng)神經(jīng)網(wǎng)絡有專門的池化層，而卷積神經(jīng)網(wǎng)絡的可以沒有專門的池化層。

卷積網(wǎng)絡的作用有：

1. 局部連接和權(quán)值共享，減少了網(wǎng)絡自由參數(shù)的個數(shù)易于計算。

2. 多卷積核，可以添加多個卷積核提取不同的特征，使特征提取更充分。

3. 卷積神經(jīng)網(wǎng)絡的池化，降低了空間分辨率，改善結(jié)果。

?

?

3.卷積特征值計算方法

?

?

步長大小與計算速度有關系，步長越小，所得特征圖越大，所做計算次數(shù)越多，一般為1。

卷積核尺寸：所選區(qū)域大小，一般取3*3即可

邊緣填充：在一定程度上彌補邊界特征不被重視的點，一般填充一圈0，或者兩圈0都可以，可以自定義

卷積核個數(shù)：即特征圖個數(shù)，即filter個數(shù)

卷積計算結(jié)果：（特征圖長寬以及個數(shù)）h * w * c

步長的影響：

?

?

步長比較短的，那么它的內(nèi)容獲得更加豐富。

卷積層涉及到參數(shù)：

1. 滑動窗口步長

2. 卷積和尺寸

3. 邊緣填充

4. 卷積核個數(shù)

?

?

邊緣填充方法：一般來說，越往邊界的點，利用的次數(shù)就比較少；而中間的點利用的次數(shù)更多一些。這時候我們需要進行邊緣填充，很多時候，我們在邊界加上一圈0，擴充邊緣的內(nèi)容，將原來的邊界轉(zhuǎn)變?yōu)閮?nèi)部值。

卷積結(jié)果計算：

?

?

其中W1、H1表示輸入的寬度、長度；W2、H2表示輸出特征圖的寬度、長度；F表示積卷核長和寬的大??；S表示滑動窗口的步長；P表示邊界填充（加幾圈0）。

如果輸入數(shù)據(jù)是32323的圖像，用10個553的filter來進行卷積操作，指定步長為1，邁界填充為2，最終輸入的規(guī)模為？

(32-5+2 * 2) / 1+1=32,所以輸出規(guī)模為32 * 32 * 10， 經(jīng)過卷積操作后也可以保持特征圖長度、寬度不變。

4.卷積參數(shù)共享

?

?

卷積參數(shù)共享是指在同一個模型的不同模塊中使用相同的參數(shù)，它是卷積運算的固有屬性。

在全連接網(wǎng)絡中，計算每層的輸出時，權(quán)值參數(shù)矩陣中的每個元素只作用于某個輸入元素一次；而在卷積神經(jīng)網(wǎng)絡中，卷積核中的每一個元素將作用于每一次局部輸入的特定位置上。根據(jù)參數(shù)共享的思想，我們只需要學習一組參數(shù)集合，而不需要針對每個位置的每個參數(shù)都進行優(yōu)化，從而大大降低了模型的存儲需求。

卷積參數(shù)共享的物理意義是使得卷積層具有平移等變性。例如在圖像中有一只貓，那么無論它出現(xiàn)在圖像中的任何位置，我們都應該將它識別為貓，也就是說神經(jīng)網(wǎng)絡的輸出對于平移變換來說應當是等變的。

數(shù)據(jù)依舊是32 * 32 * 3的圖像，繼續(xù)用10個5 * 5 * 3的filter來進行卷積操作，所需的權(quán)重參數(shù)有多少個呢？

5 * 5 * 3=75,表示每一個卷積核只需要75個參數(shù)，此時有10個不同的卷積核，就需要10 * 75=750個卷積核參數(shù)，不要忘記還有b參數(shù)，每個卷積核都有一個對應的偏置參數(shù)，最終只需要750+10=760個權(quán)重參數(shù)。

5.CNN介紹

CNN（卷積神經(jīng)網(wǎng)絡）是一種常見的深度學習神經(jīng)網(wǎng)絡，主要用于圖像識別、語音識別和其他圖像或語音處理任務。

CNN的基本結(jié)構(gòu)包括卷積層（convolutional layer）、池化層（pooling layer）、全連接層（fully connected layer）和激活函數(shù)（activation function）。其中，卷積層用于提取圖像或語音的特征，池化層用于降低數(shù)據(jù)的維度，全連接層用于將特征與標簽進行映射，激活函數(shù)則用于增加非線性特性。

CNN的優(yōu)勢在于可以利用局部連接、權(quán)值共享和池化等操作，使得網(wǎng)絡具有平移、旋轉(zhuǎn)、縮放等不變性，從而更好地適應圖像和語音等數(shù)據(jù)。此外，CNN還可以通過多層卷積和池化操作，逐步提取更高級的特征，提高識別準確率

6.池化層的作用

池化層（pooling layer）在卷積神經(jīng)網(wǎng)絡（CNN）中的作用主要有以下幾個方面：

1. 下采樣：池化層可以對輸入數(shù)據(jù)進行下采樣，即對輸入數(shù)據(jù)進行降維操作，從而減少數(shù)據(jù)的計算量和存儲需求。

2. 特征壓縮：池化層可以通過對輸入數(shù)據(jù)進行降維操作，將高維數(shù)據(jù)壓縮成低維數(shù)據(jù)，從而實現(xiàn)特征的壓縮和簡化網(wǎng)絡復雜度的效果。

3. 數(shù)據(jù)歸一化：池化層可以對輸入數(shù)據(jù)進行歸一化處理，即將數(shù)據(jù)映射到指定的范圍內(nèi)，例如將數(shù)據(jù)壓縮到0到1之間，從而避免梯度消失和梯度爆炸等問題。

4. 提高模型的泛化能力：池化層可以通過對輸入數(shù)據(jù)進行平移、旋轉(zhuǎn)、縮放等不變性操作，提高模型的泛化能力和魯棒性，從而更好地適應不同的數(shù)據(jù)場景。

5. 實現(xiàn)非線性：池化層可以引入非線性因素，例如使用ReLU等激活函數(shù)，從而提高模型的表達能力。

6. 擴大感知野：池化層可以擴大神經(jīng)網(wǎng)絡的感知野，即讓神經(jīng)元能夠感知到更多的局部特征，從而提高模型的準確率和泛化能力。

?

?

最大池化：將我們分塊的部分選擇出最大的參數(shù)值進行操作，MAX POOLING就是把最重要的部分（特征）取出來，舍去了不太重要的部分。也就是將原來的大的部分壓縮成相對小的多的。

7.整體網(wǎng)絡架構(gòu)

卷積神經(jīng)網(wǎng)絡（CNN）的整體網(wǎng)絡架構(gòu)包括以下幾個主要組成部分：

1. 輸入層（Input layer）：負責接收原始數(shù)據(jù)，例如圖像、文本等。

2. 卷積層（Convolutional layer）：通過卷積核（也稱為濾波器）對輸入數(shù)據(jù)進行卷積操作，提取局部特征。

3. 池化層（Pooling layer）：通過下采樣、降維、壓縮等操作，降低數(shù)據(jù)的維度，提高模型的泛化能力和魯棒性。

4. 全連接層（Fully connected layer）：將所有特征進行線性組合，并輸出結(jié)果。通常用于分類任務。

5. 激活函數(shù)（Activation function）：用于引入非線性因素，提高模型的表達能力。常見的激活函數(shù)包括ReLU、sigmoid等。

6. 損失函數(shù)（Loss function）：用于評估模型的預測結(jié)果與實際結(jié)果的差距，常見的損失函數(shù)包括均方誤差（MSE）、交叉熵（Cross-entropy）等。

7. 優(yōu)化器（Optimizer）：用于通過反向傳播算法更新模型的參數(shù)，以最小化損失函數(shù)。常見的優(yōu)化器包括梯度下降（Gradient descent）、Adam等。

8. 正則化（Regularization）：用于防止過擬合現(xiàn)象，提高模型的泛化能力。常見的正則化方法包括L1正則化、L2正則化等。

這是對上面的知識點的總結(jié)。

而這些組成部分通過組合和堆疊，可以構(gòu)建出各種不同類型和規(guī)模的卷積神經(jīng)網(wǎng)絡，例如LeNet、AlexNet、VGG、ResNet、Inception等。

一般來說，執(zhí)行了幾次卷積之后，就需要進行一次池化的操作。最后的目標是轉(zhuǎn)化為一條向量，這樣才能比較合理地處理相應的數(shù)據(jù)。

8.VGG網(wǎng)絡架構(gòu)

經(jīng)典網(wǎng)絡-Alexnet

?

?

AlexNet是深度卷積神經(jīng)網(wǎng)絡的一種，由谷歌和Hinton領導的團隊在2012年提出，在ImageNet圖像識別挑戰(zhàn)中以15.3%的錯誤率登頂，并高出第二名10%以上。

AlexNet的特點包括：

1. 使用ReLU作為激活函數(shù)。

2. 使用數(shù)據(jù)增強技術(shù)來增加數(shù)據(jù)集的多樣性。

3. 使用局部響應歸一化（Local Response Normalization，LRN）來控制卷積層的響應范圍，提高模型的泛化能力。

4. 使用Dropout技術(shù)來避免過擬合。

5. 使用GPU進行訓練，提高了訓練速度和效率。

6. 網(wǎng)絡結(jié)構(gòu)較深，使用多個卷積層和池化層來提取圖像特征。

7. 使用兩個GPU來加速訓練過程，并實現(xiàn)了更高效的并行計算。

AlexNet是深度卷積神經(jīng)網(wǎng)絡的里程碑之一，其提出的許多技術(shù)和方法對后來的研究和實踐產(chǎn)生了深遠的影響。

經(jīng)典網(wǎng)絡-Vgg

??

VGG網(wǎng)絡架構(gòu)是一種深度卷積神經(jīng)網(wǎng)絡，由牛津大學視覺幾何組（Visual Geometry Group，VGG）開發(fā)。

VGG的網(wǎng)絡架構(gòu)主要由卷積層和全連接層組成，其中卷積層使用的基本上是3x3的小卷積核，通過堆疊多個卷積層和池化層來構(gòu)建深度模型。VGG共有16、19、3、4、5五種不同深度的模型，其中最常用的是VGG16和VGG19。

VGG網(wǎng)絡架構(gòu)的特點是簡單、深度、效果良好，其小卷積核的使用使得網(wǎng)絡更加稀疏，減少了計算量和參數(shù)數(shù)量，同時通過不斷加深網(wǎng)絡來提升性能，從而提高了模型的泛化能力和魯棒性。

VGG網(wǎng)絡架構(gòu)在圖像分類、目標檢測、圖像分割等多個領域都取得了良好的效果，成為深度學習領域的一個經(jīng)典模型。

VGG和AlexNet的區(qū)別：

1. 網(wǎng)絡結(jié)構(gòu)：VGG的網(wǎng)絡結(jié)構(gòu)相對較深，通常有16-19個卷積層和池化層，而AlexNet的網(wǎng)絡結(jié)構(gòu)相對較淺，只有8個卷積層和池化層。

2. 卷積層：VGG的卷積層使用的是3x3的小卷積核，而AlexNet的卷積層使用的是11x11和5x5的大卷積核，這使得AlexNet的卷積層能夠更好地捕捉圖像的局部特征。

3. 池化層：VGG的池化層使用的是2x2的最大池化層，而AlexNet的池化層使用的是3x3的最大池化層，這使得AlexNet的池化層能夠更好地保留圖像的細節(jié)信息。

4. 數(shù)據(jù)增強：VGG使用了一些簡單的數(shù)據(jù)增強技術(shù)，例如隨機翻轉(zhuǎn)、旋轉(zhuǎn)和縮放等，而AlexNet使用了更復雜的數(shù)據(jù)增強技術(shù)，例如隨機裁剪、旋轉(zhuǎn)、色彩擾動等，這使得AlexNet能夠更好地處理圖像數(shù)據(jù)。

5. 正則化：VGG使用了Dropout技術(shù)來避免過擬合，而AlexNet使用了L2正則化技術(shù)來控制模型的復雜度。

6. 激活函數(shù)：VGG使用了ReLU激活函數(shù)，而AlexNet使用了非線性激活函數(shù)，例如ReLU和sigmoid函數(shù)。

總體來說，VGG和AlexNet在結(jié)構(gòu)和設計上都有所不同，但它們都是非常優(yōu)秀的深度卷積神經(jīng)網(wǎng)絡，都在圖像識別領域取得了很高的準確率和泛化能力

經(jīng)典網(wǎng)絡-殘差Resnet

?

?

ResNet（殘差網(wǎng)絡）是由微軟研究院的Kaiming He等四位華人于2015年提出的深度卷積神經(jīng)網(wǎng)絡，它在ILSVRC2015比賽中取得了冠軍，并在ImageNet數(shù)據(jù)集上實現(xiàn)了9.1%的top-5錯誤率。

ResNet的主要思想是在網(wǎng)絡中增加殘差塊（residual block），使得網(wǎng)絡能夠?qū)W習到殘差映射關系，即通過直接學習殘差來訓練神經(jīng)網(wǎng)絡，從而避免網(wǎng)絡過深導致的梯度消失和梯度爆炸問題。

ResNet的特點包括：

1. 網(wǎng)絡結(jié)構(gòu)非常深，通常有18、34、50、101、152等不同深度的殘差塊。

2. 使用批歸一化（Batch Normalization，BN）來加速訓練和提高模型的泛化能力。

3. 使用殘差塊（residual block）來避免梯度消失和梯度爆炸問題。

4. 使用跨層連接（shortcut connection）來將淺層特征與深層特征進行融合。

5. 使用恒等映射（identity mapping）來實現(xiàn)殘差學習。

6. 在ImageNet圖像識別挑戰(zhàn)中獲得了極高的準確率，并成為當時最優(yōu)秀的卷積神經(jīng)網(wǎng)絡之一。

ResNet的貢獻在于其提出了深度卷積神經(jīng)網(wǎng)絡的殘差學習方法和跨層連接方法，解決了網(wǎng)絡過深導致的梯度消失和梯度爆炸問題，并展示了深度卷積神經(jīng)網(wǎng)絡在圖像識別領域的巨大潛力。

上面的都是經(jīng)典的網(wǎng)絡代表，具有很好的參考意義。

9.感受野的作用

感受野的作用如下：

1. 感受野可以減少網(wǎng)絡參數(shù)，增加網(wǎng)絡深度，擴大感受野，從而使得神經(jīng)網(wǎng)絡具有更好的泛化能力和更快的收斂速度。

2. 對于分類任務，感受野的大小要大于等于輸入圖像的大小，以保證網(wǎng)絡能夠捕捉到足夠的圖像特征，從而提高分類的準確率和穩(wěn)定性。

3. 對于目標檢測任務，感受野的大小要適當，不能太小也不能太大。如果感受野太小，目標尺寸很大或很小，模型收斂困難，會嚴重影響檢測性能；如果感受野太大，會導致模型計算量過大，增加計算時間和空間復雜度。

4. 不同層次的特征圖具有不同的感受野大小，這可以使得檢測網(wǎng)絡適應不同尺寸的目標，提高目標檢測的準確率和穩(wěn)定性。

假設輸入大小都是h * w * c，并且都使用c個卷積核（得到c個特征圖），可以來計算其各自所需的參數(shù)：

1個7 * 7卷積核所需參數(shù)：C * (7 * 7 * C) = 49 C^2 加上

3個3 * 3卷積核所需參數(shù)：3 * C * (3 * 3 * C) = 27 C^2 加上3個relu

很明顯，堆疊小的卷積核所需的參數(shù)更少一些，并且卷積過程越多，特征提取也會越細致，加入的非線性變換也隨著增多，還不會增大權(quán)重參數(shù)個數(shù)，這就是VGG網(wǎng)絡的基本出發(fā)點，用小的卷積核來完成體特征提取操作。

?

到了這里，關于深度學習，卷積神經(jīng)網(wǎng)絡的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！