前言

從這篇開始，我們將進(jìn)入YOLO的學(xué)習(xí)。YOLO是目前比較流行的目標(biāo)檢測算法，速度快且結(jié)構(gòu)簡單，其他的目標(biāo)檢測算法如RCNN系列，以后有時間的話再介紹。

本文主要介紹的是YOLOV1，這是由以Joseph Redmon為首的大佬們于2015年提出的一種新的目標(biāo)檢測算法。它與之前的目標(biāo)檢測算法如R-CNN等不同之處在于，R-CNN等目標(biāo)檢測算法是兩階段算法， 步驟為先在圖片上生成候選框，然后利用分類器對這些候選框進(jìn)行逐一的判斷；而YOLOv1是一階段算法，是端到端的算法，它把目標(biāo)檢測問題看作回歸問題，將圖片輸入單一的神經(jīng)網(wǎng)絡(luò)，然后就輸出得到了圖片的物體邊界框，即boundingbox以及分類概率等信息。下面我們就開始學(xué)習(xí)吧。

下面是一些學(xué)習(xí)資料：

論文鏈接：[1506.02640] You Only Look Once: Unified, Real-Time Object Detection (arxiv.org)

項目地址 ：YOLO: Real-Time Object Detection (pjreddie.com)

Github源碼地址：mirrors / alexeyab / darknet · GitCode?

目錄

Abstract—摘要?

一、Introduction—前言?

二、Uni?ed Detection—統(tǒng)一檢測

2.1 Network Design—網(wǎng)絡(luò)設(shè)計

2.2 Training—訓(xùn)練?

2.3 Inference—推論

2.4 Limitations of YOLO—YOLO的局限性?

三、Comparison to Other Detection Systems—與其他目標(biāo)檢測算法的比較

四、Experiments—實驗?

4.1 Comparison to Other RealTime Systems—與其他實時系統(tǒng)的比較

?4.2 VOC 2007 Error Analysis—VOC 2007誤差分析

?4.3 Combining Fast R-CNN and YOLO—Fast R-CNN與YOLO的結(jié)合

4.4 VOC 2012 Results—VOC 2012結(jié)果?

4.5 Generalizability: Person Detection in Artwork—泛化性：圖像中的人物檢測?

五、Real-Time Detection In The Wild—自然環(huán)境下的實時檢測?

六、Conclusion—結(jié)論

Abstract—摘要?

翻譯

我們提出的YOLO是一種新的目標(biāo)檢測方法。以前的目標(biāo)檢測方法通過重新利用分類器來執(zhí)行檢測。與先前的方案不同，我們將目標(biāo)檢測看作回歸問題從空間上定位邊界框（bounding box）并預(yù)測該框的類別概率。我們使用單個神經(jīng)網(wǎng)絡(luò)，在一次評估中直接從完整圖像上預(yù)測邊界框和類別概率。由于整個檢測流程僅用一個網(wǎng)絡(luò)，所以可以直接對檢測性能進(jìn)行端到端的優(yōu)化。

我們的統(tǒng)一架構(gòu)速度極快。我們的基本YOLO模型以45 fps（幀/秒）的速度實時處理圖像。該網(wǎng)絡(luò)的一個較小版本——Fast YOLO，以155 fps這樣驚人的速度運行，同時仍然達(dá)到其他實時檢測器的兩倍。與最先進(jìn)的（state-of-the-art，SOTA）檢測系統(tǒng)相比，YOLO雖然產(chǎn)生了較多的定位誤差，但它幾乎不會發(fā)生把背景預(yù)測為目標(biāo)這樣的假陽性（False Positive）的錯誤。最后，YOLO能學(xué)習(xí)到泛化性很強(qiáng)的目標(biāo)表征。當(dāng)從自然圖像學(xué)到的模型用于其它領(lǐng)域如藝術(shù)畫作時，它的表現(xiàn)都優(yōu)于包括DPM和R-CNN在內(nèi)的其它檢測方法。

精讀

之前的方法（RCNN系列）

（1）通過region proposal產(chǎn)生大量的可能包含待檢測物體的potential bounding box

（2）再用分類器去判斷每個bounding box里是否包含有物體，以及物體所屬類別的probability或者 confidence

（3）最后回歸預(yù)測

YOLO的簡介：

本文將檢測變?yōu)橐粋€regression problem（回歸問題），YOLO 從輸入的圖像，僅僅經(jīng)過一個神經(jīng)網(wǎng)絡(luò)，直接得到一些bounding box以及每個bounding box所屬類別的概率。

因為整個的檢測過程僅僅有一個網(wǎng)絡(luò)，所以它可以直接進(jìn)行end-to-end的優(yōu)化。

end-to-end：?端到端，指的是輸入原始數(shù)據(jù)，輸出的是最后結(jié)果，原來輸入端不是直接的原始數(shù)據(jù)，而是在原始數(shù)據(jù)中提取的特征。通過縮減人工預(yù)處理和后續(xù)處理，盡可能使模型從原始輸入到最終輸出，給模型更多可以根據(jù)數(shù)據(jù)自動調(diào)節(jié)的空間，增加模型的整體契合度。在CV中具體表現(xiàn)是，神經(jīng)網(wǎng)絡(luò)的輸入為原始圖片，神經(jīng)網(wǎng)絡(luò)的輸出為（可以直接控制機(jī)器的）控制指令。

一、Introduction—前言?

翻譯

人們只需瞄一眼圖像，立即知道圖像中的物體是什么，它們在哪里以及它們?nèi)绾蜗嗷プ饔谩Ｈ祟惖囊曈X系統(tǒng)是快速和準(zhǔn)確的，使得我們在無意中就能夠執(zhí)行復(fù)雜的任務(wù)，如駕駛?？焖偾覝?zhǔn)確的目標(biāo)檢測算法可以讓計算機(jī)在沒有專門傳感器的情況下駕駛汽車，使輔助設(shè)備能夠向人類用戶傳達(dá)實時的場景信息，并解鎖通用、響應(yīng)性的機(jī)器人系統(tǒng)的潛能。

目前的檢測系統(tǒng)通過重用分類器來執(zhí)行檢測。為了檢測目標(biāo)，這些系統(tǒng)為該目標(biāo)提供一個分類器，在測試圖像的不同的位置和不同的尺度上對其進(jìn)行評估。像deformable parts models（DPM，可變形部分模型）這樣的系統(tǒng)使用滑動窗口方法，其分類器在整個圖像上均勻間隔的位置上運行[10]。

最近的方法，如R-CNN使用region proposal（區(qū)域候選）策略，首先在圖像中生成潛在的邊界框（bounding box），然后在這些框上運行分類器。在分類之后，執(zhí)行用于細(xì)化邊界框的后處理，消除重復(fù)的檢測，并根據(jù)場景中的其它目標(biāo)為邊界框重新打分[13]。這些復(fù)雜的流程是很慢，很難優(yōu)化的，因為每個獨立的部分都必須單獨進(jìn)行訓(xùn)練。

我們將目標(biāo)檢測看作是一個單一的回歸問題，直接從圖像像素得到邊界框坐標(biāo)和類別概率。使用我們的系統(tǒng)——You Only Look Once（YOLO），便能得到圖像上的物體是什么和物體的具體位置。

YOLO非常簡單（見圖1），它僅用單個卷積網(wǎng)絡(luò)就能同時預(yù)測多個邊界框和它們的類別概率。YOLO在整個圖像上訓(xùn)練，并能直接優(yōu)化檢測性能。與傳統(tǒng)的目標(biāo)檢測方法相比，這種統(tǒng)一的模型下面所列的一些優(yōu)點

第一，YOLO速度非?？?/strong>。由于我們將檢測視為回歸問題，所以我們不需要復(fù)雜的流程。測試時，我們在一張新圖像上簡單的運行我們的神經(jīng)網(wǎng)絡(luò)來預(yù)測檢測結(jié)果。在Titan X GPU上不做批處理的情況下，YOLO的基礎(chǔ)版本以每秒45幀的速度運行，而快速版本運行速度超過150fps。這意味著我們可以在不到25毫秒的延遲內(nèi)實時處理流媒體視頻。此外，YOLO實現(xiàn)了其它實時系統(tǒng)兩倍以上的平均精度。關(guān)于我們的系統(tǒng)在網(wǎng)絡(luò)攝像頭上實時運行的演示，請參閱我們的項目網(wǎng)頁：YOLO: Real-Time Object Detection。

平方和誤差對大框和小框的誤差權(quán)衡是一樣的，而我們的錯誤指標(biāo)(error metric)應(yīng)該要體現(xiàn)出，大框的小偏差的重要性不如小框的小偏差的重要性。為了部分解決這個問題，我們直接預(yù)測邊界框?qū)挾群透叨鹊?strong>平方根，而不是寬度和高度。

YOLO為每個網(wǎng)格單元預(yù)測多個邊界框。在訓(xùn)練時，每個目標(biāo)我們只需要一個邊界框預(yù)測器來負(fù)責(zé)。若某預(yù)測器的預(yù)測值與目標(biāo)的實際值的IOU值最高，則這個預(yù)測器被指定為“負(fù)責(zé)”預(yù)測該目標(biāo)。這導(dǎo)致邊界框預(yù)測器的專業(yè)化。每個預(yù)測器可以更好地預(yù)測特定大小，方向角，或目標(biāo)的類別，從而改善整體召回率(recall)。

在訓(xùn)練期間，我們優(yōu)化以下多部分損失函數(shù)：

?注意，如果目標(biāo)存在于該網(wǎng)格單元中（前面討論的條件類別概率），則損失函數(shù)僅懲罰(penalizes)分類錯誤。如果預(yù)測器“負(fù)責(zé)”實際邊界框（即該網(wǎng)格單元中具有最高IOU的預(yù)測器），則它也僅懲罰邊界框坐標(biāo)錯誤。

我們用Pascal VOC 2007和2012的訓(xùn)練集和驗證數(shù)據(jù)集進(jìn)行了大約 135個epoch 的網(wǎng)絡(luò)訓(xùn)練。因為我們僅在Pascal VOC 2012上進(jìn)行測試，所以我們的訓(xùn)練集里包含了Pascal VOC 2007的測試數(shù)據(jù)。在整個訓(xùn)練過程中，我們使用：batch size=64，momentum=0.9，decay=0.0005。

我們的學(xué)習(xí)率（learning rate）計劃如下：在第一個epoch中，我們將學(xué)習(xí)率從1 0 ? 3 10^{-3}10?3慢慢地提高到?1 0 ? 2 10^{-2}10?2。如果從大的學(xué)習(xí)率開始訓(xùn)練，我們的模型通常會由于不穩(wěn)定的梯度而發(fā)散(diverge)。我們繼續(xù)以?1 0 ? 2 10^{-2}10?2?進(jìn)行75個周期的訓(xùn)練，然后以?1 0 ? 3 10^{-3}10?3?進(jìn)行30個周期的訓(xùn)練，最后以?1 0 ? 4 10^{-4}10?4?進(jìn)行30個周期的訓(xùn)練。

為避免過擬合，我們使用了Dropout和大量的數(shù)據(jù)增強(qiáng)。 在第一個連接層之后的dropout層的丟棄率設(shè)置為0.5，以防止層之間的相互適應(yīng)[18]。 對于數(shù)據(jù)增強(qiáng)(data augmentation)，我們引入高達(dá)20％的原始圖像大小的隨機(jī)縮放和平移(random scaling and translations )。我們還在 HSV 色彩空間中以高達(dá) 1.5 的因子隨機(jī)調(diào)整圖像的曝光度和飽和度。

精讀

預(yù)訓(xùn)練分類網(wǎng)絡(luò)

在 ImageNet 1000數(shù)據(jù)集上預(yù)訓(xùn)練一個分類網(wǎng)絡(luò)，這個網(wǎng)絡(luò)使用Figure3中的前20個卷積層，然后是一個平均池化層和一個全連接層。（此時網(wǎng)絡(luò)輸入是224×224）。

Q：主干結(jié)構(gòu)的輸入要求必須是448x448的固定尺寸，為什么在預(yù)訓(xùn)練階段可以輸入224x224的圖像呢？

主要原因是加入了平均池化層，這樣不論輸入尺寸是多少，在和最后的全連接層連接時都可以保證相同的神經(jīng)元數(shù)目。

??訓(xùn)練檢測網(wǎng)絡(luò)

經(jīng)過上一步的預(yù)訓(xùn)練，就已經(jīng)把主干網(wǎng)絡(luò)的前20個卷積層給訓(xùn)練好了，前20層的參數(shù)已經(jīng)學(xué)到了圖片的特征。接下來的步驟本質(zhì)就是遷移學(xué)習(xí)，在訓(xùn)練好的前20層卷積層后加上4層卷積層和2層全連接層，然后在目標(biāo)檢測的任務(wù)上進(jìn)行遷移學(xué)習(xí)。

在整個網(wǎng)絡(luò)（24+2）的訓(xùn)練過程中，除最后一層采用ReLU函數(shù)外，其他層均采用leaky ReLU激活函數(shù)。leaky ReLU相對于ReLU函數(shù)可以解決在輸入為負(fù)值時的零梯度問題。YOLOv1中采用的leaky ReLU函數(shù)的表達(dá)式為：

NMS非極大值抑制

概念：NMS算法主要解決的是一個目標(biāo)被多次檢測的問題，意義主要在于在一個區(qū)域里交疊的很多框選一個最優(yōu)的。

YOLO中具體操作

?（1）對于上述的98列數(shù)據(jù)，先看某一個類別，也就是只看98列的這一行所有數(shù)據(jù)，先拿出最大值概率的那個框，剩下的每一個都與它做比較，如果兩者的IoU大于某個閾值，則認(rèn)為這倆框重復(fù)識別了同一個物體，就將其中低概率的重置成0。

（2）最大的那個框和其他的框比完之后，再從剩下的框找最大的，繼續(xù)和其他的比，依次類推對所有類別進(jìn)行操作。 注意，這里不能直接選擇最大的，因為有可能圖中有多個該類別的物體，所以IoU如果小于某個閾值，則會被保留。

（3）最后得到一個稀疏矩陣，因為里面有很多地方都被重置成0，拿出來不是0的地方拿出來概率和類別，就得到最后的目標(biāo)檢測結(jié)果了。

注意：?NMS只發(fā)生在預(yù)測階段，訓(xùn)練階段是不能用NMS的，因為在訓(xùn)練階段不管這個框是否用于預(yù)測物體的，他都和損失函數(shù)相關(guān)，不能隨便重置成0。

損失函數(shù)

損失函數(shù)包括：

localization loss -> 坐標(biāo)損失

confidence loss -> 置信度損失

classification loss -> 分類損失

損失函數(shù)詳解：

（1）坐標(biāo)損失

• 第一行：?負(fù)責(zé)檢測物體的框中心點（x, y）定位誤差。
• 第二行：?負(fù)責(zé)檢測物體的框的高寬（w,h)定位誤差，這個根號的作用就是為了修正對大小框一視同仁的缺點，削弱大框的誤差。

Q：為啥加根號？

在上圖中，大框和小框的bounding box和ground truth都是差了一點，但對于實際預(yù)測來講，大框（大目標(biāo)）差的這一點也許沒啥事兒，而小框（小目標(biāo)）差的這一點可能就會導(dǎo)致bounding box的方框和目標(biāo)差了很遠(yuǎn)。而如果還是使用第一項那樣直接算平方和誤差，就相當(dāng)于把大框和小框一視同仁了，這樣顯然不合理。而如果使用開根號處理，就會一定程度上改善這一問題 。

這樣一來，同樣是差一點，小框產(chǎn)生的誤差會更大，即對小框懲罰的更嚴(yán)重。

（2）置信度損失

?

• 第一行：?負(fù)責(zé)檢測物體的那個框的置信度誤差。
• 第二行：?不負(fù)責(zé)檢測物體的那個框的置信度誤差。

（3）分類損失

?負(fù)責(zé)檢測物體的grid cell分類的誤差。

特殊符號的含義：

?

2.3 Inference—推論

翻譯

就像在訓(xùn)練中一樣，預(yù)測測試圖像的檢測只需要一次網(wǎng)絡(luò)評估。在Pascal VOC上，每張圖像上網(wǎng)絡(luò)預(yù)測 98 個邊界框和每個框的類別概率。YOLO在測試時非常快，因為它只需要一次網(wǎng)絡(luò)評估(network evaluation)，這與基于分類器的方法不同。

網(wǎng)格設(shè)計強(qiáng)化了邊界框預(yù)測中的空間多樣性。通常一個目標(biāo)落在哪一個網(wǎng)格單元中是很明顯的，而網(wǎng)絡(luò)只能為每個目標(biāo)預(yù)測一個邊界框。然而，一些大的目標(biāo)或接近多個網(wǎng)格單元的邊界的目標(biāo)能被多個網(wǎng)格單元定位。非極大值抑制(Non-maximal suppression,NMS)可以用來修正這些多重檢測。非最大抑制對于YOLO的性能的影響不像對于R-CNN或DPM那樣重要，但也能增加2?3%的mAP。

精讀

（1）預(yù)測測試圖像的檢測只需要一個網(wǎng)絡(luò)評估。

（2）測試時間快

（3）當(dāng)圖像中的物體較大，或者處于 grid cells 邊界的物體，可能在多個 cells 中被定位出來。

（4）利用NMS去除重復(fù)檢測的物體，使mAP提高，但和RCNN等相比不算大。

2.4 Limitations of YOLO—YOLO的局限性?

翻譯

由于每個格網(wǎng)單元只能預(yù)測兩個框，并且只能有一個類，因此YOLO對邊界框預(yù)測施加了很強(qiáng)的空間約束。這個空間約束限制了我們的模型可以預(yù)測的鄰近目標(biāo)的數(shù)量。我們的模型難以預(yù)測群組中出現(xiàn)的小物體（比如鳥群）。

由于我們的模型學(xué)習(xí)是從數(shù)據(jù)中預(yù)測邊界框，因此它很難泛化到新的、不常見的長寬比或配置的目標(biāo)。我們的模型也使用相對較粗糙的特征來預(yù)測邊界框，因為輸入圖像在我們的架構(gòu)中歷經(jīng)了多個下采樣層(downsampling layers)。

最后，我們的訓(xùn)練基于一個逼近檢測性能的損失函數(shù)，這個損失函數(shù)無差別地處理小邊界框與大邊界框的誤差。大邊界框的小誤差通常是無關(guān)要緊的，但小邊界框的小誤差對IOU的影響要大得多。我們的主要錯誤來自于不正確的定位。

精讀

（1）對于圖片中一些群體性小目標(biāo)檢測效果比較差。因為yolov1網(wǎng)絡(luò)到后面感受野較大，小目標(biāo)的特征無法再后面7×7的grid中體現(xiàn)，針對這一點，yolov2已作了一定的修改，加入前層（感受野較小）的特征進(jìn)行融合。

（2）原始圖片只劃分為7x7的網(wǎng)格，當(dāng)兩個物體靠的很近時（挨在一起且中點都落在同一個格子上的情況），效果比較差。因為yolov1的模型決定了一個grid只能預(yù)測出一個物體，所以就會丟失目標(biāo)，針對這一點，yolov2引入了anchor的概念，一個grid有多少個anchor理論上就可以預(yù)測多少個目標(biāo)。

（3）每個網(wǎng)格只對應(yīng)兩個bounding box，當(dāng)物體的長寬比不常見(也就是訓(xùn)練數(shù)據(jù)集覆蓋不到時)，效果較差。

（4）最終每個網(wǎng)格只對應(yīng)一個類別，容易出現(xiàn)漏檢(物體沒有被識別到)。

三、Comparison to Other Detection Systems—與其他目標(biāo)檢測算法的比較

翻譯

目標(biāo)檢測是計算機(jī)視覺中的核心問題。檢測流程通常是首先從輸入圖像上提取一組魯棒特征（Haar [25]，SIFT [23]，HOG [4]，卷積特征[6]）。然后，分類器[36,21,13,10]或定位器[1,32]被用來識別特征空間中的目標(biāo)。這些分類器或定位器或在整個圖像上或在圖像中的一些子區(qū)域上以滑動窗口的方式運行[35,15,39]。我們將YOLO檢測系統(tǒng)與幾種頂級檢測框架進(jìn)行比較，突出了關(guān)鍵的相似性和差異性。

Deformable parts models?？勺冃尾糠帜Ｐ停―PM）使用滑動窗口方法進(jìn)行目標(biāo)檢測[10]。DPM使用不相交的流程來提取靜態(tài)特征，對區(qū)域進(jìn)行分類，預(yù)測高評分區(qū)域的邊界框等。我們的系統(tǒng)用單個卷積神經(jīng)網(wǎng)絡(luò)替換所有這些不同的部分。網(wǎng)絡(luò)同時進(jìn)行特征提取，邊界框預(yù)測，非極大值抑制和上下文推理。網(wǎng)絡(luò)的特征feature是在在線(in-line)訓(xùn)練出來的而不是靜態(tài)，因此可以根據(jù)特定的檢測任務(wù)進(jìn)行優(yōu)化。我們的統(tǒng)一架構(gòu)比DPM更快，更準(zhǔn)確。

R-CNN。R-CNN及其變體(variants)使用區(qū)域候選而不是滑動窗口來查找圖像中的目標(biāo)。選擇性搜索[35]生成潛在的邊界框(Selective Search generates potential bounding boxes)，卷積網(wǎng)絡(luò)提取特征，SVM對框進(jìn)行評分，線性模型調(diào)整邊界框，非最大抑制消除重復(fù)檢測(eliminates duplicate detections)。 這個復(fù)雜流水線的每個階段都必須獨立地進(jìn)行精確調(diào)整(precisely tuned independently)，所得到的系統(tǒng)非常緩慢，在測試時間每個圖像需要超過40秒[14]。

YOLO與R-CNN有一些相似之處。每個網(wǎng)格單元提出潛在的邊界框并使用卷積特征對這些框進(jìn)行評分。然而，我們的系統(tǒng)對網(wǎng)格單元的候選框施加空間限制，這有助于緩解對同一目標(biāo)的多次檢測的問題。 我們的系統(tǒng)還生成了更少的邊界框，每張圖像只有98個，而選擇性搜索則有約2000個。最后，我們的系統(tǒng)將這些單獨的組件(individual components)組合成一個單一的、共同優(yōu)化的模型。

其它快速檢測器。 Fast R-CNN 和 Faster R-CNN 通過共享計算和使用神經(jīng)網(wǎng)絡(luò)替代選擇性搜索[14]，[28]來提出候選區(qū)域來加速 R-CNN 框架。雖然它們提供了比 R-CNN 更快的速度和更高的準(zhǔn)確度，但仍然不能達(dá)到實時性能。

許多研究工作集中在加快DPM流程上[31] [38] [5]。它們加速HOG計算，使用級聯(lián)(cascades)，并將計算推動到（多個）GPU上。但是，實際上只有30Hz的DPM [31]可以實時運行。

YOLO并沒有試圖優(yōu)化大型檢測流程的單個組件，相反，而是完全拋棄(throws out…entirely)了大型檢測流程，并通過設(shè)計來提高速度。

像人臉或行人等單個類別的檢測器可以高度優(yōu)化，因為他們只需處理較少的多樣性[37]。YOLO是一種通用的檢測器，它可以同時(simultaneously)檢測多個目標(biāo)。

Deep MultiBox。與R-CNN不同，Szegedy等人 訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測感興趣的區(qū)域(regions of interest,ROI)[8]，而不是使用選擇性搜索。 MultiBox還可以通過用單個類別預(yù)測替換置信度預(yù)測來執(zhí)行單個目標(biāo)檢測。 但是，MultiBox無法執(zhí)行一般的目標(biāo)檢測，并且仍然只是較大檢測流水線中的一部分，需要進(jìn)一步的圖像補(bǔ)丁分類。 YOLO和MultiBox都使用卷積網(wǎng)絡(luò)來預(yù)測圖像中的邊界框，但YOLO是一個完整的檢測系統(tǒng)。

OverFeat。Sermanet等人訓(xùn)練了一個卷積神經(jīng)網(wǎng)絡(luò)來執(zhí)行定位，并使該定位器進(jìn)行檢測[32]。OverFeat高效地執(zhí)行滑動窗口檢測，但它仍然是一個不相交的系統(tǒng)(disjoint system)。OverFeat優(yōu)化了定位功能，而不是檢測性能。像DPM一樣，定位器在進(jìn)行預(yù)測時只能看到局部信息。OverFeat無法推斷全局上下文，因此需要大量的后處理來產(chǎn)生連貫的檢測。

MultiGrasp。我們的系統(tǒng)在設(shè)計上類似于Redmon等[27]的抓取檢測。?我們的網(wǎng)格邊界框預(yù)測方法基于MultiGrasp系統(tǒng)進(jìn)行回歸分析。 然而，抓取檢測比物體檢測要簡單得多。 MultiGrasp只需要為包含一個目標(biāo)的圖像預(yù)測一個可抓取區(qū)域。 它不必估計目標(biāo)的大小，位置或邊界或預(yù)測它的類別，只需找到適合抓取的區(qū)域就可以了。 而YOLO則是預(yù)測圖像中多個類的多個目標(biāo)的邊界框和類概率。

精讀

DPM

用傳統(tǒng)的HOG特征方法，也用的是傳統(tǒng)的支持向量機(jī)SVM分類器，然后人工造一個模板，再用滑動窗口方法不斷的暴力搜索整個待識別圖，去套那個模板。這個方法比較大的問題就是在于設(shè)計模板，計算量巨大，而且是個靜態(tài)的，沒辦法匹配很多變化的東西，魯棒性差。

R-CNN

• 第一階段：每個圖片使用選擇性搜索SS方法提取2000個候選框。
• 第二階段：將每個候選框送入CNN網(wǎng)絡(luò)進(jìn)行分類(使用的SVM)。

YOLO對比他們倆都很強(qiáng)，YOLO和R-CNN也有相似的地方，比如也是提取候選框，YOLO的候選框就是上面說過的那98個 bounding boxes，也是用到了NMS非極大值抑制，也用到了CNN提取特征。

Other Fast Detectors

Fast和Faster R-CNN ：這倆模型都是基于R-CNN的改版，速度和精度都提升了很多，但是也沒辦法做到實時監(jiān)測，也就是說FPS到不了30，作者在這里并沒有談準(zhǔn)確度的問題，實際上YOLO的準(zhǔn)確度在這里是不占優(yōu)勢的，甚至于比他們低。

Deep MultiBox

訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)來預(yù)測感興趣區(qū)域，而不是使用選擇性搜索。多盒也可以用單個類預(yù)測替換置信預(yù)測來執(zhí)行單個目標(biāo)檢測。YOLO和MultiBox都使用卷積網(wǎng)絡(luò)來預(yù)測圖像中的邊界框，但YOLO是一個完整的檢測系統(tǒng)。

OverFeat

OverFeat有效地執(zhí)行滑動窗口檢測，優(yōu)化了定位，而不是檢測性能。與DPM一樣，定位器在進(jìn)行預(yù)測時只看到本地信息。OverFeat不能推理全局環(huán)境。

MultiGrasp

YOLO在設(shè)計上與Redmon等人的抓取檢測工作相似。邊界盒預(yù)測的網(wǎng)格方法是基于多重抓取系統(tǒng)的回歸到抓取。

總之，作者就是給前人的工作都數(shù)落一遍，凸顯自己模型的厲害（學(xué)到了?。?/p>

四、Experiments—實驗?

4.1 Comparison to Other RealTime Systems—與其他實時系統(tǒng)的比較

翻譯

目標(biāo)檢測方面的許多研究工作都集中在使標(biāo)準(zhǔn)的檢測流程更快[5]，[38]，[31]，[14]，[17]，[28]。然而，只有Sadeghi等人實際上產(chǎn)生了一個實時運行的檢測系統(tǒng)（每秒30幀或更好）[31]。我們將YOLO與DPM的GPU實現(xiàn)進(jìn)行了比較，其在30Hz或100Hz下運行。雖然其它的算法沒有達(dá)到實時性的標(biāo)準(zhǔn)，我們也比較了它們的mAP和速度的關(guān)系，從而探討目標(biāo)檢測系統(tǒng)中精度和性能之間的權(quán)衡。

Fast YOLO是PASCAL上最快的目標(biāo)檢測方法；據(jù)我們所知，它是現(xiàn)有的最快的目標(biāo)檢測器。具有52.7%的mAP，實時檢測的精度是以前的方法的兩倍以上。普通版YOLO將mAP推到63.4%的同時保持了實時性能。

我們還使用VGG-16訓(xùn)練YOLO。 這個模型比普通版YOLO更精確，但也更慢。 它的作用是與依賴于VGG-16的其他檢測系統(tǒng)進(jìn)行比較，但由于它比實時更慢，所以本文的其他部分將重點放在我們更快的模型上。

最快的DPM可以在不犧牲太多mAP的情況下有效加速DPM，但仍然會將實時性能降低2倍[38]。與神經(jīng)網(wǎng)絡(luò)方法相比，DPM的檢測精度相對較低，這也是限制它的原因。

減去R的R-CNN用靜態(tài)侯選邊界框取代選擇性搜索[20]。雖然速度比R-CNN更快，但它仍然無法實時，并且由于該方法無法找到好的邊界框，準(zhǔn)確性受到了嚴(yán)重影響。

Fast R-CNN加快了R-CNN的分類階段，但它仍然依賴于選擇性搜索，每個圖像需要大約2秒才能生成邊界候選框。因此，它雖然具有較高的mAP，但的速度是0.5 fps，仍然遠(yuǎn)未達(dá)到實時。

最近的Faster R-CNN用神經(jīng)網(wǎng)絡(luò)替代了選擇性搜索來候選邊界框，類似于Szegedy等人[8]的方法。在我們的測試中，他們最準(zhǔn)確的模型達(dá)到了 7fps，而較小的、不太準(zhǔn)確的模型以18 fps運行。 Faster R-CNN的VGG-16版本比YOLO高出10mAP，但比YOLO慢了6倍。 Zeiler-Fergus 版本的Faster R-CNN只比YOLO慢2.5倍，但也不如YOLO準(zhǔn)確。

精讀

Table 1 在Pascal VOC 2007 上與其他檢測方法的對比

結(jié)論：實時目標(biāo)檢測（FPS>30），YOLO最準(zhǔn)，F(xiàn)ast YOLO最快。?

4.2 VOC 2007 Error Analysis—VOC 2007誤差分析

翻譯

為了進(jìn)一步研究YOLO和最先進(jìn)的檢測器之間的差異，我們詳細(xì)分析了VOC 2007的分類(breakdown)結(jié)果。我們將YOLO與Fast R-CNN進(jìn)行比較，因為Fast R-CNN是PASCAL上性能最高的檢測器之一并且它的檢測代碼是可公開得到的。

我們使用Hoiem等人的方法和工具[19]，對于測試的每個類別，我們查看該類別的前N個預(yù)測。每個預(yù)測都或是正確的，或是根據(jù)錯誤的類型進(jìn)行分類：

• Correct: correct class and IOU>0.5
• Localization: correct class, 0.1<IOU<0.5
• Similar: class is similar, IOU>0.1
• Other: class is wrong, IOU>0.1
• Background: IOU<0.1?for any object（所有目標(biāo)的IOU都<0.1）

YOLO難以正確地定位目標(biāo)，因此定位錯誤比YOLO的所有其他錯誤總和都要多。Fast R-CNN定位錯誤更少，但把背景誤認(rèn)成目標(biāo)的錯誤比較多。它的最高檢測結(jié)果中有13.6％是不包含任何目標(biāo)的誤報(false positive，背景)。 Fast R-CNN把背景誤認(rèn)成目標(biāo)的概率比YOLO高出3倍。?

精讀

本文使用HoeMm等人的方法和工具。對于測試時間的每個類別，查看該類別的N個預(yù)測。每個預(yù)測要么是正確的，要么是基于錯誤類型進(jìn)行分類的：

參數(shù)含義：

• Correct：正確分類，且預(yù)測框與ground truth的IOU大于0.5，既預(yù)測對了類別，預(yù)測框的位置和大小也很合適。?
• Localization：正確分類，但預(yù)測框與ground truth的IOU大于0.1小于0.5，即雖然預(yù)測對了類別，但預(yù)測框的位置不是那么的嚴(yán)絲合縫，不過也可以接受。
• Similar： 預(yù)測了相近的類別，且預(yù)測框與ground truth的IOU大于0.1。即預(yù)測的類別雖不正確但相近，預(yù)測框的位置還可以接受。
• Other：預(yù)測類別錯誤，預(yù)測框與ground truth的IOU大于0.1。即預(yù)測的類別不正確，但預(yù)測框還勉強(qiáng)把目標(biāo)給框住了。
• Background：預(yù)測框與ground truth的IOU小于0.1，即該預(yù)測框的位置為背景，沒有目標(biāo)。

Figure 4 顯示了所有20個類中每種錯誤類型的平均細(xì)分情況?

結(jié)論：YOLO定位錯誤率高于Fast R-CNN；Fast R-CNN背景預(yù)測錯誤率高于YOLO?

4.3 Combining Fast R-CNN and YOLO—Fast R-CNN與YOLO的結(jié)合

翻譯

YOLO誤認(rèn)背景為目標(biāo)的情況比Fast R-CNN少得多。 通過使用YOLO消除Fast R-CNN的背景檢測，我們獲得了顯著的性能提升。 對于R-CNN預(yù)測的每個邊界框，我們檢查YOLO是否預(yù)測了一個相似的框。 如果確實如此，那么我們會根據(jù)YOLO預(yù)測的概率和兩個框之間的重疊情況提高預(yù)測值。

最好的Fast R-CNN模型在VOC 2007測試集中達(dá)到了 71.8％ 的mAP。 當(dāng)與YOLO合并時，其mAP增加了 3.2％ 至 75.0％。 我們還嘗試將頂級Fast R-CNN模型與其他幾個版本的Fast R-CNN結(jié)合起來。 這寫的結(jié)合的平均增長率在 0.3％ 至 0.6％ 之間。

結(jié)合YOLO后獲得的性能提高不僅僅是模型集成的副產(chǎn)品，因為結(jié)合不同版本的Fast R-CNN幾乎沒有什么益處。 相反，正是因為YOLO在測試時出現(xiàn)了各種各樣的錯誤，所以它在提高Fast R-CNN的性能方面非常有效。

不幸的是，這種組合不會從YOLO的速度中受益，因為我們分別運行每個模型，然后合并結(jié)果。 但是，由于YOLO速度如此之快，與Fast R-CNN相比，它不會增加任何顯著的計算時間。

精讀

Table2 模型組合在VOC 2007上的實驗結(jié)果對比

結(jié)論：因為YOLO在測試時犯了各種錯誤，所以它在提高快速R-CNN的性能方面非常有效。但是這種組合并不受益于YOLO的速度，由于YOLO很快，和Fast R-CNN相比，它不增加任何有意義的計算時間。

4.4 VOC 2012 Results—VOC 2012結(jié)果?

翻譯

在VOC 2012測試集中，YOLO的mAp得分是57.9％。這比現(xiàn)有最先進(jìn)的技術(shù)水平低，更接近使用VGG-16的原始的R-CNN，見表3。與其最接近的競爭對手相比，我們的系統(tǒng)很難處理小物體上(struggles with small objects)。在瓶子、羊、電視/監(jiān)視器等類別上，YOLO得分比R-CNN和Feature Edit低8-10％。然而，在其他類別，如貓和火車YOLO取得了更好的表現(xiàn)。

我們的Fast R-CNN + YOLO模型組合是性能最高的檢測方法之一。 Fast R-CNN與YOLO的組合提高了2.3％，在公共排行榜上提升了5個位置。

精讀

Table 3 在VOC2012上mAP排序

?結(jié)論：Fast R-CNN從與YOLO的組合中得到2.3%的改進(jìn)，在公共排行榜上提升了5個百分點。?

4.5 Generalizability: Person Detection in Artwork—泛化性：圖像中的人物檢測?

翻譯

用于目標(biāo)檢測的學(xué)術(shù)數(shù)據(jù)集的訓(xùn)練和測試數(shù)據(jù)是服從同一分布的。但在現(xiàn)實世界的應(yīng)用中，很難預(yù)測所有可能的用例，他的測試數(shù)據(jù)可能與系統(tǒng)已經(jīng)看到的不同[3]。我們將YOLO與其他檢測系統(tǒng)在畢加索(Picasso)數(shù)據(jù)集[12]和人物藝術(shù)(People-Art)數(shù)據(jù)集[3]上進(jìn)行了比較，這兩個數(shù)據(jù)集用于測試藝術(shù)品上的人物檢測。

作為參考(for reference)，我們提供了VOC 2007的人形檢測的AP，其中所有模型僅在VOC 2007數(shù)據(jù)上訓(xùn)練。在Picasso數(shù)據(jù)集上測試的模型在是在VOC 2012上訓(xùn)練，而People-Art數(shù)據(jù)集上的模型則在VOC 2010上訓(xùn)練。

R-CNN在VOC 2007上有很高的AP值。然而，當(dāng)應(yīng)用于藝術(shù)圖像時，R-CNN顯著下降。R-CNN使用選擇性搜索來調(diào)整自然圖像的候選邊界框。R-CNN在分類器階段只能看到小區(qū)域，而且需要有很好的候選框。

DPM在應(yīng)用于藝術(shù)圖像時可以很好地保持其AP。之前的研究認(rèn)為DPM表現(xiàn)良好，因為它具有強(qiáng)大的物體形狀和布局空間模型。雖然DPM不會像R-CNN那樣退化，但它的AP本來就很低。

YOLO在VOC 2007上表現(xiàn)出色，其應(yīng)用于藝術(shù)圖像時其AP降低程度低于其他方法。與DPM一樣，YOLO模擬目標(biāo)的大小和形狀，以及目標(biāo)之間的關(guān)系和目標(biāo)通常出現(xiàn)的位置之間的關(guān)系。藝術(shù)圖像和自然圖像在像素級別上有很大不同，但它們在物體的大小和形狀方面相似，因此YOLO仍然可以預(yù)測好的邊界框和檢測結(jié)果。

精讀

Figure 5 通用性（Picasso 數(shù)據(jù)集和 People-Art數(shù)據(jù)集）?

結(jié)論：YOLO都具有很好的檢測結(jié)果

五、Real-Time Detection In The Wild—自然環(huán)境下的實時檢測?

?翻譯

YOLO是一款快速，精確的物體檢測器，非常適合計算機(jī)視覺應(yīng)用。 我們將YOLO連接到網(wǎng)絡(luò)攝像頭，并驗證它是否保持實時性能，包括從攝像頭獲取圖像并顯示檢測結(jié)果的時間。

由此產(chǎn)生的系統(tǒng)是互動的和參與的。 雖然YOLO單獨處理圖像，但當(dāng)連接到網(wǎng)絡(luò)攝像頭時，它的功能類似于跟蹤系統(tǒng)，可在目標(biāo)移動并在外觀上發(fā)生變化時檢測目標(biāo)。 系統(tǒng)演示和源代碼可在我們的項目網(wǎng)站上找到：YOLO: Real-Time Object Detection。

精讀

?結(jié)論：將YOLO連接到一個網(wǎng)絡(luò)攝像頭上，并驗證它是否保持了實時性能，包括從攝像頭中獲取圖像和顯示檢測結(jié)果的時間。結(jié)果證明效果很好，如上圖所示，除了第二行第二個將人誤判為飛機(jī)以外，別的沒問題。

六、Conclusion—結(jié)論

翻譯

我們介紹YOLO——一種用于物體檢測的統(tǒng)一模型。 我們的模型構(gòu)造簡單，可以直接在完整圖像上訓(xùn)練。 與基于分類器的方法不同，YOLO是通過與檢測性能直接對應(yīng)的損失函數(shù)進(jìn)行訓(xùn)練的，并且整個模型是一起訓(xùn)練的。

快速YOLO是文獻(xiàn)中最快的通用目標(biāo)檢測器，YOLO推動實時對象檢測的最新技術(shù)。 YOLO還能很好地推廣到新領(lǐng)域，使其成為快速，魯棒性強(qiáng)的應(yīng)用的理想選擇。

精讀

?到底什么是YOLO？

• YOLO眼里目標(biāo)檢測是一個回歸問題
• 一次性喂入圖片，然后給出bbox和分類概率
• 簡單來說，只看一次就知道圖中物體的類別和位置

YOLO過程總結(jié)：

訓(xùn)練階段:

首先將一張圖像分成 S × S個 gird cell，然后將它一股腦送入CNN，生成S × S × (B × 5 + C）個結(jié)果，最后根據(jù)結(jié)果求Loss并反向傳播梯度下降。

預(yù)測、驗證階段：

首先將一張圖像分成 S × S網(wǎng)格(gird cell)，然后將它一股腦送入CNN，生成S × S × (B × 5 + C）個結(jié)果，最后用NMS選出合適的預(yù)選框。

本篇到這就結(jié)束了，我們YOLOv2見~?文章來源地址http://www.zghlxwxcb.cn/news/detail-441277.html

到了這里，關(guān)于【YOLO系列】YOLOv1論文超詳細(xì)解讀（翻譯 ＋學(xué)習(xí)筆記）的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！