Title: SLICING AIDED HYPER INFERENCE AND FINE-TUNING FOR SMALL OBJECT DETECTION

Abstract: Detection of small objects and objects far away in the scene is a major challenge in surveillance applications. Such objects are represented by small number of pixels in the image and lack sufficient details, making them difficult to detect using conventional detectors. In this work, an open-source framework called Slicing Aided Hyper Inference (SAHI) is proposed that provides a generic slicing aided inference and finetuning pipeline for small object detection. The proposed technique is generic in the sense that it can be applied on top of any available object detector without any fine-tuning. Experimental evaluations, using object detection baselines on the Visdrone and xView aerial object detection datasets show that the proposed inference method can increase object detection AP by 6.8%, 5.1% and 5.3% for FCOS, VFNet and TOOD detectors, respectively. Moreover, the detection accuracy can be further increased with a slicing aided fine-tuning, resulting in a cumulative increase of 12.7%, 13.4% and 14.5% AP in the same order. Proposed technique has been integrated with Detectron2, MMDetection and YOLOv5 models and it is publicly available at ?https://github.com/obss/sahi.git

Keywords: small object detection; sliced inference; windowed inference; Visdrone; xView

題目：切片輔助超推理(SAHI)與微調(diào)在小目標檢測中的應用

摘要：對場景中的小物體和遠處物體的檢測是監(jiān)控應用中的一個主要挑戰(zhàn)。這樣的物體由圖像中的少量像素表示，并且缺乏足夠的細節(jié)，使得使用傳統(tǒng)檢測器很難檢測到它們。在這項工作中，提出了一個名為切片輔助超推理（SAHI）的開源框架，為小對象檢測提供了一個通用的切片輔助推理和微調(diào)通道。所提出的技術是通用的，因為它可以在沒有任何微調(diào)的情況下應用于任何可用的物體檢測器之上。在Visdrone和xView航空物體檢測數(shù)據(jù)集上使用物體檢測參照物進行的實驗評估表明，所提出的推理方法可使FCOS、VFNet和TOOD檢測器的物體檢測AP分別提高6.8%、5.1%和5.3%。此外，通過切片輔助微調(diào)，可以進一步提高檢測精度，使AP按相同順序累計增加12.7%、13.4%和14.5%。所提出的技術已與Detectron2, MMDetection和YOLOv5模型集成, 并可公開使用: https://github.com/obss/sahi.git

關鍵詞：小物體檢測; 切片推理; 窗口推理; Visdrone; xView

1.引言

近年來，物體檢測已被廣泛研究用于不同的應用，包括人臉檢測、視頻物體檢測、視頻監(jiān)控、自動駕駛汽車。在該領域，深度學習架構(gòu)的采用產(chǎn)生了高度準確的方法，如Faster R-CNN[1]、RetinaNet[2]，這些方法被進一步發(fā)展為Cascade R-CNN[3]、VarifocalNet[4]和變體。所有這些最近的檢測器都是在眾所周知的數(shù)據(jù)集上訓練和評估的，如ImageNet[5]、Pascal VOC12[6]、MS COCO[7]。這些數(shù)據(jù)集大多涉及低分辨率圖像（640×480），包括具有大像素覆蓋率的相當大的物體（平均覆蓋圖像高度的60%）。雖然經(jīng)過訓練的模型對這些類型的輸入數(shù)據(jù)具有成功的檢測性能，但在高端無人機和監(jiān)控攝像頭生成的高分辨率圖像中，它們在小物體檢測任務中的精度要低得多。無人機、4K相機和深度學習研究的最新進展使遠程物體檢測能夠滿足檢測、觀測、識別和識別（DORI）標準[8]。DORI標準定義了不同任務中對象的最小像素高度：檢測需要10%的圖像高度，識別對象需要20%的圖像高度（全高清視頻中為108像素）。相對較小的像素覆蓋范圍突破了基于CNN的目標檢測方法的極限，此外，高分辨率圖像在內(nèi)存需求方面需要更大的需求。

在本文中，我們提出了一種基于切片輔助推理和微調(diào)的通用解決方案，用于高分辨率圖像上的小目標檢測，同時保持較高的內(nèi)存利用率。圖1說明了Visdrone測試集樣本圖像上小物體檢測的改進。

2.相關工作

最近的基于學習的對象檢測技術可以分為兩種主要類型。單階段檢測器，如SSD[9]、YOLO[10]、RetinaNet[2]，在沒有明確提議階段的情況下直接預測對象的位置。兩種基于區(qū)域建議的方法，如Fast R-CNN[11]、Faster R-CNN[1]、Cascade R-CNN[3]，涉及初始區(qū)域建議階段。然后對這些建議進行細化，以確定對象的位置和大小。通常，單階段方法比兩階段方法更快，而后者具有更高的準確性。

最近，無錨框檢測器開始引起人們的注意。他們不使用錨點框，而是將特征金字塔[12]上的每個點劃分為前景或背景，并直接預測前景點到地面實況邊界框四邊的距離，從而產(chǎn)生檢測結(jié)果。FCOS[13]是第一個消除了對預定義錨框集的需求并帶來計算需求的對象檢測器。VarifocalNet（VFNet）[4]學習預測IoU感知分類分數(shù)，該分數(shù)將對象存在置信度和定位精度混合在一起作為邊界框的檢測分數(shù)。該學習由基于新型星形邊界框特征表示的Varifocal Loss (VFL)進行監(jiān)督。TOOD[14]利用新穎的任務對齊頭（task-aligned head），以基于學習的方式明確對齊兩個任務（對象分類和定位），通過設計的樣本分配方案和任務對齊損失，在學習任務交互特征和特定任務特征與任務對齊學習之間實現(xiàn)了更好的平衡。

為一般物體檢測設計的算法在包含小而密集物體的高分辨率圖像上表現(xiàn)不佳，導致了小物體檢測的特定方法。在[15]中，使用基于粒子群優(yōu)化（PSO）和細菌覓食優(yōu)化（BFO）的學習策略（PBLS）來優(yōu)化分類器和損失函數(shù)。然而，對原始模型的這些重大修改阻止了對預訓練權(quán)重的微調(diào)，并需要從頭開始訓練。此外，由于不尋常的優(yōu)化步驟，它們很難適應當前的檢測器。[16]中提出的方法對具有小對象的圖像進行過采樣，并通過制作多個小對象的副本來增強它們。然而，這種增強需要分割注釋，因此，它與對象檢測數(shù)據(jù)集不兼容。[17]中的方法可以從放大的區(qū)域中學習小物體的更豐富的特征，這些區(qū)域是從原始圖像中截取的。額外的特征對檢測性能有積極貢獻，但要放大的區(qū)域的選擇帶來了計算負擔。在[18]中，提出了一種用于小對象檢測的全卷積網(wǎng)絡，該網(wǎng)絡包含一種早期視覺注意機制，該機制用于選擇具有小對象及其上下文的最有前途的區(qū)域。在[19]中，提出了一種基于切片的技術，但該實現(xiàn)不是通用的，僅適用于特定的對象檢測器。在[20]中，提出了一種用于小規(guī)模行人檢測的新型網(wǎng)絡（稱為JCS-Net），該網(wǎng)絡將分類任務和超分辨率任務集成在一個統(tǒng)一的框架中。[21]提出了一種通過采用生成對抗性網(wǎng)絡（GAN）從模糊的小人臉直接生成清晰的高分辨率人臉的算法。然而，由于這些技術提出了新的檢測器體系結(jié)構(gòu)，它們需要用大型數(shù)據(jù)集從頭開始進行預訓練，這是昂貴的。

與上述技術相比，我們提出了一種通用的切片輔助微調(diào)和推理流水線，可以在任何現(xiàn)有的對象檢測器之上使用。這樣，任何當前可用的對象檢測器的小對象檢測性能都可以在沒有任何微調(diào)的情況下得到提高（通過切片輔助推理）。此外，可以通過微調(diào)預訓練的模型來獲得額外的性能提升。

3.擬議方法

為了解決小對象檢測問題，我們在微調(diào)和推理階段提出了一個基于切片的通用框架。將輸入圖像劃分為重疊的塊導致小對象相對于饋送到網(wǎng)絡中的圖像的相對較大的像素區(qū)域。

圖2：切片輔助微調(diào)（頂部）和切片輔助超推理（底部）方法。在微調(diào)中，通過從圖像中提取補丁并將其調(diào)整為更大的大小來增強數(shù)據(jù)集。在推理過程中，圖像被劃分為較小的補丁，并且預測是從這些補丁的較大的調(diào)整大小的版本中生成的。然后，這些預測在NMS之后被轉(zhuǎn)換回原始圖像坐標?？蛇x地，還可以添加來自完全推斷的預測。

?????? 切片輔助微調(diào)(Slicing Aided Fine-tuning, SF): Detectron2[22], MMDetection [23]和YOLOv5[24]等廣泛使用的對象檢測框架在ImageNet[5]和MS COCO[7]等數(shù)據(jù)集上提供預訓練的權(quán)重。這使我們能夠使用較小的數(shù)據(jù)集和較短的訓練跨度來微調(diào)模型，而不是使用大型數(shù)據(jù)集從頭開始訓練。這些常見的數(shù)據(jù)集大多涉及低分辨率圖像（640×480），這些圖像具有相當大的對象和大的像素覆蓋范圍（平均覆蓋圖像高度的60%）。使用這些數(shù)據(jù)集預訓練的模型為類似的輸入提供了非常成功的檢測性能。另一方面，在高端無人機和監(jiān)控攝像機生成的高分辨率圖像中，它們對小物體檢測任務的準確性明顯較低。

?????? 為了克服這個問題，我們通過從圖像中提取圖像塊來擴充數(shù)據(jù)集，對數(shù)據(jù)集進行微調(diào)，如圖2所示。每個圖像I1F , I2F , ……, IjF 被切成規(guī)定范圍為[Mmin, Mmax] 和[Nmin, Nmax] 的超參數(shù)M和N尺寸的重疊圖像塊P1F , P2F , ……, PkF ，然后在微調(diào)期間，通過保持縱橫比來調(diào)整圖像塊的大小，使得圖像寬度在800到1333像素之間，以獲得增強圖像I1' , I2' , ……, Ik' ，從而相對對象尺寸與原始圖像相比更大。連同原始圖像I1F , I2F , ……, IjF (以便于檢測大型物體)，I1' , I2' , ……, Ik' 這些圖像一起在微調(diào)期間使用，必須注意的是，隨著切片圖像尺寸的減小，較大的物體可能不適配切片和相交區(qū)域，這可能導致較大物體的檢測性能較差。

?????? 切片輔助超推理（Slicing Aided Hyper Inference，SAHI）：在推理步驟中也使用切片方法，如圖2所示。首先，將原始需求圖像I 切片成l 個尺寸為M×N 的重疊切片P1I , P2I , ……, PlI . 然后，調(diào)整每個切片圖像的大小，同時保持縱橫比。之后，將對象檢測前向通過獨立地應用于每個重疊補丁?？梢詰檬褂迷紙D像的可選完全推斷（full-inference，F(xiàn)I）來檢測較大的物體。最后，使用NMS將重疊的預測結(jié)果和（如果使用的話）FI結(jié)果合并回原始大小。在NMS期間，具有比預定義匹配閾值Tm 更高的交并比（IoU）的框被匹配，并且對于每個匹配，具有比Td 更低的檢測概率的檢測被去除。

4.結(jié)果

所提出的方法已使用MMDetection[23]框架集成到FCOS[13]、V arifocalNet[4]和TOOD[14]對象檢測器中進行實驗評估。相關配置文件、轉(zhuǎn)換和評估腳本、評估結(jié)果文件已公開提供(GitHub - fcakyon/small-object-detection-benchmark: icip2022 paper: sahi benchmark on visdrone and xview datasets using fcos, vfnet and tood detectors)。所有與切片相關的操作也已公開，以實現(xiàn)與其他對象檢測框架的集成(GitHub - obss/sahi: Framework agnostic sliced/tiled inference + interactive ui + error analysis plots)。VisDrone2019 Detection[25]是一個物體檢測數(shù)據(jù)集，由無人機平臺在不同位置和不同高度捕獲8599張圖像。該數(shù)據(jù)集中的大多數(shù)對象都很小，分布密集，并且部分被遮擋。在不同的場景中也有照明和視角的變化。超過540k個目標的邊界框被注釋為十個預定義的類別：行人、人、自行車、汽車、面包車、卡車、三輪車、遮陽篷三輪車、公共汽車、汽車。超級類別被定義為行人、汽車、汽車和卡車。訓練子集和驗證子集分別由6471幅和548幅圖像組成，這些圖像采集于不同地點，但環(huán)境相似。

xView[26]是從衛(wèi)星圖像中進行物體檢測的最大的公開可用數(shù)據(jù)集之一。它包含來自世界各地復雜場景的圖像，并使用邊界框進行注釋。它包含來自60個不同類的超過1M個對象實例。在實驗過程中，隨機選擇的75%和25%的分裂分別用作訓練集和驗證集。

這兩個數(shù)據(jù)集都包含小對象（對象寬度<圖像寬度的1%）。

在實驗過程中，使用了學習率為0.01、動量為0.9、權(quán)重衰減為0.0001和線性預熱為500次迭代的SGD優(yōu)化器。學習率調(diào)整是在第16和第22個時期以指數(shù)衰減的方式完成的。對于切片輔助微調(diào)，通過對圖像和注釋進行切片，然后使用這些切片圖像來增強Visdrone和xView訓練集。對于Visdrone和xView數(shù)據(jù)集，每個切片的大小被隨機選擇為寬度和高度分別在480到640和300到500的范圍內(nèi)。輸入圖像的大小被調(diào)整為具有800到1333的寬度（通過保持長寬比）。在推斷期間，NMS匹配閾值Tm被設置為0.5。

?????? 已采用MS COCO[7]評估方案進行評估，包括總體和規(guī)模方面的AP50 得分。具體地，在所有類別上以單個IoU閾值0.5計算AP50 ，并且最大檢測次數(shù)被設置為500。在表1和2中，以原始圖像的常規(guī)推斷FI（完全推斷）作為基準。SF（Slicing Aided Fine tuning，切片輔助微調(diào)）是在表1和表2中切片尺寸大小分別在480到640和300到500范圍內(nèi)的增強數(shù)據(jù)集上進行微調(diào)的模型。SAHI（切片輔助超推理）是指在表1和表2中分別使用大小為640×640 和400×400 的切片進行推理。PO（Patch Overlap，切片重疊）是指在切片推理過程中，切片圖像之間有25%的重疊。從表1中可以看出，SAHI將目標檢測AP分別提高了6.8%、5.1%和5.3%。SF可以進一步提高檢測精度，導致FCOS、VFNet和TOOD檢測器的AP分別累積增加12.7%、13.4%和14.5%。在推理過程中，在切片之間應用25%的重疊，增加了小/中對象AP和整體AP，但略微減少了大對象AP。增加是由從切片預測的額外小對象真陽性引起的，而減少是由從匹配大的人工標注框的切片預測的假陽性引起的。

?????? 最佳小物體檢測AP由SF和SI實現(xiàn)，而最佳大物體檢測AP則由SF和FI實現(xiàn)，證實了FI對大物體檢測的貢獻。xView數(shù)據(jù)集的結(jié)果如表2所示。由于xView目標非常小，因此使用原始圖像進行常規(guī)訓練會產(chǎn)生較差的檢測性能，而SF大大提高了結(jié)果。FI的集成使大對象AP增加了高達3.3%，但導致小/中對象AP略微減少，這是預期的，因為一些較大的對象可能無法從較小的切片中檢測到。切片之間25%的重疊將檢測AP增加高達1.7%。xView包含高度不平衡的60個目標類別，盡管FCOS是一個較舊且據(jù)報道較弱的檢測器，但與該數(shù)據(jù)集的VFNet相比，F(xiàn)COS的性能非常接近。這一觀察結(jié)果證實了焦點損失[2]在FCOS中的有效性，F(xiàn)COS旨在處理類別失衡。TOOD還受益于訓練過程中的焦點損失，并在3個檢測器中產(chǎn)生最佳檢測結(jié)果。TOOD檢測器在Visdrone和xView數(shù)據(jù)集上的誤差分析結(jié)果如圖所示。分別為圖3和4。這里，C75、C50、Loc、Sim、Oth、BG、FN分別對應于在0.75和0.50的IoU閾值下的結(jié)果、忽略定位誤差后的結(jié)果、超類別假陽性、類別混淆、所有假陽性和所有假陰性。如圖3所示，超級類別誤報、類別混淆和定位錯誤的改進空間較小，誤報和誤報的改進空間較大。同樣，圖4顯示，在修復類別混淆和誤報之后，還有很大的改進空間。

?

?

5.結(jié)論

所提出的切片輔助超推理方案可以直接集成到任何對象檢測推理流水線中，并且不需要預訓練。在Visdrone和xView數(shù)據(jù)集上使用FCOS、VFNet和TOOD檢測器的實驗表明，它可以導致高達6.8%的AP增加。此外，應用切片輔助微調(diào)會導致小物體的AP增加14.5%，而在切片之間應用25%的重疊會導致AP進一步增加2.9%。通過更大的特征圖訓練具有更高分辨率圖像的網(wǎng)絡導致更高的計算和內(nèi)存需求。所提出的方法線性地增加了計算時間，同時保持了固定的內(nèi)存需求?？紤]到目標平臺，還可以通過調(diào)整補丁大小來權(quán)衡計算和內(nèi)存預算。未來，將利用所提出的切片方法對實例分割模型進行基準測試，并對不同的后處理技術進行評估。文章來源地址http://www.zghlxwxcb.cn/news/detail-581196.html

到了這里，關于論文閱讀--切片輔助超推理(SAHI)與微調(diào)在小目標檢測中的應用的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！