????????這篇文章是在2022年AAAI上發(fā)表的一篇文章IA-YOLO上進(jìn)行改進(jìn)的，基本思想是一致的，利用的相機(jī)ISP的pipeline進(jìn)行圖像增強(qiáng)，和YOLOv3進(jìn)行聯(lián)合訓(xùn)練。

論文鏈接：[2209.14922] GDIP: Gated Differentiable Image Processing for Object-Detection in Adverse Conditions (arxiv.org)

代碼鏈接：GitHub - Gatedip/GDIP-Yolo: Gated Differentiable Image Processing (GDIP) for Object Detection in Adverse Conditions | Accepted at ICRA 2023

Abstract?

????????在惡劣天氣和光照條件下檢測(cè)物體對(duì)于自動(dòng)駕駛汽車的安全和持續(xù)運(yùn)行至關(guān)重要，并且仍然是一個(gè)尚未解決的問題。我們提出了一個(gè)門控可微圖像處理( GDIP )模塊，一個(gè)域無關(guān)的網(wǎng)絡(luò)結(jié)構(gòu)，它可以插入現(xiàn)有的目標(biāo)檢測(cè)網(wǎng)絡(luò)，并使用惡劣條件下的圖像進(jìn)行端到端的訓(xùn)練，例如在霧和低光照下捕獲的圖像。我們提出的GDIP塊直接通過下游的目標(biāo)檢測(cè)損失來學(xué)習(xí)增強(qiáng)圖像。這是通過學(xué)習(xí)多個(gè)同時(shí)操作的圖像預(yù)處理( IP )技術(shù)的參數(shù)來實(shí)現(xiàn)的，它們的輸出結(jié)合使用通過一種新穎的門控機(jī)制學(xué)習(xí)的權(quán)重。我們通過多級(jí)引導(dǎo)過程對(duì)GDIP進(jìn)行了進(jìn)一步的改進(jìn)，以實(shí)現(xiàn)漸進(jìn)的圖像增強(qiáng)。最后，在權(quán)衡精度和速度的基礎(chǔ)上，我們提出了一種GDIP的變體，可以用作訓(xùn)練Yolo的正則化器，從而消除了在推理過程中對(duì)基于GDIP的圖像增強(qiáng)的需求，從而獲得更高的吞吐量和更合理的實(shí)際部署。通過在Pascal VOC等合成數(shù)據(jù)集以及真實(shí)霧( RTTS )和低照度( Ex Dark )數(shù)據(jù)集上的定量和定性研究，我們展示了比幾種最先進(jìn)的方法顯著提高的檢測(cè)性能。

Method

????????提出了GDIP block，用于增強(qiáng)輸入圖像，以便在不利的環(huán)境下進(jìn)行目標(biāo)檢測(cè)，GDIP包括以下幾個(gè)圖像處理模塊(Image Processing, IP)：tone correction (T ), contrast balance (C), sharpening (S), defogging (DF ), gamma correction (G), white balancing (W B), and the identity operation (I).這幾個(gè)IP模塊和IA-YOLO的保持一致，不同的是IA-YOLO是順序執(zhí)行模塊，GDIP是使用門控機(jī)制對(duì)其進(jìn)行加權(quán)。

A Gated Differentiable Image Processing(GDIP) block

????????GDIP由多個(gè)具有門控機(jī)制的的IP模塊組成，每個(gè)Gb模塊包括一個(gè)線性層，一個(gè)可微分圖像處理模塊和一個(gè)門控機(jī)制(使用tanh歸一化到0-1之間)。線性層(圖中紫色線條塊)計(jì)算兩個(gè)實(shí)體：可微IP塊所需的參數(shù)和作為其對(duì)應(yīng)門的輸入的標(biāo)量值。每個(gè)Gb模塊的各個(gè)線性層通過一個(gè)公共的特征嵌入作為輸入，從一個(gè)共享的視覺編碼器獲得(對(duì)應(yīng)下圖中的藍(lán)色模塊Vision Encoder)。IP操作(利用預(yù)測(cè)的參數(shù))的輸出乘以門的標(biāo)量輸出。流程可用公式1建模，x是低光圖像，z是增強(qiáng)圖像，f是IP操作，w是門控值，N是min-max normalization operation。

Vision Encoder

????????Vision encoder用于提取圖像潛在特征去計(jì)算IP參數(shù)和門控值。包括5個(gè)kernel size 為3，stride 為1的卷積層，通道從64到1024，每個(gè)卷積層后連接一個(gè)average pooling，最后一層使用global average pooling，輸出大小為1*1*1024，然后使用全連接層映射到1*1*256。GDIP塊從視覺編碼器連同不利的輸入圖像取這256維嵌入，并在計(jì)算必要的參數(shù)后執(zhí)行圖像增強(qiáng)。

GDIP-YOLO

????????為了將GDIP與Yolo進(jìn)行集成，我們使用帶有GDIP的視覺編碼器進(jìn)行圖像增強(qiáng)(如圖所示)，并將增強(qiáng)后的圖像作為Yolo的輸入。以這種方式將GDIP與Yolo集成，確保了我們的架構(gòu)不需要任何額外的損失公式，并使用Yolo的標(biāo)準(zhǔn)目標(biāo)檢測(cè)損失????????(簡(jiǎn)稱Lobj)對(duì)網(wǎng)絡(luò)進(jìn)行端到端的目標(biāo)檢測(cè)訓(xùn)練。

B Multi-Level GDIP(MGDIP)

????????由于只使用了視覺編碼器的最后一層，限制了GDIP可用于圖像處理模塊學(xué)習(xí)參數(shù)的信息范圍。提出了多漸進(jìn)式圖像增強(qiáng)，把GDIP模塊和vision encoder的每一層集成實(shí)現(xiàn)，命名為MGDIP-Yolo。如圖3所示，MGDIP通過將一個(gè)GDIP塊的輸出作為輸入反饋到下一個(gè)GDIP塊來逐步增強(qiáng)圖像，其中每個(gè)GDIP塊由從視覺編碼器的不同層提取的特征引導(dǎo)。最終的增強(qiáng)結(jié)果用于YOLO的目標(biāo)檢測(cè)。MGDIP獲得了獲得了利用局部/全局特征屬性去進(jìn)行圖像處理。

C GDIP block as a regularizer

????????原始GDIP塊使用視覺編碼器來獲得特征嵌入。或者，多個(gè)GDIP塊可以連接到Y(jié)olo的中間層，繞過視覺編碼器的需要，直接使用Yolo的嵌入來構(gòu)造增強(qiáng)的輸出，如圖4所示。值得注意的是，這種增強(qiáng)的輸出不是Yolo的輸入，而是我們用于訓(xùn)練正則化的副產(chǎn)品。將該輸出與輸入圖像的清晰版本之間的重建損失(方程2 )計(jì)算為L(zhǎng)1范數(shù)和均方誤差損失LMSE的組合。使用的總體損失函數(shù)如式( 1 )所示。3，其中α是重構(gòu)損失的權(quán)重，經(jīng)驗(yàn)設(shè)置為1 × 10 - 4。

Experiment

????????使用PASCAL VOC進(jìn)行訓(xùn)練，驗(yàn)證的結(jié)果如下表所示，hybrid機(jī)制是指在訓(xùn)練的時(shí)候以一定的概率把圖像變暗。????????

Conclusion

????????我們提出了GDIP和MGDIP作為不利天氣條件下目標(biāo)檢測(cè)的域無關(guān)網(wǎng)絡(luò)架構(gòu)，它可以與現(xiàn)有的目標(biāo)檢測(cè)網(wǎng)絡(luò)一起使用，并在不同的不利條件下進(jìn)行訓(xùn)練，正如我們?cè)陟F天和低光照條件下證明的那樣。我們還提出了GDIP的訓(xùn)練正則化變體，在保持其原始吞吐量的同時(shí)，提高了基準(zhǔn)Yolo在不利條件下的性能。我們的所有GDIP變體在霧天和低光照條件下的挑戰(zhàn)性真實(shí)世界數(shù)據(jù)集上都取得了新的最先進(jìn)的結(jié)果，而僅在合成的不良條件數(shù)據(jù)上進(jìn)行了訓(xùn)練，因此表現(xiàn)出顯著的泛化能力。未來，該工作可以擴(kuò)展到其他不利工況類型(例如,霧霾、雨、雪等。)al文章來源地址http://www.zghlxwxcb.cn/news/detail-766847.html

到了這里，關(guān)于論文閱讀＜GDIP: Gated Differentiable Image Processing for Object-Detection in Adverse Conditions＞的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！