? ? ? ? 2021年 中國(guó)圖象圖形學(xué)報(bào)

摘 要

背景： 視頻異常行為檢測(cè)是智能監(jiān)控技術(shù)的研究重點(diǎn)，廣泛應(yīng)用于社會(huì)安防領(lǐng)域。當(dāng)前的挑戰(zhàn)之一是如何提高異常檢測(cè)的準(zhǔn)確性，這需要有效地建模視頻數(shù)據(jù)的空間維度和時(shí)間維度信息。生成對(duì)抗網(wǎng)絡(luò)（GANs）因其結(jié)構(gòu)優(yōu)勢(shì)而被廣泛應(yīng)用于視頻異常行為檢測(cè)。

方法： 本文提出了一種改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)方法，用于視頻異常行為檢測(cè)。該方法在生成對(duì)抗網(wǎng)絡(luò)的生成網(wǎng)絡(luò)?U-net 部分引入了門控自注意力機(jī)制，用于逐層分配特征圖的權(quán)重，以更好地融合了 U-net 網(wǎng)絡(luò)和門控自注意力機(jī)制的性能優(yōu)勢(shì)。這有助于抑制與異常檢測(cè)任務(wù)無(wú)關(guān)的背景區(qū)域特征，突出不同目標(biāo)對(duì)象的相關(guān)特征表達(dá)，更有效地建模了視頻數(shù)據(jù)的時(shí)空維度信息。方法還包括使用 LiteFlownet 網(wǎng)絡(luò)提取視頻流中的運(yùn)動(dòng)信息，以保持視頻序列之間的連續(xù)性。此外，引入了強(qiáng)度損失函數(shù)、梯度損失函數(shù)和運(yùn)動(dòng)損失函數(shù)，以增強(qiáng)模型的檢測(cè)穩(wěn)定性，從而實(shí)現(xiàn)對(duì)視頻異常行為的檢測(cè)。

實(shí)驗(yàn)結(jié)果： 作者在多個(gè)視頻異常事件數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證，包括 CUHK Avenue、UCSD Ped1 和 UCSD Ped2 數(shù)據(jù)集。實(shí)驗(yàn)結(jié)果顯示，本文方法在 CUHK Avenue 數(shù)據(jù)集上的 AUC 達(dá)到了 87.2%，比同類方法提高了2.3%。在 UCSD Ped1 和 UCSD Ped2 數(shù)據(jù)集上，本文方法的 AUC 值也高于其他方法。作者還進(jìn)行了消融實(shí)驗(yàn)，并比較了實(shí)驗(yàn)結(jié)果，驗(yàn)證了本文方法的有效性和性能優(yōu)勢(shì)。

結(jié)論： 實(shí)驗(yàn)結(jié)果表明，本文提出的方法更適合視頻異常行為檢測(cè)任務(wù)，它有效地提高了異常行為檢測(cè)模型的穩(wěn)定性和準(zhǔn)確性。同時(shí)，使用視頻序列幀間的運(yùn)動(dòng)信息可以顯著提升異常行為檢測(cè)性能。

?0??引言

????????視頻中的異常檢測(cè)是指在監(jiān)控視頻中識(shí)別不符合預(yù)期的行為事件。這一領(lǐng)域的應(yīng)用廣泛，包括智能安防、智能家居和醫(yī)學(xué)康復(fù)等，具有重要的研究意義和實(shí)際價(jià)值。視頻異常檢測(cè)面臨多個(gè)挑戰(zhàn)：

1. 異常行為的多樣性：異常行為在視頻中可以有各種各樣的形式，難以將其全部列舉或描述。
2. 低概率事件：異常事件在視頻中的發(fā)生概率通常較低，這使得異常行為的學(xué)習(xí)變得更加困難。
3. 特征學(xué)習(xí)難度：由于異常行為的多樣性和低概率，對(duì)所有可能的異常行為進(jìn)行特征學(xué)習(xí)幾乎是不可行的。

????????傳統(tǒng)的視頻異常行為檢測(cè)方法需人工提取視頻中目標(biāo)對(duì)象的表觀輪廓、運(yùn)動(dòng)信息和軌跡等特征，如梯度直方圖( histogram of oriented gradient，HOG) 可 表示目標(biāo)對(duì)象表觀輪廓的特征信息( Li 等，2015) ， 通過(guò)光流特征圖可捕捉目標(biāo)對(duì)象的運(yùn)動(dòng)信息特征 ( Li 等，2015) ; 通過(guò)軌跡可提取運(yùn)動(dòng)目標(biāo)的軌跡特 征( Ahmed 等，2019) 。但此類方法在表示形式上較 為單一且無(wú)法學(xué)習(xí)預(yù)期之外事件的特征，同時(shí)處理海量視頻數(shù)據(jù)能力較弱，已較難得到新的突破。
????????基于深度學(xué)習(xí)的方法越來(lái)越多地應(yīng)用于視頻異常行為檢測(cè)，可通過(guò)自動(dòng)從海量數(shù)據(jù)集中學(xué)習(xí)數(shù)據(jù) 本身的分布規(guī)律來(lái)提取出更加魯棒的高級(jí)特征，已 取代基于人工構(gòu)建行為特征的傳統(tǒng)方法。目前，基 于深度學(xué)習(xí)的監(jiān)控視頻異常行為檢測(cè)方法主要分為 重構(gòu)判別和未來(lái)幀預(yù)測(cè)兩類。
????????基于重構(gòu)判別的方法認(rèn)為，通過(guò)模型訓(xùn)練學(xué)習(xí) 正常樣本在樣本空間服從的分布，符合該分布的正 常樣本都能較好地重構(gòu)，重構(gòu)誤差大的樣本屬于異 常樣本( 胡海洋 等，2020) 。Hasan 等人( 2016) 利用 卷積自編碼器( convolution auto-encoder，CAE) 對(duì)目 標(biāo)幀進(jìn)行誤差重構(gòu)來(lái)檢測(cè)視頻中的異常行為; Luo等人( 2017 ) 通 過(guò) 利 用 卷 積 長(zhǎng) 短 期 記 憶 自 編 碼 器 ( convolution long-short term memory auto-encoder，Conv LSTM-AE) 重構(gòu)目標(biāo)對(duì)象的外觀信息和運(yùn)動(dòng)信 息進(jìn)行異常行為檢測(cè)，提出將稀疏編碼映射到堆疊 的循環(huán)神經(jīng)網(wǎng)絡(luò) ( stacked recurrent neural network，sＲNN) 框架中重構(gòu)異常行為。但由于深度學(xué)習(xí)方法 具有強(qiáng)大的學(xué)習(xí)能力，對(duì)正常事件和異常事件的重 構(gòu)結(jié)果是相似的，此類方法并不能保證對(duì)異常事件 的重構(gòu)誤差一定很大。因此，幾乎所有基于重構(gòu)誤 差的方法都不能保證準(zhǔn)確檢測(cè)出異常事件。
????????基于未來(lái)幀預(yù)測(cè)的方法假設(shè)正常行為是有規(guī)律 的且是可預(yù)測(cè)的，而視頻中異常行為事件由于其不 確定性不可預(yù)測(cè)。該類方法可通過(guò)生成未來(lái)目標(biāo)幀 的預(yù)測(cè)幀，將其與對(duì)應(yīng)的視頻真實(shí)幀進(jìn)行對(duì)比來(lái)判 斷該視頻中是否包含異常行為。目前，生成對(duì)抗網(wǎng) 絡(luò)( generative adversarial network，GAN) 在視頻異常 檢測(cè)領(lǐng)域已取得突破性進(jìn)展，其網(wǎng)絡(luò)架構(gòu)可很好地 用于預(yù)測(cè)。Liu 等人( 2018) 提出基于 U-net 的條件 生成對(duì)抗網(wǎng)絡(luò)進(jìn)行異常行為檢測(cè)，同時(shí)加入 Flownet光流網(wǎng)絡(luò)對(duì)運(yùn)動(dòng)特征約束; Dong 等人( 2020) 在此基 礎(chǔ)上提出基于對(duì)偶生成對(duì)抗網(wǎng)絡(luò)模型，利用雙生成 器和雙鑒別器的對(duì)偶結(jié)構(gòu)分別對(duì)外觀和運(yùn)動(dòng)信息進(jìn) 行異常判別; Nguyen 等人( 2019) 提出采用卷積自編 碼器學(xué)習(xí)空間結(jié)構(gòu)，將空間特征輸入 U-net 中與運(yùn) 動(dòng)信息相關(guān)聯(lián)從而進(jìn)行異常檢測(cè)。
????????基于生成對(duì)抗網(wǎng)絡(luò)的視頻異常行為檢測(cè)方法通 過(guò)生成器 U-net 的良好性能捕獲了訓(xùn)練樣本空間特 征，但仍存在一定的局限性( 馬鈺錫 等，2019) ，主要 表現(xiàn)為: 1) 雖然已能夠檢測(cè)出視頻中的異常行為，但如何有效建?？臻g維度信息和時(shí)間維度信息提高 異常檢測(cè)的精度仍是目前研究領(lǐng)域的重難點(diǎn); 2) 針 對(duì)目標(biāo)對(duì)象的空間特征的提取，基礎(chǔ)的 U-net 無(wú)法 建立長(zhǎng)距離依賴性，不能將特征信息進(jìn)行有效連接;3) 除數(shù)據(jù)樣本的空間特征外，時(shí)間信息也是視頻的 一個(gè)重要特征?，F(xiàn)有大多數(shù)工作對(duì)視頻的時(shí)間信息 特征利用不夠充分。
????????為了更好地解決此問(wèn)題，本文提出一種融合門 控自注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)方法，在 U-net 生 成器部分中逐層引入門控自注意力機(jī)制來(lái)更好地學(xué) 習(xí)視頻樣本的空間維度信息，同時(shí)采用 LiteFlownet網(wǎng)絡(luò)來(lái)對(duì)視頻樣本的時(shí)間維度信息進(jìn)行更好地提 取。但該模型易受噪聲影響，需同時(shí)加入強(qiáng)度損失 函數(shù)、梯度損失函數(shù)和運(yùn)動(dòng)損失函數(shù)加強(qiáng)模型檢測(cè) 的穩(wěn)定性以實(shí)現(xiàn)對(duì)異常行為的檢測(cè)。
????????本文的貢獻(xiàn)主要有以下 3 個(gè)方面: 1) 考慮視頻序列幀之間的時(shí)間和空間 2 維關(guān)系，提出一種改進(jìn) 的異常行為檢測(cè)模型。利用生成對(duì)抗網(wǎng)絡(luò)中的生成 模塊對(duì)視頻中的空間特征進(jìn)行提取，利用 LiteFlownet 光流網(wǎng)絡(luò)對(duì)運(yùn)動(dòng)信息的時(shí)間特征進(jìn)行提取，引入門控自注意力機(jī)制對(duì)特征圖進(jìn)行加權(quán)處理，實(shí)現(xiàn)了 視頻序列之間時(shí)空特征更有效的表達(dá)。2 ) 引入門控自注意力機(jī)制，逐層對(duì) U-net 采樣過(guò)程中的特征 進(jìn)行加權(quán)計(jì)算。該自注意力機(jī)制在視頻幀的單層特 征中對(duì)遠(yuǎn)距離且具有空間相關(guān)性的特征進(jìn)行建模， 可自動(dòng)尋找圖像特征中的相關(guān)部分，提高對(duì)視頻幀 中時(shí)間和空間兩個(gè)維度的特征響應(yīng)。3) 選用 LiteFlownet 光流網(wǎng)絡(luò)對(duì)運(yùn)動(dòng)信息進(jìn)行提取，得到視頻幀 之間的時(shí)間關(guān)聯(lián)，進(jìn)一步提高了該模型的檢測(cè)性能。

2??方法

模型組成部分： 融合門控自注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)模型包括以下 4 部分：

1. 生成模塊：使用引入了門控注意力機(jī)制的 U-net 模型（AGs U-net）來(lái)生成預(yù)測(cè)幀。
2. 損失約束模塊：用于施加損失約束，包括強(qiáng)度損失和梯度損失函數(shù)，以進(jìn)行空間約束。
3. 對(duì)抗訓(xùn)練模塊：利用馬爾可夫判別器（Patch GAN）進(jìn)行訓(xùn)練，通過(guò)對(duì)抗學(xué)習(xí)來(lái)優(yōu)化模型。
4. 異常判別模塊：用于識(shí)別異常行為。

訓(xùn)練數(shù)據(jù)： 模型的訓(xùn)練數(shù)據(jù)包括正常視頻幀序列，其中連續(xù) t － 1 幀的正常視頻幀按時(shí)間順序堆疊起來(lái)，作為訓(xùn)練視頻 I1 ，I2 ，...，It －1 ，用于輸入生成器網(wǎng)絡(luò) AGs U-net，以預(yù)測(cè)下一幀（I't）。同時(shí)，真實(shí)幀（It）也用于訓(xùn)練和比較。
損失函數(shù)： 為了更好地預(yù)測(cè)正常行為下一幀，采用強(qiáng)度損失和梯度損失函數(shù)進(jìn)行空間約束。這些損失函數(shù)有助于提高模型的性能。
運(yùn)動(dòng)信息處理： 為了增強(qiáng)相鄰幀之間的運(yùn)動(dòng)特征相關(guān)性，采用了 LiteFlownet 光流網(wǎng)絡(luò)，以更快速和平滑的方式提取運(yùn)動(dòng)信息，從而可以更準(zhǔn)確地預(yù)測(cè)正常行為的下一幀。
異常檢測(cè)： 當(dāng)有異常行為樣本輸入時(shí)，模型將正常模式下的預(yù)測(cè)幀與實(shí)際真實(shí)值進(jìn)行比較，如果誤差較大，則異常分?jǐn)?shù)下降，從而識(shí)別該事件樣本為異常事件。

本文模型的整體框架如圖 1 所示。

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-770868.html

到了這里，關(guān)于【論文閱讀 09】融合門控自注意力機(jī)制的生成對(duì)抗網(wǎng)絡(luò)視頻異常檢測(cè)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！