來(lái)源：?

Ren, Jing, et al. “Deep Video Anomaly Detection: Opportunities and Challenges.” 2021 International Conference on Data Mining Workshops (ICDMW), Dec. 2021. Crossref, https://doi.org/10.1109/icdmw53433.2021.00125.

文章連接：https://arxiv.org/abs/2110.05086

1.摘要

異常檢測(cè)在各種研究環(huán)境中是一項(xiàng)熱門(mén)而重要的任務(wù)，已經(jīng)研究了幾十年。為了確保人們的生命和財(cái)產(chǎn)安全，視頻監(jiān)控已廣泛部署在各種公共場(chǎng)所，如十字路口、電梯、醫(yī)院、銀行，甚至在私人住宅中。深度學(xué)習(xí)在聲學(xué)、圖像和自然語(yǔ)言處理等多個(gè)領(lǐng)域都顯示了其能力。然而，設(shè)計(jì)智能視頻異常檢測(cè)系統(tǒng)并非易事，因?yàn)樵诓煌膽?yīng)用場(chǎng)景中，異常之間存在顯著差異。如果這種智能系統(tǒng)能夠在我們的日常生活中實(shí)現(xiàn)，那么它將具有許多優(yōu)勢(shì)，例如在很大程度上節(jié)省人力資源，減輕政府的財(cái)政負(fù)擔(dān)，以及及時(shí)準(zhǔn)確地識(shí)別異常行為。

最近，出現(xiàn)了許多關(guān)于擴(kuò)展深度學(xué)習(xí)模型以解決異常檢測(cè)問(wèn)題的研究，從而在深度視頻異常檢測(cè)技術(shù)方面取得了有益的進(jìn)展。

本文從一個(gè)新的角度全面回顧了基于深度學(xué)習(xí)的視頻異常檢測(cè)方法。具體來(lái)說(shuō)，我們分別總結(jié)了深度學(xué)習(xí)模型在視頻異常檢測(cè)任務(wù)中的機(jī)遇和挑戰(zhàn)。我們提出了智能視頻異常檢測(cè)系統(tǒng)在各個(gè)應(yīng)用領(lǐng)域的幾個(gè)潛在的未來(lái)研究方向。此外，我們總結(jié)了當(dāng)前視頻異常檢測(cè)深度學(xué)習(xí)方法的特點(diǎn)和技術(shù)問(wèn)題。

2.INTRODUCTION

????????隨著監(jiān)控?cái)z像機(jī)部署成本的降低，視頻監(jiān)控的應(yīng)用被廣泛擴(kuò)展到不同場(chǎng)景。在過(guò)去幾十年中，深度學(xué)習(xí)取得了巨大的成功，并在許多以前被認(rèn)為在計(jì)算上無(wú)法實(shí)現(xiàn)的任務(wù)中表現(xiàn)出了優(yōu)異的性能，例如人臉匹配[2]、推薦系統(tǒng)[3]和異常檢測(cè)[4]。相應(yīng)地，越來(lái)越多的人致力于基于深度學(xué)習(xí)模型的視頻異常檢測(cè)。

????????智能視頻異常檢測(cè)系統(tǒng)能夠檢測(cè)明顯偏離正常的異常行為或?qū)嶓w，例如在視頻監(jiān)控的先驗(yàn)知識(shí)有限的情況下識(shí)別多個(gè)移動(dòng)物體，或檢測(cè)特定事件，例如打架、踩踏、交通事故和流浪。視頻異常通常是上下文的，并根據(jù)真實(shí)場(chǎng)景定義。例如，在超市或演唱會(huì)中觀察人群聚集是正常的，而當(dāng)需要社會(huì)距離來(lái)阻止病毒傳播時(shí)，觀察人群聚集是異常的。在大多數(shù)視頻異常檢測(cè)算法中，大多數(shù)算法可以在時(shí)間和空間上定位異常。具體來(lái)說(shuō)，檢測(cè)過(guò)程集中于識(shí)別所有視頻中包含異常的視頻片段，而定位致力于確定哪一幀是異常的，并解釋該幀的哪一部分是異常的。最近的相關(guān)研究可以通過(guò)提供端到端解決方案的基于深度學(xué)習(xí)的模型來(lái)處理這兩個(gè)問(wèn)題。

視頻監(jiān)控中的異常檢測(cè)仍然面臨一系列挑戰(zhàn)：

• 模糊性：異常檢測(cè)被廣泛認(rèn)為是檢測(cè)在特定情況下預(yù)期不會(huì)出現(xiàn)的事件的過(guò)程。然而，在現(xiàn)實(shí)世界中，正常和異常之間的邊界沒(méi)有明確劃分。例如，一些正常樣本也會(huì)表現(xiàn)出異常事件所具有的奇怪特征，這阻礙了模型的檢測(cè)精度。
• 依賴性：到目前為止，盡管在許多文獻(xiàn)中都引入了對(duì)異常的統(tǒng)一定義。另一方面，所有這些差異都不能直接應(yīng)用于特定的異常檢測(cè)任務(wù)中。即使是同一事件也可能具有不同的特征，并且在不同的背景下也有很大差異。異常的上下文依賴性使檢測(cè)模型無(wú)法適應(yīng)。
• 稀疏性和多樣性：與一般分類任務(wù)不同，在實(shí)際異常檢測(cè)數(shù)據(jù)集中，正樣本（即異常）遠(yuǎn)小于負(fù)樣本。這種數(shù)據(jù)不平衡的特性使得監(jiān)督模型難以訓(xùn)練。此外，現(xiàn)實(shí)世界中的異常行為多種多樣，無(wú)法完全說(shuō)明，有時(shí)甚至可能尚未發(fā)生。因此，在一個(gè)模型中考慮所有可能的異常類型是不切實(shí)際的。
• 隱私問(wèn)題：在檢測(cè)非視頻數(shù)據(jù)集中的異常時(shí)，用戶的私人信息（例如姓名）可以被隨機(jī)泛化碼所取代，這對(duì)最終的實(shí)驗(yàn)結(jié)果沒(méi)有影響。而在視頻監(jiān)控?cái)?shù)據(jù)中，尤其是包括面部和行為信息，如果數(shù)據(jù)是開(kāi)源的，則會(huì)侵犯?jìng)€(gè)人隱私。這種隱私特性導(dǎo)致缺少開(kāi)源數(shù)據(jù)集。
• 噪音：隨著視頻監(jiān)控的廣泛覆蓋，為了提高安全性，人們部署了攝像機(jī)。攝像機(jī)經(jīng)常出現(xiàn)在電梯、十字路口、商場(chǎng)、餐館甚至一些私人住宅中。雖然現(xiàn)有成像設(shè)備很容易支持獲取視頻監(jiān)控?cái)?shù)據(jù)，但手動(dòng)注釋這些數(shù)據(jù)是一個(gè)耗時(shí)的過(guò)程，并且容易出錯(cuò)。數(shù)據(jù)的噪聲最終無(wú)疑會(huì)影響模型的準(zhǔn)確性。

A. Relevant Surveys

為了應(yīng)對(duì)上述挑戰(zhàn)，人們?cè)O(shè)計(jì)了各種算法，并取得了顯著的實(shí)驗(yàn)結(jié)果。已有相關(guān)調(diào)查介紹了視頻異常檢測(cè)模型。

• Kiran等人[10]回顧了無(wú)監(jiān)督和半監(jiān)督視頻異常檢測(cè)模型。
• Mabrouk和Zagrouba[11]詳細(xì)介紹了智能視頻異常檢測(cè)系統(tǒng)內(nèi)的過(guò)程，包括特征提取和描述。
• Pawar和Attar[12]分析了基于視頻的異?；顒?dòng)檢測(cè)的深度學(xué)習(xí)技術(shù)。姚和胡[13]介紹了基于傳統(tǒng)和深度學(xué)習(xí)的視頻暴力檢測(cè)方法。
• [14]和[15]對(duì)基于深度學(xué)習(xí)的視頻異常檢測(cè)模型進(jìn)行了全面調(diào)查，分類差異較小，而[14]還有一部分評(píng)估了模型的性能。
• 蘇等人[16]總結(jié)了現(xiàn)有視頻序列中暴力檢測(cè)的最新方法。
• Roshan等人[17]回顧了暴力檢測(cè)的最新趨勢(shì)，并對(duì)不同的最先進(jìn)的淺層和深層模型進(jìn)行了比較研究。
• Ramzan等人[18]回顧了各種最先進(jìn)的暴力檢測(cè)技術(shù)，這些技術(shù)不僅限于深度學(xué)習(xí)模型。
• 在[19]中，作者對(duì)基于深度學(xué)習(xí)的圖像和視頻數(shù)據(jù)異常檢測(cè)方法進(jìn)行了深入分析。此外，還討論了當(dāng)前面臨的挑戰(zhàn)和未來(lái)的研究方向。

我們的工作在兩個(gè)方面與之前的研究不同。一方面，本調(diào)查研究了視頻異常檢測(cè)系統(tǒng)可以應(yīng)用的各種應(yīng)用，這些應(yīng)用不限于固定領(lǐng)域。另一方面，我們系統(tǒng)地總結(jié)了不同應(yīng)用中的潛在機(jī)會(huì)，以及目前算法中仍然存在的挑戰(zhàn)，而不是像其他調(diào)查那樣比較算法背后的機(jī)制。

B. Contributions

• 對(duì)深度學(xué)習(xí)方法在視頻異常檢測(cè)方面的機(jī)遇和挑戰(zhàn)進(jìn)行了前瞻性總結(jié)
• 提出了智能視頻異常檢測(cè)系統(tǒng)在各個(gè)應(yīng)用領(lǐng)域的一系列潛在研究和發(fā)展方向
• 對(duì)視頻異常檢測(cè)深度學(xué)習(xí)方法中的主要技術(shù)挑戰(zhàn)進(jìn)行了全面分析，從而為進(jìn)一步改進(jìn)模型提供了見(jiàn)解

3. OPPORTUNITIES

大多數(shù)現(xiàn)有研究致力于檢測(cè)交通視頻監(jiān)控中的異常，而視頻異常檢測(cè)任務(wù)廣泛存在于各種現(xiàn)實(shí)場(chǎng)景中。在本節(jié)中，我們不僅介紹了智能交通中的深度視頻異常檢測(cè)，還概述了其他領(lǐng)域的一些潛在機(jī)會(huì)，即數(shù)字教育、智能家居、公共衛(wèi)生和數(shù)字孿生。

A. Intelligent Transportation

交通運(yùn)輸是人類社會(huì)生產(chǎn)、生活和經(jīng)濟(jì)發(fā)展的重要組成部分。當(dāng)前的交通系統(tǒng)為人們提供了快速、舒適和安全的交通服務(wù)。然而，快速增長(zhǎng)的人口對(duì)交通的日益增長(zhǎng)的需求直接導(dǎo)致了機(jī)動(dòng)車(chē)數(shù)量的爆炸性增長(zhǎng)。因此，交通擁堵、交通事故頻發(fā)等問(wèn)題隨之而來(lái)。為此，智能交通系統(tǒng)（ITS）應(yīng)運(yùn)而生，實(shí)踐證明，智能交通系統(tǒng)是解決當(dāng)前經(jīng)濟(jì)發(fā)展引起的交通問(wèn)題的理想方案。

眾所周知，ITS是其他視頻異常檢測(cè)應(yīng)用中最熱門(mén)的研究方向，在檢測(cè)結(jié)果方面也取得了顯著的改進(jìn)。道路交通場(chǎng)景中的異常檢測(cè)任務(wù)通常很廣泛，重點(diǎn)是車(chē)輛、行人、環(huán)境等實(shí)體及其相互作用?？紤]到交通監(jiān)控系統(tǒng)的檢測(cè)精度受天氣和交通狀況等多種因素的影響，人們致力于研究智能交通系統(tǒng)中檢測(cè)結(jié)果的魯棒性。

隨著深度學(xué)習(xí)和無(wú)線通信技術(shù)的最近發(fā)展，開(kāi)發(fā)了許多創(chuàng)新的交通監(jiān)控系統(tǒng)。Li等人[30]旨在以無(wú)監(jiān)督的方式檢測(cè)車(chē)輛異常情況（如交通事故）。檢測(cè)框架是使用Faster R-CNN[31]構(gòu)建的，其采用了SENet[32]作為主干特征提取器。Aboah[33]提出了一種基于視覺(jué)的交通異常檢測(cè)系統(tǒng)。異常檢測(cè)過(guò)程由三個(gè)主要部分組成：用于提取背景特征的背景估計(jì)器、用于過(guò)濾虛假異常候選的道路掩碼提取器以及用于確認(rèn)和最終檢測(cè)結(jié)果的決策樹(shù)。盡管不斷開(kāi)發(fā)新的基于深度學(xué)習(xí)的模型來(lái)提高不同環(huán)境下的視頻異常檢測(cè)精度，但在未來(lái)的工作中仍有許多有待研究的開(kāi)放機(jī)會(huì)。例如，學(xué)習(xí)算法和系統(tǒng)的實(shí)際部署之間仍然存在巨大差距。此外，應(yīng)提高自動(dòng)駕駛模擬環(huán)境的真實(shí)性，以確保模型在不穩(wěn)定交通情況下的魯棒性。

B. Online Education

由于過(guò)去十年信息和通信技術(shù)的發(fā)展，傳統(tǒng)的離線教學(xué)和學(xué)習(xí)過(guò)程正逐漸轉(zhuǎn)向在線平臺(tái)。2019冠狀病毒疾病的爆發(fā)加速了這一過(guò)程。由于這種流行病，在未來(lái)一段時(shí)間內(nèi)，在線教育將成為知識(shí)傳遞的主要方式。同時(shí)，在線考試也隨著時(shí)間的需要而普及。有效檢測(cè)作弊行為和遠(yuǎn)程在線考試是確保考生公平的重要前提。然而，傳統(tǒng)的作弊檢測(cè)方法可能不再能夠完全成功地防止考試期間的作弊。有必要設(shè)計(jì)一個(gè)人工智能系統(tǒng)來(lái)自動(dòng)檢測(cè)考試中的作弊行為。

實(shí)際上，已經(jīng)開(kāi)發(fā)了一系列技術(shù)并將其應(yīng)用于智能監(jiān)護(hù)系統(tǒng)，例如視線跟蹤、語(yǔ)音檢測(cè)和識(shí)別檢查期間不允許存在的任何實(shí)體。這些技術(shù)在節(jié)省人力的同時(shí)，帶來(lái)了公平、客觀的檢查監(jiān)督。Atoum等人[35]提出了一種OEP系統(tǒng)，通過(guò)使用wearcam和網(wǎng)絡(luò)攝像頭，自動(dòng)、連續(xù)地檢測(cè)在線考試期間的作弊行為。盡管wearcam可以提供更廣闊的視野，但在家為每個(gè)學(xué)生配備wearcam仍然不現(xiàn)實(shí)。Bawarith等人[36]在電子考試管理系統(tǒng)中提出了一種在線保護(hù)器，實(shí)現(xiàn)了指紋認(rèn)證和眼動(dòng)跟蹤。此外，還可以檢測(cè)到離開(kāi)屏幕的學(xué)生。張和李[37]提出了一種深度學(xué)習(xí)系統(tǒng)，即DenseLSTM，作為行為檢測(cè)代理。該方法可以提取更好的特征表示并增強(qiáng)網(wǎng)絡(luò)的特征激活，這對(duì)于預(yù)測(cè)潛在的電子欺騙行為是有效的。智能監(jiān)考系統(tǒng)的流程圖如下圖所示

?本質(zhì)上，教育視頻監(jiān)控系統(tǒng)是學(xué)生學(xué)習(xí)行為的完整記錄。這種視頻數(shù)據(jù)比傳統(tǒng)形式的教育數(shù)據(jù)存儲(chǔ)保留了更多細(xì)節(jié)。例如，對(duì)于大多數(shù)教育利益相關(guān)者，包括研究人員，課程分?jǐn)?shù)或?qū)W生的平均成績(jī)（GPA）通常用于評(píng)估該學(xué)生的知識(shí)掌握情況。這種方法帶來(lái)了便利，同時(shí)丟失了太多信息。隨著計(jì)算能力的提高，我們能夠快速處理大量數(shù)據(jù)。通過(guò)視頻記錄學(xué)習(xí)過(guò)程無(wú)疑為分析教學(xué)提供了很大幫助。學(xué)習(xí)過(guò)程的視頻記錄無(wú)疑保留了學(xué)生的整個(gè)學(xué)習(xí)過(guò)程以及考試過(guò)程。除了作弊檢測(cè)之外，這還為所有與教育相關(guān)的異常分析提供了數(shù)據(jù)安全，包括課程失敗分析、心理問(wèn)題等

C. Smart Home

為了確保家里的安全，許多人在家里安裝了視頻監(jiān)控系統(tǒng)。視頻監(jiān)控是家庭自動(dòng)化系統(tǒng)的一小部分，被認(rèn)為是全面的安全保障[38]。人們可以使用手機(jī)和電腦觀看視頻，隨時(shí)隨地掌握實(shí)時(shí)的家庭情況。由于一直盯著屏幕看會(huì)浪費(fèi)時(shí)間和精力，因此自動(dòng)識(shí)別異常行為并立即發(fā)送報(bào)警信號(hào)無(wú)疑是必要的。

Yhaya等人[40]提出了一種用于人類活動(dòng)中異常惡意檢測(cè)的自適應(yīng)系統(tǒng)。這種數(shù)據(jù)驅(qū)動(dòng)的系統(tǒng)適應(yīng)人類行為常規(guī)的變化，并有能力通過(guò)嵌入遺忘機(jī)制拋棄舊的行為模式。Withange等人[41]研究了應(yīng)用計(jì)算機(jī)視覺(jué)通過(guò)RGB-D成像識(shí)別墜落位置，以便于在老年人獨(dú)立生活中基于機(jī)器人的墜落事故現(xiàn)場(chǎng)輔助。Markovitz等人[42]直接研究了可以從視頻序列構(gòu)建的人體姿勢(shì)圖，該圖不會(huì)受到視點(diǎn)或照明等有害參數(shù)的影響。這種無(wú)監(jiān)督的深度學(xué)習(xí)模型可以通過(guò)學(xué)習(xí)正常行為來(lái)識(shí)別異常的人類行為。類似地，Morais等人[43]還通過(guò)對(duì)其模型中耦合特征的動(dòng)力學(xué)和相互作用進(jìn)行建模，了解了骨骼軌跡的規(guī)律性。該模型的一個(gè)優(yōu)點(diǎn)是，它可以解釋其內(nèi)部推理和相應(yīng)因素的可視化。這是基于深度學(xué)習(xí)的異常檢測(cè)模型的重要組成部分

現(xiàn)有的研究大多集中在視頻監(jiān)控技術(shù)上，當(dāng)有人出現(xiàn)在網(wǎng)絡(luò)攝像機(jī)中時(shí)，可以記錄視頻片段，而自動(dòng)異常檢測(cè)很少研究。老年撫養(yǎng)比的增加是全世界面臨的一個(gè)常見(jiàn)問(wèn)題，這增加了政府為養(yǎng)老金和醫(yī)療保健提供資金的額外負(fù)擔(dān)[44]。然而，對(duì)于負(fù)擔(dān)不起照顧者或喜歡獨(dú)居的人，如果在家中安裝了智能視頻異常檢測(cè)系統(tǒng)，老年人可以獨(dú)立生活，并且可以及時(shí)檢測(cè)和處理緊急情況（例如，老年人摔倒）。因此，開(kāi)發(fā)智能家居中的視頻異常檢測(cè)系統(tǒng)對(duì)提高人類生活的質(zhì)量和便利性具有重要意義。事實(shí)上，這種智能系統(tǒng)也可以安裝在醫(yī)院和療養(yǎng)院，以減少未知事故帶來(lái)的風(fēng)險(xiǎn)

D. Public Health

公共衛(wèi)生是一個(gè)跨學(xué)科領(lǐng)域，涉及流行病學(xué)、生物統(tǒng)計(jì)學(xué)、社會(huì)科學(xué)等多個(gè)領(lǐng)域。此外，環(huán)境衛(wèi)生、社區(qū)衛(wèi)生、行為衛(wèi)生、心理衛(wèi)生和其他重要子領(lǐng)域也包括在公共衛(wèi)生范圍內(nèi)。公共衛(wèi)生的主要目的是通過(guò)預(yù)防和治療疾病來(lái)提高人類生活質(zhì)量。通過(guò)監(jiān)測(cè)病例和健康指標(biāo)，視頻異常檢測(cè)可以從多個(gè)角度造福于公眾健康。以名為2019年冠狀病毒病（COVID-19）的流行病為例，為了避免傳染病的進(jìn)一步傳播，可以應(yīng)用智能視頻監(jiān)控系統(tǒng)來(lái)檢測(cè)異常行為[47]、[48]。Bhambani等人[49]提出了一種實(shí)時(shí)面罩和社交距離違規(guī)檢測(cè)系統(tǒng)，該系統(tǒng)使用視頻片段和圖像上的YOLO對(duì)象檢測(cè)。左等人[50]開(kāi)發(fā)了一種基于深度學(xué)習(xí)的行人社會(huì)距離檢測(cè)系統(tǒng)，該系統(tǒng)可用于分析大流行期間城市流動(dòng)性的新規(guī)范。Saponara等人[51]為2019冠狀病毒疾病實(shí)現(xiàn)了一個(gè)基于人工智能的實(shí)時(shí)系統(tǒng)，該系統(tǒng)由深度學(xué)習(xí)對(duì)象檢測(cè)模型和社交距離計(jì)算算法組成。智能監(jiān)控系統(tǒng)利用實(shí)時(shí)視頻信息檢測(cè)異常模式并執(zhí)行預(yù)測(cè)分析。然后識(shí)別異常類型，然后啟動(dòng)預(yù)定義信號(hào)以執(zhí)行補(bǔ)救措施。通過(guò)可穿戴傳感器、用戶特定行為模式和室內(nèi)環(huán)境參數(shù)，可以監(jiān)測(cè)和進(jìn)一步分析居民的健康狀況[52]?；谝曈X(jué)的環(huán)境輔助生活，也稱為AAL，旨在改善老年人和弱勢(shì)群體的日常生活。與環(huán)境傳感器或佩戴式傳感器相比，視頻異常檢測(cè)技術(shù)更便宜、更有效、更易于實(shí)施。例如，基于RGB攝像機(jī)、多攝像機(jī)和深度攝像機(jī)開(kāi)發(fā)了墜落檢測(cè)方法[53]?；颊弑O(jiān)控系統(tǒng)也是視頻異常檢測(cè)在公共衛(wèi)生領(lǐng)域的另一個(gè)重要應(yīng)用。在醫(yī)院，這種系統(tǒng)用于更好地定期觀察患者，可以檢測(cè)病房中的異常活動(dòng)，包括不規(guī)則姿勢(shì)、不平衡行走、爬床等[54]。Cattani等人[55]提出了一種通過(guò)從視頻中提取和處理運(yùn)動(dòng)信號(hào)來(lái)評(píng)估病理運(yùn)動(dòng)周期性可能性的方法。鑒于攝像機(jī)的低成本和計(jì)算機(jī)視覺(jué)技術(shù)的成熟，公共健康中的異常檢測(cè)必將得到進(jìn)一步發(fā)展。基于視覺(jué)的方法可以與其他傳感器數(shù)據(jù)相結(jié)合，以提高其魯棒性和準(zhǔn)確性。

智能監(jiān)控系統(tǒng)利用實(shí)時(shí)視頻信息檢測(cè)異常模式并執(zhí)行預(yù)測(cè)分析。然后識(shí)別異常類型，然后啟動(dòng)預(yù)定義信號(hào)以執(zhí)行補(bǔ)救措施。通過(guò)可穿戴傳感器、用戶特定行為模式和室內(nèi)環(huán)境參數(shù)，可以監(jiān)測(cè)和進(jìn)一步分析居民的健康狀況[52]。基于視覺(jué)的環(huán)境輔助生活，也稱為AAL，旨在改善老年人和弱勢(shì)群體的日常生活。與環(huán)境傳感器或佩戴式傳感器相比，視頻異常檢測(cè)技術(shù)更便宜、更有效、更易于實(shí)施。例如，基于RGB攝像機(jī)、多攝像機(jī)和深度攝像機(jī)開(kāi)發(fā)了墜落檢測(cè)方法[53]。患者監(jiān)控系統(tǒng)也是視頻異常檢測(cè)在公共衛(wèi)生領(lǐng)域的另一個(gè)重要應(yīng)用。在醫(yī)院，這種系統(tǒng)用于更好地定期觀察患者，可以檢測(cè)病房中的異?；顒?dòng)，包括不規(guī)則姿勢(shì)、不平衡行走、爬床等[54]。Cattani等人[55]提出了一種通過(guò)從視頻中提取和處理運(yùn)動(dòng)信號(hào)來(lái)評(píng)估病理運(yùn)動(dòng)周期性可能性的方法。鑒于攝像機(jī)的低成本和計(jì)算機(jī)視覺(jué)技術(shù)的成熟，公共健康中的異常檢測(cè)必將得到進(jìn)一步發(fā)展?；谝曈X(jué)的方法可以與其他傳感器數(shù)據(jù)相結(jié)合，以提高其魯棒性和準(zhǔn)確性。

E. Digital Twins

在工業(yè)環(huán)境中，準(zhǔn)確的異常檢測(cè)有助于早期檢測(cè)潛在故障和主動(dòng)維護(hù)計(jì)劃管理。為了實(shí)現(xiàn)高性能異常檢測(cè)，近年來(lái)，在動(dòng)態(tài)工業(yè)邊緣/云網(wǎng)絡(luò)中實(shí)現(xiàn)數(shù)字孿生技術(shù)的研究興趣不斷增長(zhǎng)。通常，數(shù)字孿生技術(shù)用于構(gòu)建虛擬環(huán)境，作為物理對(duì)象或過(guò)程的實(shí)時(shí)數(shù)字對(duì)應(yīng)物。此外，數(shù)字孿生技術(shù)的進(jìn)步可以幫助實(shí)現(xiàn)復(fù)雜機(jī)械的真實(shí)模擬，從而加快實(shí)現(xiàn)智能制造和工業(yè)4.0的進(jìn)程。

如今，在異常檢測(cè)任務(wù)中，學(xué)術(shù)界和工業(yè)界越來(lái)越認(rèn)識(shí)到將數(shù)字孿生與深度學(xué)習(xí)相結(jié)合的重要性[58]。在[59]中，作者使用DT生成了涵蓋一整年運(yùn)行的正常運(yùn)行數(shù)據(jù)的大型數(shù)據(jù)集。然后，以弱監(jiān)督的方式將暹羅Au-toencoder（SAE）架構(gòu)應(yīng)用于異常檢測(cè)。由于電網(wǎng)的臨界性質(zhì)，檢測(cè)電網(wǎng)異常的能力至關(guān)重要[60]。在本文中，作者使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）在電氣系統(tǒng)自動(dòng)網(wǎng)絡(luò)保護(hù)（ANGEL）數(shù)字孿生環(huán)境中檢測(cè)電力系統(tǒng)中的物理故障。該方法不僅可以檢測(cè)電力系統(tǒng)中的故障，而且具有識(shí)別哪些母線包含異常的能力。Gao等人[61]使用DT收集實(shí)時(shí)數(shù)據(jù)并實(shí)現(xiàn)實(shí)時(shí)缺陷識(shí)別。隨著新型異常的出現(xiàn)，傳統(tǒng)模型被重新構(gòu)建耗時(shí)且成本高昂。為了解決這個(gè)問(wèn)題，他們提出了一種用于新類別識(shí)別的深度終身學(xué)習(xí)方法。

應(yīng)該注意的是，上述所有DT驅(qū)動(dòng)的異常檢測(cè)系統(tǒng)不能直接應(yīng)用于視頻監(jiān)控?cái)?shù)據(jù)。在現(xiàn)代工業(yè)中，攝像機(jī)以高密度部署，以無(wú)縫監(jiān)控機(jī)器的狀態(tài)和工人的活動(dòng)[58]。DT技術(shù)可以采用現(xiàn)代數(shù)據(jù)可視化方案，如虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)，以提供更具插圖和用戶友好的視圖。因此，可以進(jìn)一步利用深度學(xué)習(xí)模型和數(shù)字孿生技術(shù)的集成來(lái)解決視頻異常檢測(cè)任務(wù)。此外，DT技術(shù)能夠生成包含不同上下文中異常的合成數(shù)據(jù)集，從而解決了缺少具有足夠正樣本且無(wú)噪聲的數(shù)據(jù)集的問(wèn)題。圖2顯示了結(jié)合數(shù)字孿生技術(shù)和深度學(xué)習(xí)模型的異常檢測(cè)/預(yù)測(cè)系統(tǒng)的架構(gòu)圖。

?III. CHALLENGES

針對(duì)各種應(yīng)用中遇到的不同類型的異常和技術(shù)困難，提出了許多基于深度學(xué)習(xí)的模型和智能系統(tǒng)。顯然，這些模型和系統(tǒng)可以在很大程度上幫助減少人力資源消耗，并使人們的生活更加方便。然而，視頻異常檢測(cè)仍然存在許多問(wèn)題和挑戰(zhàn)。

在本節(jié)中，我們根據(jù)模型結(jié)構(gòu)（即基于重建的模型、預(yù)測(cè)模型、生成模型、一類分類模型和混合模型）討論了模型中存在的技術(shù)問(wèn)題和挑戰(zhàn)。不同類別的模型之間有一些聯(lián)系。例如，預(yù)測(cè)模型可以使用生成器來(lái)預(yù)測(cè)視頻的下一幀，使用鑒別器來(lái)判別預(yù)測(cè)是真是假。下表總結(jié)了這些模型之間的比較。

A. Reconstruction-based Models

與正常實(shí)例相比，異常實(shí)例通常很少。為了解決這個(gè)問(wèn)題，基于重建的異常檢測(cè)方法通常以無(wú)監(jiān)督的方式學(xué)習(xí)正常行為的特征。重建模型的基本思想是在測(cè)試階段以較低的重建誤差值重建正常數(shù)據(jù)，并使其分布更接近訓(xùn)練數(shù)據(jù)。相應(yīng)地，異常數(shù)據(jù)的重建誤差預(yù)計(jì)會(huì)更高。深度自動(dòng)編碼器[74]是重建模型中最常用的模型，它由一個(gè)編碼器Encoder和一個(gè)解碼器Decoder組成，前者將輸入向量壓縮到低維向量中，后者將該密集向量重建回輸入向量。DeepAD[75]的目標(biāo)是最小化輸入向量和重構(gòu)向量之間的重構(gòu)誤差:

?其中N是正常的訓(xùn)練數(shù)據(jù)，D（E（·））是DeepAD框架。在這里，編碼器可以是任何類型的神經(jīng)網(wǎng)絡(luò)，例如卷積神經(jīng)網(wǎng)絡(luò)（CNN）和長(zhǎng)短時(shí)記憶（LSTM）。盡管DeepAD及其變體很受歡迎，但龔等人[76]指出，如果自動(dòng)編碼器無(wú)法概括異常數(shù)據(jù)，則無(wú)法滿足重建誤差值較高的異常假設(shè)。換句話說(shuō)，異常是使用廣義模型重建的，編碼器生成的表示不能保證其有效性。因此，該模型無(wú)法解釋檢測(cè)到的異常幀異常的原因。

B. Predictive Models

視頻由一系列幀組成，這些幀可以被視為空間和時(shí)間信號(hào)的順序。預(yù)測(cè)模型的任務(wù)是通過(guò)給出過(guò)去的p幀來(lái)預(yù)測(cè)t幀，其可以表示為：

基于真實(shí)目標(biāo)幀及其預(yù)測(cè)幀構(gòu)建預(yù)測(cè)模型的損失函數(shù)：

?

其中，是時(shí)間戳t中的真實(shí)目標(biāo)幀，是預(yù)測(cè)幀。預(yù)測(cè)模型假設(shè)可以很好地預(yù)測(cè)正常事件。因此，預(yù)測(cè)幀與其基本真值之間的差異可用于檢測(cè)異常事件。雖然預(yù)測(cè)模型在視頻異常檢測(cè)任務(wù)中表現(xiàn)良好，但其計(jì)算復(fù)雜度較高。因此，預(yù)測(cè)模型更適合離線應(yīng)用。?

C. Generative Models?

?生成模型通常包含基于高斯分布生成幀的架構(gòu)，例如生成對(duì)抗網(wǎng)絡(luò)（GAN）[77]。GAN由發(fā)生器和鑒別器組成。生成器的作用是根據(jù)真實(shí)數(shù)據(jù)的實(shí)際分布擬合新的數(shù)據(jù)分布，而鑒別器是判別向量是從真實(shí)數(shù)據(jù)中提取還是從生成的數(shù)據(jù)中提取。GAN的損耗函數(shù)表示如下：

?該函數(shù)的前半部分旨在最大限度地提高識(shí)別真實(shí)數(shù)據(jù)的概率，后一部分旨在識(shí)別生成的數(shù)據(jù)。在這里，生成器和鑒別器可以是任何類型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如CNN。與其他模型不同，通過(guò)同時(shí)訓(xùn)練生成器和鑒別器，GAN可以作為端到端模型。此外，生成器可以同時(shí)生成異常樣本。因此，GAN是視頻異常檢測(cè)中應(yīng)用最廣泛的模型之一。盡管甘有其優(yōu)點(diǎn)，但它也不可避免地存在一些缺陷，包括訓(xùn)練費(fèi)用高、不穩(wěn)定、復(fù)制困難和模式崩潰。

D. One-Class Classification Models

考慮到異常的模糊性和多樣性，迫切需要開(kāi)發(fā)用于檢測(cè)視頻異常的多類分類。在檢測(cè)視頻異常時(shí)，研究人員通常將任何明顯偏離正常行為的行為視為異常。因此，沒(méi)有異常標(biāo)簽的異常檢測(cè)任務(wù)可以被視為一類分類（OCC）問(wèn)題。這種模型在視頻異常檢測(cè)中的核心思想是找到一個(gè)超球，該超球包圍正常數(shù)據(jù)的網(wǎng)絡(luò)表示[78]。此超球體中未包含的任何數(shù)據(jù)點(diǎn)都將被視為異常。深度學(xué)習(xí)和OCC模型的組合可以訓(xùn)練為聯(lián)合學(xué)習(xí)具有一類分類目標(biāo)的密集特征表示。然而，這種模型需要花費(fèi)更多訓(xùn)練時(shí)間。

E. Hybrid Models

在解決異常檢測(cè)任務(wù)時(shí)，每種模型都有自己的目標(biāo)函數(shù)和特定的優(yōu)勢(shì)。因此，研究人員可以考慮在一個(gè)模型中建立多個(gè)服務(wù)于不同塊的模型，這可以利用不同的模型并提高檢測(cè)精度。在混合模型中，從深度學(xué)習(xí)方法中學(xué)習(xí)到的代表性特征可以轉(zhuǎn)移到傳統(tǒng)算法，如支持向量機(jī)（SVM）分類器[79]。低維特征向量使混合模型更具可擴(kuò)展性和計(jì)算效率，適用于解決視頻異常檢測(cè)任務(wù)。與其他具有自定義損失函數(shù)的模型不同，混合模型的損失函數(shù)是通用的，這意味著特征提取器對(duì)特征表示沒(méi)有影響。因此，混合模型的性能次優(yōu)。盡管混合模型在任務(wù)中具有出色的性能，但它們大多依賴于任務(wù)，無(wú)法在不同任務(wù)之間切換。

IV. CONCLUSION

本文介紹了深度視頻異常檢測(cè)模型在幾種新興的實(shí)際應(yīng)用場(chǎng)景中的潛在機(jī)會(huì)，并討論了文獻(xiàn)中的技術(shù)問(wèn)題。本研究在深度視頻異常檢測(cè)方面的新視角為對(duì)此領(lǐng)域感興趣的研究人員提供了明確的指導(dǎo)。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-415440.html

到了這里，關(guān)于【視頻異常檢測(cè)綜述-論文閱讀】Deep Video Anomaly Detection: Opportunities and Challenges的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！