最近本人在看一些事件相機的論文和研究。下面將看的基礎(chǔ)內(nèi)容整理一下，先是一些基本的event camera原理和發(fā)展的介紹，后面介紹算法。歡迎討論！

1. DVS 的一些介紹

模擬生物視網(wǎng)膜特性的仿生相機——事件相機DVS（Dynamic Vision Sensor），該相機具有更寬的動態(tài)范圍，輸出較傳統(tǒng)相機而言更稀疏、更快。一種快匹配自適應光流算法和完全通過FPGA完成的基于DVS相機的硬件實現(xiàn)與其功耗和計算速度方面的優(yōu)勢，最后介紹了該項研究在自動駕駛領(lǐng)域的廣闊應用前景。

2. 基于事件的視覺傳感器發(fā)展現(xiàn)狀與趨勢

目前被廣泛應用的事件相機可大致分成3類：動態(tài)視覺傳感器（DVS）、基于異步時間的圖像傳感器（ATIS）、動態(tài)主動像素視覺傳感器（DAVIS，Dynamic and Active Pixel Vision Sensor）。DVS是最基本的也是最先發(fā)展的一種事件相機。ATIS像素結(jié)構(gòu)分成兩個部分（A和Ｂ），包含兩個感光器，能夠在提供事件信息的同時還能提供一定灰度信息的需求。DAVIS相機將DVS相機和傳統(tǒng)的有源像素傳感器（APS）相機結(jié)合起來，能夠同時輸出場景事件和灰度信息。

3. 事件相機的動態(tài)范圍：

事件相機具有高動態(tài)范圍，相對于傳統(tǒng)相機一般只有70dB，事件相機能夠達到140dB或更高。

信噪比

Signal to Noise Ratio (SNR)，描述傳感器所產(chǎn)生的信號與噪聲的強度，計算方法是看計算電壓還是功率。對于電壓信噪比計算，公式為：SNR=10*log(S/N)。其中l(wèi)og為log10，單位是dB。如果噪聲是2mV，電壓是3V，則信噪比是31.7dB。
log(3000/2)=3.17
對于圖像計算來說，一般找一個“精準的”相機拍攝一個基準，再和需要計算的圖像進行比較。但基準一般難找，另一種常用的方式是，多次拍攝同一個信號后“求平均值和標準差的比值”。
然而140dB并不是指“信噪比”，但確實和信噪比有關(guān)。

動態(tài)范圍DR

動態(tài)范圍，Dynamic Range (DR)，指“傳感器能夠分辨的最強的信號和最弱的信號的比值”，計算公式是20log(S/N)。比如說某個電壓傳感器最高能夠測到3V，最小能夠測量2mv，則DR是63.4dB。
那么DR和SNR有什么關(guān)系么？有關(guān)系，SNR和DR的下限有關(guān)。如果SNR較差，意味著噪聲相對較強，則DR的下界會高，導致DR較小。但SNR和DR的上界無關(guān)，DR的上界可以理解為“飽和”的情況。事件相機所說的140dB指的是這個“動態(tài)范圍”。

結(jié)論

140dB指的是動態(tài)范圍DR，而不是信噪比SNR；

若想真正達到“高動態(tài)范圍HDR”，必然會有大量的噪聲。廠商基本上沒有說在動態(tài)范圍內(nèi)某個值時噪聲怎么樣。可以這樣理解140dB：“我能夠看到很多，但不一定看得清”；

實際使用時，應該結(jié)合具體任務，判斷特定場景/參數(shù)/算法下，能夠檢測的動態(tài)范圍。
Source: 事件相機的“140dB”指的到底是什么？

4. 新型相機DVS/Event-based camera的發(fā)展及應用

神經(jīng)擬態(tài)視覺傳感器使用基于事件驅(qū)動的方式來捕捉場景中的動態(tài)變化。與傳統(tǒng)相機不同，神經(jīng)擬態(tài)視覺傳感器沒有 “幀” 的概念。當現(xiàn)實場景中發(fā)生變化時，神經(jīng)擬態(tài)視覺傳感器會產(chǎn)生一些像素級的輸出（即事件），一個事件具體包括（t, x, y, p），這里的 x, y 為事件在2D空間的像素坐標，t為事件的時間戳，p為事件的極性。事件的極性代表場景的亮度變化: 上升（positive） or 下降 (negative)。神經(jīng)擬態(tài)視覺傳感器對數(shù)據(jù)存儲和計算資源的需求非常小，并且其具有非常低的延遲，可以達到微秒級?。?！傳統(tǒng)相機在固定頻率下產(chǎn)生一系列幀圖片，其關(guān)鍵問題是在相鄰倆幀之間會丟失掉很多關(guān)鍵信息，并且傳統(tǒng)相機在內(nèi)存，能量損耗以及延遲方面需求過大，這直接導致了很多算法的實時性非常低。以深度學習為例，為了實現(xiàn)目標檢測等環(huán)境感知任務，不得不利用昂貴的硬件（GPUs）平臺為其提供算力支撐。所以神經(jīng)擬態(tài)視覺傳感器的研究還是有一定前景的。

• 工作原理分析
  
  事件相機的工作原理是對于每個像素的光照對數(shù)的變化，根據(jù)每個像素的變化，若當前像素的亮度信息變化超過閾值C且為增大，則記為on，若為減小，則記為off事件。對于圖中的位置信息設(shè) $X=(x,y{)}^T$ ,其中$X$為2維向量，事件可以抽象為3D的函數(shù)$E=logI(X,t)$ ，或者4D函數(shù) $E=logI(X,t,p)$ 其中 $p=1$ 表示ON 信號，$p=?1$ 表示OFF信號，$p$代表事件的極性（Polarity）。

• 事件輸出Demo
  

應用點

特征跟蹤、SLAM、捕獵機器人，包括物聯(lián)網(wǎng)（超低功耗監(jiān)控和智慧城市）、自動駕駛（車輛測距、SLAM和乘員監(jiān)控）、機器人技術(shù)（場景理解與定位）、工業(yè)視覺（過程監(jiān)控和基礎(chǔ)設(shè)施檢測）等。

參考文獻：https://www.sohu.com/a/300758196_100007727

傳統(tǒng)相機的缺點

幀率低、運動模糊、動態(tài)范圍低。
傳統(tǒng)相機，無論是CMOS傳感器，還是CCD傳感器，亦或是RGBD相機，都有一個參數(shù)：幀率。它們是以恒定的頻率拍攝獲取圖像。這樣，即使幀率能夠達到1KHz，那也具有1ms的延時。所以傳統(tǒng)相機存在一定的延遲問題。
除此之外，傳統(tǒng)相機需要通過一定時間的曝光，使感光器件積累一定的光子，那么在曝光時間之內(nèi)如果物體在高速運動，則會產(chǎn)生模糊，這也是傳統(tǒng)相機的一個問題。
另外，傳統(tǒng)相機的動態(tài)范圍較低，具體表現(xiàn)為在光線極差或者亮度極高時，相機獲取的信息有限。
以上三點，是由于相機自身硬件的限制，即使高性能相機能夠一定程度減小這些問題，但由于相機原理，這些問題無法避免。這些問題極大地限制了一些應用場景。而事件相機完全不存在這些問題。

這意味著有大量的冗余信息和大量不必要的計算需要，導致大的帶寬。

事件相機的優(yōu)點

低延遲、高動態(tài)范圍、數(shù)據(jù)量小、極低功耗。
由于事件相機的成像原理，我們可以發(fā)現(xiàn)只要亮度一有變化就會輸出，且僅輸出變化的數(shù)據(jù)占用了很小的帶寬，同時由于事件相機更擅長捕捉亮度變化，所以在較暗和強光場景下也能輸出有效數(shù)據(jù)。事件相機具有低延遲(<??????)、高動態(tài)范圍(??????????)、極低功耗(??????)等特性。

相較于傳統(tǒng)相機，事件相機是基于神經(jīng)形態(tài)視覺，其基本理念是受生物系統(tǒng)工作方式的啟發(fā)，檢測場景動態(tài)的變化，而不是連續(xù)分析整個場景。這意味著讓單個像素決定它們是否看到了相關(guān)的東西。與固定頻率的系統(tǒng)采集相比，這種基于事件的方法可以節(jié)省大量的功耗，并減少延遲。

Mobile robot systems need to quickly understand rapid motion in dynamic environments, e.g., Forests, Kitchens, Roads.
However, current sensor based-solutions are not suited for the energy and computational needs of micro mobile robot systems. Like active sensors: IR Depth Camera, LIDAR, Radar. Whereas, DVS has low latency sensing and energy consumption are attractive for mobile robot collision avoidance.

5. 事件相機在無人駕駛中的應用

Event-based Camera in Autonomous Driving

在自動駕駛發(fā)展的歷程中，視覺算法的應用已經(jīng)成為不可或缺的一部分。但當前的視覺算法仍然存在著一些局限性：一方面，相機容易受到光線明暗突變、逆光等影響；另一方面，相機在運行時，產(chǎn)生的數(shù)據(jù)量非常大，因而對算力的要求特別高。

如今，市場上出現(xiàn)一種新型相機傳感器，或可以有效解決上述這些痛點，那就是事件相機。事件相機具備極快的響應速度、減少無效信息、帶寬小、降低算力和功耗、高動態(tài)范圍等優(yōu)勢可以幫助自動駕駛車輛降低信息處理的復雜度、提高車輛的行駛安全，并能夠在極亮或者極暗環(huán)境下正常工作。事件相機是相比于傳統(tǒng)的幀相機而言的：幀相機是以固定幀率輸出一幀一幀的圖片，并最終組成視頻流；而事件相機只記錄亮度變化的像素點。

1. 高動態(tài)范圍

通俗點說，高動態(tài)范圍指的是相機在極端光強變化下也能保持圖像的清晰度。幀相機的動態(tài)范圍通常只能達到60dB，而事件相機的動態(tài)范圍能達到120dB，甚至會更高。高動態(tài)范圍可以幫助事件相機在光線極暗、曝光過度、光線突變等情況下，依然能夠保持有效的工作，為自動駕駛增添了一份安全冗余。

工作原理：當對應像素坐標點的光強變化量超過了預先設(shè)定的閾值時，事件相機就會以微秒級分辨率標記時間戳，并輸出異步事件流。所有像素是異步的，不是同步的輸出。

2. 與傳統(tǒng)相機的差異

• 感光機制不同

• 讀出機制不同：幀相機的讀出電路是行列掃描的方式，是一種矩陣數(shù)據(jù)整體讀出的形式，在像素坐標軸上記錄像素點的RGB信息；而事件相機是通過AER的編碼方式，僅將事件以時間戳和坐標的數(shù)據(jù)形式，按照事件產(chǎn)生的先后順序異步傳出。

• 電路設(shè)計不同

3. 產(chǎn)品類型

• DVS（動態(tài)視覺傳感器）

  優(yōu)勢：電路設(shè)計簡單，像素面積小。

  挑戰(zhàn)：純事件數(shù)據(jù)的可視化程度較低，無法提供精細化的圖像。

• ATIS（基于異步時間的圖像傳感器）

  優(yōu)勢：能提供灰度信息，功耗相對DAVIS較低。在啟動后，由于直接發(fā)放了一次脈沖，可以直接獲取到相機前方的所有灰度信息，然后根據(jù)運動區(qū)域內(nèi)，將在產(chǎn)生的脈沖信號上不斷更新相應灰度信息。

  挑戰(zhàn)：不適用在環(huán)境亮度變化不頻繁的場景。比如在高速運動場景下，由于光強測量結(jié)果是在脈沖信號產(chǎn)生后的一段時間內(nèi)的平均光強，所以存在事件與灰度信息重構(gòu)更新不匹配的情況。

• DAVIS（動態(tài)和有源像素視覺傳感器）

  優(yōu)勢：DAVIS與ATIS一樣，也可以提供灰度信息；同時，DAVIS由于共用一個感光器，像素面積相對ATIS更小。

  挑戰(zhàn)：APS電路的采樣速度遠不如DVS電路，導致二者無法做到精準同步。再者，APS電路在高速場景下存在拖影現(xiàn)象。

產(chǎn)業(yè)鏈中的不同之處主要是在圖像傳感器芯片、算法軟件，比如更適合事件相機的芯片是類腦芯片、更適合的算法則是脈沖神經(jīng)網(wǎng)絡。

下圖給出各類事件相機的對比。

技術(shù)層面的挑戰(zhàn)

（1）無法識別具體目標物

幀相機輸出的是幀圖像，并且已擁有了成熟的應用和標定數(shù)據(jù)庫；而事件相機只能給出比較原始的數(shù)據(jù)信息，比如目標物的外部輪廓，并且也沒有一個自己獨立的數(shù)據(jù)庫來匹配這些輪廓信息。

（2）缺少適合的芯片和算法

當前事件相機使用的是原來幀相機的一整套架構(gòu)體系（比如所使用的芯片類型、算法模型等），但基于幀圖像的架構(gòu)并不能完全處理好事件流，而現(xiàn)有的大部分事件相機產(chǎn)品只是做了簡單的架構(gòu)平移。第一，較適合事件相機的芯片將會是類腦芯片。第二，較適合事件相機的算法為脈沖神經(jīng)網(wǎng)絡。

工程層面挑戰(zhàn)

（1）閾值設(shè)定難度高

閾值大小的設(shè)定是決定事件相機是否能在自動駕駛中用好的關(guān)鍵一步，這需要大量場景數(shù)據(jù)的積累、算法的優(yōu)化、設(shè)備運行時動態(tài)地調(diào)整閾值。

（2）數(shù)據(jù)處理效率低

（3） 與其它傳感器融合的挑戰(zhàn)

由于事件相機無法單獨提供深層次的數(shù)據(jù)，比如測距、測速、表面具體顏色等，只能獲取到物體的輪廓，所以單純地使用一個事件相機是無法給到自動駕駛車輛足夠的冗余安全，與其他傳感器的融合才是更好的感知方案。在與其它傳感器融合時，需要把事件流與其它傳感器的信號進行同步匹配。

以事件相機與激光雷達的融合為例，事件相機與激光雷達都有幀的概念，激光雷達也是以某一恒定幀率發(fā)射點云。若想要把這兩個傳感器同步起來，就需要做到兩個方面：一方面，時間戳的一一對應；另一方面，需要在做好標定的基礎(chǔ)上，將事件相機的像素點云映射到激光雷達的點云上。

6. 相關(guān)資源/論文

1. CVPR 2021 Workshop on Event-based Vision

2. Event-based Vision Resources

3. 國內(nèi)事件相機研究團隊

4. 一文談談事件相機在自動駕駛領(lǐng)域的應用前景

中文論文資料：文章來源地址http://www.zghlxwxcb.cn/news/detail-410191.html

1. 基于事件相機的連續(xù)光流估計
2. 基于事件相機的合成孔徑成像
3. 基于事件相機的定位與建圖算法: 綜述
4. 基于事件相機的機器人感知與控制綜述

到了這里，關(guān)于史上最全事件相機DVS/Event-based Camera的介紹和分析綜述文章的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！