動(dòng)態(tài)范圍（Dynamic Range）

????????動(dòng)態(tài)范圍最早是信號(hào)系統(tǒng)的概念，一種信號(hào)系統(tǒng)的動(dòng)態(tài)范圍定義為：最大的信號(hào)不失真的電平和噪聲電平的差，在實(shí)際場(chǎng)景中，多用分貝（dB）為單位來(lái)衡量一個(gè)信號(hào)系統(tǒng)的動(dòng)態(tài)范圍。

????????以上說(shuō)法可能有些抽象，來(lái)看兩個(gè)例子。

? ? ? ? 1. 假設(shè)有一個(gè)系統(tǒng)，我們要關(guān)注其工作電壓的動(dòng)態(tài)范圍

????????????規(guī)定其動(dòng)態(tài)范圍的計(jì)算公式是：

????????????DR代表動(dòng)態(tài)范圍，單位為dB

? ? ? ? ????Vmax，Vmin分表代表系統(tǒng)最大工作電壓和最小工作電壓

????????????那么當(dāng)DR為80dB的時(shí)候，我們可以反推出,即代表這個(gè)系統(tǒng)最大工作電壓是最小工作電壓的10000倍。

? ? ? ? ?2. 計(jì)算ADC的動(dòng)態(tài)范圍

? ? ? ? ? ? ?這里假設(shè)動(dòng)態(tài)范圍計(jì)算公式和第1個(gè)例子中的公式一樣。

? ? ? ? ? ? ?ADC輸出的動(dòng)態(tài)范圍計(jì)算比較簡(jiǎn)單，其動(dòng)態(tài)范圍和ADC的精度相關(guān)。假如ADC的精度是14bit，其最小非0輸出為1，最大為2^14–1那么其輸出值的動(dòng)態(tài)范圍是:，約為84.3dB。

? ? ? ? ? ? ?ADC輸入的動(dòng)態(tài)范圍計(jì)算相比輸入來(lái)說(shuō)沒(méi)有這么直觀，因?yàn)槠漭斎氲淖钚≈凳艿侥M信號(hào)的噪聲水平影響。假設(shè)參考電壓上限為2.5V，本底噪聲為1mV，那么其動(dòng)態(tài)范圍大概是68dB。

? ? ? ? ? ? 通過(guò)以上兩個(gè)例子，我們應(yīng)該對(duì)動(dòng)態(tài)范圍本身是什么有了一個(gè)初步認(rèn)識(shí)。在圖像處理領(lǐng)域，提到動(dòng)態(tài)范圍，一般是指圖像中所包含的從"最暗"至"最亮"的范圍。動(dòng)態(tài)范圍越大，圖像的細(xì)節(jié)就越豐富。

? ? ? ? ? ? ?對(duì)于image sensor來(lái)說(shuō)，動(dòng)態(tài)范圍的定義是最大不飽和光電流和最小可檢測(cè)光電流的比值。對(duì)于一個(gè)使用井容量(Well Capacity)為固定值的sensor來(lái)說(shuō)，這個(gè)值限制了最高的信號(hào)水平，最低的可檢測(cè)信號(hào)則由sensor的讀取噪聲所決定。其DR公式為：

? ? ? ? 另外，來(lái)整一道隨口亂說(shuō)的計(jì)算題。假設(shè)你過(guò)節(jié)回家，每天你都會(huì)測(cè)量一下你媽看到你賴(lài)床的時(shí)候的聲壓，假設(shè)最小值為0.02Pa，最大聲壓20Pa的話，各位可以算一下媽媽的聲壓動(dòng)態(tài)范圍是多少？

HDR是什么

? ? ? ? HDR,高動(dòng)態(tài)范圍，全稱(chēng)High Dynamic Range。比Dynamic Range多 了一個(gè)high，這個(gè)“高”結(jié)合前文的動(dòng)態(tài)范圍來(lái)講，在sensor這塊主要是指提高了圖像的亮度范圍，能夠讓圖像里的高光和陰影的范圍更寬，這樣就會(huì)讓圖像細(xì)節(jié)更加飽滿(mǎn)。簡(jiǎn)單描述HDR就是（不準(zhǔn)確，便于理解）：HDR能讓圖像亮的地方和暗的地方的細(xì)節(jié)都展現(xiàn)出來(lái)。

? ? ? ? 說(shuō)了這么多，還是來(lái)看圖最直接。

（圖片地址：魅藍(lán)S6對(duì)比紅米5：誰(shuí)才是千元全面屏最優(yōu)解 | 凰家評(píng)測(cè)_手機(jī)鳳凰網(wǎng)）

? ? ? ? 對(duì)于Image sensor來(lái)說(shuō)，根據(jù)動(dòng)態(tài)范圍的計(jì)算公式，硬件上最簡(jiǎn)單的提高動(dòng)態(tài)范圍的方法可以將ADC的轉(zhuǎn)換精度提高。下表是一個(gè)ADC精度和其支持的動(dòng)態(tài)范圍的對(duì)比。

? ? ? ? 但在現(xiàn)實(shí)場(chǎng)景中，提高sensor的位寬會(huì)導(dǎo)致一系列問(wèn)題，比如帶寬的要求更高，存儲(chǔ)空間要求變大，整體成本會(huì)更高。于是工程師們開(kāi)始想辦法通過(guò)其他手段來(lái)提升sensor的動(dòng)態(tài)范圍。因此產(chǎn)生了一些sensor的HDR技術(shù)，能夠在實(shí)現(xiàn)HDR同時(shí)盡量不增加太多成本。

實(shí)現(xiàn)HDR的技術(shù)方法

? ? ? ? 前面提到了HDR的一些原理。下面來(lái)看一些具體實(shí)現(xiàn)HDR的技術(shù)，從最傳統(tǒng)的時(shí)域多幀HDR來(lái)看起。

時(shí)域多幀HDR

? ? ? ? 從名字里的“多幀”兩個(gè)字可以大致猜出這種方法的原理，就是將拍攝多張圖，然后進(jìn)行“融合”。我們假設(shè)有三幀（實(shí)際上不一定非得是三幀）數(shù)據(jù)：短曝光時(shí)間幀，中曝光時(shí)間幀，長(zhǎng)曝光時(shí)間幀。

? ? ? ? 拿到這三張圖后，按照一定算法進(jìn)行“融合”，一般采用下面的公式：

????????

? ? ? ? X(i,j)表示 坐標(biāo)i,j處像素最終的值

? ? ? ? K代表總共K幀

? ? ? ? W(ij,k)表示坐標(biāo)在i,j處的像素在第k幀里的權(quán)重值

? ? ? ? X(k(i,j))表示坐標(biāo)在i,j處的像素在第k幀里的原始值

? ? ? ? 這種技術(shù)的大概運(yùn)作流程如下圖所示：

（原圖地址：深入淺出理解各種HDR類(lèi)型|極客筆記）?

? ? ? ? 從上圖可以看出，雖然這種方法最終合成的圖能夠?qū)挡亢土敛康募?xì)節(jié)都呈現(xiàn)出來(lái)。但對(duì)于高速運(yùn)動(dòng)的物體（馬），有嚴(yán)重的重影問(wèn)題，馬的腿部問(wèn)題尤為明顯，看起來(lái)馬腿變成了螃蟹腿。同樣，如果在拍攝時(shí)，如果因?yàn)槭侄叮瑢?dǎo)致圖像中的物體位置發(fā)生了改變，也會(huì)產(chǎn)生鬼影。

? ? ? ? 在早期使用時(shí)域多幀HDR技術(shù)的設(shè)備中，為了解決手抖問(wèn)題，會(huì)采用多幀防抖動(dòng)算法，找出幾幅圖的特征點(diǎn)進(jìn)行對(duì)齊，然后再做融合。對(duì)于高速運(yùn)動(dòng)的物體，選取出其中一張為主圖，其它的圖中選取相對(duì)穩(wěn)定的部分進(jìn)行融合。

Google的HDR+

? ? ? ? 傳統(tǒng)的時(shí)域多幀HDR技術(shù)的特點(diǎn)是多張不同曝光程度的圖融合為一張圖片，我們假設(shè)上一節(jié)的三張圖為例，拍攝三張圖的時(shí)間會(huì)比較長(zhǎng)（主要是過(guò)曝的圖時(shí)間占比較大），在陰暗環(huán)境下尤其明顯。Google提出了一種新的HDR+技術(shù)，通過(guò)融合多幀欠曝的圖，通過(guò)一定算法降噪得到結(jié)果。

? ? ? ? HDR+流水線流程如下圖（谷歌白皮書(shū)）：? ? ? ?

? ? ? ? ??HDR+技術(shù)有兩個(gè)最重要的步驟：1. 做多個(gè)原始欠曝幀的對(duì)齊Aligning；2. 將多幀合并Merging，用來(lái)降噪。

????????對(duì)齊

? ? ? ? ?對(duì)齊的目的主要是為了消除由于抖動(dòng)引起的明顯的模糊或鬼影，在合并操作前得到魯棒性更好的數(shù)據(jù)幀。通常對(duì)齊原始數(shù)據(jù)幀會(huì)使用一個(gè)高斯金字塔來(lái)操作，高斯金字塔的每層的下采樣因子是4，使用16*16個(gè)tile，搜索區(qū)域?yàn)?個(gè)像素，然后去查找使得L1距離和最小的tile偏移。Google使用了稍微不同的下采樣因子和搜索區(qū)域大小，并且融合了L2和L1距離計(jì)算，像素級(jí)對(duì)齊方法基本相同。Google還加了一個(gè)子像素對(duì)齊的方法，這樣就使得對(duì)齊的精度更細(xì)。來(lái)看一下效果：

Six-frame Average?

Six-frame Align and Merge

（圖片地址HDR+ Pipeline）

?????????合并

? ? ? ? ? ?合并操作目的主要是降噪，它通過(guò)從已對(duì)齊的其它幀的圖像中抽取相似的信息來(lái)實(shí)現(xiàn)降噪。Google使用一種Wiener濾波的變體來(lái)實(shí)現(xiàn)。合并操作顯著地改善了圖像質(zhì)量，沒(méi)有大多數(shù)單幀模糊算法的副作用，同時(shí)還提升了色彩準(zhǔn)確度，尤其是針對(duì)圖像的比較黑暗的區(qū)域效果明顯。

Single Frame Closeup

?Six-frame Align and Merge Closeup ? ? ??

Interlaced HDR

? ? ? ? 為了解決鬼影問(wèn)題，誕生了隔行曝光(Interlaced)HDR。采用這種技術(shù)的sensor，以行為單位，一組做長(zhǎng)曝光，一組做短曝光，比如奇數(shù)組短曝光，偶數(shù)組長(zhǎng)曝光（由于bayer陣列的結(jié)構(gòu)，一般是兩行為一組）。這樣在一幀中就同時(shí)包含了長(zhǎng)曝光和短曝光的行。算法最后會(huì)進(jìn)行融合處理。其工作原理如下圖：

?（原圖地址：深入淺出理解各種HDR類(lèi)型|極客筆記）

????????iHDR會(huì)使得空間分辨率損失一半，主要的iHDR的技術(shù)有Sony的BME-HDR和OV的Alternate row HDR。

???????BME-HDR

? ? ? ? 采用這種技術(shù)的sensor，會(huì)按照每?jī)尚袨橐唤M，分別進(jìn)行長(zhǎng)曝光、短曝光。得到長(zhǎng)、短曝光的數(shù)據(jù)后，進(jìn)行融合，得到HDR圖像。空間分辨率損失一半，就好像做了1x2 binning（binning_百度百科），因此叫做Binned Multiplexed Exposure。

? ? ? ? OV的Alternate row HDR原理基本和Sony的BME-HDR類(lèi)似，不再贅述。

zHDR(Zig-zag HDR)

?????????iHDR技術(shù)最大的問(wèn)題是空間分辨率損失的問(wèn)題，zHDR基本思想源自iHDR，但做了改進(jìn)。zHDR不再以行為單位做曝光時(shí)間區(qū)分，而是按照Z(yǔ)字形方式組織長(zhǎng)曝光和短曝光的數(shù)據(jù)。?

? ? ? ? zHDR是由SONY提出的iHDR的升級(jí)版本，?具體的實(shí)現(xiàn)方案主要是SONY的SME-HDR

? ? ? ?SME-HDR（Spatial Multiplexed Exposure）

?????????有多種排布長(zhǎng)短曝光像素的布局可以達(dá)到zHDR的目的，就目前所知，SONY并沒(méi)有公開(kāi)具體的布局。上圖是一種布局例子，在空間上Bayer陣列以4x4為單位，分別排布曝光時(shí)間長(zhǎng)短不同的像素，上圖中顏色的深淺表示了曝光時(shí)間的長(zhǎng)短。這種布局聲稱(chēng)能夠獲得單幀全分辨率HDR圖像，只有約20%的空間分辨率損失（和SONY的SME-HDR所宣傳能達(dá)到的）。

QHDR（QB-HDR）

? ? ? ? Quad HDR類(lèi)型的sensor，相比于傳統(tǒng)的bayer陣列，每一個(gè)像素（單色）劃分為4個(gè)子像素，共用一個(gè)色彩濾波片。Quad Bayer結(jié)構(gòu)如下圖：

（原圖地址：Quad-Bayer Camera Sensors For Better Photos | Ubergizmo）?

? ? ? ? ?使用QHDR的sensor有兩種模式：普通模式和HDR模式。普通模式下，只有一種曝光時(shí)間，標(biāo)號(hào)1,2,3,4的子像素會(huì)binning到一起作為一個(gè)像素的值輸出；HDR模式下，可以讓子像素之間有不同的曝光時(shí)間，標(biāo)號(hào)1,2,3,4的子像素值被用來(lái)做HDR合成。下圖展示了某種Quad Bayer sensor兩種模式之間的差異：

Quad Bayer Sensor工作模式對(duì)比?（原圖地址：Quad-Bayer Camera Sensors For Better Photos | Ubergizmo）?

? ? ? ? ?SONY和OV都有QHDR的方案，SONY的叫QBC(Quad Bayer Coding)，OV叫4-cell (four-cell color-filter pattern HDR)

? ? ? ?QBC

? ? ? ? 普通模式：像素1,2,3,4的值組合到一起作為一個(gè)大像素的輸出值。

? ? ? ? HDR模式：對(duì)角線上的像素1和4為一組，像素2和3為一組分別做長(zhǎng)短曝光，然后將1和4的值，2和3的值分別融合作為大像素的長(zhǎng)、短曝光下的值用來(lái)做HDR計(jì)算?？梢詤⒖紙D - “Quad Bayer Sensor工作模式對(duì)比?”。

? ? ? ? 4-cell

? ? ? ? 工作方式和QBC類(lèi)似，但它的HDR可以有兩種不同的設(shè)置：

? ? ? ? 1. 按對(duì)角線方式分成兩組做不同的曝光，和QBC基本無(wú)差別

? ? ? ? 2. 右下角像素曝光時(shí)間不同（像素1,2,3為一組，像素4為一組）

行交織HDR(Line Interleaving HDR)

? ? ? ? 前面提到的iHDR，zHDR和QHDR等方法（不包括時(shí)域多幀HDR和HDR+），都屬于單幀HDR，在一幀里包含亮部和暗部信息融合得到最終圖像。單幀HDR相比于多幀HDR技術(shù)上相對(duì)簡(jiǎn)單，速度較快，但效果還是不如多幀HDR。時(shí)域多幀HDR和HDR+的計(jì)算量和能耗開(kāi)銷(xiāo)較大，硬件HDR有沒(méi)有一種方法能夠比較好地應(yīng)對(duì)運(yùn)動(dòng)物體場(chǎng)景，同時(shí)又能節(jié)約計(jì)算資源和功耗呢？頭部玩家SONY和OV等開(kāi)始使用一種叫做行交織HDR的技術(shù)。

? ? ? ? 一般常見(jiàn)的CMOS sensor的快門(mén)都是滾動(dòng)快門(mén)（也叫卷簾快門(mén)，Rolling Shutter），其讀取像素?cái)?shù)據(jù)時(shí)是從上至下一行行讀取。

Camera和Image sensor技術(shù)基礎(chǔ)筆記(2) -- Sensor的快門(mén):全局快門(mén)(global shutter)和卷簾快門(mén)(rolling shutter)_亦楓Leonlew的博客-CSDN博客_global快門(mén)簡(jiǎn)介CCD和CMOS相機(jī)的圖像傳感器都使用電子快門(mén)，兩種sensor不同的地方在于讀取像素?cái)?shù)據(jù)的方式。典型的CCD相機(jī)會(huì)同時(shí)曝光所有sensor的像素，這種方式稱(chēng)為全局快門(mén)(global shutter)。意思是從相機(jī)中sensor獲取的圖像數(shù)據(jù)中所有像素的值都在同一個(gè)時(shí)間點(diǎn)上獲取。盡管有部分使用全局快門(mén)的CMOS技術(shù)存在，但大部分CMOS相機(jī)使用卷簾快門(mén)（rolling shutter）。使用卷簾快門(mén)時(shí)，sensor獲取的圖像以行為單位曝光，每行...https://blog.csdn.net/vivo01/article/details/123572713?spm=1001.2014.3001.5502? ? ? ? 在傳統(tǒng)的時(shí)域多幀HDR中，每一幀數(shù)據(jù)必須等到上一幀完成數(shù)據(jù)讀取后才能開(kāi)始。假設(shè)sensor先進(jìn)行長(zhǎng)曝光，再進(jìn)行短曝光，那么短曝光的幀必須等到長(zhǎng)曝光幀讀取完成后再開(kāi)始。

? ? ? ? 行交織HDR中，基本思想是，sensor讀取完一行長(zhǎng)曝光數(shù)據(jù)后，立即對(duì)這一行進(jìn)行短曝光。每一行不同曝光時(shí)間的數(shù)據(jù)交錯(cuò)讀取，因此節(jié)省了較多的等待時(shí)間。

? ? ? ? 傳統(tǒng)多幀HDR和行交織HDR的對(duì)比如下圖（個(gè)人理解繪制）：

? ? ? ? ?橫軸為時(shí)間t，縱軸從上到下，代表sensor的第1,2,3,...,N+行。圖中只考慮了兩種曝光時(shí)間的情況，實(shí)際中可能還會(huì)有長(zhǎng)曝光、中曝光、短曝光時(shí)間的情況。

? ? ? ? （特別說(shuō)明：在網(wǎng)上看了不少資料，個(gè)人感覺(jué)要么不好理解，要么是有誤，所以自己按照個(gè)人理解畫(huà)了這個(gè)圖，如果理解有誤請(qǐng)告知，謝謝）

? ? ? ? 網(wǎng)上有一副動(dòng)圖，感覺(jué)比較好，這里也放上：

? ? ? ? 下面這幅圖展示了雙曝光下數(shù)據(jù)讀出的框圖：

? ? ? ? 頭部廠商SONY的實(shí)現(xiàn)方案為DOL-HDR（Digital Overlap HDR），OV實(shí)現(xiàn)方案為staggered HDR。

? ? ? ? DOL-HDR

? ? ? ? SONY推出的一種sensor多幀HDR技術(shù)，支持“準(zhǔn)同時(shí)”輸出多幀不同曝光時(shí)間的圖像。

? ? ? ? 最多支持4:1曝光輸出：long,medium,short,very short? ? ?

? ? ? ? DOL-HDR的曝光比計(jì)算

? ? ? ? 考慮只有長(zhǎng)、短曝光的情況，。

? ? ? ? 曝光比和SNR drop相關(guān)，DOL的noise profile如下：

（原圖地址：HDR Imaging(2)--Digital Overlap_專(zhuān)欄_易百納技術(shù)社區(qū)）? ? ? ??

? ? ? ? ? ? ? ? 可以看到，曝光比越大，SNR drop就越大。SNR drop變得很大的時(shí)候，圖像就會(huì)有明顯的銳利邊界出現(xiàn)，如下面兩張示例圖所示：

? ? ? ??

(兩張圖獨(dú)立，無(wú)關(guān)聯(lián))

? ? ? ? ? ? ? ? Staggered HDR

??????????????? ? 和DOL-HDR區(qū)別不大，但最多支持3:1輸出:long,medium,short

? ? ? ? ? ? ? ? ? 另外，OV支持配置四種輸出方式:

? ? ? ? ? ? ? ? ? 1. 3幀12bit：L+M+S

? ? ? ? ? ? ? ? ? 2. 在sensor上做L+M的stitch，融合后的16bit圖像加上原始的12bit的S

? ? ? ? ? ? ? ? ? 3. L+M融合后的12bit圖像加上原始的12bit的S

? ? ? ? ? ? ? ? ? 4. 兩幀12bit原始圖像：L+S或M+S

雙增益(Dual Gain)

? ? ? ? 在CMOS感光元件中，我們可以通過(guò)配置其增益值（模擬增益和數(shù)字增益）來(lái)放大信號(hào)。一般相機(jī)都會(huì)有一個(gè)ISO（感光度）增益調(diào)節(jié)功能，能夠調(diào)節(jié)ISO值來(lái)放大信號(hào)，但傳統(tǒng)的相機(jī)在放大信號(hào)同時(shí)，噪聲也一起放大了。

????????可不可以通過(guò)在不同曝光條件下使用不同增益改善信號(hào)質(zhì)量，輔助實(shí)現(xiàn)HDR呢？答案是有的，目前sensor設(shè)計(jì)里有兩種主要的雙增益方法:一種在像素里做，叫做DCG（Dual Conversion Gain）；一種在讀出電路里做，叫做DGA（Dual Gain Amplifier）。

? ? ? ? DCG（Dual Conversion Gain）

? ? ? ? ?DCG是像素級(jí)的雙增益方法，Dual這個(gè)單詞將增益分出了兩檔：High Conversion Gain（HCG）和Low Conversion Gain（LCG）。

? ? ? ? LCG應(yīng)對(duì)于明亮的場(chǎng)景，DCG處于打開(kāi)狀態(tài)；HCG應(yīng)對(duì)低光場(chǎng)景，DCG處于關(guān)閉狀態(tài)，靈敏度增加。

? ? ? ? 要理解其原理，我們首先來(lái)看一個(gè)不帶DCG的CMOS像素電路圖

?無(wú)DCG的像素電路圖（原圖地址：https://www.photonstophotos.net/Aptina/DR-Pix_WhitePaper.pdf）

? ? ? ? ?轉(zhuǎn)換增益CG和滿(mǎn)阱容量FWC關(guān)系

? ? ? ? ? ? ? ? CG本身可以簡(jiǎn)單理解為電路探測(cè)到了一個(gè)電子后，轉(zhuǎn)換表示為電壓的單位，也就是對(duì)電子的敏感程度，CG越大，表示一個(gè)電子所能轉(zhuǎn)換的電壓就越高（不嚴(yán)謹(jǐn)，邏輯上這么理解即可，勿較真）。CG實(shí)際上是FD節(jié)點(diǎn)電容的一種“反向”表達(dá)方式。我們知道電容的公式是：C=Q/V。Q是電荷，V是電壓。這意味著隨著FD節(jié)點(diǎn)的電容增大，F(xiàn)D節(jié)點(diǎn)的CG就會(huì)減少（因此靈敏度也會(huì)下降）。通常來(lái)說(shuō)，像素中所允許的電壓擺幅（voltage swing）由整體的sensor設(shè)計(jì)所固定。這個(gè)固定的電壓范圍意味著CG會(huì)對(duì)sensor的FW產(chǎn)生顯著的影響。

? ? ? ? ? ? ? ? 舉個(gè)例子，假設(shè)像素的output處允許1V的電壓擺幅，SF的增益是0.8。那么FD處所允許的電壓擺幅就等于1V/0.8 = 1.25V。

????????????????如果FD的電壓擺幅為1.25V，假設(shè)有一個(gè)sensor，它的CG=30uV/e,那么最大的FWC就等于1.25 * 10^6 uV / (30uV/e) 約為42000個(gè)電子；如果CG=150uV/e，那么FWC久等于1.25 * 10^6 / (150uV/e)約為8000個(gè)電子。

? ? ? ? ? ? ? ? 下圖是曝光和FD信號(hào)的關(guān)系曲線，可以對(duì)比一下HCG和LCG下不同的表現(xiàn)。

? ? ? ? ? ? ? ? 這個(gè)例子中，HCG sensor的CG=127uV/e，F(xiàn)W=10500 electrons；LCG sensor的CG=30.8uV/e，F(xiàn)W=42000 electros。兩種情況下，F(xiàn)D處的最大電壓變化量幾乎相等，大約1.3V（只使用了信號(hào)響應(yīng)曲線中線性變化的部分）。

? ? ? ? ? ? ? ? 從這幅圖，我們可以看出，相同環(huán)境相同曝光情況下（可認(rèn)為收集的電子數(shù)量基本相等），HCG的靈敏度更高，轉(zhuǎn)換輸出電壓更高。在轉(zhuǎn)換輸出電壓相同的情況下，LCG所收集的電子數(shù)更多。

? ? ? ? ? ? ? ??DCG Sensor簡(jiǎn)介 - 小米10 至尊紀(jì)念版主攝技術(shù) - 知乎

? ? ? ? ? ? ? ? 網(wǎng)上的這篇文章（寫(xiě)作中也參考了），對(duì)這幅圖進(jìn)行了總結(jié)，我對(duì)其中的結(jié)論有不同意見(jiàn)：相同曝光下，HCG的FD采集的電子數(shù)和LCG的FD采集的電子數(shù)是大致相同的，而不是HCG比LCG多得多（當(dāng)然，我是非電子專(zhuān)業(yè)，如果理解有誤歡迎指正）。

? ? ? ? CG，F(xiàn)WC和DR，SNR的關(guān)系

? ? ? ? ? ? ? ? 對(duì)于相同的圖像場(chǎng)景和曝光量來(lái)說(shuō)，更高的SNR對(duì)應(yīng)更好的圖像質(zhì)量。我們用SNR_max來(lái)表示sensor的飽和曝光量N_max與整體（total）或暫態(tài)的（temporal）噪聲（ 單位以電子計(jì)量）的比值來(lái)表示最大信噪比，其公式是：

????????????????

? ? ? ? ? ? ? ? 類(lèi)似的，動(dòng)態(tài)范圍DR，我們用N_max比上讀取噪聲來(lái)表示，其公式是

????????????????

? ? ? ? ? ? ? ? ?一個(gè)更大的FW會(huì)增加N_max,因此SNR上限也會(huì)增大，同時(shí)也增加了sensor的整體動(dòng)態(tài)范圍，但增加CG會(huì)限制FW所能達(dá)到的上限。

? ? ? ? 動(dòng)態(tài)響應(yīng)像素技術(shù)

? ? ? ? ? ? ? ? ?有了前面的知識(shí)，我們來(lái)真正看看使用DCG技術(shù)的像素電路。和傳統(tǒng)的像素電路對(duì)比，最大的不同是紅框處。這里增加了一個(gè)DCG開(kāi)關(guān)。

??????????????????當(dāng)處于高光照環(huán)境時(shí)，DCG開(kāi)關(guān)打開(kāi)，連接FD和物理電容，F(xiàn)D節(jié)點(diǎn)電容變大，這時(shí)對(duì)應(yīng)LCG模式。

? ? ? ? ? ? ? ? ? 當(dāng)處于陰暗光照環(huán)境時(shí)，DCG關(guān)閉，斷開(kāi)FD和物理電容，這時(shí)對(duì)應(yīng)HCG模式。這種情況下，靈敏度變高，讀出噪聲變小。

? ? ? ? ? ? ? ? ?最后來(lái)看看實(shí)際效果：

? ? ? ? ? ? ? ? ?首先看陰暗環(huán)境光照下，HCG和LCG的對(duì)比

? ? ? ? ? ? ? ? ?

Aptina MT9H004 sensor with Aptina DR-Pix technology,

144 lux daylight illumination, 125 ms exposure, in LCG mode.

?Aptina’s MT9H004 sensor with Aptina DR-Pix technology

with the HCG mode enabled, resulting in higher sensitivity and lower noise.

Seen in 144 lux daylight illumination and 125 ms exposure

? ? ? ? ? ? ? ? ?然后來(lái)看明亮環(huán)境下，HCG和LCG的對(duì)比

????????????????

Overexposed scene using HCG in a 2,430 lux daylight illumination scene

with 125 ms of exposure time.

?: Properly exposed bright light scene, 2,430 lux daylight illuminant,

125ms, enabled by the LCG mode

of Aptina’s MT9H004 sensor with Aptina DR-Pix technology.

????????DGA(Dual Gain Amplifier)

Neo和Zyla中使用的雙增益放大器電路? ? ? ? ? ? ? ?

? ? ? ? DGA實(shí)際電路中有兩路放大器，上圖是一個(gè)sCMOS的電路框圖。目的和DCG類(lèi)似，只是對(duì)于DCG方式來(lái)講，如果沒(méi)有特殊處理，一幀可以選擇HCG，一幀選LCG；對(duì)DGA來(lái)說(shuō)，可以做成一幀內(nèi)同時(shí)讀出HCG和LCG數(shù)據(jù)。

Dual Gain + 行交織結(jié)合的HDR

? ? ? ?OV48C上，結(jié)合了Dual Gain和行交織一起做，其原理不再贅述。

結(jié)束

? ? ? ? 關(guān)于sensor所涉及的HDR（嚴(yán)格來(lái)講HDR+和時(shí)域多幀和具體sensor硬件技術(shù)關(guān)系不大）技術(shù)很多，這篇筆記在做的時(shí)候參考了很多資料，網(wǎng)上的文章（包括這篇筆記）可能會(huì)有錯(cuò)誤，在學(xué)習(xí)的時(shí)候需要多加判斷。

參考資料

? ? ? “CMOS IMAGE SENSORS DYNAMIC RANGE AND SNR ENHANCEMENT VIA STATISTICAL SIGNAL PROCESSING”https://isl.stanford.edu/~abbas/group/papers_and_pub/chiao_thesis.pdfhttps://isl.stanford.edu/~abbas/group/papers_and_pub/chiao_thesis.pdf

? ? ? HDR sensor 原理介紹 - 知乎

? ? ??HDR sensor 技術(shù) -- DCG 簡(jiǎn)介_(kāi)菜雞也很難受的博客-CSDN博客

? ? ??HDR 成像技術(shù)學(xué)習(xí)（一）_滄海一升的博客-CSDN博客_hdr成像

? ? ??Sony IMX378: Comprehensive Breakdown of the Google Pixel's Sensor and its Features

? ? ? Technology｜Image Sensor：Consumer Camera｜Products｜Sony Semiconductor Solutions Group

? ? ? Quad-Bayer Camera Sensors For Better Photos | Ubergizmo

? ? ? Sony IMX490: On-Sensor HDR and Flicker Mitigation for High Contrast Scenes | LUCID Vision Labs
? ? ? ?HDR Imaging(2)--Digital Overlap_專(zhuān)欄_易百納技術(shù)社區(qū)
? ? ? ?https://www.photonstophotos.net/Aptina/DR-Pix_WhitePaper.pdf

?文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-518455.html

到了這里，關(guān)于Camera和Image sensor技術(shù)基礎(chǔ)筆記(5) -- HDR相關(guān)技術(shù)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！