前言

最近也是未來(lái)需要考慮做的一件事情是，如何通過(guò)FPGA/ZYNQ去做顯微鏡圖像觀測(cè)下的圖像采集傳輸與后續(xù)的處理。目前顯微鏡觀測(cè)領(lǐng)域通常是以PC端連接工業(yè)相機(jī)接口，這個(gè)接口可以是USB3.0，可以是網(wǎng)口，也可以是其它傳輸方式。常常通過(guò)工業(yè)相機(jī)輸出的為視頻流數(shù)據(jù)，廠商會(huì)提供對(duì)應(yīng)的協(xié)議，只需要用他們的軟件去進(jìn)行控制即可，但這種方式，明顯不自由，也會(huì)受一些限制。如果能夠做一款自己的工業(yè)相機(jī)出來(lái)，是不是會(huì)把這種限制給解決。

當(dāng)然，這個(gè)要解決的問(wèn)題需要很多，我最近也在研究和調(diào)研這個(gè)方向的知識(shí)。目前國(guó)際上做圖像傳感器做的比較好的有很多廠商，外國(guó)的廠商是占據(jù)明顯優(yōu)勢(shì)的，當(dāng)然我們國(guó)內(nèi)的廠商也不容小覷，豪威，格科微，思特威，長(zhǎng)光辰芯，銳芯微蓬勃發(fā)展。就顯微鏡圖像觀測(cè)這個(gè)領(lǐng)域，國(guó)內(nèi)也在不斷的發(fā)力，相信在未來(lái)能取得更大的發(fā)展。未來(lái)我或許也會(huì)從事這個(gè)行業(yè)的工作，希望能為國(guó)產(chǎn)顯微鏡這個(gè)領(lǐng)域，貢獻(xiàn)出自己的一份力量，雖說(shuō)道阻且長(zhǎng)，但是一輩一輩人的奮斗，總能夠在未來(lái)取得成效。為了讓更多人了解這個(gè)方向和市場(chǎng)，更多的發(fā)散自己的思維，今天決定寫(xiě)這篇文章簡(jiǎn)單的將一些知識(shí)做一些匯總，后續(xù)如果有一些成果我也會(huì)與大家分享一下（礙于是為平臺(tái)做的設(shè)計(jì)，所以核心的東西沒(méi)有辦法分享，但是思路是共享的）

一、圖像傳感器廠商

從CIS供應(yīng)商來(lái)看，索尼和三星一直都是屬于圖像傳感器行業(yè)的龍頭老大，據(jù)網(wǎng)上搜到的數(shù)據(jù)和信息，2020年索尼在銷(xiāo)售額占比約為40%，三星22%，國(guó)內(nèi)的龍頭豪威占12%，ST占6%，國(guó)內(nèi)格科微占4%，安森美占4%，SK海力士占2%，思特微占1%。前十里面有三家國(guó)產(chǎn)的CIS廠商，總共營(yíng)收占比合計(jì)17%。國(guó)內(nèi)還有一些做的比較好的圖像傳感器廠商，例如長(zhǎng)光辰芯，瑞芯微等等。

我們不評(píng)價(jià)整體大的市場(chǎng)形式，但國(guó)產(chǎn)化肯定是未來(lái)中國(guó)市場(chǎng)的主流，無(wú)論是FPGA，ZYNQ還是各類芯片（包括圖像傳感器），經(jīng)歷了卡脖子事件，我相信無(wú)論是國(guó)家還是各個(gè)企業(yè)，都已經(jīng)在籌備許多器件國(guó)產(chǎn)化的替代。這個(gè)過(guò)程雖然會(huì)比較漫長(zhǎng)，但是未來(lái)肯定是我們主要投入心思進(jìn)去的一個(gè)方向。

在做這個(gè)圖像傳感器數(shù)據(jù)采集的過(guò)程，既然sony這個(gè)品牌賣(mài)的最好，銷(xiāo)量最高，就先要搞清楚人家的一個(gè)參數(shù)，對(duì)比外國(guó)產(chǎn)品和國(guó)內(nèi)產(chǎn)品的一個(gè)差距，只能說(shuō)，人家確實(shí)做的不錯(cuò)，產(chǎn)品面也做得很全。這方面網(wǎng)上有很多調(diào)研，今天寫(xiě)這篇文章的主要目的不是這個(gè)。

二、圖像傳感器的參數(shù)解析

1、分辨率：相機(jī)能夠輸出像素點(diǎn)的多少，比如分辨率為4096*4096，則代表感光區(qū)域?yàn)檎叫危呴L(zhǎng)為4096個(gè)像素點(diǎn)。

2、光學(xué)尺寸：傳感器的大小

3、像素尺寸：傳感器中像素點(diǎn)的寬度和高度尺寸大小

4、感光面積：相機(jī)或傳感器上光敏元件的面積大小，通常以平方毫米為單位

5、快門(mén)類型：卷簾快門(mén)或者全局快門(mén)

6、峰值量子效率：特定條件下，光電器件再單位時(shí)間內(nèi)能轉(zhuǎn)換為電信號(hào)的最高效率

7、滿阱容量：是指填滿一個(gè)像素所需要的電子數(shù),因此更大的像素面積將容納更多的電子數(shù)

8、輸入時(shí)鐘頻率：同步電路中時(shí)鐘的基礎(chǔ)頻率

9、讀出噪聲：相機(jī)測(cè)量它在一次信號(hào)采集中捕獲到的每個(gè)像素的光子數(shù)量時(shí)，總是存在一定程度的誤差，這種不準(zhǔn)確性被稱為讀出噪聲

10、暗電流：鏡頭無(wú)光線透過(guò)的條件下觀測(cè)到的電流，是傳感器成像過(guò)程中的一種非理想因素

11、動(dòng)態(tài)范圍：相機(jī)能夠捕捉到的最大和最小亮度的比率

12、最高幀率：每秒能夠采集并輸出的最大幀率

13、輸出接口：LVDS，MIPI接口等等，高速圖像數(shù)據(jù)傳輸接口

14、最大數(shù)據(jù)率：Gbps/s這種格式，每秒能傳輸多大的像素?cái)?shù)據(jù)量。

15、色彩：彩色數(shù)據(jù)或者黑白數(shù)據(jù)

16、功耗：傳感器運(yùn)行過(guò)程中消耗的功率

17、供電電壓：傳感器正常工作的電壓大小

18、封裝形式：具體的封裝規(guī)格

三、圖像傳感器中的全局曝光和卷簾曝光

一般而言，CCD相機(jī)是全局曝光，而CMOS相機(jī)則存在卷簾曝光。

全局曝光就是光圈打開(kāi)后，整個(gè)圖像芯片同時(shí)曝光，因此曝光時(shí)間與機(jī)械的開(kāi)關(guān)速度有關(guān)，那么就存在理論上的最小曝光時(shí)間。

卷簾曝光的方式與卷簾概念相關(guān)。這種方式是光圈打開(kāi)后，還存在具有一定間隔的卷簾來(lái)控制傳感器的曝光時(shí)間。卷簾的方式是從左到右的。因此，曝光時(shí)間長(zhǎng)短完全取決于卷簾的開(kāi)口大小與卷簾的運(yùn)動(dòng)速度，也就是說(shuō)卷簾運(yùn)動(dòng)的越快，眷戀間距就越小，其傳感器的曝光時(shí)間就越小，因此意味著卷簾曝光方式能夠有更小的曝光時(shí)間。

全局曝光優(yōu)點(diǎn)是所有像素點(diǎn)同時(shí)曝光。缺點(diǎn)是曝光時(shí)間存在局限，存在機(jī)械極限的最小曝光時(shí)間。

卷簾曝光的優(yōu)點(diǎn)是具有更小的曝光時(shí)間。其缺點(diǎn)是由于逐行的是在不同時(shí)間進(jìn)行曝光取向，如果圖像是高速運(yùn)動(dòng)的，則存在明顯的拖影。因此，卷簾曝光不適合拍攝高速運(yùn)動(dòng)的物體。

總結(jié)來(lái)說(shuō)就是對(duì)于拍攝運(yùn)動(dòng)速度快的物體全局曝光有優(yōu)勢(shì)，靜態(tài)物體卷簾曝光速度快，曝光時(shí)間短。無(wú)論何種方式，F(xiàn)PGA都能夠進(jìn)行處理，像素點(diǎn)的輸出方式已經(jīng)確定了，只需要采集數(shù)據(jù)即可

曝光時(shí)間的問(wèn)題就是相機(jī)采集圖像過(guò)程中的兩個(gè)部分。第一部分是曝光，第二部分是曝光后，從傳感器的寄存器中讀出數(shù)據(jù)并傳送出去。曝光時(shí)間越長(zhǎng)，拍攝速度越慢，但是曝光時(shí)間越短，進(jìn)光量就會(huì)變少，此時(shí)就需要調(diào)大光圈，增加光照，才能保證圖像的亮度。

逐行曝光sensor 實(shí)現(xiàn)如上圖逐行曝光模式所示。與全局曝光不同，逐行曝光從第一行開(kāi)始曝光，一個(gè)行周期之后第二行才開(kāi)始曝光。依次類推，經(jīng)過(guò)N-1 行后第N 行開(kāi)始曝光。第一行曝光結(jié)束后開(kāi)始讀出數(shù)據(jù)，讀出一行需要一行周期時(shí)間（含行消隱時(shí)間）。至第一行完全讀出后，第二行剛好開(kāi)始讀出，依次類推，當(dāng)?shù)贜-1 行讀完后，第N 行開(kāi)始讀出，直到整幅圖像完全讀出。逐行曝光的sensor 技術(shù)難度較全局曝光sensor 低，價(jià)格便宜，且分辨率較大，對(duì)于一些靜態(tài)圖像拍攝是不錯(cuò)的選擇。

全局曝光Sensor的所有行同時(shí)開(kāi)始曝光，并同時(shí)結(jié)束曝光，在曝光結(jié)束后，Sensor將所有電子從感光區(qū)轉(zhuǎn)到存儲(chǔ)區(qū)，之后逐行地讀出像素?cái)?shù)據(jù)。這樣曝光的好處是獲得圖像每一行的曝光時(shí)間比較一致，并且在拍攝運(yùn)動(dòng)物體時(shí)圖像不會(huì)出現(xiàn)偏移和歪斜。

不管是全局曝光還是卷簾曝光，我們都不用擔(dān)心FPGA采集的問(wèn)題。這兩者的區(qū)別主要是在于針對(duì)的方向不同，全局曝光在動(dòng)態(tài)物體運(yùn)動(dòng)拍攝上有優(yōu)勢(shì)，但是存在機(jī)械限制，卷簾曝光的幀率可以很高，但是拍攝速度快的物體就容易出現(xiàn)重影的問(wèn)題。

四、處理傳感器圖像數(shù)據(jù)流程

1.研究當(dāng)前圖像傳感器輸出格式

一般的圖像傳感器輸出方式都是LVDS信號(hào)輸出，我們需要做一個(gè)圖像傳感器底板，讓圖像傳感器芯片能夠正常工作，并且將圖像傳感器能夠輸出的信號(hào)接口引出底板，以FPC排線的方式或者直接集成到我們的主控FPGA上。以我的板子為例，由于只有mipi2lane的接口，因此就需要將lvds轉(zhuǎn)成2lane的mipi接口數(shù)據(jù)，在板子上進(jìn)行解析。

一般的圖像傳感器都會(huì)說(shuō)明數(shù)據(jù)傳輸?shù)母袷?，以下圖為例，圖中的左下角就是數(shù)據(jù)流的輸出接口，通過(guò)搜集手冊(cè)也可知道其屬于CSI的接口，我們就可以用MIPI接口進(jìn)行數(shù)據(jù)的解析，這個(gè)過(guò)程需要我們進(jìn)行數(shù)據(jù)的采集和解包，具體的拆解過(guò)程要對(duì)照?qǐng)D像傳感器芯片手冊(cè)的輸出格式來(lái)。

再例如下圖，這個(gè)芯片就采用lvds 8通道輸出，我們就需要對(duì)照其輸出格式做一個(gè)lvds的傳輸?shù)装?，再轉(zhuǎn)換成我們能接收的數(shù)據(jù)解碼。這個(gè)過(guò)程一定要對(duì)準(zhǔn)好，完成了數(shù)據(jù)的解析基本上工作就已經(jīng)完成了一大半了（前提是底板電路做好了，而且你高速接口板子也沒(méi)什么問(wèn)題）

2.FPGA處理圖像數(shù)據(jù)

LVDS圖像采集主要分為幾個(gè)階段：

1、圖像數(shù)據(jù)源的行程

2、數(shù)據(jù)信息的處理和緩存

3、幀數(shù)據(jù)的轉(zhuǎn)發(fā)。

圖像傳感器作為圖像數(shù)據(jù)的來(lái)源，為系統(tǒng)提供高分辨率的可見(jiàn)光和紅外圖像，考慮系統(tǒng)的實(shí)時(shí)性和高可靠性因素，一般的圖像傳感器都是采用LVDS接口實(shí)現(xiàn)數(shù)據(jù)長(zhǎng)距離高速傳輸，解決傳輸瓶頸的問(wèn)題，圖像數(shù)據(jù)進(jìn)入FPGA之前通過(guò)數(shù)據(jù)格式轉(zhuǎn)換接口，采用MAX9218實(shí)現(xiàn)，將串行的數(shù)據(jù)轉(zhuǎn)換成并行數(shù)據(jù)接口（這個(gè)是網(wǎng)上的一種方案，真正可實(shí)現(xiàn)的方案有很多，選擇最適合你的去做，我也在學(xué)習(xí)之中，后期有好的方案會(huì)分享）。

高速圖像傳感器?LVDS接口板?接口轉(zhuǎn)換?接受緩存?乒乓存儲(chǔ)?圖像緩存顯示。
最難的就是圖像數(shù)據(jù)及相關(guān)參數(shù)信息的采集、緩存、組幀和圖像數(shù)據(jù)的轉(zhuǎn)發(fā)。FPGA根據(jù)圖像源中幀同步、行同步、圖像選擇信號(hào)接收解串圖像，存儲(chǔ)至緩存區(qū)，并將圖像附帶的參數(shù)信息寫(xiě)入緩存后部，經(jīng)組幀狀態(tài)機(jī)形成所需的圖像數(shù)據(jù)幀。

數(shù)據(jù)幀被FPGA進(jìn)行解碼以后再通過(guò)一系列的圖像處理方式。比如如果是8bit的bayer數(shù)據(jù)輸出，就需要經(jīng)過(guò)時(shí)鐘域同步，反馬賽克，bayer轉(zhuǎn)rgb888，rgb888轉(zhuǎn)ycbcr等等一系列的操作，這些操作主要是為了獲得我們所需的圖像數(shù)據(jù)。若你想存儲(chǔ)至PL端，則通過(guò)MIG核實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)至DDR中，若你想存儲(chǔ)到PS端，則通過(guò)AXI_DMA將數(shù)據(jù)傳輸至PSDDR，后續(xù)想要做一些圖像的傳輸就通過(guò)PS端以太網(wǎng)，或者USB接口傳輸數(shù)據(jù)。

總結(jié)

今天吃的是湖南大碗菜，不得不說(shuō)，農(nóng)家一碗香就是嘎嘎好吃文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-819022.html

到了這里，關(guān)于008-關(guān)于FPGA/ZYNQ直接處理圖像傳感器數(shù)據(jù)輸出的若干筆記（裸板采集思路）的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！