1、前言

FPGA圖像采集領域目前協議最復雜、技術難度最高之一的應該就是MIPI協議了，MIPI解碼難度之高，令無數英雄競折腰，以至于Xilinx官方不得不推出專用的IP核供開發(fā)者使用，不然太高端的操作直接嚇退一大批FPGA開發(fā)者，就沒人玩兒了。本設計基于Xilinx的Kintex7-325T中端FPGA開發(fā)板，采集IMX390 MIPI攝像頭的4 Lane MIPI視頻，IMX390 攝像頭配置為 MIPI4 Lane RAW12模式，輸出有效分辨率為1920x1080@60Hz；IMX390 MIPI攝像頭引腳經過權電阻方案分出LP電路后接入FPGA的HS BANK的LVDS差分IO；采用自定義的MIPI CSI RX解碼IP實現MIPI的D_PHY+CSI_RX功能，輸出AXI4-Stream格式的RAW12格式視頻，該IP由本博免費提供；至此，MIPI視頻解碼工作完成，但此時的視頻還是原始的RAW12格式，遠遠達不到輸出顯示要求，所以還需進行圖像處理操作，也就是圖像ISP操作；本博提供及其完整的圖像ISP，具體流程包括Bayer轉RGB888、自動白平衡、色彩校正、伽馬校正、RGB888轉YCrCb444、圖像增強、YCrCb444轉RGB888、AE自動曝光等一系列操作；經過ISP處理后的圖像顏色飽滿、畫質清晰，輸出RGB888格式的視頻；然后再使用本博常用的FDMA的圖像緩存架構或者Xilinx官方的VDMA圖像緩存架構將視頻緩存到板載的DDR3中；然后在VGA時序的控制下將緩存視頻從DDR3中讀出，再使用本博常用的HDMI輸出模塊將圖像輸出到顯示器顯示即可；針對目前市面上主流的索尼IMX系列相機，本方案一共移植了2套工程源碼，詳情如下：

這里說明一下提供的2套工程源碼的作用和價值，如下：
工程源碼1：Xilinx Kintex7-325T FPGA 解碼索尼的 IMX390 MIPI相機，IMX390 被配置為 4 Lane RAW12 1080P分辨率；經FPGA解碼、ISP圖像處理、圖像緩存、FDMA圖像緩存（自研）、VGA時序同步、HDMI視頻輸出等操作后，通過板載的HDMI接口輸出顯示器；本工程的相機接在配套FPGA開發(fā)板的P4接口；

工程源碼1：Xilinx Kintex7-325T FPGA 解碼索尼的 IMX390 MIPI相機，IMX390 被配置為 4 Lane RAW12 1080P分辨率；經FPGA解碼、ISP圖像處理、圖像緩存、VDMA圖像緩存（Xilinx官方IP）、VGA時序同步、HDMI視頻輸出等操作后，通過板載的HDMI接口輸出顯示器；本工程的相機接在配套FPGA開發(fā)板的P4接口；

IMX390 -MIPI相機在FPGA開發(fā)板P4口的連接方式如下圖：

2、相關方案推薦

本博主所有FPGA工程項目–>匯總目錄

其實一直有朋友反饋，說我的博客文章太多了，亂花漸欲迷人，自己看得一頭霧水，不方便快速定位找到自己想要的項目，所以寫了一篇匯總目錄的博文并置頂，列出我目前已有的所有項目，并給出總目錄，每個項目的文章鏈接，當然，本博文實時更新。。。博客鏈接如下：
點擊直接前往

我這里已有的 MIPI 編解碼方案

我這里目前已有豐富的基于FPGA的MIPI編解碼方案，主要是MIPI解碼的，既有純vhdl實現的MIPI解碼，也有調用Xilinx官方IP實現的MIPI解碼，既有2line的MIPI解碼，也有4line的MIPI解碼，既有4K分辨率的MIPI解碼，也有小到720P分辨率的MIPI解碼，既有基于Xilinx平臺FPGA的MIPI解碼也有基于Altera平臺FPGA的MIPI解碼，還有基于Lattice平臺FPGA的MIPI解碼，后續(xù)還將繼續(xù)推出更過國產FPGA的MIPI解碼方案，畢竟目前國產化方案才是未來主流，后續(xù)也將推出更多MIPI編碼的DSI方案，努力將FPGA的MIPI編解碼方案做成白菜價。。。
基于此，我專門建了一個MIPI編解碼的專欄，并將MIPI編解碼的博客都放到了專欄里整理，對FPGA編解碼MIPI有項目需求或學習興趣的兄弟可以去我的專欄看看，專欄地址如下：
點擊直接前往專欄

3、本 MIPI CSI-RX IP 介紹

本設計采用本博自研的MIPI CSI RX解碼IP實現MIPI的D_PHY+CSI_RX功能，輸出AXI4-Stream格式的RAW12顏色視頻，該IP由本博免費提供；該IP目前只適用于Xilinx A7及其以上系列器件，支持的 4 lane RAW12圖像，輸入分辨率最高支持4K @30幀；IP UI配置界面如下：

該自定義IP只提供網表不提供源碼，但用戶依然可以自由使用，和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一樣，沒有本質區(qū)別，因為MIPI CSI-2 RX Subsystem也是看不到源碼的；MIPI CSI-RX IP資源消耗如下：

4、個人 FPGA高端圖像處理開發(fā)板簡介

本博客提供的工程源碼需配合本博提供的FPGA高端圖像處理開發(fā)板才能使用，亦或者讀者自己拿去移植，但本博推薦使用本博客提供的工程源碼需配合本博提供的FPGA高端圖像處理開發(fā)板，該開發(fā)板截圖如下：

此開發(fā)板專為高端FPGA圖像處理設計，適合公司項目研發(fā)、研究所項目預研、高校項目開發(fā)、個人學習進步等場景需求，本博之前專門寫過一篇博文詳細介紹了該開發(fā)板的情況，感興趣的請移步那篇博文，博客地址如下：
點擊直接前往

5、詳細設計方案

設計原理框圖

工程源碼1-FDMA緩存版本的設計原理框圖如下：

工程源碼2-VDMA緩存版本的設計原理框圖如下：

IMX390 及其配置

本設計使用本博提供的專用SONY公司的 IMX390 MIPI相機，該相機輸出分辨率達到了1920x1080，采用焦距可調的鏡頭，清晰度極高，適用于高端項目開發(fā)，相機截圖如下：

IMX390 MIPI相機需要 i2c配置才能正確使用，本設計調用本博自定義的i2c主機IP實現對IMX390 的配置，該IP掛載與AXI-Lite總線上，通過MicroBlaze軟核運行的C語言代碼實現配置，此外，本博還設計了自動曝光程序，實時讀取IMX390 RAW12像素，通過寫IMX390 對應寄存器的方式實現實時的自動曝光算法，使得IMX390 在暗黑的環(huán)境下也能輸出明亮的圖像；

本博提供的FPGA開發(fā)板有兩個MIPI CSI-RX接口，分別位于P3、P4接口，因此可以接兩個MIPI相機，其中，P4接口的相機采用螺絲固定方式連接，適用于FPGA開發(fā)板需要移動的項目，如小車等；P3接口的相機采用FPC軟排線方式連接，適用于FPGA開發(fā)板不需要移動的項目，如固定檢測等，具體連接方式如下圖：

MIPI CSI RX

本設計采用自定義的MIPI CSI RX解碼IP實現MIPI的D_PHY+CSI_RX功能，輸出AXI4-Stream格式的RAW12顏色視頻，該IP由本博免費提供；該IP目前只適用于Xilinx A7及其以上系列器件，支持的 4 lane RAW12圖像，輸入分辨率最高支持4K @30幀；IP UI配置界面如下：

該自定義IP只提供網表不提供源碼，但用戶依然可以自由使用，和使用Xilixn官方的 MIPI CSI-2 RX Subsystem一樣，沒有本質區(qū)別，因為MIPI CSI-2 RX Subsystem也是看不到源碼的；

圖像 ISP 處理

本博提供及其完整的圖像ISP，具體流程包括Bayer轉RGB888、自動白平衡、色彩校正、伽馬校正、RGB888轉YCrCb444、圖像增強、YCrCb444轉RGB888、AE自動曝光等一系列操作；經過ISP處理后的圖像顏色飽滿、畫質清晰，輸出YCrCb422格式的視頻；圖像 ISP 處理在工程 Block Design中如圖：

這些IP均為Xilinx的免費IP，有的需要配置才能使用，在MicroBlaze軟核運行的C語言代碼已經提供了配置程序；其中AE自動曝光采用SDK C語言AE算法實現，FPGA實時讀取IMX390 的亮度值，然后與AE模型進行比較，亮度不足則補光，亮度太高則降光，通過控制IMX390 內部寄存器實現，C代碼需要在MicroBlaze軟核運行；

圖像緩存

工程源碼1使用本博常用的FDMA圖像緩存架構，該架構由純verilog代碼搭建并封裝為自定義IP，其在Block Design中如下：

關于FDMA更詳細的介紹，請參考我之前的博客，博文鏈接如下：
點擊直接前往

工程源碼2使用VDMA圖像緩存方案，VDMA架構使用Xilinx官方力推的VDMA圖像緩存架構實現圖像3幀緩存，VDMA圖像緩存架構由Video In to AXI4-Stream、VDMA、Video Timing Controller、AXI4-Stream To Video Out構成；其在Block Design中如下：

VDMA需要驅動才能正常工作，本工程提供C語言驅動；

HDMI輸出

HDMI輸出架構由VGA時序和HDMI輸出模塊構成，VGA時序負責產生輸出的1920x1080@60Hz的時序，并控制FDMA數據讀出，HDMI輸出模塊負責將VGA的RGB視頻轉換為差分的TMDS視頻，代碼架構如下：

HDMI輸出模塊采用verilog代碼手寫，可以用于FPGA的HDMI發(fā)送應用，關于這個模塊，請參考我之前的博客，博客地址：點擊直接前往

工程源碼架構

本博客提供2套工程源碼，2套代碼的vivado Block Design設計具有相似性，以工程1為例，Block Design截圖如下，工程2與之類似；

工程1的工程源碼截圖如下，工程2與之類似；

2套工程源碼需要運行MicroBlaze軟核，用于配置ISP、VDMA等；以工程2為例，SDK工程架構如下：

6、工程源碼1詳解–>IMX390 解碼+FDMA圖像緩存+HDMI輸出

開發(fā)板FPGA型號：Xilinx–Kintex7–xc7k325tffg676-2；
開發(fā)環(huán)境：Vivado2019.1；
輸入：IMX390 MIPI相機，4 Lane，分辨率1920x1080@60Hz；
輸出：HDMI，分辨率1920x1080@60Hz；
圖像緩存方案：自研的FDMA方案；
圖像緩存路徑：DDR3；
工程作用：此工程目的是讓讀者掌握FPGA實現IMX390 相機MIPI轉HDMI的設計能力，以便能夠移植和設計自己的項目；
工程Block Design和工程代碼架構請參考第5章節(jié)“工程源碼架構“小節(jié)內容；
工程的資源消耗和功耗如下：

7、工程源碼2詳解–>IMX390 解碼+VDMA圖像緩存+HDMI輸出

開發(fā)板FPGA型號：Xilinx–Kintex7–xc7k325tffg676-2；
開發(fā)環(huán)境：Vivado2019.1；
輸入：IMX390 MIPI相機，4 Lane，分辨率1920x1080@60Hz；
輸出：HDMI，分辨率1920x1080@60Hz；
圖像緩存方案：Xilinx官方的VDMA方案；
圖像緩存路徑：DDR3；
工程作用：此工程目的是讓讀者掌握FPGA實現IMX390 相機MIPI轉HDMI的設計能力，以便能夠移植和設計自己的項目；
工程Block Design和工程代碼架構請參考第5章節(jié)“工程源碼架構“小節(jié)內容；
工程的資源消耗和功耗如下：

8、工程移植說明

vivado版本不一致處理

1：如果你的vivado版本與本工程vivado版本一致，則直接打開工程；
2：如果你的vivado版本低于本工程vivado版本，則需要打開工程后，點擊文件–>另存為；但此方法并不保險，最保險的方法是將你的vivado版本升級到本工程vivado的版本或者更高版本；

3：如果你的vivado版本高于本工程vivado版本，解決如下：

打開工程后會發(fā)現IP都被鎖住了，如下：

此時需要升級IP，操作如下：

FPGA型號不一致處理

如果你的FPGA型號與我的不一致，則需要更改FPGA型號，操作如下：



更改FPGA型號后還需要升級IP，升級IP的方法前面已經講述了；

其他注意事項

1：由于每個板子的DDR不一定完全一樣，所以MIG IP需要根據你自己的原理圖進行配置，甚至可以直接刪掉我這里原工程的MIG并重新添加IP，重新配置；
2：根據你自己的原理圖修改引腳約束，在xdc文件中修改即可；
3：純FPGA移植到Zynq需要在工程中添加zynq軟核；

9、上板調試驗證

準備工作

需要準備的器材如下：
本博提供的FPGA開發(fā)板；
本博提供的IMX390 MIPI相機；
HDMI顯示器；
我的開發(fā)板了連接如下：

視頻輸出演示

以工程源碼1為例，輸出演示如下，工程源碼2輸出效果與之類似：

10、福利：工程代碼的獲取

福利：工程代碼的獲取
代碼太大，無法郵箱發(fā)送，以某度網盤鏈接方式發(fā)送，
資料獲取方式：私，或者文章末尾的V名片。
網盤資料如下：
文章來源地址http://www.zghlxwxcb.cn/news/detail-854284.html

到了這里，關于FPGA高端項目：解碼索尼IMX390 MIPI相機轉HDMI輸出，提供FPGA開發(fā)板+2套工程源碼+技術支持的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！