一種可見光圖像增強(qiáng)算法的FPGA實現(xiàn)

張建飛　馬善強(qiáng)

摘 要：該文介紹一種可見光圖像增強(qiáng)算法的FPGA實現(xiàn)方法，該方法針對霧霾天氣或低對比度天氣等條件下圖像灰度分布范圍窄的問題，利用圖像處理系統(tǒng)中FPGA組件實現(xiàn)圖像增強(qiáng)。視頻圖像數(shù)據(jù)流通過專用的接口芯片轉(zhuǎn)換后傳輸給FPGA，F(xiàn)PGA內(nèi)部程序通過時鐘控制、圖像緩存完成灰度信息統(tǒng)計和圖像灰度拉伸，同時，多模塊并行處理數(shù)據(jù)完成圖像數(shù)據(jù)采集和圖像數(shù)據(jù)處理，實時實現(xiàn)圖像的增強(qiáng)，達(dá)到霧霾天氣條件下提升可見攝像機(jī)作用距離和目標(biāo)識別能力的目的。

關(guān)鍵詞：FPGA 圖像增強(qiáng) 去霧 FIFO RAM

中圖分類號：TP31 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2017）01（c）-0242-02

隨著數(shù)字成像技術(shù)的發(fā)展，圖像信息的獲取在現(xiàn)代工業(yè)和軍事活動中具有重要作用，攝像機(jī)需要在各種天氣條件下都能提供探測識別性能高的圖像，提高攝像機(jī)觀測識別距離和細(xì)節(jié)分辨能力一直是工程實踐努力的方向[1]，特別是在能見度低、對比度差的霧霾天氣條件下，提升可見光攝像機(jī)作用距離是必須突破的技術(shù)難點。

1 算法原理

在大量的圖像處理仿真中發(fā)現(xiàn)，霧霾天氣下圖像的灰度級統(tǒng)計特點是灰度值集中在灰度級很窄的中間部分，而高對比度圖像的灰度級統(tǒng)計特點是灰度在整個灰度級上分布比較均勻[2-3]。在霧天拍攝的圖像一般偏灰白且對比度低，如果能實現(xiàn)霧霾圖像的灰度均勻的分布在各個灰度級上，既能夠提升圖像對比度，又能增強(qiáng)圖像的色彩[4]?；诖?，通過直方圖均衡化來拉伸有霧圖像灰度，算法如公式（1）、（2）所示：

（1）

式（1）中，Pi為灰度i在圖像中出現(xiàn)的統(tǒng)計概率，為0～1的浮點數(shù)，hi為圖像中灰度i的像素統(tǒng)計數(shù)量，T為灰度閾值參數(shù)。

（2）

式（2）中，Pk為第k灰度級灰度累積概率，為0～1的浮點數(shù)。由于FPGA器件做浮點運算需要占用大量的邏輯和存儲資源，故把計算公式進(jìn)行了優(yōu)化，在不影響計算結(jié)果的情況下，把計算順序進(jìn)行了調(diào)整，調(diào)整后全部為定點運算，避免了浮點運算，為FPGA內(nèi)部時鐘規(guī)劃和布線減少了麻煩，其中（2）式中的N為灰度級數(shù)，m、n為圖像尺寸大小， Xk為當(dāng)前輸出幀圖像映射后的灰度結(jié)果。

通過仿真發(fā)現(xiàn)，霧天下的圖像灰度進(jìn)行拉伸后，霧霾特性有很大的改善，為了進(jìn)一步提升圖像質(zhì)量，增加了邊緣增強(qiáng)算法來銳化圖像[5-6]。邊緣增強(qiáng)算法如公式（3）所示：

其中0

（3）式中xij為x22相鄰區(qū)域的灰度值，式5中aij為高通濾波矩陣中的系數(shù)。 X22為高通濾波后的灰度值，由灰度矩陣和系數(shù)矩陣卷積得來X22即為最后輸出的灰度值。針對可見光攝像機(jī)采集的彩色圖像，算法分別對采集到的RGB分量同時進(jìn)行同樣的處理，處理后對RGB分量進(jìn)行組合，得到處理后的采集圖像。

2 算法FPGA實現(xiàn)

在軟件編程時經(jīng)常使用數(shù)組結(jié)構(gòu)，如果在FPGA中直接定義數(shù)組，非常消耗資源，尤其是當(dāng)數(shù)組位寬較大時，該設(shè)計需要定義256級灰度、17位寬數(shù)組，這將消耗近10 000個LE單元，一個模塊消耗了該器件的1/10的邏輯資源，這在設(shè)計中是不允許的。該圖像處理系統(tǒng)采用StrixⅢ系列FPGA中有512 bit、4 Kbit、512 Kbit的M-RAM，可以根據(jù)實際需要組成各種數(shù)組類型的結(jié)構(gòu)，可以很好的處理這類問題。該設(shè)計采用FPGA內(nèi)部開辟了兩個單端口RAM，實現(xiàn)統(tǒng)計和映射數(shù)據(jù)的并行存取，實現(xiàn)過程主要以RAM讀寫和時序控制為核心，其中灰度統(tǒng)計量存入RAM1中，一幀圖像傳輸完整后得到完整的灰度統(tǒng)計量，通過計算后，把映射表灰度值按照灰度級寫入RAM2中，即完成映射表的建立，為下一幀圖像來臨創(chuàng)建灰度映射的數(shù)據(jù)庫。當(dāng)數(shù)據(jù)來臨時，以數(shù)據(jù)流中當(dāng)前像素灰度為索引地址，查找映射表中拉伸后的相應(yīng)灰度，作為處理后像素灰度輸出，完成灰度拉伸。RAM的接口和深度如圖3所示，對于灰度像素數(shù)量統(tǒng)計RAM來說n=m=11，對于灰度拉伸映射RAM，其中的n=m=7。見圖1，圖2。

如圖2所示的FPGA處理時序，其中clk為像素時鐘，data為像素灰度數(shù)據(jù)，addr為寫統(tǒng)計數(shù)據(jù)hi對應(yīng)的RAM地址，實際上是data延時四個時鐘得到，如圖3所示，第一個時鐘用灰度數(shù)據(jù)1讀取對應(yīng)的灰度統(tǒng)計值h1，第二個時鐘用得到的h1和閾值T比較，計算統(tǒng)計量h1是否需要加1，第三個時鐘周期得到新的統(tǒng)計值h1存入地址1，第四個時鐘周期1對應(yīng)的灰度統(tǒng)計值已經(jīng)存入，準(zhǔn)備下個循環(huán)，由程序控制四個時鐘存儲一次。如此設(shè)計，首先保證了RAM讀寫不會沖突，其次，統(tǒng)計量雖然不是整幅圖像，但是是基于整幅圖像的均勻采樣，可以保證算法的正確性，同時也簡化了處理流程。

對灰度拉伸處理后的圖像再進(jìn)行細(xì)節(jié)增強(qiáng)，高通濾波矩陣實現(xiàn)過程如圖3所示，每個FIFO的地址長度為圖像的寬度減2，即一個FIFO加2個寄存器存儲一行圖像數(shù)據(jù)，用于圖像行數(shù)的緩存；在一個像素時鐘周期內(nèi)并行輸出9個數(shù)據(jù)作為后續(xù)算法模塊的輸入，用高通濾波矩陣對該像素灰度進(jìn)行濾波，得到處理后的結(jié)果替換該像素灰度，通常圖像邊緣不包含重要信息，可以將邊緣點不做處理，用原始值代替，至此完成圖像的增強(qiáng)。

3 試驗及分析

該功能搭載攝像機(jī)系統(tǒng)進(jìn)行調(diào)試，完成軟硬件與系統(tǒng)各組件聯(lián)試，通過以往的經(jīng)驗和不斷的摸索試驗，完成在不同天氣條件下的測試和參數(shù)調(diào)整，得到了一套適合FPGA計算的適應(yīng)性較好的閾值參數(shù)和濾波系數(shù)矩陣。見圖4～圖6。

前期在上位機(jī)做了大量仿真，得到了有效的實驗結(jié)果，圖4為算法仿真效果，左邊為原始圖像，右邊為增強(qiáng)后圖像；該功能也完成了與攝像機(jī)聯(lián)試，并經(jīng)歷內(nèi)外場景試驗，試驗數(shù)據(jù)都獲得了比較滿意的結(jié)果，圖5、圖6為不同場景試驗效果，左邊為原始視頻圖像，右邊為增強(qiáng)后視頻圖像。

圖像處理系統(tǒng)采用大規(guī)模可編程邏輯器件（FPGA）實現(xiàn)的算法，與采用純DSP實現(xiàn)算法相比，具有同時并行大數(shù)據(jù)量處理能力，數(shù)據(jù)處理總延遲80 us。從試驗的結(jié)果可以看出，增強(qiáng)前圖像被霧霾遮擋，模糊不清，對比度不高，增強(qiáng)后圖像細(xì)節(jié)明顯，整體對比度明顯改善，觀察效果明顯增強(qiáng)，實驗中數(shù)據(jù)流穩(wěn)定可靠，沒有丟幀和卡頓等情況，實時性和可靠性滿足要求。

4 結(jié)論

采用該圖像增強(qiáng)算法處理的圖像處理系統(tǒng)隨設(shè)備全部通過試驗，試驗過程中，在圖像輸出、增強(qiáng)效果、天氣適應(yīng)性等功能的測試中進(jìn)行了嚴(yán)格的考核，目前已經(jīng)應(yīng)用于工程中。該方法利用FPGA實現(xiàn)了復(fù)雜圖像處理算法，保證了系統(tǒng)圖像處理實時性，進(jìn)一步解放了DSP來做更重要的處理，優(yōu)化了系統(tǒng)硬件平臺。試驗有效證明了該方法可行、系統(tǒng)工作穩(wěn)定，實時精度高、能夠?qū)崿F(xiàn)對霧霾天氣下視頻圖像較好增強(qiáng)，提高了觀測距離和目標(biāo)識別能力，滿足可見光觀測設(shè)備規(guī)定的功能要求。

參考文獻(xiàn)

[1] 李紅民，王炬，郭蕾.國外武裝直升機(jī)光電系統(tǒng)的發(fā)展動態(tài)[J].電光與控制，2005，12（1）：86-89.

[2] 王炳健， 劉上乾， 拜麗萍.紅外圖像實時增強(qiáng)的新算法[J].光電工程， 2006， 33（1）：46-49.

[3] 范永杰，金偉其，劉崇亮，等.基于FPGA的IRFPA圖像細(xì)節(jié)增強(qiáng)與動態(tài)壓縮處理技術(shù)[J].紅外與激光工程，2012， 41（11）：3113-3117.

[4] Ravi Kumar Chadalavada， Srivatsa S.K. Reconfigurable Frame Work for Video Image Enhancement[C].IACSIT. Proceedings of 2012 4th International Conference on Signal Processing Systems（ICSPS 2012）.IACSIT， 2012：6.

[5] Ravi Kumar Chadalavada， Srivatsa S.K. Reconfigurable Frame Work for Video Image Enhancement[C].IACSIT.Proceedings of 2012 4th International Conference on Signal Processing Systems（ICSPS 2012）.IACSIT， 2012：6.

[6] ZHANG Zhen-hai， LI Ke-jie， etc.Research and Implementation of Algorithm for Image Enhancement and Unwrapped Distortion Correction for SLVF Panoramic Night Vision Image[J].Journal of Beijing Institute of Technology， 2008，4（4）：423-428.