基于FPGA的霧霾視頻圖像實(shí)時(shí)復(fù)原系統(tǒng)研究

葉 懋，黃品高，呂 洋，唐 寧，劉建偉

(1.桂林電子科技大學(xué) 機(jī)電綜合工程訓(xùn)練國(guó)家級(jí)實(shí)驗(yàn)教學(xué)示范中心,廣西 桂林541004；2.中國(guó)科學(xué)院 深圳先進(jìn)技術(shù)研究院,廣東 深圳518005；3.西安應(yīng)用光學(xué)研究所，陜西 西安 710065)

引言

港口、高速路口等處的戶(hù)外監(jiān)控設(shè)施易受季節(jié)性霧、霾天氣的影響，造成對(duì)比度降低、色彩失真、細(xì)節(jié)丟失等成像問(wèn)題，使這些戶(hù)外視頻設(shè)備難以發(fā)揮其應(yīng)有的作用，嚴(yán)重時(shí)甚至造成人員和經(jīng)濟(jì)損失。因而霧、霾氣象條件下視頻圖像實(shí)時(shí)復(fù)原技術(shù)的研究受到廣泛的關(guān)注。

相對(duì)于傳統(tǒng)霧霾圖像復(fù)原算法，基于物理模型的圖像復(fù)原方法在近年來(lái)有了長(zhǎng)足發(fā)展，圖像復(fù)原效果更佳且運(yùn)行速度更快[1-4]。在視頻實(shí)時(shí)除霧方面，隨著FPAG(field programmable gate array)、ARM(advanced RISC machine)等芯片的發(fā)展，使視頻實(shí)時(shí)處理不再依賴(lài)上位機(jī)成為可能；目前基于先驗(yàn)暗通道算法及其改進(jìn)算法在FPGA上的實(shí)現(xiàn)[5-6]，由于先驗(yàn)暗通道復(fù)原算法較大的計(jì)算量，使得這些研究都僅在單一圖片的除霧上獲得成功；還有利用FPGA及在其內(nèi)部嵌入RISC(reduced instruction set computer)處理器軟核，共同實(shí)現(xiàn)實(shí)時(shí)視頻除霧[7]，這種方法使用了RISC因而對(duì)FPGA的要求較高，不利于產(chǎn)品化后降低成本，降低了系統(tǒng)的可移植性。

為保證視頻除霧處理的實(shí)時(shí)性及降低硬件開(kāi)銷(xiāo)，本文以一種快速霧霾圖片復(fù)原算法[4]為參考，提出了一種采用流水線設(shè)計(jì)方法、局部與全局計(jì)算相結(jié)合、窗口中心像素處理為核心的實(shí)時(shí)視頻復(fù)原處理算法的FPGA實(shí)現(xiàn)方案，并在DE2-115 FPGA開(kāi)發(fā)板上進(jìn)行了系統(tǒng)的驗(yàn)證。

1 霧霾圖像復(fù)原算法及其框圖

1.1 霧霾圖像復(fù)原算法

McCartney在Mie散射理論的基礎(chǔ)上提出了著名的大氣散射模型[8]，在霧、霾等惡劣氣象條件下，因光線在傳輸過(guò)程中受空氣中懸浮微粒的影響，使得在成像端獲取的視頻或圖片不清晰，該模型將這一過(guò)程表達(dá)為

H(x)=F(x)e-β d(x)+A(1-e-β d(x))

(1)

為簡(jiǎn)化(1)，令，

G(x)=A(1-e-β d(x))

(2)

則由(1)式可得：

(3)

式中：H(x)是由成像設(shè)備獲取的已退化的有霧圖像，需從H(x)中估計(jì)出環(huán)境光G(x)和全局大氣光A即可要獲得復(fù)原的圖像F(x)。

文獻(xiàn)[4]給出的環(huán)境光估值方程為

G0(x)=min(min(ρmav,0.9)Mave(x),M(x))

(4)

式中:M(x)是每個(gè)像素在R、G、B3個(gè)通道的中的最小值，對(duì)M(x)進(jìn)行均值濾波后獲得Mave(x)，mav(0≤mav≤1)是M(x)中所有元素的均值；ρ是調(diào)節(jié)除霧深度的參數(shù)，其取值范圍為0≤ρ≤1/mav。經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證，當(dāng)增大ρ的取值時(shí)，能夠獲得較小的透射率，使得最終保留的霧小，但會(huì)增加除霧過(guò)程的能量損失，使最終圖像整體亮度下降[9]。

文獻(xiàn)[4]給出大氣光的估值方程為

max(Mave(x)))[111]T

(5)

1.2 算法實(shí)現(xiàn)的框圖

從(4)、(5)式可以看出，復(fù)原算法都是圍繞著M(x)的計(jì)算展開(kāi)的，如果以幀為單位計(jì)算M(x)，就必須緩存一幀R、G、B三個(gè)通道的數(shù)據(jù)加上M(x)自身的存儲(chǔ)，需要640×480×4個(gè)8 bit的寄存器，這樣的計(jì)算方式首先會(huì)降低系統(tǒng)的實(shí)時(shí)性；其次不利于控制系統(tǒng)的硬件成本；最后降低系統(tǒng)的可移植性。

考慮到數(shù)字視頻的像素是在時(shí)鐘信號(hào)控制下串行傳輸?shù)?，因此以流水線的處理思路將算法修改為：在一個(gè)時(shí)鐘周期內(nèi)以單一像素的計(jì)算為核心，對(duì)于整個(gè)模塊而言，在一個(gè)時(shí)鐘周期里輸入一個(gè)像素同時(shí)也輸出一個(gè)處理好的像素，這樣極大地提高了模塊的數(shù)據(jù)吞吐率，提高了可復(fù)用性和可移植性。

由于FPGA內(nèi)部處理是并行運(yùn)行的，將算法分割為一系列小模塊，使大部分的處理在一個(gè)時(shí)鐘周期內(nèi)完成，因此可以將算法實(shí)現(xiàn)分解為如圖1所示的流程。

圖1 復(fù)原模塊框圖Fig.1 Block diagram of recovery module

2 除霧算法的FPGA實(shí)現(xiàn)

遵循以單一像素計(jì)算為核心的思路，選擇以均值濾波窗口大小來(lái)確定計(jì)算窗口的劃分。如圖2所示為均值濾波不同窗口對(duì)最終處理效果的影響，左圖為使用3×3窗口、右圖使用15×15窗口，所得結(jié)果主觀上無(wú)明顯差別，考慮占用存儲(chǔ)空間較少因此選用3×3窗口。

圖2 濾波窗口大小與最終結(jié)果的比較Fig.2 Comparison of different filter window sizes

2.1 移位寄存器的設(shè)計(jì)

為實(shí)現(xiàn)3×3窗口均值濾波獲得Mave，就要求在每個(gè)時(shí)鐘周期獲得同一列相鄰3行的3個(gè)像素信息。因此，輸入的串行像素?cái)?shù)據(jù)首先經(jīng)過(guò)圖3所示的行緩存(Line buffer)，完成行數(shù)據(jù)的移位暫存與串并轉(zhuǎn)化，使相鄰3行的數(shù)據(jù)得以并行輸出。

圖3 Line bufferFig.3 Line buffer

在最后計(jì)算輸出時(shí)還需要用到原始的像素信息，所以在行緩存后還要使用一個(gè)移位寄存器，來(lái)存儲(chǔ)原始數(shù)據(jù)，其結(jié)構(gòu)如圖4所示。其中的Reg均為24 bit，在系統(tǒng)中使用3組這樣的移位寄存器分別對(duì)應(yīng)于R、G、B通道，其shift in[0∶24]分別連接圖3中{taps0[0∶7],taps1[0∶7],taps2[0∶7]}。

圖4 移位寄存Fig.4 Shift register

2.2 三個(gè)通道的最小值M(x)與像素最大值的求取

M(x)需要每個(gè)像素3個(gè)通道中的最小值，因此只需要進(jìn)行8次比較，實(shí)現(xiàn)時(shí)使用阻塞賦值方式，使得比較模塊被綜合成為一個(gè)純組合邏輯電路，因此9個(gè)數(shù)據(jù)的比較在一個(gè)時(shí)鐘周期內(nèi)得以完成。圖5中LESS_THAN4和MUX21的組合就是綜合后的兩數(shù)比較算法的實(shí)現(xiàn)，MUX21輸出端就是兩數(shù)中的小值。

圖5 兩個(gè)數(shù)的比較Fig.5 Sub-module of two number comparison

同樣，像素最大值模塊也是使用阻塞賦值方式，在一個(gè)時(shí)鐘周期內(nèi)完成同一列的相鄰3行的3個(gè)像素9個(gè)值的比較，其結(jié)果在與暫存的現(xiàn)有最大值比較，直至一幀數(shù)據(jù)比較完后獲得像素的最大值max。

2.3 最小值M(x)均值濾波及濾波后的最大值

每個(gè)時(shí)鐘周期最小值模塊都能輸出同一列相鄰行3個(gè)像素的最小值，因此需維持如圖6所示的移位寄存器，在每個(gè)時(shí)鐘周期進(jìn)行一次該移位寄存器內(nèi)數(shù)據(jù)的均值求取，即可完成3×3窗口的均值濾波獲得Mave。同時(shí)將該結(jié)果與當(dāng)前暫存的均值濾波的最大值Mavemax比較，如果大于當(dāng)前最大值，則將當(dāng)前結(jié)果替換Mavemax的值。

圖6 3×3窗口結(jié)構(gòu)Fig.6 Structure of 3×3 window

2.4 以幀為單位計(jì)算均值濾波的平均值

由大氣散射模型可知大氣光是全局量，估算大氣光至少需要一幀的數(shù)據(jù)來(lái)進(jìn)行估算，考慮到視頻相鄰兩幀之間大氣光值變化不大，可選擇以前一幀的大氣光來(lái)計(jì)算當(dāng)前幀。為此將每個(gè)時(shí)鐘周期產(chǎn)生均值濾波的結(jié)果Mave累加，當(dāng)累加完一幀的數(shù)據(jù)后，然后將累加的結(jié)果除以640×480×256即得mav，即(4)式中的mav。

2.5 估計(jì)大氣光A、環(huán)境光G以及除霧后的圖像

至此估算環(huán)境光G所需的數(shù)據(jù)均已獲得，因FPGA不支持浮點(diǎn)運(yùn)算所以要將參與(4)式運(yùn)算的數(shù)左移16位而后再進(jìn)行計(jì)算，其中調(diào)節(jié)參數(shù)ρ由FPGA系統(tǒng)的外部11位撥碼開(kāi)關(guān)來(lái)提供。

待一幀數(shù)據(jù)處理完后，根據(jù)(5)式大氣光A只需要將一幀像素的最大值max與均值濾波后的最大值Mavemax作平均即可，在實(shí)現(xiàn)的時(shí)候直接將二者的和左移15位即得大氣光A的估計(jì)值。

最后根據(jù)(3)式分別計(jì)算R、G、B三個(gè)通道處理后的值，并完成輸出。

2.6 系統(tǒng)的FPGA實(shí)現(xiàn)

本文的算法系統(tǒng)是在友晶科技的多媒體處理開(kāi)發(fā)平臺(tái)DE2-115上實(shí)現(xiàn)的，系統(tǒng)架構(gòu)如圖7所示。視頻信號(hào)源輸出的視頻信號(hào)，經(jīng)由ADV7180解碼得到8 bit的兼容ITU-RBT.656標(biāo)準(zhǔn)視頻分量信號(hào)，該視頻分量信號(hào)在BT656解碼模塊中，進(jìn)行串并轉(zhuǎn)化為16 bit的YCbCr色空間信號(hào)，進(jìn)而利用SDRAM進(jìn)行轉(zhuǎn)存，將隔行視頻信號(hào)轉(zhuǎn)化為逐行視頻信號(hào)，利用YCbCr解交織模塊和YCbCr轉(zhuǎn)RGB模塊將信號(hào)最終轉(zhuǎn)化為24 bit的RGB信號(hào)，視頻復(fù)原模塊將RGB視頻信號(hào)進(jìn)行霧霾復(fù)原處理后，經(jīng)由VGA控制模塊輸出到ADB7123中，從而完成整個(gè)系統(tǒng)流程。

圖7 系統(tǒng)架構(gòu)Fig.7 Structure of system

3 實(shí)驗(yàn)結(jié)果及分析

本文FPGA的程序是使用Verilog在版本為13.0的Quartus II上進(jìn)行邏輯綜合與下載的，運(yùn)行平臺(tái)為友晶科技的DE2-115。使用的測(cè)試儀器是TEKTRONIX型號(hào)MSO 2012B。實(shí)驗(yàn)測(cè)試環(huán)境如圖8所示。

圖8 測(cè)試環(huán)境Fig.8 Testing environment

3.1 模塊時(shí)序分析與測(cè)試

當(dāng)像素p進(jìn)入模塊開(kāi)始處理時(shí)，在第一個(gè)時(shí)鐘周期內(nèi)完成N8(p)各像素的三通道最小值M(p)，以及最大值max，在第2個(gè)時(shí)鐘周期完成M(p)的均值濾波求得Mave(p)，并判斷當(dāng)前像素是否是完成一幀，如果完成則求取mav，否則繼續(xù)累加；第3個(gè)周期完成估算G，并判斷是否完成一幀，如果是則計(jì)算A；求取像素p的最后處理結(jié)果；第4個(gè)周期處理后像素p。

為方便測(cè)試模塊的工作時(shí)序，測(cè)試將通道R和通道G的輸入全為“0”，通道B每隔5個(gè)時(shí)鐘周期輸入一個(gè)“255”，邏輯分析儀的D9-D15接B通道輸入信號(hào)(受測(cè)試儀器輸入端口數(shù)量限制，缺少最高位)、D8接時(shí)鐘、D7-D0接模塊的B通道輸出信號(hào)，測(cè)試結(jié)果如圖9所示；播放視頻時(shí)實(shí)際測(cè)試波形如圖10中所示。在兩圖中D8時(shí)鐘信號(hào)分別為26.999 9 MHz和27 MHz，在圖10的D15、14紅框標(biāo)記處是輸入像素的第2高位和第3高位，其對(duì)應(yīng)輸出為D6、D5的紅框標(biāo)記處，需要說(shuō)明的是：在圖10中由于是實(shí)時(shí)播放的視頻圖像，所以在經(jīng)過(guò)處理后每個(gè)像素的值，相對(duì)于輸入值均可能會(huì)產(chǎn)生變化，正如圖10中輸入輸出通道中紅框下面各位的值均有變化。圖9、10的測(cè)試結(jié)果表明當(dāng)一個(gè)像素進(jìn)入模塊后，3個(gè)周期內(nèi)完成處理并在第4個(gè)周期進(jìn)行輸出，與理論分析一致。

圖9 時(shí)序測(cè)試結(jié)果Fig.9 Timing test results

圖10 播放視頻時(shí)實(shí)測(cè)波形Fig.10 Measured waveform when playing video

3.2 實(shí)驗(yàn)結(jié)果

DE2-115開(kāi)發(fā)板使用的是Altera公司Cyclone IV系列EP4CE115F29的FPGA芯片，本文所提出系統(tǒng)經(jīng)邏輯綜合后，系統(tǒng)以及圖像復(fù)原模塊占用資源情況如表1所示。

表1 系統(tǒng)及模塊占用資源情況

實(shí)驗(yàn)所用視頻為霧天高速路口監(jiān)控錄像其分辨率為640×480 pixel、幀率29幀/s。視頻處理效果如圖11所示，第1列為原始視頻圖像、第2列是ρ為1.5時(shí)的效果、第3列是ρ為1.9時(shí)的效果，從中可以看出處理后的圖像能夠比較清晰地看到遠(yuǎn)處房屋及近處車(chē)輛細(xì)節(jié)，特別是左上角區(qū)域復(fù)原后能夠顯示出較為清晰的細(xì)節(jié)，隨著ρ的增加，除霧的程度也隨之增加，由于能量的損失致使圖像偏暗。

圖11 視頻原圖及不同調(diào)整系數(shù)的復(fù)原效果Fig.11 Comparison with different parameter ρ

3.3 客觀評(píng)價(jià)

受FPGA系統(tǒng)存儲(chǔ)空間、不能浮點(diǎn)運(yùn)算等實(shí)際情況的限制，以及為滿(mǎn)足系統(tǒng)對(duì)視頻處理實(shí)時(shí)性的要求，本文對(duì)原算法做了一定修改。為衡量修改前后對(duì)視頻的影響，分別計(jì)算原算法處理結(jié)果與原圖的能量損失比例、FPGA系統(tǒng)處理結(jié)果與原圖的能量損失比例[9]。計(jì)算結(jié)果如表2所示：同一幅圖片在同一參數(shù)下，原算法與FPGA處理算法損失能量差異最大為2.26%、最小為0.68%，說(shuō)明修改后算法與原算法基本一致。

表2 復(fù)原前后能量損失對(duì)比

4 總結(jié)

實(shí)驗(yàn)結(jié)果表明修改后的算法相對(duì)于原算法能量損失的差異最大為2.26%、最小為0.68%；對(duì)于分辨率為640×480 pixel，幀率29幀/s的視頻，系統(tǒng)播放流暢無(wú)卡頓，完全滿(mǎn)足實(shí)時(shí)處理的要求。且系統(tǒng)占用資源少，可以完全移植到C3系列部分FPGA中，從而降低硬件成本，也可作極少量的修改，實(shí)現(xiàn)對(duì)高清視頻的處理。