視頻實時去霧的硬件優(yōu)化設計

徐 山，伍世虔

(武漢科技大學信息科學與工程學院，機器人與智能系統(tǒng)研究院，湖北武漢 430000)

0 引言

目前智慧交通、無人駕駛等領域迎來了發(fā)展浪潮，對室外場景應用下的機器視覺系統(tǒng)提出了更高的要求。而室外環(huán)境中圖像質(zhì)量嚴重受天氣影響，特別是霧、霾和雨等惡劣情況，會造成光線的散射和吸收[1]，使得采集的視頻流圖像質(zhì)量較差，最終導致高層視覺處理任務的精度下降。針對這些問題，本文對視頻流霧天圖像清晰化處理進行深入研究。

早在20世紀初，就有學者對霧天圖像清晰化算法進行研究；理論研究發(fā)展至今，衍生出了基于圖像增強、物理模型恢復和神經(jīng)網(wǎng)絡等3類去霧算法，如局部直方圖增強算法[2]，暗通道先驗算法[3]和多尺度增強去霧網(wǎng)絡[4]等。雖然這些算法在單幅霧天圖像恢復的細節(jié)、色彩和可視性等方面有著較好的效果，但其時間和空間復雜度較高，在無人駕駛等嵌入式應用中就會導致成本高、實時性不足、靈活性低和功耗大等問題。

為了在保持去霧效果的同時解決上述應用中存在的問題，部分學者轉(zhuǎn)向了硬件加速的去霧算法研究。文獻[5]采用FPGA實現(xiàn)了高效的圖像去霧，但它所提出的硬件架構(gòu)時間復雜度較高，幀間依賴性較高，導致其靈活性較低，資源利用率低，存在較大的優(yōu)化空間；文獻[6]通過設計特定的硬件架構(gòu)，使其在處理較低圖像分辨率時，可以達到極高的實時性，但該架構(gòu)的處理速度和效果會隨著分辨率的增加而減少。

本文綜合考慮時間、空間和硬件架構(gòu)的復雜度關系，提出了一種硬件優(yōu)化的視頻圖像去霧架構(gòu)。該架構(gòu)對環(huán)境光值和大氣光值的計算方式進行硬件優(yōu)化設計，通過簡化算法和優(yōu)化硬件架構(gòu)，從而降低了計算復雜度，在保證去霧效果的同時，又能提高處理速度。

1 去霧算法及實現(xiàn)

1.1 霧天圖像退化物理模型

通過對霧天圖像退化的根本原因進行研究，文獻[7]提出了大氣物理散射模型，其表達式為

I(x)=J(x)e-rd(x)+A[1-e-rd(x)]

(1)

式中：x為圖像像素的坐標位置；I為霧天退化圖像；J為未退化的無霧圖像；A為大氣光值；r為大氣散射系數(shù)；d為景物深度。

該模型解釋了霧天圖像失真是由場景光線的衰減和環(huán)境光的疊加造成的，為了簡化模型，一般記為[8]

t(x)=e-rd(x)

(2)

L(x)=A[1-t(x)]

(3)

式中：t(x)為透射率；L(x)為環(huán)境光值，與景物深度有著相似的變化趨勢。

將式(2)和式(3)帶入式(1)可得

(4)

此時對無霧圖像的求解過程，變成對環(huán)境光L(x)和大氣光值A的求解。

1.2 簡化的算法設計

根據(jù)暗通道先驗知識可知，絕大多數(shù)無霧彩色圖像的RGB三通道內(nèi)至少有一個通道值無限趨近于零，其數(shù)學表達式為

(5)

式中：Ω(x)為以x為中心的像素窗口；Jo為無霧的彩色圖像；Idark為無霧圖像的暗通道數(shù)據(jù)。

將式(5)與式(3)結(jié)合得

(6)

(7)

根據(jù)文獻[9]采用均值濾波近似估計透射率，并增設偏移項來彌補誤差的方法，可以得到簡化的透射率計算公式[9]為

(8)

式中：α為可調(diào)節(jié)參數(shù)，用于平衡圖像亮度和去霧效果；mave為所有暗通道數(shù)據(jù)的平均值；Mave為暗通道值均值濾波后的數(shù)據(jù)。

聯(lián)合式(3)、式(6)和式(8)，可得簡化的環(huán)境光值計算公式為

L(x)=min[αmaveMave(x),Jdark(x)]

(9)

因為均值濾波屬于線性濾波器，它使得輸出的環(huán)境光值與輸入的暗通道數(shù)據(jù)有著唯一且確定的傳遞函數(shù)，所以保證了L(x)與d變化的一致性。

本文采用原圖像像素最大值和暗通道數(shù)據(jù)最大值的均值來估計大氣光值A?？紤]到實際室外場景應用中，彩色圖像通道值的最大值多數(shù)情況都為255(像素為24位RGB)，所以大氣光值的簡化計算公式為

(10)

通過式(9)和式(10)即可完成對環(huán)境光值和大氣光值的估計，再將其帶入到式(4)中即可得到恢復的無霧圖像。

2 去霧算法的硬件優(yōu)化設計

2.1 算法整體結(jié)構(gòu)概述

算法架構(gòu)被分為環(huán)境光值估計模塊、大氣光值估計模塊和圖像恢復模塊。通過對算法設計的公式分析，發(fā)現(xiàn)其主要的計算步驟有：求最小值、求最大值、均值濾波、求全局平均值和乘除運算等操作，且這些操作中有著許多相似的計算過程，例如：求最大最小值都是對數(shù)據(jù)進行排序；求平均值和均值濾波都有對數(shù)據(jù)累加的過程。所以在硬件架構(gòu)設計時，可以將其合并到同一電路模塊中進行優(yōu)化，即減少了架構(gòu)的空間復雜度，又減少了不必要的時鐘開銷。

圖1 去霧算法整體硬件架構(gòu)圖

圖1將整個架構(gòu)按功能拆分成排序濾波模塊、均值模塊、求全局最大值模塊以及計算公式模塊。該架構(gòu)工作時呈流水線式，即圖像數(shù)據(jù)在輸入的同時就已完成對上一刻數(shù)據(jù)的處理，不需要先存儲再處理，減少了FPGA內(nèi)部處理模塊與外部存儲設備之間的數(shù)據(jù)交互，具有較低的時延[10]。圖1中的箭頭方向代表著像素數(shù)據(jù)的流向，每個模塊都由同一個本地時鐘進行全局驅(qū)動同步運行；當一幀像素數(shù)據(jù)在像素時鐘的驅(qū)動下輸入時，所有模塊并行工作完成對數(shù)據(jù)的處理。

2.2 排序濾波器模塊的硬件優(yōu)化設計

2.2.1 并行全比較器結(jié)構(gòu)

環(huán)境光值和大氣光值計算模塊的輸入數(shù)據(jù)，都是對原始圖像像素進行非線性濾波得到的，但前者以最小值為輸出目標，后者以最大值為輸出目標。不同于常用的排序算法，比如冒泡排序法、希爾排序法和計數(shù)排序法等，本文采用時間復雜度最低的并行全比較排序算法[11]。該算法將所有數(shù)據(jù)在同一時刻進行相互比較，并將比較結(jié)果進行累加，則累加和的排序順序即為數(shù)據(jù)的大小順序。因此，該算法僅在一個時鐘內(nèi)即可完成所有數(shù)據(jù)的排序工作。且FPGA本身就是并行運行的，使用并行全比較算法十分符合FPGA硬件設計原則。以3個數(shù)據(jù)為例，其硬件架構(gòu)如圖2所示。

圖2 并行全比較器電路架構(gòu)圖

對數(shù)據(jù)0、數(shù)據(jù)1和數(shù)據(jù)2進行時序?qū)R后，在一個時鐘內(nèi)得到所有數(shù)據(jù)相互之間的比較結(jié)果c(x,y)，其中x為當前數(shù)據(jù)序號，y為其他數(shù)據(jù)的序號；接著將每個數(shù)據(jù)的比較結(jié)果進行累加賦給sum并存入寄存器中，在下一個時鐘將其與設定的輸出序列號進行比較，從而輸出所需的最大值、中值或最小值。由于流水線式的設計導致數(shù)據(jù)具有易失性，所以需要對輸入的數(shù)據(jù)進行緩存用于輸出。

為了保證具有唯一性，做出以下規(guī)定：

(1)數(shù)據(jù)0大于數(shù)據(jù)1或數(shù)據(jù)2時，結(jié)果記為1，小于或等于時記為0；

(2)數(shù)據(jù)1大于等于數(shù)據(jù)2時，結(jié)果記為1，小于時記為0。

依據(jù)該規(guī)則，使得不同時刻數(shù)據(jù)的優(yōu)先級不同，即使存在相同的數(shù)據(jù)，不同數(shù)據(jù)的比較結(jié)果之和也具有唯一性。

該電路架構(gòu)在FPGA中體現(xiàn)的是以面積換速度的思想方式，即綜合考慮資源和速度的關系，在可接受范圍內(nèi)消耗少量額外的資源來換取速度的提升。

sigma^2 estimated as 11186: log likelihood = -6660.35,aic = 13340.6 9

2.2.2 二維快速統(tǒng)計排序濾波模塊設計

由式(7)可知，暗通道數(shù)據(jù)求取的是以x為半徑的窗口中所有像素的RGB三通道的最小值，結(jié)合前文所述的并行全比較器電路和設計思路，以3×3大小的窗口為例，設計了如圖3所示的硬件優(yōu)化的二維快速統(tǒng)計排序濾波器。

圖3 二維快速統(tǒng)計排序濾波器架構(gòu)圖

圖3中，原始圖像數(shù)據(jù)I(x)通過行緩存器實現(xiàn)串行轉(zhuǎn)并行，并完成數(shù)據(jù)時序?qū)R，形成n×3行數(shù)據(jù)。數(shù)據(jù)對齊后進行3個通道值的并行全比較，值得注意的是此時的數(shù)據(jù)已失去時間的特性，不滿足本文2.2.1節(jié)中所制定的規(guī)則(1)和(2)，針對該情況做出以下補充：

(1)R通道的值大于等于B通道或G通道的值時，結(jié)果記為1，小于時記為0；

(2)G通道的值大于等于B通道的值時，結(jié)果記為1，小于時記為0。

該電路共用6個時鐘完成對窗口內(nèi)像素的暗通道值求取。第1個時鐘完成對3行1列數(shù)據(jù)的RGB三通道值的拆分；第2個時鐘完成對每個像素RGB三通道值的最小值和最大值的求?。坏?個時鐘完成對3行1列像素數(shù)據(jù)三通道值的最小值的求取，并將第2個時鐘求取的最大值輸出到下個模塊；接著采用增量更新的方式，在第4、5個時鐘對計算得到的最小值延時2拍，形成3列1行的最小值數(shù)據(jù)，從而形成窗口數(shù)據(jù)的形式；第6個時鐘完成對3列1行數(shù)據(jù)最小值的求取，即暗通道數(shù)據(jù)的求取。所以隨著像素半徑的增加，該架構(gòu)的時鐘開銷并不會增加，即從數(shù)據(jù)的輸入到處理結(jié)果的輸出時延僅為6個時鐘。

2.3 環(huán)境光值計算模塊的硬件優(yōu)化

2.3.1 均值模塊

均值模塊是環(huán)境光值計算模塊中最重要的一環(huán)，其主要功能包括對暗通道數(shù)據(jù)的均值濾波和求所有數(shù)據(jù)平均值。依據(jù)2.1節(jié)中的設計思路和方法，該模塊主體電路由均值濾波器窗口大小決定，所以首先采用行緩存器和增量更新的方式完成對n×n窗口數(shù)據(jù)的求和，然后經(jīng)由不同邏輯電路得到均值濾波輸出數(shù)據(jù)和平均值輸出數(shù)據(jù)。這里以3×3的均值濾波器為例，設計了如圖4所示的均值模塊硬件電路。

圖4 均值模塊電路架構(gòu)圖

圖4中串行的暗通道數(shù)據(jù)(Idark)經(jīng)由2個行緩存器變成3行并行數(shù)據(jù)結(jié)構(gòu)，完成數(shù)據(jù)的開窗以及對齊；在同一時鐘的驅(qū)動下，該電路先完成排在首列3個數(shù)據(jù)的相加并賦值給寄存器(Reg)，之后在每個時鐘到來時完成數(shù)據(jù)的更新和相加；相加后的數(shù)據(jù)再經(jīng)由另外2個寄存器延時2拍后，形成3個列向量和并相加，從而完成3×3窗口數(shù)據(jù)的相加；最后經(jīng)由除法電路得到均值Mave。

與均值濾波不同，平均值的求取會受增量更新影響，對數(shù)據(jù)進行重復性累加，從而造成輸出誤差。因此需要對平均值累加進行邏輯判斷：當場信號(vsync)無效時，可以判斷一幀圖像數(shù)據(jù)已完成求和，此時除法電路的數(shù)據(jù)之和才有效，否則為0。

在進行除法運算的映射時，常見的方式是調(diào)用除法器IP核，但這樣會消耗更多的邏輯資源或更稀少的計算單元。由算法原理可知，均值濾波算子窗口大小以及像素總個數(shù)是確定的，所以該除法電路可以被視為定常數(shù)除法。綜合考慮系統(tǒng)架構(gòu)邏輯資源占用率、最高工作時鐘頻率和計算精度之間的平衡，本文采用定常數(shù)轉(zhuǎn)換的思想，將除法電路中的定常數(shù)除法轉(zhuǎn)換為FPGA所擅長的移位和加法運算，從而降低系統(tǒng)的時間復雜度和資源的占用率。

這里以窗口的均值濾波除法電路為例，其除法運算的定常數(shù)為9，采用泰勒近似的方式完成定常數(shù)轉(zhuǎn)換，即

(11)

在工程應用中，當量化的誤差小于最小精度的一半時，可稱為無損誤差。其誤差為

(12)

根據(jù)上述思想，設計了如圖5所示的均值濾波器除法電路。數(shù)據(jù)(sum_3×3)輸入到除法電路后，經(jīng)由多個移位操作同時處理后相加賦值給寄存器，將相加結(jié)果延時一個時鐘周期防止出現(xiàn)冒險與競爭，然后再進行左移操作來完成整個除法動作。該電路僅消耗1個加法器和1個寄存器，又因為在FPGA中移位操作不消耗時鐘周期，所以該電路僅開銷1個時鐘。求平均值的除法電路與上述設計思想相同。

圖5 均值濾波器除法電路架構(gòu)圖

2.3.2 環(huán)境光值計算模塊

由式(9)可知環(huán)境光值的計算原理，為了避免進行冗余的計算，可以將設定的偏移值α放大2n倍，然后進行定常數(shù)轉(zhuǎn)換來避免進行浮點運算，進而使用無時鐘消耗的移位運算。

考慮到本文是基于視頻流的處理，幀間具有相似性[12]，且在幀率較高的情況下圖像的變化較慢。所以本文采用上一幀的計算參數(shù)來處理當前幀的圖像，計算結(jié)果可能存在一定的誤差，但極大地減少了資源的消耗，從而降低該架構(gòu)的空間復雜度，提高了算法的運行速度。

3 實驗結(jié)果與分析

3.1 去霧效果比較與分析

圖6顯示了文獻[7]和本文硬件去霧的處理結(jié)果。本文所提出的架構(gòu)雖然對許多步驟進行了硬件優(yōu)化，但從主觀上來看，兩者視覺效果相當。

圖6 去霧效果比較

為了客觀地評價實驗結(jié)果，本文選擇峰值信噪比[13](peak signal to noise ratio,PSNR)和結(jié)構(gòu)相似性[14](structural similarity,SSIM)來作為評價標準。PSNR是基于誤差敏感的圖像客觀評價標準，其值越大，則處理后圖像失真越?。籗SIM是衡量2幅圖像相似度的指標，其值越大，則處理后的圖像與原圖結(jié)構(gòu)越相似。具體客觀評價指標結(jié)果如表1和表2所示。

表1 客觀評價指標PSNR結(jié)果

表2 客觀評價指標SSIM結(jié)果

從表1和表2數(shù)據(jù)可以看出，本文從算法原理上進行簡化并沒有減損去霧效果質(zhì)量，與文獻[7]中的算法處理效果相當。

3.2 運行速度比較

由于本文硬件架構(gòu)是受文獻[7]的啟發(fā)而提出，且文獻[15]是將文獻[7]中的算法用FPGA進行的硬件實現(xiàn)，所以這里選取文獻[7]和文獻[15]進行去霧處理速度的對比。

表3中的數(shù)據(jù)來源于文獻[7]和文獻[15]原文。文獻[7]通過Matlab7.11得到，運行環(huán)境為：2.33 GHz的IntelCore2(Q8200)CPU；文獻[15]運行在cyclone Ⅳ系列的EP4CE10F17芯片開發(fā)板上；本文硬件去霧架構(gòu)運行平臺與文獻[15]相同，但運行速度是文獻[7]的約11倍，是文獻[15]的約2倍。

表3 算法運行時間比較 ms

表4為不同硬件加速方案的比較，可以看到本文所提架構(gòu)的數(shù)據(jù)處理速度高達100.8 Mpixel/s，是文獻[16]的3倍，與文獻[6]相當，對1 200×960 pixel的視頻圖像去霧處理可以以60 fps的速度穩(wěn)定運行。且通過軟件分析可知，該架構(gòu)實現(xiàn)的功耗為2.14 W。

表4 不同加速方案比較

4 結(jié)束語

本文將去霧算法進行簡化，提出了一種視頻流的實時去霧硬件架構(gòu)。該架構(gòu)具有低功耗、結(jié)構(gòu)簡單、實時性高和計算復雜度低等優(yōu)點，在全局時鐘的驅(qū)動下工作，呈流水線式。采用硬件優(yōu)化的方法簡化FPGA中環(huán)境光值和大氣光值的計算步驟，降低了算法的計算復雜度，增加了硬件資源的重復利用率，提高了硬件架構(gòu)的處理速度。各模塊架構(gòu)經(jīng)功能性驗證后，在Cyclone Ⅳ系列的EP4CE10F17芯片上進行實驗，實驗結(jié)果表明本文設計的硬件架構(gòu)在保證去霧效果的同時，完全可以滿足當前工業(yè)應用的要求，具有較高的應用價值。