交通圖像大氣加霧模型設計與評價*

黃 鶴，李戰(zhàn)一，楊 瀾，王會峰，高 濤，陳 婷

（1.長安大學電子與控制工程學院，西安 710064；2.西安市智慧高速公路信息融合與控制重點實驗室，西安 710064；3.長安大學信息工程學院，西安 710064）

前言

隨著智能網聯汽車技術發(fā)展，車載視覺系統對車輛安全的輔助作用越來越重要，但霧霾的出現會增加視覺系統設計的難度，數字孿生技術的快速發(fā)展可以為其提供有效的解決方案。交通霧霾圖像的采集受天氣限制，數據庫獲取比較困難，樣本不夠充足。為了滿足數字孿生技術所需要的大量霧霾數據，加霧獲取數據成為一種有效的獲取途徑［1］。

目前，圖像加霧技術的研究文獻較少，主要思路是利用相對較成熟的圖像去霧技術，反向推導實現，去霧效果會影響反推加霧效果。現有圖像去霧技術可分為3 類，分別是圖像增強去霧［2-3］、神經網絡去霧［4-6］和物理模型去霧［7-12］。其中，圖像增強方法處理速度高但是效果不佳，不適合反推應用到加霧。因此，加霧主要分兩類方法：一類是基于神經網絡的方法，如肖進勝等［13］提出了一種基于對抗生成網絡場景轉換方法，但該方法無法調節(jié)加霧濃度，所加的霧對原始圖像在細節(jié)方面覆蓋不到位，與實際不符；另一類則是基于物理模型的加霧方法，主要根據大氣散射模型反推，進行霧霾合成，如Wang 等［14］提出基于大氣散射模型的合霧方法，但獲得的含霧圖像主觀效果不夠真實。因此，本文在大氣散射模型基礎上提出一種新的大氣加霧模型，估計全局大氣光并進行區(qū)域方差補償。利用顏色衰減先驗估計場景深度求解初始透射率，設定霧霾系數獲取加霧透射率。最終將大氣光估計與大氣加霧透射率代入加霧模型，生成不同濃度的含霧圖像。

1 大氣加霧模型

1.1 大氣散射模型

McCartney 等［15］提出了大氣散射模型，經過Narasimhan 和 Nayar［16-17］進一步推導，從成像角度分析圖像組成，模型如下：

式中：x為像素點所在位置；I（x）為有霧圖像；J（x）為無霧圖像；t（x）為透射率；A為大氣光；β為大氣散射系數；d（x）為圖像場景深度。其中，I、J和A均為RGB 色彩空間的三維向量。大氣散射模型如圖1 所示，在已知含霧圖像I時，通過先驗條件估計大氣光和透射率可以得到去霧圖像。該模型為基于物理模型的圖像去霧方法的依據，應用廣泛。由于模型中大氣光A和透射率t均基于含霧圖像特征設定的各種先驗條件求得。在僅已知清晰圖像J時，不能滿足這些先驗條件，且并不能對霧霾濃度控制，難以反推含霧圖像。因此需要進一步改進設計。

圖1 大氣散射模型

1.2 大氣加霧模型的設計

對于已知無霧圖像J，同一場景下深度d（x）固定不變，霧霾通過改變大氣散射系數大小影響圖像質量。因此，可以通過調整散射系數來實現對清晰圖像加霧。大氣加霧模型透射率為

式中：β0為初始大氣散射系數；t0（x）為初始透射率；α為霧霾系數，通過設置霧霾系數大小控制加霧濃度。根據已知先驗條件求出圖像場景的大氣光A和初始透射率，令k=e-α，設計的大氣加霧模型（圖2）可以描述為

圖2 大氣加霧模型

2 大氣光估計

2.1 暗特征提取

根據式（4），在求大氣光估計時，參照去霧領域的暗通道方法進行暗特征提取，通過補償的方法得到無霧圖像的大氣光估計。暗通道先驗理論［7］是He等通過統計大量室外無霧圖像而提出的一種先驗方法。通過統計大量無霧圖像，發(fā)現圖像中任意局部區(qū)域內的像素點在RGB 顏色通道中，至少存在一個通道的像素灰度值趨近于0。提取暗特征結果如圖3 所示，圖像大小為1280×720，其中（a）、（c）和（e）為清晰原圖、對應暗特征圖和暗特征直方圖，（c）、（d）和（f）為霧霾圖像、暗特征圖和暗特征直方圖。可以看出清晰圖像其暗特征幾乎趨近于0，而霧霾圖像的暗特征明顯大多數大于0。

圖3 暗特征圖及直方圖

暗特征的求取公式如下：

式中：J為輸入的無霧圖像；c為RGB 3個通道中任一顏色通道；Ω（x）表示以x點為中心的鄰域；y為鄰域Ω（x）內的像素點；Jdark為求得暗特征圖像。

2.2 全局大氣光估計

定義暗特征中亮度前0.1%的像素點對應像素值的平均值為全局大氣光值：

式中：Idark為含霧圖像對應的暗特征圖；xt為前0.1%像素值所對應像素點；A1為所求的全局大氣光估計；n為前0.1%像素點數量，即xt的個數。

從圖3（c）可以看出，雖然無霧圖像暗特征中大多數像素值趨近于零，但總存在一部分較亮的像素點，根據式（6）和式（7）全局大氣光估計僅考慮前0.1%像素的位置。由圖3（c）和圖3（d）可以看出，兩圖中明亮像素位置上近似。所以在無霧圖像可以用該方法近似表示全局大氣光。但由于霧霾圖像受大氣散射影響時，大氣光值會稍高于清晰圖像，且該方法并不考慮局部信息，對圖像中含有天空區(qū)域的會造成圖像的失真。因此，需要對大氣光進行補償。

2.3 基于區(qū)域方差的大氣光補償估計方法

針對現有暗特征理論求大氣光時僅考慮全局信息而沒有考慮局部信息，以及對含有天空區(qū)域的處理存在明顯失真等問題，提出了一種基于區(qū)域方差的大氣光補償估計方法。由于暗特征由區(qū)域內最小值決定，無法充分考慮天空區(qū)域，尤其是藍色天空區(qū)域特征，因此補償采用明通道方法。首先，根據暗特征的方法求明通道：

式中：J為輸入的無霧圖像；c為RGB 3個通道中任一顏色通道；Ω（x）表示以x點為中心的鄰域；y為鄰域Ω（x）內的像素點；Jb為求得明通道圖像。對明通道進行區(qū)域方差運算，得到區(qū)域方差圖A2：

式中：Ω（x）為以像素點x為中心的鄰域；y為鄰域中一點；m為區(qū)域大小，本文中取m=5；-Jx為明通道在x為中心的鄰域內均值?？紤]車載圖像會含有較多藍色天空，為了加強對藍色區(qū)域的敏感度，定義敏感因子ψ：

式中Jblue、Jred、Jgreen分別為J圖像對應的RGB 圖通道。當像素點在平滑區(qū)域內，像素值波動較小；當在紋理較豐富區(qū)域內，像素值波動較大。因此，針對含天空區(qū)域的交通圖像，天空區(qū)域的區(qū)域方差較小，近景區(qū)域的區(qū)域方差較大。這里對大氣光進行補償：

式中γ為補償系數，經大量實驗，γ取0.1。大氣光估計效果如圖4 所示。在圖4（a）中，各像素點大氣光值均為0.753。圖4（b）中，各像素點大氣光值因場景光強差異在［0.810，0.879］區(qū)間內取值?？梢钥闯觯a償后大氣光圖明顯提高，且不同區(qū)域像素點對應大氣光值受局部影響而變化，彌補補償前不兼顧局部信息的缺陷。

圖4 大氣光估計效果

3 透射率估計

3.1 顏色衰減先驗

顏色衰減先驗（color attenuation prior，CAP）［10］是一種基于局部統計的先驗理論，指在HSV 色彩空間中，隨著含霧圖像的場景深度和霧霾濃度變化，局部區(qū)域內像素點對應的亮度及色彩飽和度也發(fā)生顯著變化，如圖5所示。

圖5 不同景深位置上亮度與色彩飽和度變化

式中：d（x）為像素點x的景深；c（x）為像素點x的霧霾濃度。

3.2 初始透射率估計

同一場景圖像的深度固定，根據大氣散射模型霧霾僅影響大氣散射系數，由式（3）可知，大氣加霧模型的初始透射率與場景深度相關。由CAP 理論可知，對于有霧圖像，場景深度與亮度和色彩飽和度之差正相關。而對于無霧圖像，場景深度與亮度和色彩飽和度之差也呈正相關，因為霧霾僅影響大氣散射系數，并不影響變化關系，CAP 同樣可以適用。因此初始透射率可表示為

式中β0為初始大氣散射系數。

3.3 大氣加霧模型

圖6 大氣加霧模型的加霧效果

4 算法流程

結合設計的大氣光估計方法及加霧透射率求解方法，并代入大氣加霧模型，計算得到加霧圖像。整個算法流程如圖7所示。

圖7 算法流程圖

具體步驟如下：

（1）將清晰圖像進行暗特征提取，求全局大氣光估計，并求解明通道，根據基于區(qū)域方差的大氣光補償估計對大氣光進行補償，得到大氣光；

（2）將RGB 圖像轉換為HSV 圖像，根據顏色衰減先驗進行場景深度估計，求得初始透射率，設定霧霾系數后得到加霧透射率；

（3）將步驟（1）和步驟（2）求得大氣光和加霧透射率代入加霧模型，得到加霧圖像。

5 實驗結果

實驗采用GPU 硬件平臺NVIDIA GeForce RTX 3080 Ti，軟件平臺采用Matlab 2020b。使用Apolloscape 自動駕駛公開數據集進行圖像加霧，從算法和應用測試兩個方面評價。算法測試中，對不同圖像進行不同濃度加霧，通過無參評價指標信息熵、平均梯度、FADE（fog aware density evaluator）［18］，有參評價指標PSNR、SSIM、模糊系數以及SIFT 算子、ORB 算子檢驗圖像特征點數來評價。性能測試則用α取值0.9 的加霧圖像，利用DCP（dark channel prior）、CAP（color attenuation prior）、DehazeNet 及FVID（fusion-based variational image dehazing）對圖像去霧，通過客觀評價指標反向評價加霧效果。

5.1 算法測試

（1）加霧主觀評價

對交通視頻數據進行加霧實驗，如圖8～圖15所示，分別為對第11 幀、第41 幀、第71 幀、第101 幀和第191幀、第281幀、第371幀以及第461幀清晰圖像及其在添加不同濃度霧霾后得到的加霧圖像，其中，霧霾系數α取值分別為0.1、0.3、0.5、0.7、0.9。

圖8 第11幀清晰圖像及其加霧圖像

圖9 第41幀清晰圖像及其加霧圖像

圖10 第71幀清晰圖像及其加霧圖像

圖11 第101幀清晰圖像及其加霧圖像

圖12 第141幀清晰圖像及其加霧圖像

圖13 第281幀清晰圖像及其加霧圖像

圖14 第371幀清晰圖像及其加霧圖像

圖15 第461幀清晰圖像及其加霧圖像

（2）客觀評價指標

從數據集中取4 組圖像，每組4 張，求各圖客觀指標后取均值，對客觀指標進行分析，如圖16 所示。圖16（a）和圖16（c）為圖8～圖15 中對應無參評價指標信息熵、平均梯度和FADE 值。其中，信息熵數值越大信息量越多，霧霾相對較少；平均梯度反映紋理信息，數值越大表示圖像紋理細節(jié)越清晰，霧霾濃度越低。FADE 通過計算不同濃度下的霧霾來評價圖像的加霧質量，數值越大表示霧霾濃度越大。圖15（d）～圖15（f）為圖8～圖15對應的有參評價指標PSNR、SSIM 和模糊系數。PSNR 為峰值信噪比，可以衡量圖像質量，越大代表著圖像質量越好。SSIM是結構相似度，表示兩圖結構相似程度，值越接近1，兩圖像越相似。模糊系數表示圖像模糊程度，霧霾含量越多，模糊系數越大。圖16（g）和圖16（h）通過SIFT算子和ORB算子檢驗圖像特征點數來對加霧圖像進行評價，特征點越少，霧霾濃度越大，信息損失越多。

圖16 算法測試客觀指標評價

表1 為綜合客觀指標評價，將不同霧霾系數的評價指標取均值，可以得到各客觀指標的影響。由表1 和圖16 可以看出，隨著α的變大，對應的信息熵、平均梯度、PSNR、SSIM 逐步減小，模糊系數、FADE 隨之近似線性變大，同時，特征點也隨之逐漸減少。因此，本算法處理后，加霧圖像中信息的損失受控于霧霾系數，可有效實現不同的加霧濃度。

表1 算法測試綜合客觀指標評價

5.2 應用測試

為了充分證明本文算法具有良好的實用性，對霧霾系數為0.9 的加霧后圖像進行去霧實驗，分別采用DCP 算法、CAP 算法、DehazeNet 算法［4］和FVID算法［19］，結果如圖17～圖20 所示。對去霧后圖像采用信息熵［20］、FADE、平均梯度［21］的客觀評價指標進行評價，結果如圖21所示。

圖17 第11幀不同算法的去霧效果

圖18 第41幀不同算法的去霧效果

圖19 第71幀不同算法的去霧效果

圖20 第101幀不同算法的去霧效果

圖21 應用測試客觀指標評價

由圖17～圖20 可以看出，本文方法得到的加霧圖像，再經多種經典去霧算法處理后，圖像的細節(jié)信息從主觀看能夠較好地復原，這說明本文算法加霧處理后與實際含霧圖像的特征比較接近。圖17～圖20 中圖（b）～（e）分別為4 種去霧方法得到的復原圖像，圖（f）為未加霧圖像，通過對比發(fā)現去霧后圖像清晰度并不完全能和未加霧圖像完全一致。這是由于去霧算法本身的缺陷也會導致去霧圖像效果和未加霧效果存在一定差距，但可以看出，基本的紋理細節(jié)等信息都得到有效復原。從圖21 可以看出，圖像各客觀指標經過去霧后得到了明顯提升。這些客觀指標主要從信息、紋理、特征等方面評定圖像質量的變化趨勢，這也間接驗證了本文算法加霧效果正是去霧的反推，與實際含霧圖像相似。

5.3 多場景測試

為了進一步展現算法的效果，分別對不同場景進行測試，圖22～圖24分別對航拍的村落、道路和城市圖像進行加霧實驗。圖中霧霾系數α取值分別為0.1、0.5、0.9。通過對比幾組圖像原圖及加霧效果可以看出：當霧霾系數α取0.1 時，圖像對比度明顯降低，但是加霧量較少，主觀上影響并不大；當霧霾系數α取0.5 時，圖像較原圖明顯模糊，細節(jié)處不夠明顯；當霧霾系數α取0.9 時，圖像的基本輪廓還存在，但是細節(jié)紋理已經模糊不清。通過對不同場景的加霧測試，充分地證明了該算法多不同場景都有良好的應用效果。

圖22 航拍村落圖像及其加霧圖像

圖23 航拍交通圖像及其加霧圖像

圖24 城市交通圖像及其加霧圖像

6 結論

本文針對車載視覺系統中數字孿生技術應用時所需要的大量數據，而現實中霧霾圖像的采集受各種條件制約，提出了一種新的大氣加霧模型，通過提取暗特征求得全局大氣光，基于區(qū)域方差對其補償，利用顏色衰減先驗獲得景深信息，求得初始透射率。同時模型可實現對加霧濃度的控制，通過設定霧霾系數得到對應加霧透射率及加霧圖像。實驗表明，提出的加霧模型在主觀上可使圖像細節(jié)紋理等信息逐漸模糊，客觀上在PSNR、SSIM、FADE等指標均隨霧霾濃度增加而衰減，與真實霧霾對圖像質量的影響相似。文中提供的可控加霧模型，可以有效地補充和擴展的霧霾數據集，應用價值明顯。