融合正則優(yōu)化的多尺度深度學(xué)習(xí)圖像去霧模型

中圖分類號：TP391 文獻標(biāo)志碼：A DOI： 10.19907/j. 0490-6756. 240277

A multi-scale deep learning image dehazing model with regularizationoptimization

XULi，ZHANGMao-Lin，WANJia-Ni，YU Jun-Hao，SHI Zhan-Zhan，HUANG Guo （Sichuan Province Key Laboratory of Internet Natural Language Intelligent Processing， LeshanNormal College，Leshan 6l4OoO，China）

Abstract： Existing image dehazing models often suffer from low transmission accuracy and poor visibility of restored hazy images.To address these isues，this paper proposes a multi-scale deep learning image dehazing model with regularization optimization，which improves traditional dehazing methods through the principle of quadratic optimization of transmission.Firstly，a multi-scale convolutional neural network is employed to provide an initial estimate of the transmisson，preserving edge information and reducing noise.Secondly，relative total variation regularization is utilized to adaptively filter noise and maintain texture details by leveraging differences in output from texture regions，thereby enhancing transmision estimation accuracy.Finally，the optimized transmission is integrated into an atmospheric scatering model to achieve image dehazing.The experimental results demonstrate that the proposed model effectively restores fine texture details and enhances the perceptual clarity of hazy images in comparison to mainstream dehazing models，thereby significantly improving the overall quality of the restored images.With superior subjective evaluation，objective metrics such as Peak Signal-to-Noise Ratio （PSNR），Structural Similarity Index （SSIM），and Visible Edge Ratio （VER） show average improvements of 25% ， 6% ，and 4% ，respectively.

Keywords： Multi-scale;Deep learning;Regularization optimization; Image dehazing

1引言

霧霾是由大量懸浮在大氣中的微小顆粒物組成，這些顆粒物會導(dǎo)致圖像模糊、對比度降低以及顏色失真，不僅影響了美觀，還對工程應(yīng)用領(lǐng)域的信息獲取和視覺識別造成了困擾[1-3].圖像去霧技術(shù)廣泛應(yīng)用于監(jiān)控安防、航空航天和交通監(jiān)控等領(lǐng)域，在惡劣天氣條件下提高監(jiān)控攝像頭的視覺識別能力，確保飛行器導(dǎo)航和無人機操作獲得清晰視覺信息[46].因此，圖像去霧技術(shù)作為一種重要的圖像增強方法，吸引了國內(nèi)外學(xué)者的廣泛關(guān)注[7.8].

目前圖像去霧模型主要分為兩類9：一類是經(jīng)典去霧模型包括直方圖去霧、Retinex去霧以及暗通道先驗去霧等模型；另一類是深度學(xué)習(xí)去霧模型包括多尺度卷積神經(jīng)網(wǎng)絡(luò)去霧[10、輕量級去霧神經(jīng)網(wǎng)絡(luò)11]以及生成對抗網(wǎng)絡(luò)去霧12]等模型．Huang等[13]提出基于全局直方圖均衡化（GlobalHistogramEqualization，GHE）和局部直方圖均衡化（Local Histogram Equalization，LHE）的圖像去霧模型.GHE通過增強圖像的對比度和亮度，尤其在均勻光照條件下表現(xiàn)良好；LHE引入了局部區(qū)域的對比度增強，能夠更有效地處理不均勻光照和局部霧霾，改善了圖像的視覺效果.Bria等[14提出基于Retinex算法色彩恢復(fù)理論的圖像去霧模型，該模型通過分解圖像為反射成分和照明成分，有效地消除霧霾造成的光照擾動，恢復(fù)圖像的真實色彩和細節(jié).Zheng等[15]利用多尺度Retinex算法（Multi-ScaleRetinex，MSR）實現(xiàn)了處理多尺度細節(jié)的能力，MSR模型通過分層處理圖像，從全局到局部逐步優(yōu)化，使得在復(fù)雜光照和霧霾環(huán)境下的去霧效果更為出色.Tang等[16提出多尺度顏色恢復(fù)算法（Multi-Scale Retinex with Color Restora-tion，MSRCR），該算法結(jié)合了顏色恢復(fù)和對比度增強技術(shù)，能夠在保持圖像色彩真實性的同時，提升整體視覺效果和清晰度.Jin等[7提出了暗通道先驗算法（DarkChannelPrior，DCP）是一種廣泛應(yīng)用于圖像去霧的經(jīng)典方法.該算法利用自然場景中普遍存在的暗通道現(xiàn)象，即在任何場景中，至少有一個局部區(qū)域的像素值在RGB顏色空間中非常接近于零，由此估算霧霾強度，從而有效地去除圖像中的霧霾干擾.近年來，深度學(xué)習(xí)圖像去霧模型逐步嶄露頭角，基于深度學(xué)習(xí)的大模型去霧技術(shù)能夠?qū)崿F(xiàn)自動學(xué)習(xí)復(fù)雜場景下的特征表示，從而有效消除霧霾改善圖像質(zhì)量.其中深度學(xué)習(xí)模型用于圖像去霧比較有代表性的包括：Ren等18提出了多尺度卷積神經(jīng)網(wǎng)絡(luò)去霧模型（Multi-ScaleConvolutional Neural Network，MSCNN）.Cai等[19]提出了去霧神經(jīng)網(wǎng)絡(luò)（DehazeNet）和Zheng等[20]提出了生成對抗網(wǎng)絡(luò)去霧模型（DehazeGAN）.

上述圖像去霧模型在某種程度上都存在一定的局限性.全局直方圖均衡化和局部直方圖均衡化去霧模型在處理復(fù)雜場景和重度霧霾時可能出現(xiàn)過度增強、去噪不完全和明顯人工痕跡等問題.Retinex算法及其擴展算法需要精確設(shè)置參數(shù)且計算成本高，難以滿足實時性要求．暗通道先驗算法對復(fù)雜光照和大范圍霧霾處理效果有限，易導(dǎo)致局部對比度損失和色彩失真．深度學(xué)習(xí)模型DehazeNet、MSCNN和DehazeGAN等去霧模型雖能有效處理復(fù)雜場景，但依賴大量數(shù)據(jù)和計算資源，泛化能力和實時性需要適當(dāng)優(yōu)化，在去霧過程中還會面臨邊界不清晰和顏色失真等問題.為了解決上述主流去霧模型存在的問題，有效提升霧霾圖像的視覺清晰度，本文提出了融合正則優(yōu)化的多尺度深度學(xué)習(xí)圖像去霧模型（Regularization Op^- timization Multi-Scale Deep Learning，R_MSDL），該模型利用多尺度卷積神經(jīng)網(wǎng)絡(luò)進行初步透射率估計，保留了邊緣細節(jié)并減少噪聲．在此基礎(chǔ)上，結(jié)合相對總變分正則化技術(shù)，分析紋理區(qū)域的輸出差異實現(xiàn)自適應(yīng)噪聲過濾，保留了紋理信息，提高透射率估算的精度.最后，將經(jīng)過優(yōu)化的透射率應(yīng)用于大氣散射模型，實現(xiàn)圖像去霧優(yōu)化處理．

2 去霧原理及模型

2.1大氣散射模型

大氣散射模型作為圖像去霧重要的物理基礎(chǔ)，描述了光在大氣中傳播時與微粒相互作用以及光線散射和衰減的過程，為消除霧霾圖像提供了關(guān)鍵理論支撐.圖1為大氣散射模型示意圖[21]，模型數(shù)學(xué)原理如式（1）所示.

其中， x 為像素點的坐標(biāo)位置； I 是有霧圖像像素值； J 為對應(yīng)的無霧圖像像素值； A 表示為大氣光照強度；t表示透射率.

2.2 去霧模型

霧霾天氣不利于圖像采集和視覺識別，會嚴(yán)重降低圖像的對比度和紋理細節(jié)特性，造成圖像清晰度和色彩鮮明度下降.為了解決這個問題，研究者提出了多種圖像去霧模型，大體分為傳統(tǒng)方法的圖像去霧模型和最新的融人深度學(xué)習(xí)技術(shù)的圖像去霧模型.

2.2.1經(jīng)典去霧模型（1）直方圖去霧模型.全局直方圖均衡化（GHE）22是一種簡單而有效的圖像去霧模型.該模型通過對整幅圖像的像素灰度分布重新計算分配，以增強圖像的對比度和亮度，全局直方圖均衡化去霧方法簡單直觀，利于實現(xiàn)，其基本公式如式（2）所示：

局部直方圖均衡化（LHE）[23]是一種改進的直方圖去霧模型.該模型不僅考慮整幅圖像的全局灰度分布，還引入了局部區(qū)域的像素灰度直方圖，使得局部直方圖均衡化能夠更有效地處理不均勻光照和局部霧霾的情況，改善圖像的細節(jié)特征進而提升圖像的視覺質(zhì)量，其公式如（3）式所示.

其中， 表示在位置 （_x，y） 處去霧后的像素值； 表示在位置 （_x，y） 處霧霾圖像的像素值； n_k 是灰度級 k 的像素數(shù)量； L 是灰度級的數(shù)量；M 和 N 分別是圖像的寬度和高度.

（2）Retinex去霧模型.Retinex算法[24]是一種經(jīng)典的圖像增強方法，該算法基于人類視覺系統(tǒng)對色彩恒常性的感知，通過估計圖像中的反射和照明成分來模擬人眼對自然場景的觀察，其數(shù)學(xué)原理如式（3）所示．為了進一步提高Retinex算法的去霧效果， Min^[25] 引人了多尺度Retinex（MSR）算法．該算法在多個尺度上處理圖像，通過逐層優(yōu)化圖像的反射和照明成分，實現(xiàn)更精細的圖像增強，使得去霧效果更加顯著，其數(shù)學(xué)原理如式（4）所示.

在此基礎(chǔ)上，多尺度顏色恢復(fù)算法（MSRCR）融合了顏色恢復(fù)和對比度增強技術(shù)，該方法進一步提升了圖像的細節(jié)表現(xiàn)能力，使去霧后的圖像更加清晰，其數(shù)學(xué)原理如式（5）所示.

I_MSRCR（x，y）=I_MSR（x，y）+

C^*max（0，I_color（x，y）-I_MSR（x，y））

其中， 表示圖像在位置 （x，y） 的像素值； 是局部領(lǐng)域內(nèi)的最小像素值; 是多尺度Retinex處理后的圖像； I_color（x，y） 是顏色恢復(fù)后的圖像； C 是增強系數(shù).

（3）暗通道先驗去霧模型.暗通道先驗算法（DCP）[26]是一種經(jīng)典的圖像去霧方法.該方法基于圖像中不同顏色通道的最小值來估計每個像素點的透射率．具體而言，DCP算法通過計算每個像素點的暗通道值，即其在RGB的3個顏色通道中的最小值，有效估計該像素點的局部透射率；進而通過對所有像素點的暗通道值綜合分析，由此獲得全局透射率 t（x） 的估計.DCP算法利用了無霧圖像在局部區(qū)域至少有一個顏色通道具有較低強度的統(tǒng)計特性，從而取得了顯著的去霧效果，其數(shù)學(xué)原理如式（6）所示.

其中， Ω（x） 表示以像素 x 為中心的局部窗口區(qū)域；

ω 是常數(shù)，通常取較小的值來避免過度估計； I_c（x）

表述圖像I在位置 x 處顏色通道 ∣c∣ 的像素值.

2.2.2深度學(xué)習(xí)去霧模型 （1）MSCNN去霧模型.多尺度卷積神經(jīng)網(wǎng)絡(luò)（MSCNN）[27]是一種基于深度學(xué)習(xí)的先進圖像去霧技術(shù)，在處理復(fù)雜霧霾場景和提升圖像質(zhì)量方面展現(xiàn)出獨特的優(yōu)勢和應(yīng)用潛力.MSCNN的基本原理是利用深度卷積神經(jīng)網(wǎng)絡(luò)的多層次特征提取能力，從霧霾圖像中提取多尺度的邊緣、紋理和顏色等細節(jié)特征，有效分析和復(fù)原圖像中的霧霾現(xiàn)象.圖2表示MSCNN的網(wǎng)絡(luò)框架圖.MSCNN采用多尺度處理策略，通過不同層次的卷積和池化操作，逐步優(yōu)化透射率的估計并實現(xiàn)圖像的去霧效果，其核心卷積層公式如式（7）所示[28].

其中， O_i 是第 i 個卷積核的輸出特征圖； I_j 是輸人圖像的第 j 個通道； K_ij 是第 i 個卷積核在第 j 個通道上的權(quán)重； b_i 是第 i 個卷積核的偏置項； * 表示卷積操作；f是激活函數(shù).

（2）DehazeNet去霧模型.DehazeNet29是一種端到端的深度學(xué)習(xí)去霧技術(shù).其基本原理是通過卷積層和池化層等操作提取輸入圖像的多尺度視覺特征；再利用透射率圖精確估計光線在大氣中的衰減情況；從而有效捕捉霧霾造成的光學(xué)效應(yīng)，最后將估計的透射率圖與輸入的有霧圖像代入大氣散射模型恢復(fù)出清晰圖像.圖3表示DehazeNet網(wǎng)絡(luò)框架圖.DehazeNet模型深度學(xué)習(xí)架構(gòu)不僅能夠自動學(xué)習(xí)復(fù)雜的光學(xué)場景和霧霾效應(yīng)，還具備適應(yīng)不同光照條件和場景復(fù)雜度的能力，能夠顯著提升圖像去霧的效果，其核心卷積層公式如式（8）所示[30].

其中， O_i，j，k 是輸出特征圖 O 在位置 （i，j） 和通道 k 的像素值； I_{i+m，j+n，c} 是輸入特征圖I在位置 （i+m，j+ n ）和通道 c 的像素值； K_{m，n，c，k} 是卷積核 K 在位置（m，n） ，輸入通道為 c ，輸出通道為 k 的權(quán)重； b_k 是第k個輸出通道的偏置；kh和 kw 是卷積核的高和寬；C_i 是輸入圖像通道數(shù).

3 R_MS_DL去霧模型

3.1 R_MS_DL去霧流程

如圖4所示，R_MS_DL去霧模型的框架由6部分構(gòu)成，具體包括訓(xùn)練過程、粗層去霧網(wǎng)絡(luò)、細層去霧網(wǎng)絡(luò)、一次優(yōu)化（深度學(xué)習(xí)）計算大氣光值和二次優(yōu)化（正則優(yōu)化）.R_MS_DL去霧模型基本原理首先利用歸一化方法和白平衡技術(shù)[31]對霧霾圖像進行預(yù)處理；其次利用粗層去霧網(wǎng)絡(luò)、細層去霧網(wǎng)絡(luò)獲得透射率圖；再次利用正則優(yōu)化方法[32.33]對透射率圖進行二次優(yōu)化；最后用二次優(yōu)化后的透射率圖結(jié)合大氣散射模型得到去霧圖像.

3.2 R_MS_DL去霧步驟

R_MS_DL去霧模型的關(guān)鍵思想是利用卷積神經(jīng)網(wǎng)絡(luò)獲得粗透射率圖和細透射率圖，再結(jié)合相對總變分正則優(yōu)化技術(shù)實現(xiàn)透射率的二次優(yōu)化，該模型的實現(xiàn)具體包含以下幾步驟：

步驟1 圖像歸一化.已知一幅 M^*N 含霧圖像 I（x，y，c） ，將其歸一化到[0，1]之間，并利用大氣散射模型公式（1）可推導(dǎo)出去霧圖像公式，如式（9）所示，其參數(shù)解釋與式（1）相同.

步驟2計算大氣光值．為了更精確地計算大氣光值 A ，首先構(gòu)造了最暗通道圖像 J^dark（x，y） ，式（10）第1行計算圖像中每個像素在所有顏色通道中的最小值;式（10）第2行對 中的所有像素值進行降序排序，得到排序后的像素值序列及它們各自在原始圖像中的位置索引 （Φ_Xi，ΦYi） ；式（10）第3行為了減少計算量并聚焦于最可能代表大氣光強度的區(qū)域，R_MS_DL模型從排序后的序列中選取前 K 個亮度最高的像素（即排序最前的 K 個像素）作為大氣光值 A ：

其中， .I（x^′，y^′，c） 是顏色通道 c （紅、綠、藍）在像素（x^′，y^′） 處的值； Ω（x，y） 是像素 （x，y） 周圍的一個小窗口； 是最暗通道在像素 （x，y） 處的值； η

為大氣光值調(diào)節(jié)系數(shù).

步驟3圖像白平衡補償.為了消除由光源差異引起的白色區(qū)域顏色偏差，本模型引入了白平衡補償，該方法通過計算圖像中紅、綠、藍等3色的相對比例，確定當(dāng)前光源對圖像顏色的影響程度；隨后，根據(jù)這一分析結(jié)果，對圖像中的顏色通道進行相應(yīng)的調(diào)整，使得白色物體能夠恢復(fù)到其應(yīng)有的顏色狀態(tài)，同時保持圖像中其它顏色的相對關(guān)系不變，白平衡技術(shù)的核心公式如式（11）所示.

其中 ，I_wb（x，y，c） 為白平衡處理后的圖像； ：I（x，y，c）

表示圖像在 （x，y） 顏色通道為 c 的像素值.

步驟4獲得透射率圖.（1）粗透射率圖．首先去霧模型加載訓(xùn)練好的粗層去霧網(wǎng)絡(luò)，并確定其網(wǎng)絡(luò)層總數(shù)為 n ，初始化一個數(shù)據(jù)結(jié)構(gòu)resl-1.該結(jié)構(gòu)用于存儲和累積網(wǎng)絡(luò)各層在處理圖像時產(chǎn)生的輸出．隨后，深入遍歷網(wǎng)絡(luò)的每一層，根據(jù)層的類型執(zhí)行相應(yīng)的操作，具體包括： ① 式（12）中第1式表示卷積層利用局部連接和權(quán)重共享的策略，高效地提取圖像中的關(guān)鍵特征，同時保持空間關(guān)系并減少計算參數(shù)，以降低過擬合風(fēng)險并提高處理效率； ② 式（12）中第2式表示池化層通過聚合和降采樣的方式，進一步精煉特征表示，以增強模型的魯棒性和泛化能力； ③ 式（12）中第3式表示激活層通過引入非線性元素，提升整個網(wǎng)絡(luò)的表達能力和學(xué)習(xí)能力，確保模型能夠更好地適應(yīng)復(fù)雜的去霧任務(wù)，從而提升處理結(jié)果的質(zhì)量和準(zhǔn)確性，卷積層、池化層和激活層的核心公式如式（12）所示．

其中， 表示卷積操作后的特征圖；pooling （x，y，k） 表示池化操作后的輸出值；activatio n（x，y，k） 表示池化層的輸出經(jīng)過激活函數(shù)后的值； W^l1 是第 l 層的卷積核權(quán)重； b^l1 是第 l 層的偏執(zhí).

在式（12）的基礎(chǔ)上，通過逐層的特征提取和轉(zhuǎn)換得到網(wǎng)絡(luò)層輸出結(jié)構(gòu)res1- ?n ，結(jié)合resl ?n 和偏置調(diào)整獲得粗透射率圖 I_{coarse（x，y）} ，其卷積層公式如式（13）所示.

i-1，y+j-1，c）

其中，filters （i，j，c，k） 濾波器尺寸為 （H×W× C×K^′ ;biases（k）為偏置， k 是輸出通道索引.

（2）細透射率圖.在獲得粗透射率圖的基礎(chǔ)上，R_MS_DL去霧模型再次加載 n 層細層去霧網(wǎng)絡(luò)，初始化網(wǎng)絡(luò)層輸出結(jié)構(gòu)res2-1，結(jié)合 I_{coarse（x，y）} 重復(fù)獲得粗透射率圖操作，其卷積層公式如式（14）所示．

其中， W^l2 是第 l 層的卷積核權(quán)重； b^l2 是第 l 層的偏執(zhí).

結(jié)合得到的網(wǎng)絡(luò)層輸出結(jié)構(gòu) res2-n 和偏置調(diào)整得到細透射率圖 I_- fine，其核心公式如式（15）所示.

其中， filters₂（i，j，c，k） 濾波器尺寸為 （H×W×C× K） ；biases（k）為偏置； k 是輸出通道索引.

步驟5正則優(yōu)化.正則優(yōu)化通過計算圖像的梯度幅值，生成紋理權(quán)重圖，用于突出圖像中強紋理區(qū)域并抑制平滑區(qū)域.其核心公式為式（16）所示．

其中， diff₁（x，y） 為水平方向梯度； diff₂（x，y） 為垂直方向梯度;texture_weight （x，y） 為紋理權(quán)重圖.

將紋理權(quán)重圖應(yīng)用到 I_{fine（x，y）} 上得到 I_{smoothed（x，y）} ，可以使得在進行平滑處理時，更好地保留圖像結(jié)構(gòu)信息：正則優(yōu)化核心公式如式（17）所示.

其中， x 表示矩陣點乘.

步驟6實現(xiàn)圖像去霧.利用步驟2）所求的大氣光值 A ，以及步驟5二次優(yōu)化后的透射率I_smoothed （x，y） ，代人式（9）得到去霧后的圖像，如式（18）所示.最后對去霧后的圖像進行g(shù)amma校正，以調(diào)整圖像的亮度和對比度，如式（19）所示．

A（α_C），?gt;0

Q（x，y，c）=J（x，y，c）^γ

其中， J（x，y，c） 為去霧后的圖像； I_- smoothed （x，y） 為正則優(yōu)化得到的透射率圖； ? 表示平滑因子； γ 為伽馬矯正參數(shù).

4仿真實驗及數(shù)值分析

4.1 實驗數(shù)據(jù)集

本文實驗數(shù)據(jù)采用了NTIRE2023挑戰(zhàn)賽所使用的高清非均質(zhì)去霧“HD-NH-HAZE（NTIRE2023）\"數(shù)據(jù)集.該數(shù)據(jù)集包含50對高分辨率的真實室外圖像，展示了非均質(zhì)霧霾條件下場景及其對應(yīng)的無霧版本．為了進一步驗證提出的R_MS_DL去霧模型的先進性，本文實驗數(shù)據(jù)在“HD-NH-HAZE”數(shù)據(jù)集的基礎(chǔ)上增加了2O61張涵蓋多種戶外場景，并呈現(xiàn)出不同霧度分布的不均勻性霧霾圖像，實驗圖像都被處理成8種不同的霧化程度，生成了16488張圖像.此外，為了驗證真實條件下的去霧效果，實驗額外增加了46對真實的“薄霧-清晰”圖像和55對真實的“濃霧-清晰”圖像.因此本文實驗數(shù)據(jù)集共計16639張圖像，分辨率均為 550×413

4.2 評價標(biāo)準(zhǔn)

4.2.1主觀評價標(biāo)準(zhǔn)圖像主觀評價標(biāo)準(zhǔn)主要包含圖像清晰度34和顏色保真度[35兩個方面.圖像清晰度的評估主要關(guān)注邊緣清晰度和紋理細節(jié)保留，旨在確保重要邊緣和微小細節(jié)在去霧處理后能夠得到顯著提升，進而增強視覺效果，使圖像邊界更加清晰可辨.顏色保真度的評估則著重于對圖像色彩的還原能力，以及在去霧過程中保持光照一致性和色調(diào)的準(zhǔn)確性，以確保圖像保持自然真實的效果.主觀評價標(biāo)準(zhǔn)不僅為客觀衡量模型去霧效果提供了依據(jù)，還能有效地指導(dǎo)實際應(yīng)用中的圖像處理和優(yōu)化策略，從而進一步提升圖像去霧模型在視覺感知和實際應(yīng)用中的有效性和可靠性.

4.2.2客觀評價標(biāo)準(zhǔn)（1）峰值信噪比（PeakSignal-to-NoiseRatio，PSNR）[36]用于衡量原始圖像與去霧處理后圖像之間的差異，通過計算兩者之間的均方誤差（MSE），將其相對于信號最大值平方的對數(shù)值來確定峰值信噪比.PSNR值越高，表示去霧后的圖像失真越小，去霧效果越好，均方誤差和峰值信噪比如式（20）所示：

其中， M 和 N 表示圖像的寬度和高度； I_i，j 和 J_i，j 分別表示原始圖像和去霧后圖像在第 i 行、第 j 列的像素灰度值.

（2）結(jié)構(gòu)相似性（Structural Similarity Index，SSIM）[37]是一種描述兩幅圖像結(jié)構(gòu)相似度指標(biāo)，SSIM∈[0，1] ，結(jié)構(gòu)相似性值越大，說明去霧后的圖像結(jié)構(gòu)信息保留更加完整，去霧效果越好.結(jié)構(gòu)相似性指數(shù)的公式如式（21）所示.

其中， μ_I 和 μ_J 分別表示原圖像和去霧后圖像的平均值； σ_I 和 σ_J 分別表示圖像和去霧后圖像的標(biāo)準(zhǔn)差；σ_IJ 表示圖像和去霧后圖像的協(xié)方差；常數(shù) C₁= K₁×L 和 C₂=K₂×L

（3）可見邊比（VisibleEdgeRatio，VER）[38]用于量化圖像邊緣和紋理細節(jié)清晰程度，VER∈[0，1] ，可見邊比越大，表示圖像邊緣特征和結(jié)構(gòu)更加明顯，去霧效果越好.可見邊比的公式如式（22）所示.

其中， N_edge 表示去霧后圖像中具有顯著邊緣的像素數(shù)； N_total 表示圖像的總像素數(shù).

4.3仿真結(jié)果及分析4.3.1模型參數(shù)設(shè)置及環(huán)境配置本實驗參數(shù)設(shè)置包括：（1）深度訓(xùn)練模型相關(guān)參數(shù)設(shè)置.實驗選擇了6幅大小為 550×413 的具有代表性的24位彩色圖像，包括 Buddha、Flower Sea、Goldentop、Tiananmen、Montain和Train.傳統(tǒng)的MSCNN模型的卷積核大小分別設(shè)置為 4×4.7×7 和 1×1 ，池化窗口（pool_region）大小為 3×3 ，網(wǎng)絡(luò)層數(shù)量為11；DehazeNet模型的卷積核大小分別設(shè)置為 5× 5.3×3 和 2×2 ，池化窗口（pool_region）大小為 2× 2，網(wǎng)絡(luò)層數(shù)量為11;而R_MS_DL模型的卷積核大小設(shè)置為 3×3.5×5 和 2×2 ，池化窗口（pool_region）大小為 2×2 ，網(wǎng)絡(luò)層數(shù)量為15.此外，大氣光值調(diào)節(jié)系數(shù) η 設(shè)定為 0.1% ，以便進行相應(yīng)的實驗數(shù)據(jù)對比.（2）去霧模型實驗相關(guān)參數(shù)設(shè)置.實驗?zāi)M了兩種霧霾濃度，其中輕度霧霾的Alpha值設(shè)定為0.2，模糊半徑為5；中度霧霾的Alpha值為0.5，模糊半徑為15；伽馬矯正參數(shù) γ 設(shè)定為0.8；結(jié)構(gòu)相似性指數(shù)中的比例系數(shù) K₁ 和 K₂ 分別設(shè)置為0.01和0.03.（3）軟硬環(huán)境配置.實驗環(huán)境配置為高性能算力服務(wù)器，包括Intel（R）Core（TM）i7-10510UCPU $＼textcircled { ＼omega } 3 . 8 0 ～ ＼mathrm { G H z }$ 處理器、32GB內(nèi)存和NVIDIAGeForceRTX3090GPU，運行64位 Win^- dows10操作系統(tǒng)，仿真軟件使用MatlabR202la.4.3.2透射率圖比較本文選取了3組包含顯著景深變化的含霧圖像，R_MS_DL方法和MSCNN方法優(yōu)化后的透射率圖（如圖5）.通過優(yōu)化后的透射率圖可以得出主觀評價如下：（1）MSCNN模型能夠保持景深突變邊緣，同時也因為保留了許多與紋理無關(guān)的信息導(dǎo)致局部區(qū)域內(nèi)透射率估計的偏差.R_MS_L去霧模型相比MSCNN模型能夠有效消除粗透射率估計中的不確定像素點，在圖像深處也能保持原有圖像的深度信息；（2）R_MS_L去霧模型可以有效抑制霧霾圖像透射率圖中的邊緣紋理等無關(guān)像素點，由此得到更精確的透射率圖；（3）圖5b和5c表明MSCNN去霧模型得到的透射率圖相比R_MS_DL去霧模型其結(jié)構(gòu)過于清晰，會導(dǎo)致去霧后場景過度銳化從而出現(xiàn)偽影

4.3.3人工合成霧霾圖像去霧效果比較透射率圖像直接評估去霧效果比較抽象，為了更加直觀比較不同去霧模型的性能，圖6表示本文提出的RMSDL去霧模型相比經(jīng)典去霧模型和深度學(xué)習(xí)去霧模型對人工合成霧霾圖像去霧效果對比圖.直接觀察可知本文提出的RMSDL去霧模型具有以下優(yōu)勢：（1）經(jīng)典去霧模型處理后的圖像出現(xiàn)顏色失真、亮度過低和銳化過度，深度學(xué)習(xí)去霧模型使去霧后圖像顏色偏暗且飽和度過高，而本文提出的R_MS_DL去霧模型能夠在提升去霧后亮度的同時一定程度上保持自然的色彩還原；（2）傳統(tǒng)去霧模型處理后的圖像細節(jié)保留不足，去霧效果欠佳，如MSCNN模型存在去霧不徹底的問題，而本文提出的去霧模型處理后圖像去霧效果上更加徹底同時保留了更多的紋理細節(jié)；（3）相比經(jīng)典去霧模型和傳統(tǒng)深度學(xué)習(xí)去霧模型，R_MS_DL去霧模型在處理圖像時，能夠顯著降低圖像失真，更完整地保留圖像的結(jié)構(gòu)信息，并且使邊緣特征更為清晰.其對比分析如表1～表3中圖像數(shù)據(jù)所示．從表1～表3可知，本文提出的R_MS_DL去霧模型去霧后的圖像在SSIM、PSNR以及VER等評價指標(biāo)上的數(shù)值，均明顯高于其它去霧模型.這從客觀上表明了R_MS_DL模型在去霧效果上的優(yōu)越性.

4.3.4自然霧霾圖像去霧效果比較人工合成霧霾圖像雖然能模擬出一定的霧霾效果，但在真實環(huán)境中的霧霾條件復(fù)雜多變，包含更多的光照變化、霧霾濃度差異和更不確定的細節(jié)損失等因素．因此，真實霧霾圖像的實驗更能準(zhǔn)確反映算法在實際應(yīng)用中的效果.圖7表示RMS_DL去霧模型相比上述主流去霧模型對自然霧霾圖像去霧效果對比圖.直接觀察可知：（1）傳統(tǒng)去霧模型處理后的自然霧霾圖像仍有明顯的薄霧存在，無法真實還原原始場景的色彩，細節(jié)部分表現(xiàn)出模糊現(xiàn)象而相較之下，而本文提出的R_MS_DL去霧模型處理后的自然霧霾圖像在近景區(qū)域和遠景區(qū)域都能夠具有亮度均勻、色彩鮮艷及較好的清晰度；（2）采用R_MS_DL去霧模型對圖像進行去霧處理，有效降低了圖像質(zhì)量損失，同時較好地保留了圖像的對比度信息，使得去霧后的圖像邊緣輪廓更分明；（3）根據(jù)表1～3所展示的圖像數(shù)據(jù)，R_MS_DL模型在結(jié)構(gòu)相似性指數(shù)（SSIM）、峰值信噪比（PSNR）以及可見邊緣保持率（VER）等關(guān)鍵性能指標(biāo)上，相較于其它去霧模型具有較好的性能優(yōu)勢，圖像去霧效果更佳．

4.3.5圖像紋理細節(jié)比較圖8表示各模型對自然霧霾圖像和人工合成霧霾圖像的細節(jié)放大效果，直接觀察可知：（1）傳統(tǒng)去霧模型在細節(jié)增強方面存在一些問題，如GHE和LHE去霧模型處理后的圖像容易引人偽影，Retinex及多尺度Retinex去霧模型雖然能提升對比度，但常常導(dǎo)致圖像過度平滑，影響高頻細節(jié)，暗通道去霧模型和MSCNN去霧模型在細節(jié)恢復(fù)時往往表現(xiàn)出局限，可能引發(fā)噪聲或模糊現(xiàn)象，而本文提出的R_MS_DL模型在細節(jié)增強時能夠更準(zhǔn)確地展現(xiàn)城墻的質(zhì)感，并有效避免了過度增強和噪聲放大的問題.（2）傳統(tǒng)去霧模型在處理細節(jié)豐富的圖像時，通常會使花朵細節(jié)模糊并產(chǎn)生偽影，在細節(jié)保留方面存在不足，而本文提出的R_MSDL模型在FlowerSea圖像處理后，能夠更好地保留花朵的層次感和空間感，提供了更自然和清晰的去霧效果.

表1～表3分別表示RMS_DL去霧模型相比經(jīng)典去霧模型和深度學(xué)習(xí)去霧模型對全局圖像處理后的PSNR、SSIM和VER客觀評價數(shù)據(jù)：圖 9a～9c 分別表示表 1～ 表3可視化曲線對比圖.表4～表6分別表示R_MS_DL去霧模型相比經(jīng)典去霧模型和深度學(xué)習(xí)去霧模型對局部圖像處理后的PSNR、SSIM和VER客觀評價數(shù)據(jù).圖 10a～ 10c分別表示表4～表6可視化曲線對比圖.直接觀察可知：（1）無論是全局圖像對比還是局部圖像對比，傳統(tǒng)去霧模型面臨細節(jié)丟失、圖像邊緣模糊以及對比度不足等問題，這些不足顯著影響了最終圖像的去霧效果；在人工合成的霧霾圖像和自然霧霾圖像中，經(jīng)典去霧模型在SSIM、PSNR和VER等評價指標(biāo)上的表現(xiàn)通常遜色于深度學(xué)習(xí)去霧模型，這表明傳統(tǒng)方法在恢復(fù)圖像細節(jié)和提升圖像質(zhì)量方面存在較大差距.（2）DehazeNet模型在人工合成的霧霾圖像中，其評價指標(biāo)與MSCNN模型的差距較小，但在自然霧霾圖像處理中，DehazeNet的評價指標(biāo)仍表現(xiàn)出較大的不足；DehazeNet在去霧效果上有所改進，但在處理自然環(huán)境中的復(fù)雜霧霾條件時，其性能仍未達到最佳水平，未能完全解決細節(jié)保留和噪聲抑制的問題.（3）相比之下，R_MS_DL去霧模型在人工合成和自然霧霾圖像中展現(xiàn)出明顯的優(yōu)勢，實驗數(shù)據(jù)表明本文提出的R_MS_DL去霧模型相比傳統(tǒng)的去霧模型在PSNR、SSIM和VER等3個指標(biāo)上分別平均提升了 25% /6% 和 4% ，明顯優(yōu)于傳統(tǒng)去霧模型和主流去霧模型.因此，R_MS_DL模型通過融合特征提取和優(yōu)化策略，克服了傳統(tǒng)模型在細節(jié)保留和對比度提升上的不足，顯著提升了圖像的清晰度和去霧效果.

5結(jié)論

本文提出了一種融合正則優(yōu)化的多尺度深度學(xué)習(xí)圖像去霧模型，解決了現(xiàn)有去霧模型中透射率精度不高和復(fù)原圖像能見度低的問題.

R_MS_DL去霧模型利用多尺度卷積神經(jīng)網(wǎng)絡(luò)粗略估計透射率，有效保留邊緣信息并減少噪聲，通過相對總變分正則化技術(shù)，結(jié)合紋理區(qū)域的輸出差異，進一步優(yōu)化粗透射率得到細透射率估計，代入大氣散射模型得到去霧后的圖像.R_MS_DL去霧模型相比現(xiàn)有去霧模型，主觀評價方面其濃霧和景深突變區(qū)域的圖像復(fù)原效果有所改善，去霧后的圖像更加清晰；客觀評價方面其峰值信噪比、結(jié)構(gòu)相似性和可見邊比也得到了適度提升．為了實現(xiàn)復(fù)雜多變的場景中的有效去霧，今后研究方向主要包括：（1）在本文使用NTIRE2023數(shù)據(jù)集之外加人更多的圖像數(shù)據(jù)集進行深度學(xué)習(xí)模型訓(xùn)練，提高R_MS_DL去霧模型的泛化能力.（2）優(yōu)化R_MS_DL去霧模型的參數(shù)并融合其他新興去霧技術(shù)，進一步提升去霧模型的性能.（3）將改進后的R_MS_DLs去霧模型應(yīng)用到極端天氣下的戶外監(jiān)控、災(zāi)害評估和自動駕駛等領(lǐng)域，實現(xiàn)準(zhǔn)確高效的圖像預(yù)處理.

參考文獻：

[1] GangulyB，BhattacharyaA，SrivastavaA，etal. Single image haze removal with haze map optimizationforvarious haze concentrations[J].IEEE Trans CircuitsSystVideo Technol，2022，32（1）：286.

[2] Runde L，Lei C. Progressive deep video dehazing without explicit alignment estimation[J].Appl Intell，2023，53（10）：12437.

[3] Chen Z，He Z，Lu Z M. DEA-Net： Single image dehazing based on detail-enhanced convolution and content-guided attention[J].IEEE Trans Image Pro cess，2024，33：1002.

[4]Jin HB，Ma L L，Tian G Y.Single image defogging method under adaptive Transformer Network [J]. Comput EngAppl，2024，60（3）：：237.[金海波，馬 琳琳，田桂源．自適應(yīng)Transformer網(wǎng)絡(luò)下的單幅圖 像去霧方法[J].計算機工程與應(yīng)用，2024，60 （3）：237.]

[5] Zhao B，Li HP，Jin R N，et al. A night image dehazing algorithm based on the adaptive atmospheric light and the weighted guided filter[J].Adv Eng Sci， 2023，55（3）：225.[趙波，李洪平，金汝寧，等．- 種基于自適應(yīng)大氣光和加權(quán)引導(dǎo)濾波的夜間圖像去 霧算法[J].工程科學(xué)與技術(shù)，2023，55（3）：225.]

[6] Luo X T，Yang WJ， Qu Y Y，et al. Dehazeformer： Nonhomogeneous image dehazing with collaborative global-local network [J]. Acta Autom Sin，2024，50 （7）：1333.[羅小同，楊汶錦，曲延云，等.基于全局 局部協(xié)同的非均勻圖像去霧方法[J].自動化學(xué)報， 2024，50（7）：1333.]

[7] WangY，Lu PY，Ta X. Normalized convolutional image dehazing network combined with feature fusion attention[J/OL]. Comput Eng Appl，2025，61（8）： 72[王燕，盧鵬屹，他雪.結(jié)合特征融合注意力的規(guī) 范化卷積圖像去霧網(wǎng)絡(luò)[J/OL].計算機工程與應(yīng) 用，2024，33（8）：72.]

[8] Huang H，Hu KY，YangL，et al. FPGA design of image defogging system in intelligent tachograph[J]. JShanghaiJiao TongUniv，2024，58（4）：565.[黃 鶴，胡凱益，楊瀾，等.智能行車記錄儀圖像去霧系 統(tǒng)的FPGA設(shè)計[J].上海交通大學(xué)學(xué)報，2024，58 （4）：565.]

[9]Jia T Y，Zhuo L，LiJF，et al.Research advances on deep learning based single image dehazing[J].Acta Electron Sin，2023，51（1）：231.[賈童瑤，卓力，李 嘉鋒，等.基于深度學(xué)習(xí)的單幅圖像去霧研究進展 [J].電子學(xué)報，2023，51（1）：231.]

[10]Kang X，F(xiàn)ei Z，DuanP，et al.Fog model-based hyperspectral image defogging[J]. IEEE Trans Geosci Remote Sens，2021，60： 5512512.

[11]Ullah H，Muhammad K，Irfan M，et al.LightDehazeNet：A novel lightweight CNN architecture for single image dehazing[J]. IEEE Trans Image Process，2021，30：8968.

[12]Zhao L，Zhang Y，Cui Y. An attention encoderdecoder network based on generative adversarial network for remote sensing image dehazing[J]. IEEE Sens J，2022，22（11）：10890.

[13]Huang S，Chen B，Wang W.Visibility restoration of single hazy images captured in real-world weather conditions[J].IEEE Trans Circuits Syst Video Technol，2014，24（10）：1814.

[14]Galdran A，Bria A，Alvarez-Gila A，et al. On the duality between retinex and image dehazing[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．Salt Lake City，UT， USA： IEEE，2018：8212.

[15]Wang S H，Zheng J，Hu H M，et al.Naturalness preserved enhancement algorithm for non-uniform illumination images [J].IEEE Trans Image Process， 2013，22（9）：3538.

[16]LiP，Tian J，TangY，et al.Deep retinex network for single image dehazing[J]. IEEE Trans Image Process，2021，30：1100.

[17]LiHP，Zhao B，JinRN，et al.An image dehazing algorithm based on dark channel correction in bright region and weighted aggregate-guided filtering[J]. J Sichuan Univ Nat Sci Ed，2021，58（6）：063002.[李 洪平，趙波，金汝寧，等.基于亮區(qū)域暗通道矯正和 加權(quán)聚合引導(dǎo)濾波[J].四川大學(xué)學(xué)報（自然科學(xué) 版），2021，58（6）：063002.]

[18]Ren W，Zhang J，Xu X，et al. Deep video dehazing with semantic segmentation[J]. IEEE Trans Image Process，2019，28：1895.

[19]CaiB，Xu X，JiaK，et al.DehazeNet：An end-toend system for single image haze removal[J]. IEEE Trans Image Process，2016，25（11）：5187.

[20]Zheng Y，Su J，Zhang S，et al. Unpaired remote sensing image dehazing using enhanced skip attentionbased generative adversarial networks with rotation invariance[J]. Remote Sens，2024，16（15）： 2707.

[21]YuH，LiC，Liu Z，Guo Y，et al.Anovel nighttime dehazing model integrating retinex algorithm and atmospheric scatering model[C]//2022 3rd International Conference on Geology，Mapping and Remote Sensing （ICGMRS）．Zhoushan，China．IEEE， 2022： 111.

[22]Thanh L T，Thanh DNH，Hue N M，et al.Single image dehazing based on adaptive histogram equalization and linearization of gamma correction [C].Vietnam：IEEE，2019.

[23]SongL，F(xiàn)engYP，Wei YB.Gray level DAG maximum entropy based on quantization resolution for Medical image tone enhancement[J].J Sichuan Univ NatSciEd，2018，55（2）：316.[宋璐，馮艷平，衛(wèi) 亞博.基于灰度DAG熵最大化量化分辨率醫(yī)學(xué)圖 像增強［J].四川大學(xué)學(xué)報（自然科學(xué)版），2018，55 （2）：316.]

[24]Gao Y，Su C，Xu Z.Color image enhancement algo rithmbased on improved Retinex algorithm[C]// 2022Asia Conference on Algorithms，Computing andMachine Learning （CACML）.Hangzhou， China：IEEE，2022：234.

[25]LiJ，Hu Q，Ai M. Haze and thin cloud removal via sphere model improved dark channel prior[J]. IEEE GeosciRemote SensLett，2019，16（3）：：437.

[26]Jia Y，Qing W，Ming Y.Haze and thin cloud removal viasphere model improved dark channel prior[J]. IEEE Trans Image Process，2019，16：472.

[27]Yeh C H，Huang C-H，Kang L W.Multi-scale deep residual learning-based single imagehaze removal via image decomposition[J]. IEEE Transactions on Image Processing，2019，29：3153.

[28]Dudhane A，Murala S. C^2MSNet：A novel approach for single image haze removal[C]//2018 IEEE Winter Conference on Applications of Computer Vision（WACV）. Lake Tahoe，NV，USA. IEEE，2018：1397.

[29]YongL，XiaorongH.Liu Y，Hou X.Local multiscale feature aggregation network for real-time image dehazing[J]. Pattern Recognit，2023，141：109599.

[30]Yu Z，Peng J. Adaptive multi-information distillationnetwork forimagedehazing[J].Multimed Tools Appl，2024，83（6）：18407.

[31]Li C，Zhang X.Underwater image restoration based onimproved background light estimation and automatic white balance[C]//2Ol8 1lth International Congress on Image and Signal Processing，BioMedical Engineering and Informatics（CISP-BMEI）. Beijing，China.IEEE：IEEE，2018：1.

[32]ZhuW，LiW，JiangX，et al.Subspace-based optimization method with adaptive total variation for microwave imaging[C]//2O23 3rd International Conference on Neural Networks，Information and Communication Engineering（NNICE）. Guangzhou， China.IEEE，2023：229.

[33] Hu G，TanA，HeL，et al.Pyramid feature boosted network for single image dehazing[J].Int J Mach Learn Cybern，2023，14（6）：2099.

[34]Parihar A S，Gupta S. Dehazing optically haze images with AlexNet-FNN[J].JOpt，2O24，53 （1）：294.

[35] WeiY，LiJ，WeiR，etal.Alightweightattentionbased network for image dehazing[J]. Signal Image Video Process，2024，18（10）： 7271.

[36]GuoF，YangJN，Liu ZQ，etal.Haze removal for singleimage：A comprehensivereview[J].Neurocomputing，2023，537：85.

[37] YangY，Hou C，HuangH，et al.Cascaded deep residual learning network for single image dehaz ing[J].Multimed Syst，2023，29（4）：2037.

[38] Dwivedi P，Chakraborty S.A comprehensive qualitative and quantitative survey on image dehazing based ondeep neural networks [J]. Neurocomputing， 2024，610：128582.

（責(zé)任編輯：伍少梅）