基于多尺度細(xì)節(jié)優(yōu)化的MSRCR 圖像去霧算法

王小芳，方登杰，何海瑞，鄒倩穎

（1. 電子科技大學(xué)成都學(xué)院 云計算科學(xué)與技術(shù)系，四川 成都 611731；2. 西華師范大學(xué) 計算機學(xué)院，四川 南充 637002）

霧天是自然界最常見的一種天氣現(xiàn)象，也是影響可見度的最直觀的因素，如何提高霧天圖片可見度，提高霧天圖片檢測精度，降低危險情況發(fā)生概率，是各類圖像去霧專家探索的目標(biāo)。其中，何凱明等[1]提出采用物理成像原理實現(xiàn)圖像去霧，首先利用通道處理方法計算大氣光強，再通過計算透射率實現(xiàn)圖像去霧。曹永妹等[2]提出基于三邊濾波的Retinex 圖像去霧方法，該方法在繼承經(jīng)典 Retinex 算法的同時，利用三邊濾波器對圖像照射分量進(jìn)行降噪處理，消除邊緣問題，進(jìn)而實現(xiàn)圖像去霧。劉海波等[3]提出基于暗通道先驗和 Retinex 理論的快速單幅圖像去霧方法，該方法以大氣散射模型為基準(zhǔn)，先利用暗通道原理和Retinex 模型進(jìn)行粗略估算，然后進(jìn)行像素級融合，最后使用簡化版的大氣散射模型和色調(diào)調(diào)整實現(xiàn)圖像去霧。

已有研究都側(cè)重于圖像去霧效果，對去霧過程的圖像細(xì)節(jié)關(guān)注不多，基于以上問題，本文提出基于多尺度優(yōu)化的改進(jìn) MSRCR 算法，該算法首先利用MSRCR 算法進(jìn)行圖像整體去霧，在該過程的像素分類上，使用KNN 算法進(jìn)行像素快速分類，然后使用雙邊濾波實現(xiàn)邊緣降噪處理，最后使用多尺度細(xì)節(jié)優(yōu)化算法對降噪后圖片進(jìn)行細(xì)節(jié)優(yōu)化，以提升圖片檢測精度。

1 相關(guān)技術(shù)簡介

多尺度的圖像細(xì)節(jié)提升理論（multi-scale detail boosting，MsDB）發(fā)表于 IEEE 2015[4]。MsDB 采用同Retinex MSR 算法相似的思想架構(gòu)，將輸入的照片與3個不同尺度的高斯核進(jìn)行濾波操作，并生成3 個不同模糊程度的圖像矩陣。再將3 類不同模糊尺度的像素矩陣及原圖像素矩陣依次做差，得到3 層不同細(xì)節(jié)，分別是精準(zhǔn)細(xì)節(jié)、中間細(xì)節(jié)和粗略細(xì)節(jié)。最后通過加權(quán)算式操作，將得到的3 層不同細(xì)節(jié)圖像矩陣與原圖像進(jìn)行融合得到最終想要的增強效果的圖像。

2 算法實現(xiàn)

2.1 總體架構(gòu)

本算法實現(xiàn)過程分為KNN 的MSRCR 整體去霧、雙邊濾波降噪處理和MsDB 細(xì)節(jié)優(yōu)化3 階段，其實現(xiàn)的具體流程如圖1 所示。

圖1 算法流程圖

首先使用 KNN 算法和 MSRCR 融合算法進(jìn)行第一次去霧，該過程使用 KNN 的分類方法將圖像中的像素點分類為需要進(jìn)行處理和不需要進(jìn)行處理的2 個集合，并在 RGB 色彩空間中，分別對需要進(jìn)行處理的 R、G、B 3 個分量集合同時進(jìn)行處理，再將集合融合為RGB 圖像；然后使用雙邊濾波器保持住邊緣細(xì)節(jié)，緩解去霧后輕微邊緣鋸齒化現(xiàn)象；最后使用MsDB算法對圖像細(xì)節(jié)進(jìn)行提升，得到細(xì)節(jié)優(yōu)化的圖像。

2.2 實現(xiàn)過程

2.2.1 融合 KNN 的 MSRCR 算法

融合KNN 的MSRCR[5]算法實現(xiàn)過程為首先將圖片進(jìn)行RGB 色彩通道分離，分離后得到R、G、B 3個顏色通道，然后每個通道使用 KNN 對像素點進(jìn)行分類，再進(jìn)行濾波操作，最后合成圖像再對色彩過程進(jìn)行修復(fù)，其算法在RGB 空間如式（1）所示。

其中：k是尺度的個數(shù)；為第i個尺度的加權(quán)系數(shù)；是待處理的原始圖像，即接收到的反射光圖像；是高斯卷積函數(shù)；*表示濾波操作。

其中：c是高斯環(huán)繞尺度，β是一個尺度系數(shù)常量，i是高斯環(huán)繞函數(shù)的總數(shù)。在平衡增強效果與處理速度情況下，本文選取i值為3，代表將圖像分為大中小3個尺度。

色道分離后，分別對 R、G、B 3 個分量進(jìn)行濾波操作，去除霧點，在濾波過程中，引入KNN 聚類[6]算法對像素點進(jìn)行2 次快速分類，第一次分類是確定濾波模板中的像素點是否濾波，第二次分類是確定模板中心是否濾波，而 KNN 分類算法采用歐氏距離公式得到待處理點最近的K個像素點，然后進(jìn)行快速分類，其計算公式如下：

通過第一次 KNN 算法分類后，通過計算隸屬度函數(shù)確定濾波模板中的點是否濾波，而在計算過程中需要計算相似度s1：

其中，gray 是某近鄰點的灰度值，aver 是由歐氏距離找到的K個近鄰點的平均像素值，得到相似度s1后，計算隸屬度函數(shù) 1μ：

其中，a是一個相似性度量標(biāo)準(zhǔn)，本文使用0.3[5]來進(jìn)行計算。

進(jìn)行第二次分類，通過計算隸屬度函數(shù)判斷模板中心是否需要濾波，其計算與上一步中計算隸屬度[7]公式相同，同樣需要先計算相似度：

其中：filter 是進(jìn)行濾波后的像素值，origin 是圖像的原始像素值，s2是濾波操作的相似度。

然后進(jìn)行隸屬度函數(shù)計算，確定是否濾波，不斷循環(huán)，直至無濾波操作為止。通過濾波后，得到3 個處理后的顏色通道然后使用色彩恢復(fù)因子C[8]進(jìn)行色彩修正，其計算過程如下：

其中，k是圖像波段的總數(shù)，Ii是圖像在第i個波段的像元值。

2.2.2 平滑處理

經(jīng)過融合 KNN 的 MSRCR 算法處理后得到整體去霧圖像，該圖像存在相對多的噪聲以及邊緣損失。為消除處理后圖片所產(chǎn)生的噪聲和邊緣損失，本文使用雙邊濾波[9]進(jìn)行處理：

2.2.3 MsDB 算法

經(jīng)雙邊濾波處理后，得到一幅整體降噪去霧的RGB 圖像。該圖像在細(xì)節(jié)方面表現(xiàn)粗糙，處理效果不佳，針對以上情況本文提出改進(jìn)，將處理后的圖片使用MsDB 進(jìn)行細(xì)節(jié)優(yōu)化。

首先選取低、中、高3 個模糊尺度對圖像處理，得到3 個不同模糊程度的圖像B：

其中，*表示濾波操作，G1、G2、G3分別表示高中低3 個尺度的高斯核。高斯核標(biāo)準(zhǔn)差的值參考文[3]，分別選取

高斯濾波是由2 個標(biāo)準(zhǔn)差σ相同的一維高斯進(jìn)行乘積所得，其計算如式（12）所示。

其中，高斯核表示與中心距離負(fù)相關(guān)的權(quán)重，σ表示周圍像素對模板中心的影響程度。σ越大，周圍像素對模板中心的影響越大，濾波出來的圖片越平滑。因而式（11）中B1是最接近原圖的，B3是最模糊的。

經(jīng)高斯率濾波運算后得到3 個不同模糊程度的圖像，再對3 個圖像做差值運算從而得到特征差，計算如式（13）所示。

其中，D1代表精準(zhǔn)細(xì)節(jié)，由原圖像I與B1作差得到。表示中間細(xì)節(jié)，D3表示粗略細(xì)節(jié)，分別是B1與B2、與B3作差得到。此算法的多尺度細(xì)節(jié)體現(xiàn)在將 4種不同清晰度圖像依次作差得到的細(xì)節(jié)涵蓋3 個不同清晰尺度，再利用加權(quán)的方式進(jìn)行計算，得到最后的細(xì)節(jié)優(yōu)化圖，其計算如式（14）所示。

其中，ω參考文[4]，分別取值為0.5、0.5和0.25 為最優(yōu)。

3 實驗結(jié)果分析

3.1 實驗環(huán)境

本文采用MATLAB R2018b 對實驗進(jìn)行復(fù)現(xiàn)，使用 4 核 Intel Core i5-7200U2.50 GHz 處理器，8 G 內(nèi)存，64 位Windows10 環(huán)境。

本文在此實驗環(huán)境下分別對自然霧天圖像和合成霧天圖像進(jìn)行處理。處理后采用圖像處理評價體系對圖片進(jìn)行分析和評價，采用平均梯度、信息熵和Vollaths 客觀質(zhì)量評價指標(biāo)評價圖像在細(xì)節(jié)清晰度方面的效果。采用結(jié)構(gòu)相似性和峰值信噪比客觀質(zhì)量評價指標(biāo)評價圖片處理效果。

3.2 合成霧天分析

3.2.1 實驗結(jié)果

本文采用合成算法[10]分別對玉米田圖和黃瓜圖進(jìn)行霧天合成，對合成霧天圖片分別使用SSR 算法[11]、MSR 算法[12]和改進(jìn)算法進(jìn)行處理，處理結(jié)果如圖 2和3 所示。

圖2 玉米田效果對比圖

圖3 黃瓜效果對比圖

由上圖可知，SSR 算法圖片偏綠，而改進(jìn)算法圖片偏黃，MSR 算法色彩取其中。此外，改進(jìn)算法能明顯看清圖片輪廓的紋理，而SSR 算法和MSR 算法細(xì)節(jié)輪廓較糊，改進(jìn)算法在細(xì)節(jié)去霧處理上有明顯優(yōu)勢。

3.2.2 結(jié)果分析

峰值信噪比和結(jié)構(gòu)相似性是數(shù)字圖像處理的評價模型之一，也是評價合成圖片處理效果的標(biāo)準(zhǔn)。其中峰值信噪比是峰值信號的能量與噪聲的平均能量之比[13]，用于評判信號重建質(zhì)量好壞，其計算公式如式（15）所示。

其中，fi表示清晰無霧圖像，fo表示去霧圖像，峰值信噪比值越大，圖像效果越佳，去霧性能越好，圖像失真越小。

而結(jié)構(gòu)相似性是通過亮度、對比度和結(jié)構(gòu)3 個方面來對兩幅圖像的相似性進(jìn)行評估，是客觀評價圖片處理效果指標(biāo)[14]。其計算公式如式（16）所示。

本文對圖3 和4 結(jié)果采用圖像處理評判體系的峰值信噪比和結(jié)構(gòu)相似性對3 種算法進(jìn)行評價，其評價結(jié)果如表1 所示。

由表1 可知，對玉米田圖像而言，峰值信噪比最低的是SSR，較高的是MSR，最高的是改進(jìn)算法；結(jié)構(gòu)相似性最低的是MSR，較高的是SSR，最高的是改進(jìn)算法。對黃瓜圖像而言，峰值信噪比最低的是MSR，較高的是SSR，最高的是改進(jìn)算法；結(jié)構(gòu)相似性最低的是MSR，較高的是SSR，最高的是改進(jìn)算法。改進(jìn)算法較SSR 算法而言，峰值信噪比平均提升23.76%，相似度結(jié)構(gòu)平均提升9.14%；較MSR 而言，峰值信噪比平均提升20.3%，結(jié)構(gòu)相似性平均提升34.01 %，改進(jìn)算法效果佳。

表1 合成霧天圖片PSNR 與SSIM 分析

3.3 自然霧天分析

3.3.1 實驗結(jié)果

分別選擇霧天拍攝的石階圖、車輛圖用 SSR 算法、MSR 算法和改進(jìn)算法進(jìn)行處理，處理結(jié)果如圖4和5 所示。

由圖4 所知，SSR 算法處理結(jié)果較原圖而言，有一定的去霧效果，但臺階遠(yuǎn)處的植物仍然模糊不清，MSR 算法處理結(jié)果較 SSR 而言，效果稍差，而改進(jìn)算法較SSR 和MSR 而言，圖像更清晰，且能明顯看清遠(yuǎn)處的植物，圖片中石階上的去霧效果明顯。

圖4 石階效果對比圖

圖5 車流對比圖

由圖5 可知，原圖車輛比較模糊，而SSR 和MSR處理后的圖片，車輛和車牌效果不佳，但是改進(jìn)算法處理的圖片，前面車輛比較清晰，車牌能清晰看清，但是由于圖片像素太低，圖片存在像素問題引起的噪聲。

3.3.2 結(jié)果分析

自然霧天而言，平均梯度、信息熵和 Vollaths[15]函數(shù)評價是圖像處理的有效評價方法。三者其值越高，細(xì)節(jié)程度越高，效果越佳。

平均梯度代表此圖像灰度值變化的程度，是用于評判對圖像細(xì)節(jié)特征處理好壞的標(biāo)準(zhǔn)之一。其計算如式（17）所示。

其中，m×n表示圖像的大小，表示圖像水平方向梯度，表示圖像垂直方向梯度。

信息熵代表圖像中信息豐富度的一種度量，是評價圖像去霧質(zhì)量的標(biāo)準(zhǔn)之一。其計算如式（18）所示。

其中，X表示圖像處理過程中的隨機變量，與之相對應(yīng)的是所有可能輸出的集合，P(X) 表示圖像處理的輸出概率函數(shù)。

本文對自然霧天的圖 5 和 6 就 SSR 算法、MSR算法和改進(jìn)算法采用平均梯度、信息熵和 Vollaths 函數(shù)進(jìn)行分析，分析結(jié)果保留三位小數(shù)點，如表2 所示。

表2 自然霧圖片平均梯度、信息熵和Vollaths 分析

由表2 可知，對于石階圖像，改進(jìn)算法較SSR 而言，平均梯度、信息熵、Vollaths 值分別提升146.56%、4.57%、139.22%；較 MSR 而言平均梯度、信息熵、Vollaths 值分別提升122.15%、12.25%、161.98%。而對于車流圖像，改進(jìn)算法較SSR 而言，平均梯度、信息熵、Vollaths 值分別提升118.18%、6.34%、270.09%；較MSR 而言平均梯度、信息熵、Vollaths 值分別提升123.61%、4.67%、250.56%。兩幅圖片經(jīng)改進(jìn)算法處理結(jié)果較傳統(tǒng)算法而言其平均梯度、信息熵、Vollaths值平均分別提升127.62%、6.96%、227.61%。改進(jìn)算法處理后的石階圖片去霧后物體輪廓更突出，圖片信息更多。改進(jìn)算法在處理霧天圖片上細(xì)節(jié)更突出，邊緣更銳利，圖片細(xì)節(jié)效果更佳。

4 結(jié)語

本算法體系先對圖片整體進(jìn)行去霧操作，而后對圖片進(jìn)行濾波降噪，最后對圖片進(jìn)行多尺度的細(xì)節(jié)去霧優(yōu)化。本算法在后面對圖片采用Fast-RCNN[16]算法進(jìn)行作物目標(biāo)檢測與車輛車牌檢測[17]中，其檢測精準(zhǔn)度較傳統(tǒng)去霧算法而言，整體提高2.5%。本算法除可以應(yīng)用于車輛檢測、作物檢測外，還可應(yīng)用于滲漏檢測、建筑掃描、智能安防、目標(biāo)追蹤等領(lǐng)域。本算法雖在處理圖片細(xì)節(jié)上有一定優(yōu)化，但圖片存在一定的偏紫現(xiàn)象，這也是Retinex 算法體系存在的弊端，是后期改進(jìn)的方向。