單一霧霾圖像RGB值先行驗(yàn)證去霧算法研究

馬瑞強(qiáng) 張善俊

摘 ?要：針對(duì)單一霧霾圖像的去霧算法，通常以顏色增強(qiáng)與先行驗(yàn)證較為常用，目前結(jié)合深度學(xué)習(xí)應(yīng)用于霧霾圖像處理算法也常出現(xiàn)，并且取得了一定的成果和應(yīng)用。本研究受兩個(gè)傳統(tǒng)的先行驗(yàn)證算法，即黑通道先行驗(yàn)證與彩度灰度值先行驗(yàn)證方法的啟發(fā)，通過(guò)深入研究修復(fù)后霧霾圖像與無(wú)霧圖像RGB值的先行驗(yàn)證，發(fā)現(xiàn)其兩者存在的相關(guān)性的統(tǒng)計(jì)規(guī)律，基于這一特點(diǎn)利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，使得霧霾圖像得到了修復(fù)，并取得了較為理想的視覺(jué)效果。后通過(guò)PSNR評(píng)價(jià)結(jié)果表明，霧霾圖像修復(fù)的理論結(jié)果與目測(cè)的實(shí)踐結(jié)果基本吻合，從而也證實(shí)了本研究所采用的RGB值先行驗(yàn)證算法具有一定的實(shí)用價(jià)值。

關(guān)鍵詞：?jiǎn)我混F霾圖像;RGB值先行驗(yàn)證;黑通道先行驗(yàn)證;彩度灰度值先行驗(yàn)證;峰值信噪比;評(píng)價(jià)機(jī)制

中圖分類號(hào)：TP391.41 ? ? ?文獻(xiàn)標(biāo)志碼：A ? ? ? ? 文章編號(hào)：2095-2945（2020）01-0001-06

Abstract： For the single fogging image defogging algorithm， it is usually used to color enhance and the prior. At present， it is often used in fogging image processing algorithm using combining with deep learning， then it has made some achievements and applications. This study is inspired by two traditional prior algorithms， there are dark channel prior and color attenuation prior. Through in-depth research on the prior of RGB value of repaired fogging image and non fogging image， we find the statistical law of their correlation. Based on this feature， we use convolutional neural network for deep learning， so that fogging image can be repaired， and take the ideal visual effect is obtained. Finally， the peak single to noise ratio evaluation results show that the theoretical results of fogging image restoration are basically consistent with the results of visual inspection practice， which also confirms that the RGB value prior algorithm used in this study has a certain practical value.

Keywords： single fogging image; RGB Value Prior; dark channel prior; color attenuation prior; peak single to noise ratio; evaluation mechanism

1 概述

薄霧是一種自然現(xiàn)象，它會(huì)模糊場(chǎng)景、降低可見(jiàn)度和改變顏色。這對(duì)攝影師來(lái)說(shuō)是一個(gè)惱人的問(wèn)題，因?yàn)樗鼤?huì)降低圖像質(zhì)量。它還威脅到許多應(yīng)用程序的可靠性，如室外監(jiān)視、物體檢測(cè)和空中成像。因此，在計(jì)算機(jī)視覺(jué)/圖形技術(shù)中，去除圖像中的模糊是很重要的。但是，由于其數(shù)學(xué)模糊性，通常輸入只是一幅圖像，消除模糊度具有很高的挑戰(zhàn)性。在本論文中，科研工作者曾提出一個(gè)簡(jiǎn)單但有效的圖像先行驗(yàn)證，稱為黑通道先行驗(yàn)證，以消除單一圖像的霧。黑通道先行驗(yàn)證是室外無(wú)霧圖像的統(tǒng)計(jì)特性：這些圖像中的大多數(shù)補(bǔ)丁應(yīng)包含至少一個(gè)顏色通道中的暗像素。使用之前的霧度成像模型，我們可以輕松恢復(fù)高質(zhì)量的無(wú)霧度圖像。經(jīng)驗(yàn)表明，這種簡(jiǎn)單的先行驗(yàn)證在各種情況下都是強(qiáng)大的，并且優(yōu)于許多以前的方法。

首先，圖像去霧處理技術(shù)是計(jì)算機(jī)視覺(jué)系統(tǒng)與研究領(lǐng)域中一個(gè)非常有意義的論題，是一個(gè)新型的學(xué)科研究方向，具有廣闊的應(yīng)用前景。其相關(guān)研究成果可以廣泛地應(yīng)用于日常圖片處理、視頻監(jiān)控、航拍、安全輔助駕駛、汽車(chē)自動(dòng)駕駛、水下圖像分析、工業(yè)自動(dòng)焊接焊縫的實(shí)時(shí)跟蹤等諸多領(lǐng)域。雖然該領(lǐng)域的研究已在國(guó)內(nèi)外蓬勃發(fā)展，但是，受霧霾圖像復(fù)雜性和拍攝環(huán)境多變性制約，目前已有的霧霾圖像清晰化處理的算法研究和研究成果亟待完善，依然存在諸多難點(diǎn)問(wèn)題，尚未得到有效解決。

其次，客觀科學(xué)的去霧處理效果評(píng)價(jià)體系，是衡量去霧效果優(yōu)劣的重要依據(jù)，目前對(duì)此領(lǐng)域的優(yōu)秀研究成果不多。具有較好的適用性與可靠性的評(píng)價(jià)方法，是去霧圖像處理研究深入推進(jìn)的重要保障，除現(xiàn)有比較成熟的圖像質(zhì)量評(píng)價(jià)手段之外，對(duì)去霧圖像處理后效果清晰化評(píng)價(jià)算法，可靠性不足，有必要深入研究。

近年來(lái)，分階段的研究成果都是基于該算法所代表的霧濃度感知特性，突破和改進(jìn)了以往大氣散射模型的使用。通過(guò)大量的白天室外霾圖像樣本，計(jì)算出霧氣濃度和霧識(shí)別的統(tǒng)計(jì)特征，包括局部標(biāo)準(zhǔn)差、局部平均值等一系列統(tǒng)計(jì)特征。利用顏色飽和度和圖像熵對(duì)原始圖像進(jìn)行多尺度細(xì)化恢復(fù)。這是一種基于學(xué)習(xí)特征的方法。這種方法能很好地得到除霧后的圖像，在圖像清晰度、對(duì)比度和細(xì)節(jié)恢復(fù)方面，基于各種物理模型的去霧算法的結(jié)果更符合人眼的主觀要求?；谖锢砟Ｐ偷膱D像去霧算法從霧的退化原理和模糊機(jī)理出發(fā)，從物理原因的角度分析了大氣散射對(duì)霧圖像物理模型的恢復(fù)、退化過(guò)程中物理退化模型的建立、物理模型的反演等問(wèn)題。退化過(guò)程中，可以獲得無(wú)霧圖像，達(dá)到渾濁圖像的清晰度效果，且圖像信息損失相對(duì)較小，因此逐漸成為圖像除霧領(lǐng)域的研究熱點(diǎn)。這種消霧算法對(duì)圖像處理具有很強(qiáng)的針對(duì)性，在盡可能保留原始圖像信息的前提下，呈現(xiàn)出自然的消霧效果。在計(jì)算機(jī)視覺(jué)中，大氣物理模型常用于圖像處理和計(jì)算機(jī)視覺(jué)。

深度學(xué)習(xí)一般有三種方式。它包括有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和混合深度學(xué)習(xí)。深度學(xué)習(xí)突破了傳統(tǒng)機(jī)器學(xué)習(xí)和基于淺層結(jié)構(gòu)的信號(hào)處理技術(shù)的局限性。由于非凸優(yōu)化問(wèn)題的逐步求解，深度學(xué)習(xí)在圖像處理等領(lǐng)域取得了一定的突破。作為一種本質(zhì)上具有層狀非線性結(jié)構(gòu)的深度模型，其構(gòu)造和學(xué)習(xí)的深度特征表示無(wú)疑將大大提高傳統(tǒng)淺層模型的泛化能力。明顯的非凸優(yōu)化目標(biāo)形式所引起的局部?jī)?yōu)化將阻礙基于梯度的bp算法的有效實(shí)現(xiàn)。通過(guò)對(duì)優(yōu)化初始點(diǎn)的無(wú)監(jiān)督預(yù)訓(xùn)練方法的改進(jìn)，得到了該問(wèn)題的一些經(jīng)驗(yàn)解。伊恩·古德塞爾在2014年提出了一個(gè)創(chuàng)意一代對(duì)抗網(wǎng)絡(luò)模式。該算法賦予人類思維模式兩種主要模式：生成模式和判別模式。利用生成模型進(jìn)行訓(xùn)練和學(xué)習(xí)，利用判別模型判斷生成模型是否接近真值，直到判別模型不再判斷生成模型是否為真或假。近年來(lái)，該技術(shù)已應(yīng)用于圖像除霧處理，取得了良好的效果。最后一種基于深度學(xué)習(xí)的圖像去霧方法，結(jié)合一定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，采用不同的深度學(xué)習(xí)技術(shù)來(lái)訓(xùn)練去霧模型。研究者提出了一種自適應(yīng)多列深度神經(jīng)網(wǎng)絡(luò)用于圖像去霧，這也是一種自編碼的去霧方法，該方法對(duì)有缺陷和模糊的數(shù)字圖像的復(fù)原和去霧有很好的效果。也有圖像重建算法，如可訓(xùn)練的非線性反應(yīng)擴(kuò)散模型。通過(guò)對(duì)非線性擴(kuò)散模型的改進(jìn)，該算法更適合于圖像恢復(fù)。

以上基于神經(jīng)網(wǎng)絡(luò)的圖像除霧方法大多優(yōu)于傳統(tǒng)的除霧算法，從除霧圖像的細(xì)節(jié)到除霧圖像的性能指標(biāo)都比較突出。隨著算法的不斷改進(jìn)，深度學(xué)習(xí)除霧算法在層數(shù)上深化后，會(huì)出現(xiàn)一些技術(shù)問(wèn)題，如網(wǎng)絡(luò)層數(shù)過(guò)大時(shí)模型訓(xùn)練困難，梯度容易產(chǎn)生離散或爆炸，模型學(xué)習(xí)效果不明顯等。進(jìn)一步提高圖像除霧效果是非常困難的?；谝陨锨闆r，本課題組正在研究基于深度學(xué)習(xí)技術(shù)的圖像去霧算法，并研究如何訓(xùn)練出更好的去霧模型，如何提高模型的訓(xùn)練速度和收斂速度。這一研究領(lǐng)域具有較大的實(shí)用價(jià)值。

2 物理模型

5 結(jié)論

本算法同樣是針對(duì)單一霧霾圖像所提出的一種去霧算法，受黑通道先行驗(yàn)證與彩度輝度先行驗(yàn)證的啟發(fā)，試圖從另外一個(gè)自然規(guī)律角度尋找先行驗(yàn)證規(guī)律，提出一種圖像RGB-Histogram先行驗(yàn)證理論，并且得到了證實(shí)。實(shí)踐證明，這種方案是可行的。主要是結(jié)合無(wú)霧圖像的RGB值和去霧圖像的RGB值，先行驗(yàn)證其規(guī)律性，通過(guò)對(duì)抗神經(jīng)網(wǎng)絡(luò)做深度學(xué)習(xí)，生成訓(xùn)練RGB模型，最后利用這個(gè)訓(xùn)練模型對(duì)單一霧霾圖像修復(fù)。目測(cè)的結(jié)果來(lái)看，本去霧算法具有比較理想的效果。然后，再利用峰值信噪比對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了評(píng)價(jià)，并且，與之前的基于黑通道先行驗(yàn)證與彩度輝度先行驗(yàn)證的研究成果進(jìn)行了對(duì)比，證明本算法具有一定的優(yōu)越性，同時(shí)又為業(yè)界提出了一個(gè)新的先行驗(yàn)證理論。

參考文獻(xiàn)：

[1]KIM J Y，KIM L S，HWANG S H. An advanced contrast enhancement using partially overlapped sub-block histogram equalization[J].Circuits and Systems for Video Technology， 2002，11（4）：475-484.

[2]Zuide [Zuide 04] ZUIDE R VELD K.Contrast limited adaptive histogram equalization[M]. Graphics Gems IV. San Diego，CA，USA： Academic Press Professional，1994：474-485.

[3] McCA ?R TNEY E J，TRANSLATED P N，Mao Jietai，et al.Optics of the atmosphere[M]. Beijing： Science Press，1988.

[4]TAN.Visibility in bad weather from a single image[C].IEEE Conference on Computer Vision and Pattern Recognition （CVPR），2008：1-8.

[5]Kaiming He， Jian Sun， and Xiaou Tang， "Single Image Haze Removal Using Dark Channel Prior"， IEEE Conference on Computer Vision and Pattern Recognition， 2008.

[6]Tarel J Ps Hautiere N. Fast visibility restoration from a single color or gray level image[C]. IEEE， International Conference on Computer Vision， IEEE， 2010：2201-2208.

[7]Q.Zhu， J.Mai， L.Shao， Single Image Dehazing Using Color Attenuation Prior， International journal of computer vision， 2012，98（3）：263-278.

[8]TANG K， YANG J， WANG J. Investigating haze-relevant features in a learning framework for image dehazing [C]. IEEE Conference on Computer Vision and Pattern Recognition， Columbus： IEEE， 2014：2995-3002.

[9]CAI B， XU X， JIA K， et al. Dehazenet： An end-to-end system for single image haze Removal [J]. IEEE Transactions on Image Processing， 2016，25（11）：5187-5198.

[10]REN W， LIU S， ZHANG H， et al. Single image dehazing via multi-scale convolutional Neural networks [C]. European Conference on Computer Vision， Amsterdam： Springer International Publishing， 2016：154-169.

[11]Zili Yi， Hao Zhang， and Ping Tan Minglun Gong. DualGAN： Unsupervised Dual Learning for Image-to-Image Translation. In IEEE International Conferenceon Computer Vision， pages 502-510， Venice， Italy， October 2017.

[12]Wangmeng Zuo， Dongwei Ren， Shuhang Gu， Liang Lin， and Lei Zhang. Discriminative learning of iteration-wise priors for blind deconvolution. InCVPR，pages 3232-3240， Boston， MA， Jun. 2015.

[13]Kai Zhang， Wangmeng Zuo， Yunjin Chen， Deyu Meng， and Lei Zhang. Beyond a gaussian denoiser： Residual learning of deep CNN for image de-noising.IEEE Trans. Image Processing， 26（7）：3142-3155，2017.

[14]R.Ma， S.Zhang， An Improved Color Image Defogging Algorithm using Dark Channel Model and Enhancing Saturation， International Journal for Light and Electron Optics， vol.180 （2019），pp997-1000.

[15]C. A. B. R. H. S. a. P. E. S. Z. Wang， Image ?quality assessment： ?from error ?visibility ?to ?structural ?similarity， IEEE Trans. Image Processing， vol. 13， no. 4， pp. 600-612， 2004.