視頻圖像去霧霾算法研究與實(shí)現(xiàn)

孫光民 趙瑩帝

摘要 通過(guò)課題的研究背景及意義，可以明確視頻圖像去霧霾的必要性。因?yàn)閳D像增強(qiáng)技術(shù)去霧霾時(shí)只增強(qiáng)對(duì)比度，去霧霾效果不好，所以本文選用圖像復(fù)原算法。首先，結(jié)合暗通道先驗(yàn)理論和大氣散射模型，實(shí)現(xiàn)單幀圖像去霧霾。該方法會(huì)導(dǎo)致天空等特殊區(qū)域出現(xiàn)失真。然后，通過(guò)閾值法、定值法和容差機(jī)制法對(duì)大氣光系數(shù)和透射率做出改進(jìn)，總結(jié)出五種去霧霾優(yōu)化算法。再結(jié)合調(diào)查問(wèn)卷的結(jié)果從主觀評(píng)價(jià)去霧霾效果，記錄算法運(yùn)行時(shí)間從客觀評(píng)價(jià)去霧霾速度。最后，對(duì)背景靜態(tài)的視頻進(jìn)行去霧霾。先提取背景幀，然后求取通用大氣光系數(shù)和通用透射率，再用它們給每一幀圖像去霧霾。此方法移除霧霾后視頻不同幀圖像之間無(wú)色差，同時(shí)去霧霾速度比較理想。

關(guān)鍵詞：暗通道先驗(yàn);圖像去霧霾;視頻去霧霾;容差機(jī)制

中圖分類號(hào)： TP39 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）17-0167-03

Abstract： Through the research background and significance of the topic， it is possible to clarify the necessity of removing haze in video images. Because the image enhancement technology only enhances the contrast when haze is removed， the effect of defogging is not good， so the image restoration algorithm is used in this thesis. Firstly， the single-frame image defogging is achieved by combining the dark channel prior theory and the atmospheric scattering model. This method will cause distortion in special areas such as the sky. Then， the atmospheric optical coefficient and transmittance are improved by the threshold method， fixed value method and tolerance mechanism method， and five kinds of dehaze optimization algorithms are summarized. Combined with the results of the survey questionnaire from the subjective evaluation to the haze effect， the recording algorithm running time objectively evaluates the haze speed. Finally， go to the background static video to go haze. The background frame is extracted first， then the general atmospheric light coefficient and the universal transmittance are obtained， and then they are used to de- haze each frame of image. This method has no color difference between the images of different frames of the video after the fog is removed， and at the same time， the speed of de- haze is ideal.

Key words： dark channel prior;image defogging;video defogging;tolerance mechanism

1 緒論

視頻圖像在我們的生活中被廣泛應(yīng)用。霧霾影響視頻圖像的拍攝效果，妨礙我們直接從中直接獲取有用信息。這說(shuō)明視頻圖像去霧霾很有必要。目前視頻圖像去霧霾軟件技術(shù)主要分為圖像增強(qiáng)算法和圖像復(fù)原算法。圖像增強(qiáng)算法只注重對(duì)比度的提高，有時(shí)會(huì)出現(xiàn)殘霧。圖像復(fù)原算法從成像原理上進(jìn)行去霧霾。最終本文使用圖像復(fù)原算法分支下基于先驗(yàn)信息的暗通道先驗(yàn)理論進(jìn)行視頻圖像去霧霾。

2 基于暗通道先驗(yàn)理論圖像去霧霾的實(shí)現(xiàn)

暗通道先驗(yàn)理論[1]最簡(jiǎn)潔的描述：在絕大多數(shù)非天空的區(qū)域里，某一些像素總會(huì)存在至少一個(gè)通道具有很低的值。也就是說(shuō)，該區(qū)域的光強(qiáng)最小值趨近于零。

公式（1）為大氣散射模型，公式中I（x）為待處理的有霧霾圖像，J（x）為需要恢復(fù)的清晰無(wú)霧霾圖像，A是大氣光系數(shù)，t（x）為透射率?；诖髿馍⑸淠Ｐ偷膱D像去霧霾算法就是解上述方程中J（x）獲取原圖像的過(guò)程。

觀察公式（1），這是一個(gè)有無(wú)數(shù)解的方程。要想通過(guò)有霧霾圖像反解出無(wú)霧霾圖像，就需要借助先驗(yàn)知識(shí)。首先，通過(guò)有霧霾圖像求解其暗通道圖。然后，在有霧霾圖像的暗通道圖中選取灰度值前0.1%的像素點(diǎn)，記錄下他們的位置，對(duì)應(yīng)這些位置到原始有霧霾圖像中，選取亮度值最高的點(diǎn)，將其三通道值作為大氣光系數(shù)。接著，結(jié)合大氣光系數(shù)和有霧霾圖像的暗通道圖，求解出預(yù)估透射率圖。再將預(yù)估透射率圖作為輸入圖，原始有霧霾圖像作為導(dǎo)向圖，進(jìn)行導(dǎo)向?yàn)V波，得到精細(xì)透射率圖。最終，結(jié)合精細(xì)透射率圖、大氣光系數(shù)和原始有霧霾圖像，求解無(wú)霧霾圖像。單幀圖像去霧霾的實(shí)現(xiàn)如圖1所示。

3 單幀圖像去霧霾算法的優(yōu)化

由于原始暗通道先驗(yàn)去霧霾算法對(duì)于天空等特殊區(qū)域處理不佳，本章著重于優(yōu)化圖像去霧霾算法。

3.1五種改進(jìn)方法

本文應(yīng)用閾值法、定值法和容差機(jī)制法，分別優(yōu)化大氣光系數(shù)和透射率，從不同方向?qū)υ及低ǖ老闰?yàn)去霧霾算法（方法A）做出改進(jìn)。同時(shí)，我們以調(diào)查問(wèn)卷的結(jié)果作為人們對(duì)不同算法去霧霾效果的認(rèn)可程度，結(jié)合主觀分析，總結(jié)每個(gè)方法的特點(diǎn)。

過(guò)亮天空區(qū)域去霧霾后圖像失真是由大氣光系數(shù)A過(guò)大造成的。于是本文用閾值法優(yōu)化大氣光系數(shù)。通過(guò)大量實(shí)驗(yàn)，我們發(fā)現(xiàn)大氣光系數(shù)220是一個(gè)臨界值，高于此值容易發(fā)生去霧霾后圖像失真現(xiàn)象。當(dāng)大氣光系數(shù)低于220時(shí)，不做優(yōu)化。當(dāng)大氣光系數(shù)高于220時(shí)，取其值為220。閾值法優(yōu)化大氣光（方法B）只能解決過(guò)亮天空區(qū)域造成的影響，對(duì)于其他天空區(qū)域處理依舊不是很好。

經(jīng)過(guò)不斷實(shí)驗(yàn)，我們發(fā)現(xiàn)大氣光系數(shù)取220可以兼容大量圖像去霧霾的情況。當(dāng)用定值法優(yōu)化大氣光系數(shù)時(shí)，會(huì)導(dǎo)致圖像不同程度變暗，有時(shí)可以達(dá)到偏暗個(gè)性化的要求，有時(shí)會(huì)帶來(lái)失真問(wèn)題。定值法優(yōu)化大氣光（方法C）是一種快速去霧霾算法，在去霧霾速度上優(yōu)于其他五種算法。

方法B和方法C只能消除過(guò)亮天空區(qū)域的影響，當(dāng)天空區(qū)域不是很亮?xí)r，很難從大氣光系數(shù)A單方面判斷是否存在天空區(qū)域。此時(shí)需要考慮A與I的差值。吳城論文中[2]提到容差機(jī)制，將|I-A|K定為可以用暗通道先驗(yàn)理論進(jìn)行處理的區(qū)域。吳城認(rèn)為K取60最佳。本文使用容差機(jī)制法優(yōu)化大氣光（方法D），當(dāng)|I-A|K時(shí)，大氣光系數(shù)不優(yōu)化。因?yàn)槊繌垐D像基本都存在特殊點(diǎn)，只是特殊點(diǎn)不構(gòu)成區(qū)域時(shí)，不對(duì)圖像造成影響。經(jīng)總結(jié)，我們發(fā)現(xiàn)優(yōu)化大氣光系數(shù)作用于圖像整體，這是因?yàn)槊總€(gè)像素點(diǎn)對(duì)應(yīng)同一大氣光系數(shù)。

因?yàn)槊總€(gè)像素點(diǎn)對(duì)應(yīng)單獨(dú)的透射率，所以優(yōu)化透射率可以作用于圖像局部。蔣建國(guó)提出[3]容差機(jī)制法優(yōu)化透射率時(shí)無(wú)霧霾圖像J的調(diào)整公式為：

蔣建國(guó)認(rèn)為K取50效果最佳。容差機(jī)制法非線性優(yōu)化透射率（方法E）自適應(yīng)性最好，既可以防止天空區(qū)域失真，也能保留圖像深處景色信息。

天空區(qū)域過(guò)多時(shí)，容差機(jī)制法非線性優(yōu)化透射率（方法E）已經(jīng)無(wú)法完全消除天空區(qū)域的失真，此時(shí)可以將天空區(qū)域的透射率設(shè)為定值1。容差機(jī)制法定值優(yōu)化透射率（方法F）能處理天空區(qū)域過(guò)多的情況，但有時(shí)會(huì)導(dǎo)致非天空區(qū)域有殘霧。

3.2不同改進(jìn)算法優(yōu)勢(shì)的對(duì)比分析

在保證去霧霾效果的同時(shí)，提高處理速度也是必要的，因?yàn)槿レF霾算法的處理效果和處理速度都決定著該算法能否應(yīng)用于實(shí)際。通過(guò)記錄程序運(yùn)行時(shí)間，本文歸納出方法C是單幀圖像快速去霧霾算法。

結(jié)合表1與圖3，即可發(fā)現(xiàn)沒(méi)有一種方法可以保證所有圖像去霧霾效果都很好。因?yàn)槊繌堄徐F霾圖像都有其個(gè)性，無(wú)共性。布局相似的兩張有霧霾圖像，去霧霾效果的主觀評(píng)價(jià)差異卻很大。這是因?yàn)獒槍?duì)不同圖像，人們注重去霧霾后圖像的區(qū)域不同。

4 視頻去霧霾方法探索

視頻去霧霾速度的提高和不同幀圖像之間色差的減小，是本文主要考慮的兩個(gè)問(wèn)題。

本文原始去霧霾流程為：1）將有霧霾視頻拆解成幀圖像;2）對(duì)每幀圖像進(jìn)行去霧霾;3）將去霧霾后所有幀圖像合成無(wú)霧霾視頻。

本文使用原始去霧霾流程對(duì)背景動(dòng)態(tài)視頻進(jìn)行處理時(shí)，去霧霾后的視頻發(fā)生閃爍現(xiàn)象，這是由于不同幀圖像之間透射率和大氣光系數(shù)差異過(guò)大導(dǎo)致。本文更換視頻源，使用原始去霧霾流程對(duì)背景靜態(tài)視頻進(jìn)行處理，發(fā)現(xiàn)去霧霾后視頻不同幀圖像之間色差減小，但是去霧霾速度依舊很慢。

本文優(yōu)化視頻去霧霾流程：1）從有霧霾視頻中每隔10幀取一幀，對(duì)取出的幀取平均，得到背景幀;（2）將背景幀的透射率和大氣光系數(shù)作為通用透射率和通用大氣光系數(shù)，對(duì)每一幀有霧霾圖像進(jìn)行處理;（3）將去霧霾后所有幀圖像合成無(wú)霧霾視頻。

使用優(yōu)化視頻去霧霾流程對(duì)背景靜態(tài)視頻進(jìn)行處理時(shí)，去霧霾后視頻不同幀之間無(wú)色差，同時(shí)去霧霾速度明顯提高。觀察圖4，即可發(fā)現(xiàn)針對(duì)一個(gè)174幀長(zhǎng)10秒的有霧霾視頻，使用原始流程去霧霾時(shí)間長(zhǎng)達(dá)200秒。優(yōu)化流程后，針對(duì)該視頻處理時(shí)間只需要16秒。使用優(yōu)化流程處理一個(gè)長(zhǎng)度為303幀的視頻只需要17秒，處理時(shí)間不隨原視頻長(zhǎng)度成比例線性大幅度增加。這說(shuō)明該算法具有可行性。

5 結(jié)論

視頻圖像去霧霾是當(dāng)今研究的熱點(diǎn)問(wèn)題。人們可以從去霧霾后的視頻圖像中直接獲取有效信息。在視頻圖像去霧霾領(lǐng)域，被公認(rèn)最實(shí)用的是暗通道先驗(yàn)算法。但是原始暗通道先驗(yàn)去霧霾算法對(duì)天空區(qū)域處理不佳，本文歸納并總結(jié)出五種圖像去霧霾優(yōu)化算法，可以從不同方面對(duì)去霧霾后天空區(qū)域失真進(jìn)行改善。視頻去霧霾方面，我們發(fā)現(xiàn)原始視頻去霧霾流程會(huì)導(dǎo)致背景動(dòng)態(tài)視頻去霧霾后發(fā)生閃爍現(xiàn)象。我們用原始視頻去霧霾流程對(duì)背景靜態(tài)視頻進(jìn)行處理，處理后視頻不同幀圖像之間色差減小，但是去霧霾速度很慢。本文優(yōu)化視頻去霧霾流程后，再對(duì)背景靜態(tài)視頻進(jìn)行處理，去霧霾后視頻不同幀圖像之間無(wú)色差，同時(shí)去霧霾速度很理想。最終，本文視頻圖像去霧霾算法均具有實(shí)用性。

參考文獻(xiàn)：

[1] He Kaiming，Sun Jian，Tang Xiaoou. Single Image Haze Removal Using Dark Channel Prior.[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010.

[2] 吳城. 基于暗原色先驗(yàn)的視頻去霧研究[D].北方民族大學(xué)，2016.

[3] 蔣建國(guó)，侯天峰，齊美彬.改進(jìn)的基于暗原色先驗(yàn)的圖像去霧算法[J].電路與系統(tǒng)學(xué)報(bào)，2011，16（2）：7-12.

【通聯(lián)編輯：唐一東】