張?zhí)m
摘 要:隨著視頻監(jiān)控在各行各業(yè)的廣泛應(yīng)用,視頻圖像的清晰化處理也愈加重要。本文針對霧霾天氣下所采集的戶外視頻圖像,構(gòu)建了一個基于MATLAB的圖像去霧及清晰化處理系統(tǒng),將前期研究的全局直方圖均衡化算法、限制對比度自適應(yīng)直方圖均衡算法、多尺度Retinex算法和暗通道先驗算法集成到該系統(tǒng)中,進(jìn)行大量的仿真實(shí)驗,并構(gòu)建圖像質(zhì)量評價體系對這四種算法的處理效果進(jìn)行評價,進(jìn)一步分析出常用的四種去霧算法所適應(yīng)的不同場景。
關(guān)鍵詞:去霧;圖像處理;MATLAB;圖像質(zhì)量評價
中圖分類號:TP751? 文獻(xiàn)標(biāo)識碼:A? 文章編號:1673-260X(2021)10-0042-05
近年來,隨著科學(xué)技術(shù)的迅猛發(fā)展,數(shù)字多媒體技術(shù)也日益提高,監(jiān)控視頻越來越廣泛地應(yīng)用在交通運(yùn)輸、安全防護(hù)、軍事領(lǐng)域、工農(nóng)業(yè)生產(chǎn),甚至居家生活等各行各業(yè),并發(fā)揮著越來越重要的作用。但是,戶外監(jiān)控視頻對天氣條件的要求非常敏感,尤其當(dāng)下空氣污染所造成的霧霾天氣嚴(yán)重,使得監(jiān)控視頻所采集的圖像嚴(yán)重退化,這就限制了景象的識別,極大地影響了監(jiān)控視頻發(fā)揮其效用。所以,對監(jiān)控圖像以及監(jiān)控視頻的去霧及清晰化處理的研究就顯得非常必要。
1 霧霾天氣下圖像的去霧化研究現(xiàn)狀
在霧霾天氣下,自然光受到大氣中顆粒較大的氣溶膠懸浮粒子的干擾發(fā)生散射,使獲取的戶外圖像的對比度和飽和度明顯下降[2,3]。另外,由于霧霾的存在,使得退化圖像中,原來較低的灰度值產(chǎn)生的一定程度的提高,原本較高的灰度值卻被削弱,這就大大地降低了視頻圖像的質(zhì)量。
現(xiàn)如今,對惡劣天氣下視頻圖像進(jìn)行清晰化處理的方法可歸為兩類:基于圖像特征的圖像增強(qiáng)算法和基于物理模型的圖像復(fù)原算法。圖像增強(qiáng)算法是從提升對比度、強(qiáng)化細(xì)節(jié)、改善整體視覺效果等方面對圖像進(jìn)行清晰化處理,這類算法雖然實(shí)用性強(qiáng),但因為它并不是針對圖像降質(zhì)的本質(zhì)原因進(jìn)行研究,所以處理后的圖像很有可能會造成信息損失或過飽和等現(xiàn)象,清晰化處理效果并不理想。典型的圖像增強(qiáng)算法有直方圖均衡化算法、Retinex算法、同態(tài)波濾算法等等。而基于物理模型的圖像復(fù)原算法,著手于圖像降質(zhì)的本質(zhì)原因,根據(jù)大氣散射原理構(gòu)建圖像退化模型,以此來直觀地表達(dá)圖像退化的原因。這類方法處理的圖像色彩自然,圖像失真小,不會造成信息損失。近年來,暗通道先驗算法是進(jìn)展較大的圖像復(fù)原算法。
2 幾種常用的圖像去霧算法
2.1 直方圖均衡化算法
直方圖是一種基于統(tǒng)計意義上的分布圖,它統(tǒng)計的是一幅圖像中不同灰度級出現(xiàn)的概率。假設(shè)用N來表示圖像f(x,y)的像素個數(shù),rk表示第k個灰度級所對應(yīng)的灰度值,L表示灰度級的個數(shù),nk表示灰度級為k的像素個數(shù),那么直方圖則可以定義為:
P(rk)=nk/N,k=0,1,2,…,L-1
所謂直方圖均衡化,是根據(jù)圖像的直方圖來變換像素點(diǎn)的灰度值,就是將原始圖像集中分布的直方圖通過算法使之均勻分布。均衡化的直方圖,各像素之間灰度值差別的動態(tài)范圍增加了,從而使圖像的整體對比度得到提高。在MATLAB中可以使用imhist( )函數(shù)來計算灰度圖像的直方圖,但如果采集到的是彩色圖像,可以將R、G、B三個分量分別進(jìn)行直方圖均衡化處理,或者將R、G、B轉(zhuǎn)換為H、S、V(即色調(diào)、飽和度、亮度),再對分量V進(jìn)行直方圖均衡化處理,后者處理過的圖像色彩保真性更好。從圖1可以看出,霧霾天氣下,視頻圖像的直方圖總體分布比較集中,動態(tài)范圍偏小,圖像不清晰,質(zhì)量退化。通過直方圖均衡化處理,對在圖像中像素個數(shù)多的灰度值進(jìn)行調(diào)整,從而增強(qiáng)退化圖像的可視化效果,使圖像清晰,達(dá)到去霧及清晰化的目的。
直方圖均衡化處理技術(shù)可以分為全局直方圖均衡化處理和局部直方圖均衡化處理。全局直方圖是對整個圖像都采用同一種變換方法的處理方式,它對處理的數(shù)據(jù)不加選擇,這樣可能會降低有用信號的對比度并且增強(qiáng)背景干擾信息的對比度;另外,圖像均衡化后灰度級減少,某些細(xì)節(jié)將會隨之消失,導(dǎo)致處理效果并不理想。局部直方圖則是將退化圖像根據(jù)像素點(diǎn)或灰度值等因素劃分成若干子塊,再分別對這些塊狀區(qū)域進(jìn)行均衡化處理。自適應(yīng)直方圖均衡化算法(AHE)是基于局部直方圖均衡化算法的改進(jìn)算法,通過對圖像的局部直方圖進(jìn)行計算,再對亮度進(jìn)行重新分布,有效增強(qiáng)圖像的對比度,這樣可以獲得更多的圖像細(xì)節(jié)信息。限制對比度自適應(yīng)直方圖均衡化算法,顧名思義即將對比度限幅,這種算法能夠一定程度地限制AHE算法所產(chǎn)生的相同區(qū)域噪音放大的問題。
2.2 Retinex算法
Retinex算法是一種常用的、以人類視覺系統(tǒng)為出發(fā)點(diǎn)的圖像增強(qiáng)算法,是以視網(wǎng)膜大腦皮層理論為基礎(chǔ)。Retinex理論認(rèn)為,物體的顏色是由物體對紅、綠、藍(lán)三種光線的反射能力決定的,而不是由反射光的強(qiáng)度的絕對值和光照的非均勻性來決定的。若把原始圖像S(x,y)分解成入射圖像L(x,y)和反射圖像R(x,y)兩個圖像,則
S(x,y)=L(x,y)·R(x,y)
最簡單和基礎(chǔ)的Retinex算法就是單尺度的Retinex算法(SSR),其原理如下:
首先用取對數(shù)的方法將光線中的入射光和反射光兩種分量進(jìn)行分離,將能反映圖像細(xì)節(jié)信息的反射分量保留下來,即
lnR(x,y)=lnS(x,y)-lnL(x,y)
再用高斯模板對原始圖像作卷積,即對原始圖像作低通濾波,從而得到低通濾波函數(shù)D(x,y),用F(x,y)來表示高斯濾波函數(shù),則
D(x,y)=S(x,y)·F(x,y)
第三步,將原始圖像用取對數(shù)的方法,減掉上一步作低通濾波后的圖像,就得到高頻增強(qiáng)的圖像G(x,y),即
G(x,y)=lnS(x,y)-lnD(x,y)
最后,取G(x,y)的反對數(shù),就得到了對原始退化圖像進(jìn)行增強(qiáng)后的圖像R(x,y),即
R(x,y)=expG(x,y)
Retinex算法實(shí)際是通過原始圖像S得到物體的反射性質(zhì)R,就是通過去除入射光線L對圖像質(zhì)量的影響,從而盡可能恢復(fù)到圖像中物體原本的面目。如何來估算R,這并沒有一個準(zhǔn)確的標(biāo)準(zhǔn),所以對R不同的估算,就產(chǎn)生了不同的Retinex算法。其中多尺度Retinex算法是(MSR)就是基于SSR的一種比較重要且流行的算法。MSR算法改進(jìn)了SSR算法尺度單一、不能兼顧動態(tài)范圍壓縮和色彩保真性的不足,其原理是對多個不同尺度的SSR算法結(jié)果進(jìn)行加權(quán)平均,即
上式中i∈R,G,B 三個顏色通道,ωk表示權(quán)重因子,k 表示使用的尺度個數(shù),k=3 表示彩色圖像,此時i=3(紅,綠,藍(lán)三個通道);k=1 時表示圖像是灰度圖像,此時i=1(只有一個顏色通道)。
2.4 暗通道先驗算法
暗通道先驗算法是一種典型的圖像復(fù)原算法,是根據(jù)大氣散射原理構(gòu)建圖像的退化模型,以此來進(jìn)行去霧化處理。霧霾天氣下的視頻圖像可以用大氣散射模型來表示:
I(x)=J(x)t(x)+A(1-t(x))
其中,I(x)指的是我們所看到的霧霾天氣下的圖像的亮度,這個是已知的,J(x)是去霧處理后的圖像,也就是我們所要達(dá)到的目標(biāo),t(x)表示的是介質(zhì)的透射率,A則是全球大氣光成分。暗通道先驗算法是基于統(tǒng)計意義的算法,即在大部分戶外無霧圖像的無天空區(qū)域,像素中至少有一個顏色通道存在非常低的亮度值,幾乎接近于0,這個通道就是暗通道。即
在實(shí)際應(yīng)用中,A的值可以借助于暗通道圖從有霧的圖像中獲得。另外可以再加入一個閾值t0,它可以防止透射率過小從而導(dǎo)致J值偏大,使圖像整體偏白。因此,最終的圖像去霧公式是:
3 在MATLAB下設(shè)計監(jiān)控視頻圖像的去霧及清晰化處理系統(tǒng)
MATLAB是MathWorks公司開發(fā)的一款工程數(shù)學(xué)計算軟件。由于它是通過矩陣處理數(shù)據(jù),所以具有強(qiáng)大的數(shù)據(jù)處理及運(yùn)算能力。另外,靈活的程序設(shè)計、高質(zhì)量的圖形可視化與界面設(shè)計,使整個處理過程更加形象、生動和直觀化。MATLAB的圖像處理工具是由一些支持圖像處理操作的函數(shù)構(gòu)成,而MATLAB為用戶提供的交互式設(shè)計工具—GUIDE,能夠簡便而又快捷地設(shè)計出各類符合要求的圖形用戶界面。
3.1 圖像去霧系統(tǒng)的結(jié)構(gòu)
我們以MATLAB R2020a為平臺,針對霧霾天氣下視頻監(jiān)控圖像退化現(xiàn)象設(shè)計了視頻圖像的去霧及清晰化處理系統(tǒng)。首先設(shè)計圖形用戶界面(GUI),通過調(diào)用用戶界面控件來進(jìn)行可視化設(shè)計,并建立相應(yīng)的菜單。我們將全局直方圖均衡化算法、限制對比度自適應(yīng)直方圖均衡算法、多尺度Retinex算法和暗通道先驗算法這四種經(jīng)典的去霧算法嵌入到系統(tǒng)當(dāng)中,并通過調(diào)用功能菜單來實(shí)現(xiàn)不同算法相互之間的關(guān)聯(lián)。以監(jiān)控視頻的原始圖像為輸入,四種去霧算法處理后的圖像為輸出,在主窗口中加入面板控件和坐標(biāo)軸控件,用來顯示原始退化圖像和經(jīng)過各算法處理后的圖像,通過對比來顯示出這四種不同算法的去霧及清晰化的性能。本系統(tǒng)的結(jié)構(gòu)圖如圖2所示。
視頻圖像去霧清晰化處理系統(tǒng)包括界面和控件程序兩部分,其中主界面如下圖3所示。
主界面包含兩個區(qū)域:功能區(qū)和圖像顯示區(qū)域。其中,在系統(tǒng)主界面左上方是功能區(qū),它是由“打開圖像”“選擇算法”“保存圖像”“圖像質(zhì)量評價”“退出系統(tǒng)”這五個菜單項組成。其中,“選擇算法”菜單為下拉式菜單,通過它和“全局直方圖均衡化算法”“限制對比度自適應(yīng)直方圖均衡化算法”“多尺度Retinex算法”以及“暗通道先驗算法”這四種算法程序相關(guān)聯(lián),對退化圖像進(jìn)行去霧處理并在圖像顯示區(qū)域進(jìn)行顯示。主界面剩余部分是圖像顯示區(qū)域,包括原始的退化視頻圖像和經(jīng)過某種算法處理過的去霧圖像,通過兩張圖像的對比,可以直觀、清晰地看出去霧效果。另外,選擇兩種直方圖均衡化算法時,系統(tǒng)還將顯示出原始圖像的直方圖和處理后圖像的直方圖,以此來進(jìn)一步進(jìn)行去霧效果的對比。
下面是此系統(tǒng)進(jìn)行去霧處理的具體操作步驟:
(1)在MATLAB R2020a下,打開的“quwuxitong.fig”文件,進(jìn)入視頻圖像去霧及清晰化處理系統(tǒng)的主界面。
(2)點(diǎn)擊功能區(qū)菜單項中的“打開圖像”菜單,選擇霧霾天氣下監(jiān)控視頻所采集到的原始圖像,即可在圖像顯示區(qū)的坐標(biāo)軸控件中顯示出來。
(3)點(diǎn)擊“選擇算法”菜單,在下拉菜單中可以選擇上述四種去霧算法當(dāng)中的某一種,調(diào)用相應(yīng)的算法程序進(jìn)行去霧化處理,處理后的圖像也在主界面的圖像顯示區(qū)的坐標(biāo)軸控件中得以顯示。
(4)點(diǎn)擊“保存圖像”菜單,即可將處理后的圖像進(jìn)行保存。
(5)點(diǎn)擊“圖像質(zhì)量評價”菜單,可以通過選取的評價指標(biāo)對處理后的圖像質(zhì)量進(jìn)行客觀的評價和分析。
(6)最后,點(diǎn)擊“退出系統(tǒng)”菜單,即可退出本系統(tǒng)。
3.2 圖像去霧系統(tǒng)的演示
通過運(yùn)行本系統(tǒng),上述四種經(jīng)典去霧算法的效果如下圖4所示:
由此可以看出,該系統(tǒng)可以實(shí)現(xiàn)載入原始圖像、對圖像進(jìn)行去霧化處理、保存處理后的圖像、對不同算法處理后的圖像進(jìn)行評價等功能。此系統(tǒng)界面簡潔,操作方便,還可以根據(jù)后期的研究隨時對功能進(jìn)行擴(kuò)展,加入新的、更有效的算法。另外,為了測試本系統(tǒng)是否穩(wěn)定,我們在網(wǎng)絡(luò)上隨機(jī)選取了一些帶霧圖像,進(jìn)行了大量實(shí)驗,結(jié)果均正常,說明本系統(tǒng)具有穩(wěn)定性。
3.3 圖像質(zhì)量評價功能
圖像質(zhì)量評價是一項基本的圖像處理技術(shù),通過對一些圖像的特性指標(biāo)進(jìn)行分析對比,來評價出圖像質(zhì)量的優(yōu)劣。圖像質(zhì)量評價有兩個方面,一個是主觀評價,一個是客觀評價。
3.3.1 主觀評價
主觀評價是以人作為評價者,通過人眼對圖像的觀察,獲得視覺感知,給出基于統(tǒng)計意義的結(jié)果,從而對圖像的優(yōu)劣做出評價。
在本圖像去霧及清晰化處理系統(tǒng)里,原始圖像和去霧處理后的圖像并排顯示在主界面的圖像顯示區(qū)域,可以很容易地使人獲得視覺感知,從而進(jìn)行對比,觀察出不同去霧算法的去霧化效果,并做出主觀評價。
從上圖顯示的原始圖像以及經(jīng)過不同去霧算法處理后的效果圖可以看出,在霧霾天氣下,監(jiān)控視頻中的圖像畫面模糊,質(zhì)量退化。經(jīng)過去霧算法處理后,圖像的清晰度和對比度均有所提升,圖像質(zhì)量增強(qiáng)。通過觀察可以看出,全局直方圖均衡化算法處理后的圖像,其直方圖與原始圖像的直方圖相比,明顯呈均勻分布,但圖像的細(xì)節(jié)不夠完善;限制對比度自適應(yīng)直方圖均衡化算法處理后的圖像,其直方圖分布有一定程度的變化,圖像的局部細(xì)節(jié)信息增強(qiáng)效果明顯,在改善整體圖像質(zhì)量的基礎(chǔ)上,一定程度地保持了原始圖像的局部特征;經(jīng)過多尺度Retinex算法處理過的圖像,整體色彩偏亮,保真性效果比較好,另外圖像的細(xì)節(jié)信息能夠體現(xiàn)出來,整個圖像處理后比較平滑不顯生澀;經(jīng)過暗通道先驗算法處理后的圖像明顯可以看出整體色彩偏暗,顏色不夠真實(shí)。
3.3.2 客觀評價
這里的客觀評價是指基于圖像統(tǒng)計特性的無參考的評價類型。它是通過建立各種不同的評價指標(biāo)來客觀地分析圖像的質(zhì)量優(yōu)劣。常用的評價指標(biāo)有均值、標(biāo)準(zhǔn)差、平均梯度等。在本系統(tǒng)中我們采用了標(biāo)準(zhǔn)差、信息熵、峰值信噪比和算法的運(yùn)行時間這四個指標(biāo),對這四個指標(biāo)進(jìn)行統(tǒng)計分析,從而進(jìn)一步地對上述四種去霧算法的處理效果進(jìn)行比較。去霧算法的各指標(biāo)值見表1。
標(biāo)準(zhǔn)差反映的是圖像灰度值相對于均值的離散程度。標(biāo)準(zhǔn)差值越大,表示圖像中灰度級分布越分散,圖像的對比度越大,圖像的質(zhì)量就越好。
信息熵則是反映圖像平均信息量的值,它的值與圖像細(xì)節(jié)信息的豐富程度成正比。
峰值信噪比則反映了圖像的失真程度,它的值越大,圖像失真程度越小,即圖像越清晰。
算法的運(yùn)行時間體現(xiàn)的是某一種算法處理圖像的效率大小,運(yùn)行的時間越短,表示處理效率越高。
綜合主觀評價和客觀評價指標(biāo)的分析可以得出,上述四種常用去霧算法在處理效果上各不相同,有優(yōu)點(diǎn),也都存在局限性。全局直方圖均衡化算法可以增強(qiáng)霧霾天氣下的退化圖像,且該算法運(yùn)行時間短,速度快,但缺點(diǎn)是對于原始圖像的局部細(xì)節(jié)不能夠進(jìn)行有效地保持,所以容易出現(xiàn)色彩失真的現(xiàn)象。這種算法更適合單景深場景下的帶霧圖像的處理,而對于景深比較復(fù)雜的情況下,圖像的清晰化處理效果就不好;限制對比度自適應(yīng)直方圖均衡算法能夠獲得更多的圖像細(xì)節(jié),能夠有效地保持原始圖像的局部細(xì)節(jié)特點(diǎn),但不足之處在于處理后的圖像整體色彩偏暗,并且容易產(chǎn)生局部過度增強(qiáng)或部分區(qū)域模糊等問題。多尺度Retinex算法處理后的圖像能夠還原更多的細(xì)節(jié)信息,處理后的圖像更多地保留了原始圖像的色彩,失真性小且清晰度高,但去霧處理后的圖像有時會有泛白現(xiàn)象。暗通道先驗算法能夠更好地復(fù)原退化圖像的細(xì)節(jié)信息,處理后圖像比較自然,但缺點(diǎn)是算法復(fù)雜,運(yùn)行時間長。
4 結(jié)論
本文對幾種典型的去霧算法進(jìn)行了研究探討,并基于MATLAB平臺設(shè)計開發(fā)了視頻監(jiān)控圖像的去霧及清晰化系統(tǒng),對前期研究進(jìn)行了實(shí)踐驗證。本去霧系統(tǒng)簡潔直觀,操作方便,可以很好地實(shí)現(xiàn)全局直方圖均衡化算法、限制對比度自適應(yīng)直方圖均衡算法、多尺度Retinex算法和暗通道先驗算法這四種算法對霧霾等惡劣天氣下的退化圖像的清晰化處理功能,并通過主觀評價和客觀評價相結(jié)合,對這四種算法的去霧效果進(jìn)行分析評價,找出各自的優(yōu)點(diǎn)和局限性,并得出各算法相對來說更適應(yīng)的場景。
目前,霧霾天氣對監(jiān)控圖像產(chǎn)生的退化影響日益突出,研究者們也在不斷地提出新的去霧算法,同時,對各種算法處理效果的評價也在不斷地深化。本去霧系統(tǒng)還存在許多不足之處,接下來我們將不斷地更新,針對現(xiàn)有一些算法的局限性進(jìn)行改進(jìn)和完善,并增加一些新的、更有效的算法集成到系統(tǒng)之中,更好地為霧霾天氣下的退化圖像進(jìn)行復(fù)原處理。另外,本系統(tǒng)的客觀評價指標(biāo)不足,下一步的研究工作將引入更多的評價指標(biāo),完善去霧后的圖像質(zhì)量客觀評價體系,為下一步研究監(jiān)控視頻的去霧及清晰化處理方案打下理論基礎(chǔ)。
參考文獻(xiàn):
〔1〕齊卉,孫超,蘇通,等.基于MATLAB的圖像去霧技術(shù)研究[J].江漢大學(xué)學(xué)報(自然科學(xué)版),2020, 48(06):84-90.
〔2〕金于君.圖像去霧算法研究[D].深圳大學(xué),2018.
〔3〕張道華.基于MATLAB的圖像去霧系統(tǒng)的設(shè)計研究[J].通化師范學(xué)院學(xué)報,2019,40(04):1-6.
〔4〕張冰冰.霧天圖像去霧算法的改進(jìn)與仿真[D].哈爾濱理工大學(xué),2019.
〔5〕崔瑩.基于直方圖的圖像去霧方法[D].吉林大學(xué),2018.
〔6〕張文娟.融合Retinex與暗通道的圖像去霧增強(qiáng)算法研究[D].西安石油大學(xué),2019.
〔7〕辛嬌嬌,陳本豪,郭元術(shù),等.基于改進(jìn)暗通道先驗的圖像去霧算法[J].鄭州大學(xué)學(xué)報(理學(xué)版),2020, 52(01):72-78.
〔8〕韋忠亮,許光宇,張順香.基于MATLAB的去霧圖像質(zhì)量評價系統(tǒng)[J].黑龍江工業(yè)學(xué)院學(xué)報,2019, 19(08):36-39.