基于改進(jìn)Retinex算法的航拍圖像質(zhì)量增強(qiáng)仿真

秦 琛,孫 晨

(1. 江西科技學(xué)院,江西 南昌 330098;2. 長春師范大學(xué),吉林 長春 130031)

1 引言

航拍圖像是通過無人機(jī)搭載相機(jī)獲取的空中拍攝圖像,該類圖像廣泛應(yīng)用于地質(zhì)勘察、輸電線路巡檢、環(huán)境監(jiān)測及農(nóng)作物巡護(hù)等領(lǐng)域。由于航拍圖像應(yīng)用領(lǐng)域較為廣泛,且均為圖像質(zhì)量要求較高的行業(yè),因此航拍圖像的質(zhì)量提升已經(jīng)成為學(xué)術(shù)研究的關(guān)鍵問題。無人機(jī)在拍攝過程中會(huì)產(chǎn)生震動(dòng)導(dǎo)致獲取的圖像出現(xiàn)模糊情況,受到光照和拍攝距離的影響,可能導(dǎo)致航拍圖像的清晰度以及圖像明暗度出現(xiàn)明顯問題[1]。以目前的技術(shù)水平來看,無人機(jī)無法實(shí)現(xiàn)理想的穩(wěn)定拍攝,強(qiáng)風(fēng)干擾、遙控操控失誤、信號干擾等因素均會(huì)導(dǎo)致無人機(jī)拍攝的航拍圖像質(zhì)量不佳。針對這些模糊不清的航拍圖像,過去經(jīng)常使用人工挑選的方式,濾除這些質(zhì)量不佳的航拍圖像,這種操作方式既消耗人力也浪費(fèi)成本,而且由于過于依賴人力的主觀判斷,很容易出現(xiàn)漏篩選或者錯(cuò)篩選的情況,這種操作方式?jīng)]有從根本上解決航拍圖像質(zhì)量的問題[2-4]。

針對航拍圖像質(zhì)量提升問題,當(dāng)前也出現(xiàn)了一些研究成果。袁功霖等研究者[5]提出利用遷移學(xué)習(xí)方法作為基礎(chǔ),實(shí)現(xiàn)航拍圖像質(zhì)量提升,該種方法在一定程度上實(shí)現(xiàn)航拍圖像質(zhì)量的改進(jìn),但是所得的圖像清晰度仍不夠理想;王偉鵬等學(xué)者[6]使用雙閾值等位的方式提升航拍圖像質(zhì)量,盡管該方法能夠有效提升圖像質(zhì)量,但是方法計(jì)算過程過于復(fù)雜,應(yīng)用難度較大。

Retinex算法能改善圖像壓縮動(dòng)態(tài)范圍,結(jié)合改進(jìn)方法,能夠明顯提升圖像質(zhì)量[7]。本文優(yōu)化改進(jìn)該算法,應(yīng)以提升航拍圖像質(zhì)量,為相關(guān)研究提供有效依據(jù)。

2 航拍圖像質(zhì)量增強(qiáng)方法

2.1 Retinex算法基本內(nèi)容

該算法是當(dāng)前應(yīng)用最廣泛的圖像增強(qiáng)方法之一,能通過對人類視覺系統(tǒng)的模擬,達(dá)到調(diào)整圖像亮度與色彩的目的[8]。假設(shè)某張航拍圖像用I(x,y)描述,由照度及反射圖像兩部分構(gòu)成,分別用L(x,y)、R(x,y)描述,可使用式(1)描述圖像生成過程

I(x,y)=R(x,y)×L(x,y)

(1)

式中,圖像的高頻信息用R(x,y)表示,它是決定物體原本面貌的主要因素;背景環(huán)境的低頻信息用L(x,y)表示。使用對數(shù)域處理上式以簡化運(yùn)算,是因?yàn)樵摲椒Ｐ秃腿搜垡曈X模型較為匹配,所得結(jié)果用式(2)描述

lgI(x,y)=lgR(x,y)+lgL(x,y)

(2)

利用I(x,y)得出L(x,y)之后,通過上式得到R(x,y),過程用式(3)描述,原因是物體的反射圖像很難直接獲取。

lgR(x,y)=lgI(x,y)-lgL(x,y)

(3)

中心環(huán)繞Retinex算法在目前運(yùn)用最普遍,它由單尺度與多尺度Retinex算法組成。單尺度Retinex算法能在確保色彩恒定的基礎(chǔ)上,對圖像邊緣信息進(jìn)行增強(qiáng)處理,使用高斯函數(shù)估計(jì)L(x,y),其消除可采用對數(shù)運(yùn)算實(shí)現(xiàn),過程用式(4)描述

R(x,y)=lgIi(x,y)-lg[Ii(x,y)*f(x,y)]

(4)

式中,處于i位置,原圖像的色彩帶用Ii(x,y)描述;環(huán)繞函數(shù)用f(x,y)描述;卷積運(yùn)算為*。通常選擇式(5)表示的高斯環(huán)繞函數(shù)當(dāng)作f(x,y)

f(x,y)=λe-(x2+y2)/2σ2

(5)

尺度參數(shù)用σ描述,式(6)為λ需符合的要求

?F(x,y)dxdy=1

(6)

若要達(dá)到更理想的圖像增強(qiáng)效果,需使用多尺度Retinex算法平衡細(xì)節(jié)信息增強(qiáng)與顏色恒定的關(guān)系,通過若干單尺度Retinex算法完成圖像處理后,以加權(quán)疊加方式操作所得結(jié)果,具體過程用式(7)描述

(7)

權(quán)重為wk;尺度數(shù)量用N描述。式(8)為高斯環(huán)繞函數(shù)的表達(dá)式

(8)

該函數(shù)的標(biāo)準(zhǔn)差用σk描述。

2.2 改進(jìn)Retinex算法的圖像質(zhì)量增強(qiáng)

為避免航拍圖像出現(xiàn)光暈偽影情況,提高算法處理效率,使用改進(jìn)Retinex算法增強(qiáng)航拍圖像質(zhì)量。通過組合濾波實(shí)現(xiàn)航拍圖像的照度估計(jì),以在平滑圖像的基礎(chǔ)上,使邊緣信息被保留;為將噪聲消除,并保留圖像細(xì)節(jié)信息,需要采用自適應(yīng)噪聲抑制方法完成反射圖像恢復(fù)。

2.2.1 基于組合濾波的照度估計(jì)

通過圖像方差和絕對梯度均值相結(jié)合的方法獲取權(quán)重系數(shù),使用多次分解形式,對邊緣周圍像素進(jìn)行平滑處理。

輸入圖像及其均值濾波的加權(quán)值,即濾波輸出,具體如式(9)所示

(9)

(10)

式中,大于0的常量用v描述,用于保證除數(shù)不等于0,常取10-6;非負(fù)單調(diào)遞增函數(shù)用f(·)描述,將其定義成式(11)所示形式

(11)

2.2.2 自適應(yīng)噪聲抑制的反射圖像恢復(fù)

設(shè)置I表示攜帶加性噪聲的航拍圖像,可得到如下表達(dá)式

Ip=Rp·Lp+np

(12)

式內(nèi),照度和反射圖像分別用L、R描述;二維空間坐標(biāo)用p描述。假設(shè)L和實(shí)際相匹配,應(yīng)反求上式得到式(13)所示恢復(fù)的反射圖像

p=Rp+np/LP

(13)

照度值能影響噪聲增大強(qiáng)度,兩者為反比關(guān)系,可通過下述過程恢復(fù)反射圖像。設(shè)定I、L分別表示輸入航拍圖像,以及得到的照度圖像。設(shè)置式(14)所示形式,以便于后續(xù)描述

(14)

需將式(15)描述的能量函數(shù)作為考慮因素

J=∑p(Tp(R)+λCp(R))

(15)

式中,正則項(xiàng)用C描述,能起到消除噪聲并保留圖像邊緣信息的作用;保真項(xiàng)用T描述,能確保最終圖像和式(1)相同;兩項(xiàng)的相對權(quán)重關(guān)系用λ描述。

使用最小均方誤差,并結(jié)合式(1)獲得如下所示保真項(xiàng)的表達(dá)式

(16)

采用式(17)描述的正則項(xiàng),它具有噪聲增大強(qiáng)度隨照度變化的特點(diǎn):

(17)

式中,關(guān)于照度的權(quán)重系數(shù)用w描述,平滑權(quán)重系數(shù)用a描述。設(shè)置下述表示的兩個(gè)變量,以便于后續(xù)處理

(18)

此時(shí)可將能量函數(shù)描述成式(19)所示形式

(19)

使用如下矩陣形式描述上式的右項(xiàng)

(20)

式中,bx,p的對角矩陣為Bx;xy,p的對角矩陣為By;x與y方向的離散差分運(yùn)算分別為Dx、Dy描述。可最小化能量函數(shù)的向量符合式(21)所示條件

(21)

反射圖像可使用下式描述的矩陣運(yùn)算獲得

R=(I+λLR′)-1R′

(22)

本文采用下式描述的權(quán)重系數(shù)

wp=(l2+ε)-1

(23)

式內(nèi),常數(shù)用ε描述,用于確保除數(shù)不等于0;完成歸一化處理的照度值用l描述。使用式(24)獲得平滑權(quán)重系數(shù),以保留邊緣信息:

(24)

式中,攜帶噪聲的反射圖像用R′描述,其對數(shù)值用r′描述;指數(shù)用β描述,其介于1.2～2之間,與邊緣保持程度相關(guān)。

2.2.3 基于改進(jìn)Retinex算法的圖像去霧

通過直方圖均衡方法優(yōu)化Retinex算法實(shí)現(xiàn)航拍圖像去霧,提高圖像對比度。

各子區(qū)域的長用X描述,寬用Y描述;設(shè)定NumP表示某區(qū)域的灰度級個(gè)數(shù),使用式(25)描述各灰度級擁有的像素均值

(25)

設(shè)定Pmax表示剪切閾值,其相當(dāng)于像素均值的函數(shù),若想使用下式描述各灰度級可達(dá)成的閾值,則是在各區(qū)域直方圖的各灰度級個(gè)數(shù)均低于Avg的Nc倍情況下

Pmax=Avg×Nc

(26)

裁剪區(qū)域?yàn)橄袼貍€(gè)數(shù)超過該閾值的部分,并以均勻形式,將裁剪部分劃分至直方圖內(nèi)。設(shè)定Ptotal表示圖像內(nèi)裁剪的像素總數(shù),灰度級接收的多余像素個(gè)數(shù)用Avgp描述,其計(jì)算過程用式(27)表示

(27)

各灰度級在原圖像的子區(qū)域直方圖中的個(gè)數(shù)用H(i)描述,灰度級用i描述,且i=i0,i1,…,in,此子塊的對比度受限直方圖用CH(i)描述,其計(jì)算過程如下所示

(28)

經(jīng)過裁剪后,殘留的像素點(diǎn)個(gè)數(shù)用LeftP描述,使用式(29)描述繼續(xù)劃分的步長

(29)

使用直方圖均衡方法處理以上結(jié)果,并利用雙線性插值法優(yōu)化圖像,提高圖像平滑自然效果。以下是該算法對航拍圖像進(jìn)行去霧處理的具體實(shí)現(xiàn)過程:

1)劃分航拍圖像為三個(gè)顏色通道,分別用R、G、B描述,通過改進(jìn)Retinex算法對每個(gè)通道的亮度圖像進(jìn)行估計(jì)。

2)利用以上結(jié)果獲得反射圖像,并使其完成線性拉伸后介于0～255區(qū)間。

3)通過直方圖均衡方法增強(qiáng)每個(gè)通道處理圖像的對比度,使霧霾被進(jìn)一步清除。

4)將三個(gè)通道統(tǒng)一,獲得最終處理圖像。

3 仿真結(jié)果

利用MATLAB仿真平臺(tái)開展實(shí)驗(yàn),使用大疆無人機(jī)搭載禪思X5R相機(jī)拍攝某建筑區(qū)域的航拍圖像用于開展實(shí)驗(yàn),該次航拍共獲取1000幅質(zhì)量不同的航拍圖像,這些圖像格式均為JPEG,每幅圖像的像素大小均為1600*1200像素。為使實(shí)驗(yàn)結(jié)果具有對比性,在針對本文仿真對象,同時(shí)使用未經(jīng)改進(jìn)的Retinex算法(對比方法A)、本文中僅實(shí)現(xiàn)去霧未實(shí)現(xiàn)去噪與亮度增強(qiáng)的改進(jìn)Retinex算法圖像質(zhì)量增強(qiáng)方法(對比方法B)以及僅實(shí)現(xiàn)去噪未實(shí)現(xiàn)亮度增強(qiáng)的改進(jìn)Retinex算法圖像質(zhì)量增強(qiáng)方法(對比方法C),同時(shí)開展航拍圖像質(zhì)量提升實(shí)驗(yàn)。

原始圖像如圖1。不同方法圖像去噪處理的效果如圖2。

圖2 不同方法的圖像去噪效果對比

從圖2中能夠看出各方法在對原始航拍圖像去噪后的效果,對比方法A使用傳統(tǒng)Retinex算法,只能對圖像實(shí)現(xiàn)簡單質(zhì)量提升,在圖像去噪方面沒有明顯效果,圖像中仍然保留大量噪點(diǎn);對比方法B將航拍圖像質(zhì)量提升的重點(diǎn)放在去霧方面,忽視圖像去噪效果改進(jìn),處理后的航拍圖像存在眾多毛刺和噪點(diǎn)信息,圖像不夠平滑;對比方法C將航拍圖像質(zhì)量提升的重點(diǎn)放在圖像去噪上,因此該方法處理后的航拍圖像噪點(diǎn)減少,圖像效果較為平滑,但是該方法沒有考慮圖像亮度優(yōu)化,所以航拍圖像中仍然存在較多陰影,影響圖像的質(zhì)量。本文方法具有良好去噪效果,將圖像中的噪點(diǎn)完全消除,邊緣信息較清楚,圖像較為平滑。

各方法在圖像亮度處理方面的對比結(jié)果見圖3。

圖3 亮度提升效果對比

從圖3中能夠看出,對比方法A處理后的圖像質(zhì)量并沒有得到顯著提升,航拍圖像中存在較多干擾信息;對比方法B與對比方法C都將圖像質(zhì)量提升重點(diǎn)放在去霧與去噪方面,忽視圖像亮度的改進(jìn),導(dǎo)致航拍圖像中出現(xiàn)大量光暈等干擾因素不能被去除,嚴(yán)重影響航拍圖像質(zhì)量提升效果。本文方法使用改進(jìn)的Retinex算法優(yōu)化圖像質(zhì)量,既考慮圖像亮度的改善同時(shí)考慮去除航拍圖像中光暈等干擾信息,使得圖像更加清晰平滑。

各方法對圖像去霧后的效果見圖4。

圖4 圖像去霧效果對比

從圖4中能夠明顯看出,對比方法A由于未使用改進(jìn)方法,圖像去霧效果不佳,航拍圖像中大部分拍攝效果都無法顯示出來,失去圖像質(zhì)量提升效果。對比方法B著重優(yōu)化航拍圖像去霧效果,因此經(jīng)過處理后圖像中云霧干擾信息消散,但是由于去噪及亮度提升效果不好,所以圖像清晰度較差;對比方法C的去霧效果適中,但是由于亮度處理效果不好,因此去霧優(yōu)化后圖像清晰度仍然較差。本文方法通過改進(jìn)Retinex算法,不但能夠提升航拍圖像清晰度,適當(dāng)調(diào)整圖像亮度,同時(shí)有效去除航拍圖像中云霧等干擾信息,綜合實(shí)現(xiàn)航拍圖像的質(zhì)量提升。

除了通過主觀評價(jià)的角度驗(yàn)證本文方法提升航拍圖像質(zhì)量效果,還需要從圖像質(zhì)量因子、模糊系數(shù)以及圖像峰值信噪比等多個(gè)條件評價(jià)圖像質(zhì)量提升方法的客觀效果,結(jié)果見表1。

表1 圖像質(zhì)量提升客觀評價(jià)效果

模糊系數(shù)與峰值信噪比越高證明圖像質(zhì)量越好,從表1中能夠看出,本文方法各項(xiàng)評價(jià)結(jié)果最高,由此可以說明,使用本文方法提升航拍圖像質(zhì)量能夠在提升圖像色彩的基礎(chǔ)上豐富細(xì)節(jié)信息,提升圖像清晰度,具有良好的航拍圖像質(zhì)量提升效果。

4 結(jié)論

針對航拍圖像質(zhì)量不高的問題提出基于改進(jìn)Retinex算法的航拍圖像質(zhì)量增強(qiáng)仿真方法,利用多種方法優(yōu)化Retinex算法,由此從去噪、去霧、提升圖像亮度等三個(gè)方面提升航拍圖像質(zhì)量,獲得較為清晰的高質(zhì)量航拍圖像。