許 哲,張少帥,郭 璐,黃 鶴,王會峰,劉琦妍
(1.中國電子科技集團公司第20 研究所,陜西 西安 710068;2.長安大學(xué) 電子與控制工程學(xué)院,陜西 西安 710064;3.西安愛生技術(shù)集團公司,陜西 西安 710075;4.西北工業(yè)大學(xué) 無人機系統(tǒng)國家工程研究中心,陜西 西安 710072)
無人機廣泛應(yīng)用于遙感圖像處理,能勝任惡劣環(huán)境,有效完成航拍采集圖像和圖傳任務(wù)。無人機重量輕、時效性強且成本低廉,但通常飛行高度幾十或者幾百米。該高度易受到霧霾的影響,導(dǎo)致采集的圖像不同程度上質(zhì)量下降。因此,航拍圖像模糊亟需研究有效的無人機遙感去霧算法。
霧霾天氣下,空氣中懸浮微粒會對光線造成散射和折射,使采集的圖像模糊不清且含有較多噪聲。在分析含霧圖像時,應(yīng)該盡可能地把空氣中的成像介質(zhì)、入射光衰減的作用以及大氣光成像過程充分考慮在內(nèi),并設(shè)置模型,才能對霧天圖像的降質(zhì)原理進分析。
式(1)由入射光衰減和大氣光成像模型構(gòu),其中,L(x,y)是霧退化圖像通過可見光透鏡獲取,入射光減模型為L0(x,y)e-kd(x,y),其中模型Ls(1-e-kd(x,y))是大氣光成像模型。成像中,光的照射受到大氣中顆粒的散射,導(dǎo)致透鏡無法接收到被散射的入射光,導(dǎo)致其弱化。入射光衰減模型中,光射強度用L0(x,y)表示,即固有光在未衰減時的強度。入射光的衰減率不可避免地受到接收設(shè)備到場景點之間的距離長短的影響。其中,景深用d(x,y)表示,k指的是大氣散射系數(shù),與波長λ以及大氣中粒徑γ有,即:
式(1)中Ls表示大氣光在成像過程中環(huán)境光亮度,分透射率為e-kd(x,y)。在通過分析模型后,可以依此得出致使霧霾天圖像模糊和退化降質(zhì)的最主要的因素在于純空氣中的顆粒(10-4μm 左右)尺寸遠小于空氣中霧霾顆粒(1~10 μm)的尺寸,即式(2)中相對于波長,決定因素是大氣散射粒徑系數(shù)的大小。此時,可見光的每一種顏色的空氣散射系數(shù)約等。換句話說,所有可見光均勻分散,霧霾呈現(xiàn)灰白色,霧天獲得的圖像也是灰色和不明確的。
暗通道是對圖像每個像素各顏色空間上取最小值后局部范圍內(nèi)取最小值,得到單波段影像就是原始影像的暗通道1]。
由于對大氣霧光散射效應(yīng),受散射光的影響,含霧影像的暗通道像素值遠遠高于無霧的值,且有霧時會呈現(xiàn)一定的灰色,而無霧時會呈現(xiàn)大量的黑色。
霧圖形成模型:
其中:I(x)是現(xiàn)有圖像(待去霧);J(x)是要恢復(fù)的原無霧圖像;A是大氣光成分;t(x)為大氣傳輸?shù)耐干渎?,表明物體反射光在實際拍攝中不被散射,直接到達鏡頭。
將式(4)變形,可得:
引導(dǎo)濾波器首先把含霧圖像作為引導(dǎo)圖獲取圖像的邊緣輪廓信息,粗略估計透射率,使得透射率細節(jié)化處理。用公式表示引導(dǎo)濾波之前應(yīng)先定義局部線性濾波器,像素濾波結(jié)果則如下:
式中:I為輸入圖像;Pj為待濾波圖中的像素點;輸出的濾波圖像用q表示(透射率精確估計);輸出濾波圖像的像素點表示為qj;像素指數(shù)用i、j表示;Wij為濾波核函數(shù),由引導(dǎo)圖和待濾波圖構(gòu)成[2]。
假設(shè)濾波過程的線性變換在局部范圍內(nèi)發(fā)生。在待濾波窗口,k為中心像素,i為待濾波像素,窗口大小為Wk,所以在該局部線性窗口中,濾波結(jié)果(輸出圖像)表示為:
其中,設(shè)ak和bk是窗口系數(shù)為k的中心像素,求兩側(cè)梯度,為:
式(14)表明,輸入圖像I和輸出圖像q梯度相關(guān),同時引導(dǎo)濾波的邊緣保持能力與此相關(guān)。輸出和輸入圖像之間差異最小化取決于ak和bk一組最優(yōu)解,相當于是計算最小化式(15)的值,即:
式中,ε為調(diào)節(jié)系數(shù),可以避免系數(shù)a過大。由最小二乘法得式(15)最優(yōu)解為:
其中:μk為在局部窗口wk內(nèi)I的平均像素值;用σk2表示wk中在引導(dǎo)圖像I中的像素方差值,在局部窗口wk內(nèi)像素的總數(shù)用|w|表示。同理,其中即為I中位置相對應(yīng)的窗口內(nèi)的均值像素。
含霧圖像包含明亮區(qū)域時,進行暗原色先驗算法圖像去霧,去霧效果會不真實,出現(xiàn)不同程度上的色彩失真現(xiàn)象。原因是明亮區(qū)域是偏白,而這些像素在R、G、B 通道內(nèi)的值差別不大,約等于大氣光值A(chǔ),區(qū)域中找暗原色點比較困難,原本假設(shè)暗原色失去效果[3],即:
其中:一些明亮區(qū)域內(nèi),J c(y)的值約為A;分母中的是接近于1 的值,但不為0,由此可得在式(18)中分母項小于1。透射率實際上是遠大于由暗原色先驗估出的,這樣求透射率的值會相對于偏小點,因此使用式(19)恢復(fù)去霧圖像時會易出失真現(xiàn)象:
戶外圖像去霧中有大范圍天空域需最大程度上增強非天空域?qū)Ρ榷?,同時天空域?qū)Ρ榷确乐惯^度的增強,維持相對比例。天空域是相比較來說平滑,相鄰像素梯度小,梯度越小區(qū)域越光滑,所以需要針對天空域分離求取t(x),算法步驟如下[4]:
(1)對霧氣圖像灰度圖適當?shù)貫V波去噪,再依據(jù)自適應(yīng)閾值分割方法得天空域ssky;
(2)計算得出天空域像素占比為α,當α大于5%時取天空域?qū)?yīng)的像素亮度的平均值為A,當α小于5%時則天空域較小,利用暗通道求得大氣光值;
(3)歷經(jīng)大量的實驗驗證得到,可先假設(shè)天空域透射率為tsky,利用暗通道修改透射率;
(4)改進快速引導(dǎo)濾波算法對透射圖精細化處理,能較好地保持去霧的邊緣性。
3.3.1 閾值分割求天空域
天空域梯度變化較小,因此可以對天空域邊緣檢測后分割處理。在插入到Canny 算子兩個不同尺度的結(jié)構(gòu)元素B1和B2之前,先對含霧圖像灰度處理,處理后的灰度圖為F(x),對其平滑去噪。元素B1為3×3 十字形結(jié)構(gòu)元素,B2為5×5 菱形結(jié)構(gòu)。
平滑降噪后的灰度圖為式中的F(x)disnoise。B1作為十字形結(jié)構(gòu)元素尺寸小,去噪能力弱,但B1能很好地保存去霧圖的邊緣細節(jié);菱形結(jié)構(gòu)元素B2有較大尺度,去噪能力強,但在細節(jié)處理方面較弱。因此,兩個形態(tài)學(xué)結(jié)構(gòu)元素的合理運用至關(guān)重要,二者相配合對灰度圖像進行開、閉濾波處理,既能去除噪聲,又能更好地保存圖像邊緣的細節(jié)。
依據(jù)先驗信息,255 是天空域像素趨近值,采用自定義閾值分割方法,分割處理減少時間復(fù)雜度。經(jīng)大量實驗證明,最佳時間為T=210,分割后為:
3.3.2 大氣光值估計
天空域的像素點由該區(qū)域看無限遠的特點可得,t(x)→0 的同時I(x)趨于A。因此,可以運用閾值分割方法計算天空域ssky像素與整體圖像像素的比,比值記為α。當比例α大于5%時,大氣光值A(chǔ) 則取天空域中對應(yīng)像素亮度的平均值;當α小于5%時,暗原色先驗在此時是有效的,可認為圖像中的天空域較小或者是不存在的。全局大氣光值的可以根據(jù)先驗信息獲得。經(jīng)實驗驗證,這樣既可去除圖像中由于椒鹽噪聲產(chǎn)成的估計偏差,又可消除大的白色物體的影響,既可獲取準確的大氣光值,又能使得圖像的去霧效果平滑自然。
3.3.3 透射率t(x)求取方法
先驗信息對于天空域失效時,可以假定天空域中的常數(shù)tsky用透射率t(x)的值替代,同時取tsky值為0.1。先驗信息對于非天空域未失效,因此可利用暗原色先驗方法求透射率,然后根據(jù)像素暗通道所在位置修正歸一化處理亮度值s(x)的值[5]:
式中,s(x)∈[0,255]。當s(x)=255 時,為全天空域,以固定值tsky作為該點透射率;當s(x)=0 時,完全屬于非天空域,透射率取暗原色透射率值。
3.3.4 改進的快速導(dǎo)向濾波優(yōu)化透射圖
粗投射率根據(jù)暗通道使用最小值濾波獲得,導(dǎo)致透射圖內(nèi)發(fā)生塊狀效應(yīng)。采用軟摳圖方法獲得精細透射率圖,優(yōu)化和初始化透射率,但該方法速度過慢,占用70%運行以上時間??焖僖龑?dǎo)向濾波改進算法對透射圖精細優(yōu)化,時間復(fù)雜度不受濾波窗口大小影響,增強邊緣細節(jié)的同時可加快處理速度。
假設(shè)濾波輸出qi和引導(dǎo)圖是線性關(guān)系,即:
式中,引導(dǎo)圖Ii中像素k之間,wk作為中心鄰域;窗口(ak,bk)的半徑為r,鄰域wk中為常數(shù)。為尋找最優(yōu)化系數(shù)(ak,bk),結(jié)合引導(dǎo)濾波和輸出圖像qi以及待濾波圖像pi兩者之間差異來確定。鄰域wk中代價函數(shù)最小化形式如下:
輸出圖像q與輸入圖像p的平均方差誤差最小,獲得輸出圖像為:
實驗來自兩組無人機航拍霧霾圖像為素材,圖5 和圖6 為去霧效果,針對暗通道先驗圖像去霧算法和改進暗通道先驗圖像去霧算法分別采用PSNR、NC、SSIM 這3 個客觀指標進行評價對比,結(jié)果如表1 所示,說明改進算法的去霧能力強于傳統(tǒng)算法。可以看出,改進算法圖像有更好的色彩真實性、清晰度和細節(jié)處理,可以優(yōu)化計算透射率,并增強了邊緣細節(jié),同時提升了處理速度。結(jié)合表1 衡量因素的比較,改進算法指標值更小,去霧效果明顯。
圖5 基于暗通道先驗圖像去霧法結(jié)果
圖6 改進暗通道先驗圖像去霧算法結(jié)果
表1 不同算法的評價指標值對比
本文提出了一種無人機遙感圖像去霧算法,基于改進暗通道圖像先驗去霧算法,采用采樣法和插值法計算透射率,引導(dǎo)濾波優(yōu)化透射率,增強邊緣細節(jié),大幅降低了復(fù)雜度,明顯提高了圖像處理質(zhì)量。實驗結(jié)果表明,算法有效提升了效率和精確性,為無人機遙感圖像去霧領(lǐng)域提供了很好的實用性。