基于紅外視景仿真技術(shù)的導(dǎo)向濾波算法

何易德,朱 斌,司 晨,毛 銳

(西南技術(shù)物理研究所，成都 610041)

引 言

圖像成像噪聲和擾動模糊一直是困擾視覺研究難點之一，尤其在紅外成像領(lǐng)域——紅外末制導(dǎo)成像精確制導(dǎo)過程，該過程伴隨著噪聲、沖擊擾動模糊等[1]，低成像質(zhì)量嚴重影響了目標(biāo)探測搜索和跟蹤，因此紅外圖像的預(yù)處理是首要考慮的問題。紅外視景仿真建模技術(shù)基于計算機圖形圖像技術(shù)，利用3維幾何建模技術(shù)和光線追蹤成像技術(shù)，根據(jù)目標(biāo)/場景經(jīng)驗參量，利用傳熱學(xué)第一原理[2]，近似計算目標(biāo)/場景紅外輻射特性。視景仿真建模在工業(yè)上的應(yīng)用為虛擬現(xiàn)實和增強現(xiàn)實，在武器研發(fā)領(lǐng)域主要是模擬外場試驗環(huán)境，為武器提供逼真的試驗條件[3-5]。

導(dǎo)向濾波(guided image filtering,GIF)算法[6]是一種保持圖像邊緣細節(jié)的濾波算法，在輔助去霧、去噪聲等方面應(yīng)用廣泛[7-10]，在保證實時性的同時具有非常理想的處理結(jié)果。導(dǎo)向濾波不僅廣泛應(yīng)用于工業(yè)視覺，近年來成功應(yīng)用到紅外圖像的相關(guān)問題[11-13]，取得了不錯的成績，但是研究人員一直忽略了一個較重要問題，即導(dǎo)向圖像的來源問題。在暗通道去霧算法[7](dark channel prior,DCP)中，采用導(dǎo)向濾波來代替soft matting[14]過程，計算大氣透射率圖像，輔助完成暗通道算法，在不影響算法效率的條件下成功實現(xiàn)了實時運算，極大推動了暗通道去霧算法的應(yīng)用。在暗通道去霧算法中，導(dǎo)向圖像源于有霧輸入圖像的二值化，成功地解決了導(dǎo)向圖像的來源，但是用于去噪聲等其它問題，將原始圖像添加未知噪聲，以原始無噪聲圖像為導(dǎo)向圖，能夠有效地去除添加的噪聲，這顯現(xiàn)了導(dǎo)向濾波算法在去噪聲問題的有效性，但是對于實際問題，在未知無噪聲的原始圖像狀態(tài)下，導(dǎo)向濾波的應(yīng)用十分受限。

盲卷積去模糊算法在處理圖像未知模糊程度的條件下非常實用，在估計輸入圖像的點擴展函數(shù)[15](point spread function，PSF)的同時迭代計算得到結(jié)果圖像，用來解決少量先驗成像信息的圖像去模糊。但是盲卷積去模糊算法因采用逐次迭代算法同時估計PSF和結(jié)果圖像，在求解時計算量大，需折中考慮迭代次數(shù)和計算效果[16-17]。

針對紅外圖像的實時去噪聲問題和導(dǎo)向濾波算法的核心導(dǎo)向圖像來源問題，本文中利用導(dǎo)向濾波算法來實時處理紅外圖像，具有保邊緣、快速實時性；在面臨導(dǎo)向圖像的來源問題上，采用視景仿真建模技術(shù)生成所需的導(dǎo)向圖像，從而有效地將導(dǎo)向濾波算法引入紅外圖像處理領(lǐng)域。雖然導(dǎo)向濾波算法在紅外圖像方面應(yīng)用頗多，但均未正面說明導(dǎo)向圖像的問題，在處理實際紅外圖像缺乏一定的說服力。為了保持算法的完整性，在強調(diào)紅外圖像去噪聲的問題之后，本文中研究了盲卷積去模糊算法，在分析和試驗設(shè)計時對導(dǎo)向濾波算法、盲卷積濾波算法和導(dǎo)向濾波算法+盲卷積去模糊算法，設(shè)計分析對比了此類算法在紅外圖像處理中的優(yōu)缺點。試驗結(jié)果表明，基于視景仿真建模的導(dǎo)向濾波算法能實時有效的處理紅外噪聲；導(dǎo)向濾波算法+盲卷積去模糊算法雖然處理結(jié)果有效，但是不具備實時性；盲卷積去模糊算法單獨作用于紅外圖像會引入大量噪聲。同時針對噪聲和模糊的問題，作者發(fā)現(xiàn),先處理成像噪聲再處理模糊是最佳的處理流程。

1 相關(guān)工作

1.1 紅外視景仿真建模

紅外視景仿真包括幾何建模和紅外輻射特性建模，3維幾何建模由目標(biāo)結(jié)構(gòu)表觀、多邊形幾何面片、可見光紋路等固有屬性決定；紅外特性建模包括零視距紅外輻射特性建模和大氣程輻射與大氣透過率的近似計算[18]。目標(biāo)場景的零視距紅外特性由其物理材質(zhì)屬性、熱源、熱交換、熱平衡等關(guān)鍵因素確定。故紅外視景仿真建模的前提是完成目標(biāo)/場景模型的物理屬性、運動屬性、材質(zhì)屬性及內(nèi)部/局部熱源、組成的進行調(diào)研，獲取目標(biāo)/場景環(huán)境溫度、濕度、經(jīng)緯度及高度等環(huán)境參量。根據(jù)目標(biāo)/場景的紅外物理材質(zhì)屬性、局部熱源分布、太陽/云層等輻射熱、環(huán)境之間的熱交換以及3維幾何面片之間的熱傳遞，建立傳熱學(xué)第一原理，計算目標(biāo)/場景模型的溫度分布，根據(jù)斯蒂芬-玻爾茲曼定理[3]，計算物體自身輻射信息，疊加太陽直接輻射和散射輻射、大氣和環(huán)境熱輻射信息，近似計算目標(biāo)/場景的零視距紅外輻射特性。在場景環(huán)境參量和目標(biāo)/場景零視距紅外輻射的前提下，估計目標(biāo)/場景與成像視點之間的距離，計算紅外成像的大氣透過率和紅外程輻射，大氣透過率的作用是減少成像點獲取目標(biāo)/場景零視距紅外輻射特性信息，大氣紅外程輻射的作用是疊加到目標(biāo)/場景零視距紅外輻射特性，形成在特定的距離、視角及姿態(tài)下所顯現(xiàn)的紅外仿真圖像。

目標(biāo)/場景環(huán)境的物理屬性、材質(zhì)信息根據(jù)經(jīng)驗獲取并形成相應(yīng)的文件，場景環(huán)境條件參量根據(jù)實際試驗獲取并記錄，根據(jù)所得參量進行紅外視景仿真建模，近似得到符合要求的紅外目標(biāo)/場景圖像，并作用于實際試驗視頻圖像數(shù)據(jù)，完成試驗視頻圖像的去噪、去模糊運算，為后續(xù)的搜索跟蹤提供最優(yōu)視頻圖像。

目標(biāo)/場景零視距紅外輻射信息主要由材質(zhì)屬性[19]和物體表面溫度[20]分布決定，紅外輻射量理論近似計算模型做如下描述。

(1)太陽短波輻照度：由太陽直射和太陽散射組成，與日期、經(jīng)緯度、太陽高度、太陽方位角、太陽入射角、云層分布、物體面及其傾角密切相關(guān)。

(2)大氣長波輻射：

(1)

式中，σ=5.67×10-8(W·m-2·K-4)為斯蒂芬-玻爾茲曼常數(shù)，參量ea的表達式為：

ea=Hr×6.1×

(2)

式中，Ta為空氣溫度，T0為絕對零度，Hr表示相對濕度。

(3)物體自發(fā)輻射(斯蒂芬-玻爾茲曼定理)：

M=ε×σ×To4

(3)

式中，To為物體表面溫度，ε為物體表面輻射發(fā)射率，通常情況下To≠Ta。

(4)顯熱交換通量：由物體與周圍空氣間的對流熱交換產(chǎn)生，與大氣溫度、物體表面溫度、風(fēng)速、海拔高度等相關(guān)。

(5)潛熱交換通量(主要用于計算場景紅外輻射，目標(biāo)模型不需計算)：物體表面與其內(nèi)部的水分以蒸發(fā)的形式回到大氣的現(xiàn)象，與大氣溫度、物體表面溫度、相對濕度、風(fēng)速、海拔高度相關(guān)。

(6)熱傳導(dǎo)通量：物體表面與內(nèi)部之間的溫差決定，主要計算包含內(nèi)部熱源的物體。

綜上所述,物體表面輻射信息的影響因素，近似計算物體表面的熱輻射量。

紅外大氣程輻射和大氣透過率的理論近似計算歸納為：紅外大氣程輻射Lp和透過率τ在λ1～λ2波段內(nèi)的理論計算采取對目標(biāo)到成像視點之間的距離進行分層處理，表示成：

(4)

(5)

式中，τ(λ)是單一波長的大氣透過率，Lp(λ)為單一波長大氣程輻射，由大氣對太陽輻射的單次散射LSS(λ)、多次散射LMS(λ)、大氣對地表熱輻射的多次散射LMSS(λ)以及大氣自身熱輻射La(λ)的數(shù)值組成。LSS(λ),LMS(λ),LMSS(λ)采用大氣學(xué)中的K分布算法進行近似計算，La(λ)表示為：

(6)

式中，R是總的大氣路徑;B(T,λ)為普朗克公式計算的大氣路徑中各層大氣自身熱輻射值；τ(λ)與大氣路徑對應(yīng)的光學(xué)厚度k(λ)成負指數(shù)關(guān)系，可表示為：

τ(λ)=exp[-k(λ)]

(7)

式中，k(λ)由每一層的大氣光學(xué)厚度ki(λ)累加而來，每一層的大氣光學(xué)厚度由大氣分子吸收光學(xué)厚度σMA(λ)、大氣分子散射光學(xué)厚度kMS(λ)、氣溶膠吸收光學(xué)厚度σAA(λ)和氣溶膠散射光學(xué)厚度kAS(λ)組成。σMA(λ),kMS(λ),σAA(λ)和kAS(λ)按照分層距離對相應(yīng)的吸收系數(shù)、散射系數(shù)進行積分得到。大氣分子和氣溶膠的吸收系數(shù)、散射系數(shù)與大氣模式、戰(zhàn)場經(jīng)緯度、時間等信息密切相關(guān)。通過理論的近似計算，可以較精確地得到目標(biāo)成像過程的紅外大氣程輻射和相應(yīng)的大氣透過率，從而計算目標(biāo)模型的紅外特征信息。

1.2 導(dǎo)向濾波算法

導(dǎo)向濾波算法[6]的核心思想是對輸入圖像按照給定的導(dǎo)向圖像信息進行濾波處理，即導(dǎo)向濾波器將導(dǎo)向圖像和輸出圖像之間在一個窗口區(qū)域內(nèi)建立一種局部線性映射。因此，導(dǎo)引圖像的細節(jié)和平滑信息有助于約束輸入圖像，使輸出圖像保持導(dǎo)向圖像的邊緣細節(jié)和平滑區(qū)域，故導(dǎo)向濾波算法具有保持邊緣的作用，故導(dǎo)向圖像的非常重要。導(dǎo)向濾波算法提出的主要目的是為了代替軟摳圖(soft matting,SM)，實現(xiàn)暗通道去霧算法的實時運算。此時的導(dǎo)向圖像由輸入圖像二值化，替換soft matting，計算輸入圖像(含霧)的透射率圖像，從而實時有效的完成去霧操作。算法要求導(dǎo)向圖像和輸入圖像大小一致，導(dǎo)向濾波算法可描述為：

qi=αkIi+βk,(i∈ωk)

(8)

式中,(αk,βk)為圖像區(qū)域內(nèi)滿足線性關(guān)系的參量組，需要根據(jù)最優(yōu)近似進行求解，Ii表示導(dǎo)向圖像的某一區(qū)域,qi表示輸出圖像的某一區(qū)域，ωk為導(dǎo)向圖像I的某一區(qū)域。參量組(αk,βk)利用最小二乘法估計得到，此處不考慮懲罰項帶來的影響。采用下面的最小二乘估計來估計上述參量對。

(9)

式中，η是最小二乘擬合的參量，p表示輸入圖像。其解表示為：

(10)

(11)

根據(jù)上述公式，計算輸出圖像q：

(12)

(13)

(14)

算法實現(xiàn)過程時，采用boxfilter算法來計算給定區(qū)域的均值和方差，boxfilter算法的復(fù)雜度是o(1)，整個濾波算法復(fù)雜度也為o(1)。在一般計算機上，導(dǎo)向濾波算法的實現(xiàn)低于1ms。本文中主要是將紅外仿真建模圖像作為導(dǎo)向圖像，對試驗圖像進行去噪聲處理，既滿足試驗需求的實時性，又充分的發(fā)揮了導(dǎo)向濾波算法在去噪聲領(lǐng)域的優(yōu)點，得到比較滿意的輸出圖像。

1.3 盲卷積去模糊

盲卷積去模糊算法[16]根據(jù)貝葉斯定理建立最大后驗?zāi)Ｐ?maximum a posteriori, MAP)，采用交替迭代算法求解模型，依次獲得預(yù)估PSF和相應(yīng)PSF條件下的最優(yōu)圖像。由于求解過程稍微復(fù)雜，需要在計算速度和圖像質(zhì)量之間進行權(quán)衡，同時需給定PSF區(qū)域大小和最大迭代次數(shù)。盲卷積去模糊算法根據(jù)貝葉斯定理，描述為：

P(q,f|p)∝P(p|q,f)P(q,f)=

P(p|q,f)P(q)P(f)

(15)

式中,q表示需求計算的結(jié)果圖像，p表示輸入圖像，f表示未知的PSF函數(shù)。根據(jù)成像映射關(guān)系建立起的似然函數(shù):

(16)

式中，γ是超參量，P(q)和P(f)分別為結(jié)果圖像函數(shù)和PSF函數(shù)的先驗信息。

利用上述信息，建立MAP泛函模型：

L(q,f)=-ln[P(q,f|p)]+const=

(17)

且Q(q)=-lnP(q),R(f)=-lnP(f)，采用交替迭代數(shù)值求解上述泛函模型，依次得到估計的PSF函數(shù)f和最優(yōu)的結(jié)果圖像q。

2 本文中設(shè)計的算法

通過觀測分析大量外場試驗視頻圖像，試驗紅外成像包含大量成像噪聲和以及少量擾動模糊，這增加了紅外目標(biāo)檢測和跟蹤的難度。通過對相關(guān)內(nèi)容的深入分析，本文中采用導(dǎo)向濾波算法處理紅外成像噪聲，對于導(dǎo)向濾波算法的導(dǎo)向圖像來源問題，利用視景仿真建模技術(shù)生成合適紅外圖像，作為導(dǎo)向濾波算法的導(dǎo)向圖像，聯(lián)合處理試驗紅外圖像的成像噪聲。導(dǎo)向濾波算法充分利用導(dǎo)向圖像，在去除成像噪聲的同時充分保持圖像邊緣的完整性，計算過程采用boxfilter算法來計算區(qū)域塊的均值和方差，該算法的計算時間低于1ms。基于視景仿真建模技術(shù)的導(dǎo)向濾波算法如圖1所示。

Fig.1 Guided filter algorithm based on visual modeling technology

在實時處理過程中，可忽略圖像少量的成像擾動模糊，因為處理模糊過程中要么銳化圖像高頻信息，要么非常耗時。為了使本文中的圖像處理完整，在非實時條件下，采用導(dǎo)向濾波算法+盲卷積去模糊的綜合算法處理紅外圖像，雖然耗時，但計算結(jié)果非常滿意，充分地發(fā)揮了導(dǎo)向濾波去噪聲的同時保護圖像邊緣完整性的性質(zhì)，同時恢復(fù)了圖像中的少量被模糊的信息。在設(shè)計實驗時，設(shè)計了單獨使用導(dǎo)向濾波算法、導(dǎo)向濾波+盲卷積去模糊的綜合算法和單獨使用盲卷積去模糊算法，試驗結(jié)果如分析那樣，盲卷積去模糊算法銳化了圖像中的噪聲，單獨使用盲卷積去模糊算法大量增加了圖像中未顯現(xiàn)的噪聲，而通過導(dǎo)向濾波去噪聲后采用盲卷積算法則不會凸顯過多的噪聲，側(cè)面說明了導(dǎo)向濾波算法去噪聲的有效性。為了平衡試驗效果和盲卷積算法的迭代過程，本文中取PSF大小為33pixel×33pixel，迭代次數(shù)為4，有效地縮短盲卷積的計算時間。

本文中提出的算法綜合了紅外視景仿真技術(shù)、導(dǎo)向濾波去噪聲和盲卷積去模糊算法，如圖2所示。

Fig.2 Guided filter and blind convolution comprehensive preprocessing

3 實驗結(jié)果與分析

本文中針對目標(biāo)為十字靶標(biāo)，材質(zhì)為混泥土(反射率0.25，容積熱容量1.466×106J/(m3·K),導(dǎo)熱系數(shù)0.906W/(m·K)，發(fā)射率0.92)，場景環(huán)境為平地，主要材質(zhì)為土壤(反射率0.2，容積熱容量2.302×106J/(m3·K),導(dǎo)熱系數(shù)0.213W/(m·K)，發(fā)射率0.93)，郊區(qū)，夏季，時間16:30，經(jīng)度110°，緯度34°，陰天，大氣溫度34℃，濕度68%，無風(fēng)，靶標(biāo)表面近似計算的溫度為38.6℃，靶標(biāo)附近場景溫度為35.9℃，靶標(biāo)平放，成像距離300m，成像俯視角為60°。氣溶膠類型為鄉(xiāng)村型，在上述環(huán)境條件下，查詢氣溶膠粒子密度和粒子尺寸，以及大氣分子，完成紅外仿真視景圖像建模，將此圖像作為導(dǎo)向圖像，進行導(dǎo)向濾波算法。導(dǎo)向濾波算法實現(xiàn)過程中，圖像區(qū)域塊ω取11×11，導(dǎo)向濾波算法計算過程小于1ms。盲卷積去模糊算法實現(xiàn)過程，選擇點擴展函數(shù)f大小為33pixel×33pixel，用脈沖函數(shù)對其進行初始化，迭代次數(shù)設(shè)定為4，盲卷積去模糊算法耗時20ms左右。最終結(jié)果與中值濾波、雙邊濾波、維納濾波等典型算法進行比較，采用計算輸出圖像的峰值信噪比和視覺圖的方法進行比較。

3.1 相關(guān)算法仿真結(jié)果圖像

本文中所設(shè)計的對比試驗包括：維納濾波算法、中值濾波算法、雙邊濾波算法、盲卷積濾波算法、導(dǎo)向濾波算法、導(dǎo)向濾波+盲卷積算法，結(jié)果如圖3～圖10所示，其中圖3為輸入圖像，圖8為導(dǎo)向圖像。

Fig.3 Original image

Fig.4 Winer filter result

Fig.5 Median filter result

Fig.6 Bilateral filter result

Fig.7 Blind convolution result

Fig.8 Guided image

Fig.9 Guided filter result

Fig.10 Guided filter and blind convolution filter result

3.2 相關(guān)算法結(jié)果峰值信噪比比較

通過計算圖像的峰值信噪比(peak signal-to-noiseratio,PSNR)來評價算法的性能。PSNR定義為：

(18)

式中，M表示圖像的最大數(shù)值，本文中取為255;m和n分別為圖像的行數(shù)和列數(shù)。q表示輸出圖像(算法處理之后的圖像)，p表示輸入圖像(未處理的原始圖像)。

相關(guān)算法的PSNR值的比較見表1。其中，輸入圖像的信噪比未知，本文中算法能有效解決未知輸入圖像的噪聲和模糊。

Table 1 PSNR and time of related algorithm

3.3 實驗結(jié)果分析

本文中提出的綜合紅外仿真技術(shù)、導(dǎo)向濾波和盲卷積去模糊的算法，有效地解決了導(dǎo)向濾波算法的導(dǎo)向圖像來源問題，可進一步推廣使用導(dǎo)向濾波算法。從上述圖像和表1可知，導(dǎo)向濾波算法運算非?？?，比中值濾波運算快，同時保持圖像邊緣細節(jié)，單獨采用導(dǎo)向濾波算法亦有很好的處理結(jié)果，對高實時性問題，建議單獨使用導(dǎo)向濾波算法；盲卷積去模糊算法比較耗時，但是在不知道擾動模糊類型的情況下非常有效，但是單獨采用盲卷積去模糊算法會對圖像引入大量噪聲，是不值得推薦的；對實時性要求不是很高的問題，建議綜合導(dǎo)向濾波和盲卷積去模糊的算法，該算法能有效的處理成像噪聲和擾動模糊。同時，針對成像噪聲和模糊問題，原則上先處理噪聲(保持細節(jié)不變的條件下)，再處理模糊，這樣不會去除圖像本身的細節(jié)，同時很好的抑制噪聲。導(dǎo)向濾波算法或?qū)驗V波和盲卷積去模糊算法輸出圖像質(zhì)量均優(yōu)于經(jīng)典濾波算法，同時導(dǎo)向濾波算法的運行時間亦優(yōu)于典型濾波算法。

由此可見，依據(jù)紅外仿真技術(shù)綜合導(dǎo)向濾波算法和盲卷積去模糊算法可有效處理紅外試驗圖像的噪聲和擾動模糊。

4 結(jié) 論

針對紅外成像噪聲和擾動模糊問題，綜合紅外視景仿真建模技術(shù)、導(dǎo)向濾波和盲卷積去模糊算法，處理試驗過程的成像噪聲和擾動模糊。充分地解決了導(dǎo)向濾波算法中導(dǎo)向圖像的來源問題，最大限度地利用導(dǎo)向濾波算法在圖像預(yù)處理方面的優(yōu)勢，處理結(jié)果從處理時間和處理結(jié)果方面均優(yōu)于傳統(tǒng)濾波方法(導(dǎo)向濾波算法運行時間降低了25%，PSNR提高了4.5%)，從而說明利用計算機圖形圖像技術(shù)輔助計算機視覺算法具有一定的可行性。但是，由于紅外視景仿真建模技術(shù)的內(nèi)在難點，在推廣到試驗視頻的處理時，還需要深入地研究，如在一定條件下生成導(dǎo)向圖像，利用處理輸出圖像作為下一幀的導(dǎo)向圖像，從而連續(xù)地進行視頻的濾波處理，該方法的可行性還有待考證，但是將處理公開圖像的算法引入紅外圖像的方法是正確的，利用計算機圖形圖像技術(shù)輔助視覺處理的方向也是正確的，同時也具有推廣意義。紅外仿真圖像作為導(dǎo)向圖像解決了導(dǎo)向圖像的來源問題，對實時紅外視頻的處理則是后續(xù)主要研究問題之一。