基于側(cè)窗濾波改進(jìn)的神經(jīng)網(wǎng)絡(luò)非均勻性校正算法

黎明清，王宇慶，孫海江

（1.中國科學(xué)院 長春光學(xué)精密機(jī)械與物理研究所，吉林 長春 130033；2.中國科學(xué)院大學(xué)，北京 100049）

1 引 言

紅外焦平面陣列探測器（IRFPA）具有靈敏度高、幀率高、結(jié)構(gòu)簡單等優(yōu)點(diǎn)，已經(jīng)成為當(dāng)前紅外成像系統(tǒng)中使用的主流器件。該器件從最初的軍事偵察領(lǐng)域逐漸覆蓋醫(yī)療成像、工業(yè)檢測、消防監(jiān)控、自動駕駛等多種應(yīng)用場景［1］，發(fā)揮著不可替代的作用。然而基于IRFPA 的紅外成像系統(tǒng)無法避免非均勻性噪聲問題。產(chǎn)生這一問題的主要原因包括各像元自身的響應(yīng)不均勻性以及信號讀出電路及放大器增益的非一致性［2］。目前的制造工藝水平短時間內(nèi)無法從硬件層面上完全克服非均勻性噪聲，因此在工程應(yīng)用中為了提升紅外成像系統(tǒng)圖像質(zhì)量必須進(jìn)行非均勻性校正。

目前，非均勻性校正算法主要包括兩個不同的技術(shù)路線，分別是基于定標(biāo)實(shí)驗(yàn)的校正和場景變化的校正。定標(biāo)實(shí)驗(yàn)算法代表方案有兩點(diǎn)校正以及多點(diǎn)校正算法［3-6］。Zhang T 等人［7］提出了基于自適應(yīng)多點(diǎn)法的sCMOS 實(shí)時非均勻性校正，通過閾值比較的方式分別確定最優(yōu)分段點(diǎn)的位置以及最佳分段數(shù)量實(shí)現(xiàn)自適應(yīng)校正。該類算法需要預(yù)先做黑體輻射標(biāo)定實(shí)驗(yàn)，當(dāng)環(huán)境溫度改變時器件參數(shù)會發(fā)生漂移，連續(xù)工作一段時間后需要重新標(biāo)定?；趫鼍白兓乃惴ㄖ饕〞r域高通濾波算法［8-9］、恒定統(tǒng)計算法［10-11］與神經(jīng)網(wǎng)絡(luò)算法［12-16］等。Qian 等人［8］將引導(dǎo)濾波引入時域高通濾波算法，有效改進(jìn)了“鬼影”問題與邊緣退化問題。Liu 等人［10］提出一種基于分段兩點(diǎn)校正法和局部恒定統(tǒng)計的聯(lián)合校正方法，有效增強(qiáng)了恒定統(tǒng)計法的有效性和魯棒性。Zhang L 等人［16］將雙邊濾波引入神經(jīng)網(wǎng)絡(luò)法，進(jìn)一步提升了該算法對處理后圖像的細(xì)節(jié)保護(hù)程度。此類算法基于場景圖像的變化更新校正參數(shù)，具有無需標(biāo)定實(shí)驗(yàn)、校正過程不需停機(jī)的優(yōu)點(diǎn)。在基于場景變化的非均勻性校正算法中，主要考核校正后圖像殘留的非均勻性噪聲強(qiáng)度、校正后圖像有無“鬼影”現(xiàn)象以及算法的計算復(fù)雜度等方面的性能指標(biāo)。

近年來，伴隨著視頻圖像處理設(shè)備計算能力的提升，為了解決校正參數(shù)失效導(dǎo)致的反復(fù)標(biāo)定實(shí)驗(yàn)問題，大量學(xué)者將研究方向轉(zhuǎn)移到基于場景的非均勻性校正方式，提出了基于最優(yōu)化理論計算的非均勻性校正算法。此類算法主要包括小波法、變分法、深度學(xué)習(xí)法等。2021 年，Zhang T等人［17］提出了基于小波主成分分析法，該算法從信號分解的角度尋求最優(yōu)化圖像信息主要成分達(dá)到去除非均勻性噪聲的目的，其最大的優(yōu)勢在于計算速度快，適用于尋求處理效率與處理結(jié)果平衡的應(yīng)用場景。2020 年，Yang 等人［18］利用各向異性變分法和低秩正則項相結(jié)合的方法提取條紋噪聲，實(shí)現(xiàn)了噪聲圖像分離的非均勻性校正。2022 年，Mou 等人［19］提出了基于全卷積網(wǎng)絡(luò)的紅外圖像非均勻校正算法，該網(wǎng)絡(luò)包含非均勻性等級估計子網(wǎng)絡(luò)和校正主網(wǎng)絡(luò)兩部分，有效避免了校正過程中出現(xiàn)過擬合問題。該類算法與濾波算法、統(tǒng)計法、傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比通常有更好的校正效果，但是此類方法也存在明顯的不足之處。小波分解主成分分析法、變分法數(shù)學(xué)計算復(fù)雜度較高、最優(yōu)參數(shù)求解復(fù)雜。深度學(xué)習(xí)法依賴專用設(shè)備且需要大量數(shù)據(jù)集標(biāo)定處理以及長時間的訓(xùn)練過程，修改網(wǎng)絡(luò)結(jié)構(gòu)后需要反復(fù)重新訓(xùn)練，不利于算法硬件實(shí)現(xiàn)。

神經(jīng)網(wǎng)絡(luò)法作為一種經(jīng)典的基于場景變化的非均勻性校正算法，校正效果穩(wěn)定、計算復(fù)雜度低，便于工程中硬件實(shí)現(xiàn)。但是，此類算法多數(shù)利用幀間多次迭代計算校正圖像，容易出現(xiàn)圖像模糊退化以及“鬼影”現(xiàn)象，影響紅外探測器成像質(zhì)量。本文針對這一現(xiàn)象，提出一種將側(cè)窗濾波［20］與神經(jīng)網(wǎng)絡(luò)法結(jié)合的校正算法。該算法在去除非均勻性噪聲的同時較同類算法能更好地抑制“鬼影”現(xiàn)象從而獲得更好的圖像質(zhì)量。該算法基于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)法改進(jìn)，濾波算子采用側(cè)窗濾波算法，計算過程與均值濾波相似，計算復(fù)雜度遠(yuǎn)低于雙邊濾波改進(jìn)算法以及最優(yōu)化算法，為小算力、低功耗移動平臺實(shí)現(xiàn)實(shí)時非均勻性校正提供了新的研究思路。

2 神經(jīng)網(wǎng)絡(luò)校正模型分析

2.1 神經(jīng)網(wǎng)絡(luò)法工作原理

圖1 為神經(jīng)網(wǎng)絡(luò)算法的結(jié)構(gòu)圖［12］，它的關(guān)鍵步驟是校正層與隱含層的設(shè)計。

輸入圖像序列首先要經(jīng)過輸入層提取單幀圖像數(shù)據(jù)送往校正層，校正層讀取增益校正參數(shù)與偏置校正參數(shù)完成圖像序列的輸出結(jié)果更新，即：

式中：xi，j表示原始圖像位于(i，j)位置的灰度值，Gi，j表示相應(yīng)位置的增益校正參數(shù)，Oi，j表示相應(yīng)位置的偏置校正參數(shù)，yi，j表示相應(yīng)位置校正后的輸出結(jié)果。

校正參數(shù)的計算需要使用隱含層。隱含層的作用是產(chǎn)生期望圖像，傳統(tǒng)算法計算過程如式（2）所示：

式中，fi，j表示四鄰域均值濾波結(jié)果。神經(jīng)網(wǎng)絡(luò)法完成非均勻性校正的關(guān)鍵步驟是尋求使損失函數(shù)ei，j最小的增益參數(shù)和偏置參數(shù)，損失函數(shù)的定義為：

在計算損失函數(shù)最小值時需要利用梯度下降法獲得增益參數(shù)和偏置參數(shù)，即：

式中，α為迭代步長。當(dāng)前幀校正后的圖像與期望圖像之間的損失函數(shù)數(shù)值增大時，網(wǎng)絡(luò)結(jié)構(gòu)立即向減小損失函數(shù)方向傳播校正參數(shù)G、O的迭代結(jié)果，用于下一幀校正圖像計算，實(shí)現(xiàn)基于場景的自適應(yīng)校正。

2.2 圖像模糊與偽影現(xiàn)象

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)法利用均值濾波獲取待校正像素點(diǎn)的期望值。均值濾波可以有效去除場景圖像中的高頻非均勻性噪聲，同樣也會去除圖像中的邊緣細(xì)節(jié)。在圖像的非邊緣區(qū)域，待校正像素鄰域內(nèi)的灰度差值較小，主要由噪聲信號引起；而在圖像的邊緣細(xì)節(jié)位置，鄰域內(nèi)的灰度差值較大，均值濾波會降低邊緣灰度梯度，引起圖像模糊退化。為了使期望圖像更加準(zhǔn)確，有學(xué)者提出了使用雙邊濾波［16］、引導(dǎo)濾波［21］以及非局部均值濾波［22］等結(jié)果作為期望圖像。上述算法在一定程度上能夠達(dá)到更好的校正效果，但是上述保邊濾波算法都是根據(jù)鄰域內(nèi)的像素灰度值相似程度賦予濾波權(quán)重，并沒有考慮真實(shí)邊緣的空間分布特征，無法從噪聲分布的結(jié)構(gòu)特征上對圖像進(jìn)行保邊濾波處理，并且隨著保邊效果的提升，計算復(fù)雜度也大幅度提升，難以在小算力、低功耗移動平臺實(shí)現(xiàn)實(shí)時校正。

同時，對單幅圖像完成非均勻性校正后需要將期望圖像與校正圖像做差后利用梯度下降算法獲得校正參數(shù)，反向傳遞至下一幀用于校正圖像。如果圖像序列相鄰幀之間元素移動過快，沿著物體運(yùn)動方向會殘留上一幀未移動圖像校正參數(shù)，此時校正區(qū)域已經(jīng)沒有待校正目標(biāo)，就會出現(xiàn)明顯的拖影現(xiàn)象。

通過上文分析可知，紅外圖像非均勻性校正出現(xiàn)模糊和偽影與兩個因素有關(guān)，即期望圖像獲取和幀間校正參數(shù)誤差傳遞。本文將從這兩個方向出發(fā)，對傳統(tǒng)算法進(jìn)行改進(jìn)。

3 神經(jīng)網(wǎng)絡(luò)校正模型改進(jìn)

3.1 基于側(cè)窗濾波改進(jìn)的期望圖像獲取

側(cè)窗濾波［20］算法由殷慧、龔元浩等在2019 年提出。該算法可以有效解決傳統(tǒng)濾波算法造成圖像邊緣模糊問題。通常為了簡化計算，在離散的情況下只定義8 個側(cè)窗，如圖2 所示。

圖2 3×3 側(cè)窗濾波算子Fig.2 3×3 side window filter operator

圖2 中NW 表示左上側(cè)窗，L 表示左側(cè)窗，U表示上側(cè)窗，NE 表示右上側(cè)窗，SW 表示左下側(cè)窗，D 表示下側(cè)窗，R 表示右側(cè)窗，SE 表示右下側(cè)窗。每個側(cè)窗中綠色區(qū)域表示側(cè)窗濾波有效區(qū)域，紅色區(qū)域表示側(cè)窗濾波無效區(qū)域。

側(cè)窗濾波計算過程可以表示為：

式中：wij表示像素i的側(cè)窗內(nèi)像素j的影響權(quán)重，q表示像素點(diǎn)的灰度值，Nn表示側(cè)窗內(nèi)權(quán)重之和，S表示側(cè)窗覆蓋的范圍，In表示第n個側(cè)窗的輸出結(jié)果。8 個側(cè)窗在離散的角度覆蓋了圖像在該點(diǎn)邊緣的所有可能幾何形狀，從中取出與原始圖像邊緣最相近的側(cè)窗輸出結(jié)果作為校正輸出結(jié)果，就可以實(shí)現(xiàn)根據(jù)邊緣分布的結(jié)構(gòu)特征對圖像進(jìn)行保邊濾波。在數(shù)值計算中，取側(cè)窗輸出與原始圖像在該點(diǎn)的灰度值之差的最小結(jié)果表示正確邊緣形狀，即：

式中，Im表示側(cè)窗濾波輸出結(jié)果。經(jīng)典的側(cè)窗濾波技術(shù)的邊緣保持性能良好，但正是其十分出色的保邊效果導(dǎo)致殘余條紋噪聲明顯，因此在非均勻性校正問題中直接使用該算法也有著明顯的缺點(diǎn)。

本文在側(cè)窗濾波的基礎(chǔ)上設(shè)計去噪強(qiáng)度參數(shù)θ。傳統(tǒng)側(cè)窗濾波在有效區(qū)域內(nèi)權(quán)重均衡，在無效區(qū)域內(nèi)權(quán)重為0。引入去噪?yún)?shù)θ表示無效區(qū)域像素權(quán)重與有效區(qū)域灰度權(quán)重的比值，θ越大去噪效果越明顯，但邊緣保持效果會下降。當(dāng)θ=1 時，改進(jìn)的側(cè)窗濾波算法等價于對圖像做均值濾波；當(dāng)θ=0 時，改進(jìn)側(cè)窗濾波算法等價于經(jīng)典側(cè)窗濾波算法。圖3 所示為θ=0.5 時改進(jìn)后的NW 側(cè)窗權(quán)重參數(shù)。通過改進(jìn)可以在保留側(cè)窗濾波邊緣保持優(yōu)勢情況下，將邊緣周圍圖像信息適度引入邊緣計算，達(dá)到去噪效果與保邊效果的平衡。

圖3 改進(jìn)的3×3 側(cè)窗濾波算子Fig.3 Improved 3×3 side window filter operator

3.2 局部發(fā)散校正參數(shù)的飽和非線性抑制

在對校正參數(shù)反向傳遞之前，首先必須要明確校正參數(shù)是否發(fā)散，無效的校正參數(shù)傳遞會影響校正后圖像質(zhì)量。

如式（8）所示，分析目標(biāo)所占像素點(diǎn)區(qū)域大小與濾波器寬度關(guān)系可知，使用直徑為dFLTR的濾波器能保護(hù)的最小邊緣如圖2 中最小的綠色區(qū)所示。定義該區(qū)域最小有效邊緣直徑為dValid，若紅外圖像中目標(biāo)小于最小邊緣dValid，校正參數(shù)幀間迭代過程中除了包含非均勻性噪聲外，還包含邊緣信息，導(dǎo)致該點(diǎn)參數(shù)值過大而發(fā)散，如圖4 所示。無效的局部矯正參數(shù)會對圖像產(chǎn)生過度校正，在圖像序列中的表現(xiàn)就是移動拖影現(xiàn)象。

圖4 小目標(biāo)校正參數(shù)的發(fā)散（圖中尖峰位置）Fig.4 Divergence of small target correction parameters（peak position in the figure）

針對圖中微小細(xì)節(jié)邊緣濾波后導(dǎo)致的校正參數(shù)發(fā)散現(xiàn)象，本文使用一種飽和非線性特性函數(shù)抑制校正參數(shù)上限，算法原理如式（9）所示：式 中：Ei，j(f)為當(dāng)前幀中位 于(i，j)位置的校正參數(shù)輸入信號；Xi，j(f)為當(dāng)前幀相應(yīng)位置的校正參數(shù)飽和特性輸出信號；Emax(f)表示當(dāng)前幀飽和非線性特性的輸出閾值，該值的確定需要統(tǒng)計當(dāng)前輸入圖像全局最大相鄰列像素點(diǎn)灰度均值的差值，非均勻性校正目的在于減小各列響應(yīng)不均勻性，因此該參數(shù)不應(yīng)當(dāng)超過原始誤差圖像中相鄰非均勻性列之間的最大灰度差值，從而實(shí)現(xiàn)視覺上的一致性。

校正參數(shù)在Emax(f)的范圍內(nèi)是線性區(qū)，取線性增益為k。當(dāng)超過線性區(qū)進(jìn)入飽和區(qū)，輸入的校正參數(shù)繼續(xù)增大時，其輸出量趨于0，直到當(dāng)前位置像素點(diǎn)不再作為圖像弱小邊緣區(qū)域，校正參數(shù)會重新進(jìn)入線性區(qū)，繼續(xù)經(jīng)過迭代更新適應(yīng)新的場景變化。改進(jìn)后的神經(jīng)網(wǎng)絡(luò)校正模型如圖5 所示，期望圖像采用含去噪強(qiáng)度參數(shù)的側(cè)窗濾波器獲取，校正參數(shù)的更新引入飽和非線性特性閾值函數(shù)修正。

圖5 改進(jìn)后的神經(jīng)網(wǎng)絡(luò)模型流程框圖Fig.5 Flow chart of improved neural network correction algorithm

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)備

本文所有實(shí)驗(yàn)運(yùn)行計算機(jī)系統(tǒng)為Win10（CPU Intel Core i5-7300HQ 主 頻：2.30G，內(nèi)存8G），所有的算法均利用Matlab2018a 編程實(shí)現(xiàn)。

4.2 算法對比及質(zhì)量評價

考慮算法的硬件易實(shí)現(xiàn)性，將本文所提算法與經(jīng)典神經(jīng)網(wǎng)絡(luò)算法［12］、Zhang L 等人［16］提出的基于雙邊濾波改進(jìn)算法以及Zhang T 等人［17］提出的基于小波主成分分析法這3 種校正算法進(jìn)行比較。在實(shí)驗(yàn)中共采用3 組不同環(huán)境下的紅外相機(jī)拍攝圖像，分別為序列1：天空背景弱小飛機(jī)跟蹤目標(biāo)序列［23］，共599 幀；序列2：地面復(fù)雜背景弱小飛機(jī)目標(biāo)圖像序列［23］，共400 幀；序列3：道路行人檢測紅外圖像序列［24］，共400 幀。

圖6 展示的是序列1 原始圖像，圖像分辨率為256 像素×256 像素。該序列背景純凈單一，靶機(jī)目標(biāo)小，運(yùn)動速度快，圖像信噪比較低，校正過程中應(yīng)主要防止高速運(yùn)動的小目標(biāo)拖影現(xiàn)象。

圖6 序列1 原始圖像Fig.6 Sequence 1 original images

圖7 展示的是序列1 的非均勻性校正實(shí)驗(yàn)結(jié)果。從視覺效果上看，傳統(tǒng)的基于均值濾波的校正算法具有很強(qiáng)的平滑作用，但是在目標(biāo)邊緣產(chǎn)生大量鬼影，如圖7（a）所示，在靶機(jī)附近及右側(cè)出現(xiàn)的黑色陰影即為校正過程中引入的“鬼影”，該現(xiàn)象在目標(biāo)高速移動時尤為明顯?；陔p邊濾波的校正算法在邊緣保持以及鬼影抑制效果都有明顯提升，但如圖7（b）所示，通過肉眼仍可以觀察到有殘留的非均勻性噪聲，在靶機(jī)的右側(cè)也存在微弱的“鬼影”現(xiàn)象，并且靶機(jī)的機(jī)翼與中間部位的對比度相比原圖有所下降?；谛〔ㄖ鞒煞址治龅男Ｕ惴ㄊ轻槍螏瑘D像進(jìn)行校正，不會產(chǎn)生幀間迭代“鬼影”現(xiàn)象，但由于低信噪比圖像噪聲主成分仍包含較多噪聲信息導(dǎo)致該算法殘留非均勻性噪聲較多，如圖7（c）所示，圖中飛機(jī)局部放大圖像中存在肉眼可見非均勻性噪聲。圖7（d）為本文提出的改進(jìn)校正算法的校正結(jié)果。對比輸入圖像序列，本文算法的非均勻性噪聲去除效果好，校正后圖像沒有明顯的縱向條紋噪聲。對比文獻(xiàn)［12］、文獻(xiàn)［16］所用校正算法，本文算法的鬼影現(xiàn)象有明顯改善，細(xì)節(jié)邊緣保持程度也達(dá)到雙邊濾波效果，特別是在靶機(jī)機(jī)翼位置與中間位置的對比度更接近原始圖像序列，明顯優(yōu)于文獻(xiàn)［16］所用算法。對比文獻(xiàn)［17］所用算法，本文算法的殘余非均勻性噪聲明顯降低，圖像細(xì)節(jié)保護(hù)程度無明顯差別。

圖7 不同算法對序列1 圖像的校正效果對比Fig.7 Comparison of correction effects of different algorithms on sequence 1

為了進(jìn)一步評估3 種校正算法，本文引入列均值［25］與圖像粗糙度指標(biāo)ρ［26］進(jìn)行定量評估。圖像粗糙度ρ的定義為：

式中：h1=［-1，1］為圖像在水平方向的卷積核模板，h2=［-1，1］T為圖像豎直方向的卷積核模板，I表示輸入圖像，‖ ‖表示取1 范數(shù)運(yùn)算，*表示做卷積操作。列均值指標(biāo)反映圖像在各通道增益及偏置的不均勻性，該指標(biāo)的變化曲線越平坦說明圖像均勻性越好。圖像粗糙度反映圖像整體灰度值的均勻性程度，該指標(biāo)越低說明圖像均勻性越好。

從圖8（a）中可以看出，原始圖像在90～120 列存在明顯的平均值波動，表現(xiàn)在圖像上就是明暗相間的條紋噪聲。經(jīng)過文獻(xiàn)［12］算法處理后，各列均值波動幅度明顯下降。文獻(xiàn)［16］算法因?yàn)槭褂秒p邊濾波獲取期望圖像，處理后各列均值波動幅度較傳統(tǒng)算法略大，整體波動幅度較原始圖像序列有明顯改善。文獻(xiàn)［17］算法使用小波分解后的主成分分析分離非均勻性噪聲，在針對低信噪比圖像的處理過程中殘留有較大的非均勻性，導(dǎo)致各列均值波動幅度降低程度有限。使用本文提出的改進(jìn)算法校正后，圖像的各列均值過渡平坦，沒有明顯波動情況，處于另外兩種算法幅度變化的包絡(luò)曲線之中，說明相比經(jīng)典神經(jīng)網(wǎng)絡(luò)校正算法、基于雙邊濾波改進(jìn)的校正算法以及基于小波主成分分析算法所獲得的列均值更穩(wěn)定。從圖8（b）中可以觀察到，經(jīng)過文獻(xiàn)［17］算法處理后，圖像的整體粗糙度最大，但是該算法由于不涉及幀間迭代過程，所以從第一幀開始算法效果就趨于穩(wěn)定，而其他3 種算法在經(jīng)過約80 幀圖像數(shù)據(jù)迭代過程后才趨于穩(wěn)定。經(jīng)過文獻(xiàn)［16］算法處理后，圖像的整體粗糙度明顯降低。經(jīng)過本文算法校正后，粗糙度指標(biāo)明顯低于基于雙邊濾波改進(jìn)的校正算法，與文獻(xiàn)［12］所提經(jīng)典校正算法的粗糙度指標(biāo)相似，說明相比經(jīng)典神經(jīng)網(wǎng)絡(luò)校正算法、基于雙邊濾波改進(jìn)的校正算法以及基于小波主成分分析算法，本文方法的圖像整體均勻性最好。

圖8 （a）序列1 列均值曲線；（b）序列1 粗糙度曲線。Fig.8 （a）Sequence 1 mean curves；（b）Sequence 1 roughness curves.

由上述分析可知，本文提出的基于側(cè)窗濾波改進(jìn)校正算法在迭代效果趨于穩(wěn)定后的圖像視覺效果、列均值指標(biāo)、粗糙度指標(biāo)均優(yōu)于另外3 種對比算法，綜合考慮，本文算法針對圖像序列1 的校正效果是4 種方法中最好的。

圖9 展示的是序列2 原始圖像，圖像分辨率為256 像素×256 像素。該環(huán)境下背景復(fù)雜、圖像對比度低、靶機(jī)目標(biāo)小且運(yùn)動快，圖像信噪比較低，校正過程中應(yīng)主要避免背景輪廓過度退化以及“鬼影”現(xiàn)象。

圖9 序列2 原始圖像Fig.9 Sequence 2 original images

圖10展示的是序列2非均勻性校正實(shí)驗(yàn)結(jié)果。從圖10（a）中可以看出，使用經(jīng)典校正算法處理后的圖像序列中非均勻性噪聲有明顯改善，但是沿著飛機(jī)移動方向存在明顯拖影現(xiàn)象，并且由于鏡頭移動，復(fù)雜場景中房屋位置周圍也產(chǎn)生了明顯的“鬼影”。使用基于雙邊濾波改進(jìn)的校正算法無明顯“鬼影”現(xiàn)象，但是圖像整體存在微弱的殘余噪聲，如圖10（b）所示?；谛〔ㄖ鞒煞址治龅男Ｕ惴▽儆趩螏?，不會產(chǎn)生幀間迭代“鬼影”現(xiàn)象，但校正后圖像仍殘留明顯非均勻性噪聲，如圖10（c）所示，圖中房屋處局部放大圖像中存在肉眼可見的非均勻性噪聲。圖10（d）為使用本文提出的校正算法的校正結(jié)果，對比輸入圖像，本文算法的非均勻性噪聲去除效果較好；對比文獻(xiàn)［12］算法，“鬼影”現(xiàn)象有明顯的改善；對比文獻(xiàn)［16］、文獻(xiàn)［17］算法，殘余非均勻性噪聲有明顯改善，在邊緣保持方面達(dá)到雙邊濾波改進(jìn)的水平。

圖10 不同算法對序列2 圖像的校正效果對比Fig.10 Comparison of correction effects of different algorithms on sequence 2

從圖11（a）中可以觀察到，原始圖像在90～120 列存在明顯的平均值波動。經(jīng)過文獻(xiàn)［12］算法處理后，各列均值波動幅度下降明顯。經(jīng)過文獻(xiàn)［16］算法處理后，均值波動幅度略大于傳統(tǒng)校正算法。經(jīng)過文獻(xiàn)［17］算法處理后，均值波動幅度較原始圖像數(shù)據(jù)有所降低，但仍存在較大的列間差異性。使用本文改進(jìn)算法校正后，圖像在各列均值性能均優(yōu)于另外3 種校正算法，列均值指標(biāo)均位于經(jīng)典神經(jīng)網(wǎng)絡(luò)校正算法、基于雙邊濾波改進(jìn)的校正算法以及基于小波主成分分析校正算法的相應(yīng)指標(biāo)包絡(luò)線內(nèi)，校正結(jié)果穩(wěn)定。從圖11（b）中可以看出，復(fù)雜背景下場景快速運(yùn)動序列的圖像粗糙度在時間軸上呈現(xiàn)波動趨勢。場景的劇烈變化引起校正參數(shù)波動，導(dǎo)致傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法、基于雙邊濾波改進(jìn)算法和本文算法3 種校正算法校正后的粗糙度相近，基于小波主成分分析的校正算法同樣因?yàn)閳D片信噪比低而呈現(xiàn)較高粗糙度。分析曲線可知，在整體上本文算法校正后的圖像粗糙度低于文獻(xiàn)［16］、文獻(xiàn)［17］所用算法，略大于文獻(xiàn)［12］所用算法。

圖11 （a）序列2 列均值曲線；（b）序列2 粗糙度曲線。Fig.11 （a）Sequence 2 mean curves；（b）Sequence 2 roughness curves.

由上述分析可知，本文提出的基于側(cè)窗濾波改進(jìn)的校正算法在視覺效果上優(yōu)于文獻(xiàn)［12］、文獻(xiàn)［17］算法，與文獻(xiàn)［16］算法無明顯區(qū)別。列均值指標(biāo)優(yōu)于其余3 種對比算法。圖像粗糙度指標(biāo)優(yōu)于文獻(xiàn)［16］、文獻(xiàn)［17］算法，與文獻(xiàn)［12］算法無明顯區(qū)別。綜合考慮，本文算法針對圖像序列2 的校正效果是4 種方法中最好的。

圖12 展示的是序列3 的原始圖像，圖像分辨率為1 024 像素×512 像素。該環(huán)境下，目標(biāo)邊緣細(xì)節(jié)復(fù)雜，圖像信噪比較高，場景運(yùn)動緩慢，校正過程中應(yīng)主要避免目標(biāo)復(fù)雜輪廓過度退化。

圖12 序列3 原始圖像Fig.12 Sequence 3 original images

圖13展示的是序列3非均勻性校正實(shí)驗(yàn)結(jié)果。從圖13（a）中可以看出，使用經(jīng)典校正算法處理后的圖像序列的非均勻性噪聲去除效果明顯，如放大圖中路面停止線處所示。圖像在整體上有明顯的模糊退化現(xiàn)象，局部存在細(xì)節(jié)丟失，對比度下降問題，如圖中放大后的市政護(hù)欄已經(jīng)無法分辨出內(nèi)部欄桿的邊緣。從圖13（b）中可以看出，使用基于雙邊濾波改進(jìn)的校正算法后，圖像清晰度較傳統(tǒng)算法有明顯改善，圖中放大后的市政護(hù)欄的內(nèi)部欄桿邊緣清晰可見，與原始圖像序列無明顯差異，但該算法也存在肉眼可見的殘余非均勻性噪聲問題，如放大圖中路面停止線處所示。從圖13（c）中可以看出，使用基于小波主成分分析算法校正后，圖像非均勻噪聲去除效果明顯，圖像邊緣細(xì)節(jié)保持性強(qiáng)，局部放大圖中欄桿細(xì)節(jié)保存完好，可見該算法在處理高信噪比圖像時具有良好性能。但是由于小波分解后，最優(yōu)主成分替換圖像原始信息，在原圖中部分無噪聲區(qū)域形成少量明暗斑紋。圖13（d）為本文提出的改進(jìn)校正算法的校正結(jié)果。對比輸入圖像序列，本文算法的非均勻性噪聲去除效果較好，校正后圖像沒有明顯縱向條紋噪聲。對比文獻(xiàn)［12］所用算法，圖像清晰度有明顯改善。對比文獻(xiàn)［16］所用算法，有效減少了殘余非均勻性噪聲現(xiàn)象，在邊緣保持與細(xì)節(jié)保護(hù)方面達(dá)到基于雙邊濾波改進(jìn)的算法校正效果。對比文獻(xiàn)［17］所用算法，在邊緣保持性能上略有降低，圖像整體一致性高，沒有引入新的明暗斑紋。

圖13 不同算法對序列3 圖像校正效果對比Fig.13 Comparison of correction effects of different algorithms on sequence 3

從圖14（a）中可以看出，原始圖像在595～605列存在明顯的平均值波動。經(jīng)過文獻(xiàn)［12］算法處理后，各列均值波動幅度明顯下降。經(jīng)過文獻(xiàn)［16］算法處理后，均值波動幅度略大于傳統(tǒng)校正算法。使用文獻(xiàn)［17］算法處理后，均值波動幅度整體較原始序列有所下降，且沒有迭代過程，經(jīng)過第一張輸入圖像校正后即達(dá)到穩(wěn)定狀態(tài)，但整體仍存在較大波動幅度。使用本文改進(jìn)算法校正后，圖像在各列均值性能優(yōu)于另外3 種校正算法，列均值指標(biāo)均位于經(jīng)典校正算法、基于雙邊濾波校正算法和基于小波主成分分析算法相應(yīng)指標(biāo)包絡(luò)線內(nèi)，校正結(jié)果穩(wěn)定。從圖14（b）中可以觀察到，經(jīng)過文獻(xiàn)［17］算法處理后，圖像的整體粗糙度最大；經(jīng)過文獻(xiàn)［16］算法處理后，圖像的整體粗糙度略高于本文算法；經(jīng)過本文算法校正后，粗糙度指標(biāo)略高于文獻(xiàn)［12］所提經(jīng)典校正算法過度平滑后的粗糙度指標(biāo)。

圖14 （a）序列3 列均值曲線；（b）序列3 粗糙度曲線。Fig.14 （a）Sequence 3 mean curves；（b）Sequence 3 roughness curves.

由上述分析可知，本文提出的基于側(cè)窗濾波改進(jìn)的校正算法在列均值指標(biāo)性能優(yōu)于另外3 種對比算法；視覺效果明顯優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法與基于雙邊濾波改進(jìn)算法；邊緣保持程度略低與文獻(xiàn)［17］小波主成分分析算法；圖像粗糙度指標(biāo)優(yōu)于文獻(xiàn)［16］、文獻(xiàn)［17］算法，低于文獻(xiàn)［12］算法過度平滑后的結(jié)果。綜合考慮，本文算法針對圖像序列3 是4 種方法中效果最好的。

表1 統(tǒng)計了3 組圖像序列中第80～400 幀圖像粗糙度ρ的平均值，該指標(biāo)越低表明圖像一致性越好。從表1 可以看出，基于小波主成分分析算法使用單幀圖像校正，校正后的低信噪比圖像粗糙度指標(biāo)下降幅度小，高信噪比圖像粗糙度指標(biāo)下降明顯，但該算法在粗糙度指標(biāo)整體表現(xiàn)不足，各項數(shù)據(jù)均高于對比算法。本文提出的基于側(cè)窗濾波改進(jìn)校正算法在3 組測試序列中均表現(xiàn)出良好性能，其中在測試序列1、測試序列2 中粗糙度指標(biāo)為4 種校正算法中最低，在測試序列3中該指標(biāo)明顯低于雙邊濾波改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法與基于小波主成分分析算法，高于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)校正算法，但是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法存在嚴(yán)重的模糊退化，過度的平滑性能導(dǎo)致該算法產(chǎn)生大量的“鬼影”，不能適用于真實(shí)檢測環(huán)境。

表1 不同算法處理后的圖像序列平均粗糙度指標(biāo)對比Tab.1 Comparison of average roughness indexes of image sequences processed by different algorithms

表2 統(tǒng)計了3 組圖像序列中處理400 幀圖像的耗時。該指標(biāo)涉及兩個影響參數(shù)，即算法計算復(fù)雜度和輸入圖形序列像素尺寸。分析表2 中的數(shù)據(jù)，橫向?qū)Ρ瓤芍獙τ谙嗤斎雸D像序列，本文所提算法處理相同幀圖像耗時略長于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法，明顯優(yōu)于基于雙邊濾波改進(jìn)的非均勻性校正算法，與基于小波主成分分析法相比也有一定優(yōu)勢?？v向?qū)Ρ? 種算法處理速度相對于不同尺寸輸入圖形序列可知，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法、基于小波主成分分析算法和本文所提算法的耗時與圖形尺寸接近線性關(guān)系，而基于雙邊濾波改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法在處理高分辨率圖像時耗時增加嚴(yán)重，原因是雙邊濾波器計算復(fù)雜度是輸入圖像空域尺寸平方項函數(shù)關(guān)系，該特性限制了算法的硬件實(shí)現(xiàn)。綜上可知，在處理速度方面，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法優(yōu)于本文算法；基于小波主成分分析的校正算法處理時間與本文提出算法較為接近，表明該算法優(yōu)勢在于平衡處理速度和處理后圖像效果；基于雙邊濾波算法時耗性能最差。

為滿足紅外成像器件非均勻性校正實(shí)時性要求，需要處理速度大于視頻圖像輸入速度。通常監(jiān)控錄像機(jī)系統(tǒng)視頻輸入接口幀率為25 幀/s，單幀耗時不超過40 ms。針對256×256 分辨率圖像序列，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法處理一幅圖像耗時約為7.5 ms，雙邊濾波改進(jìn)算法耗時約為275 ms，小波主成分分析算法耗時約為35 ms，本文所提算法耗時約為12.5 ms；針對1 024×512 分辨率圖像序列，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法處理一幅圖像耗時約為25 ms，雙邊濾波改進(jìn)算法耗時約為1 900 ms，小波主成分分析算法耗時約為175 ms，本文所提算法耗時約為95 ms?？梢娫诨贑PU 處理器運(yùn)算平臺上，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法、小波主成分分析算法、本文所提算法滿足小分辨率圖像的實(shí)時校正，大分辨率圖像僅有傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法滿足要求。為進(jìn)一步提升算法的處理效率，實(shí)現(xiàn)小算力、低功耗移動平臺的實(shí)時非均勻性校正，可采用現(xiàn)場可編程門陣列（FPGA）流水線處理實(shí)現(xiàn)并行加速，而小波主成分分解算法中涉及最優(yōu)化主成分計算過程，F(xiàn)PGA 硬件實(shí)現(xiàn)較為復(fù)雜，不利于實(shí)現(xiàn)實(shí)時非均勻性校正。綜合表1 和表2 可以看出，本文算法在非均勻性校正效果和算法運(yùn)行效率方面都具有明顯優(yōu)勢。

5 結(jié) 論

本文提出了一種基于側(cè)窗濾波技術(shù)改進(jìn)的神經(jīng)網(wǎng)絡(luò)非均勻性校正算法。該算法通過改進(jìn)的側(cè)窗濾波技術(shù)獲得期望校正圖像，通過幀間飽和非線性函數(shù)抑制校正參數(shù)局部發(fā)散，優(yōu)化了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法的保邊效果，能夠有效避免校正后圖像出現(xiàn)“鬼影”問題，降低了基于雙邊濾波改進(jìn)算法的計算復(fù)雜度，較基于小波主成分分析算法更適用于不同信噪比的圖像序列且處理速度更快。實(shí)驗(yàn)結(jié)果表明，本文提出的算法在測試圖像序列1 上的平均粗糙度為0.030 3，連續(xù)處理400 幀圖像耗時4.938 5 s；在測試圖像序列2 上的平均粗糙度為0.058 6，連續(xù)處理400 幀圖像耗時4.916 2 s；在測試圖像序列3 上的平均粗糙度為0.079 2，連續(xù)處 理400 幀圖像耗時37.417 0 s。該算法在3 組測試圖像序列中平均圖像粗糙度降低了30.17%，平衡處理時間與處理后圖像質(zhì)量性能優(yōu)于對比算法，在運(yùn)算時間上有顯著提升。目前所提算法面臨的最大問題是如何進(jìn)一步提高運(yùn)算速度，實(shí)現(xiàn)高分辨率紅外圖像實(shí)時非均勻性校正。而在該算法中使用的關(guān)鍵步驟側(cè)窗濾波本質(zhì)為多次加權(quán)均值濾波，便于FPGA 并行加速處理，因此本文也為小算力、低功耗移動平臺實(shí)現(xiàn)實(shí)時非均勻性校正提供了新的研究思路。