微分約束法紅外條紋非均勻校正

華瑋平,趙巨峰,崔光茫,公曉麗,朱禮堯

(杭州電子科技大學電子信息學院,浙江 杭州 310018)

1 引 言

紅外成像技術在遙感[1]、生物[2]、軍事[3]、農業(yè)[4]等多個方面均有著重要的應用。然而,焦平面陣列傳感器受到制造工藝、材料等影響,其非均勻響應導致輸出信號包含固定模式噪聲,影響了成像質量，通常這種噪聲呈現非均勻條紋狀。為了提高成像系統(tǒng)的成像質量,需要校正條紋非均勻性(Non-Uniformity Correction,NUC)。

條紋NUC方法一般有兩種:基于定標的校正以及基于場景的校正?；诙说男Ｕ惴ㄐ鑼⒊上裣到y(tǒng)與標準源對比,操作簡單但局限性較大,且需要標準輻射源[5]?；趫鼍暗男Ｕ歉鶕鼍盎驁D像中的特征而提取參數,實現NUC,應用更廣、自適應更強,但相對耗時或收斂時間長,且容易產生鬼影等效應。Qian等人使用最小均方誤差(Minimum Mean Squared Error,MMSE)的方法對單幀圖像進行NUC,可直接從圖像中提取參數并校正,且較好地克服了收斂時間問題[6]。Sui等人提出了基于神經網絡的NUC算法,可實現實時校正,但需要事先預備好字典學習[7]。Zhao等人使用梯度約束優(yōu)化模型對條紋非均勻噪聲進行約束,效果較好但需要人工調整參數[8]。張盛偉等人利用引導濾波器從列累加平均向量中提取條紋噪聲校正項并用該噪聲校正項對圖像進行校正,但是對于場景運動檢測較為嚴苛,算法收斂較慢,所需時間長[9]。Munch等人結合小波-快速傅里葉變換在頻域中處理紅外圖像中的條紋,復原效果較好,但其在頻域處理耗費的時間較長[10]。場景法中,包含單幀以及多幀方法。單幀法僅利用單幅圖像,結合圖像優(yōu)化理論,實現NUC,幀內計算耗時長,但不存在收斂時間(幀數)問題；多幀法,基于器件非均勻性不變的特性,根據場景變化迭代獲取像元增益與偏置參數等實現校正,幀內計算耗時短,但需要一定的幀數實現收斂。

鑒于多幀法收斂速度較慢,單幀法可從第一幀就實現NUC。此外,由于條紋非均勻噪聲與邊緣細節(jié)較難區(qū)分,傳統(tǒng)的單幀條紋NUC算法中經常會有誤判的情況,導致在校正的同時造成細節(jié)模糊；傳統(tǒng)單幀法計算耗時較長。為實現第一幀快速NUC處理,本文提出一種基于場景的加權微分約束紅外條紋非均勻性校正算法。對圖像條紋非均勻噪聲進行分析并建模,根據灰度微分概率分布等規(guī)律,設計引入加權矩陣,構造NUC模型的懲罰函數并優(yōu)化方程,最終求取最優(yōu)解。實驗表明,本文所采用的校正方法較好的校正了圖像中的條紋非均勻噪聲,有效地克服了細節(jié)模糊問題；同時單幀圖像校正速度較快。

2 條紋非均勻性分析

根據觀察,紅外條紋非均勻噪聲常會導致圖像水平方向(x方向)的梯度發(fā)生明顯的改變,而豎直方向(y方向)的梯度基本不變,因而本文首先對上述現象進行驗證。

圖1 原始圖像及NUC圖像

如圖 1所示,(a)和(b)分別是具有條紋非均勻噪聲的紅外圖像以及經過校正后的結果。對圖像的水平、豎直方向(x、y方向)梯度做出如下的定義:

Hg(i,j)=O(i,j)-O(i,j-1)

(1)

Vg(i,j)=O(i,j)-O(i-1,j)

(2)

其中,O為圖像,(i,j)代表像素坐標；Hg(i,j)是O中(i,j)點x方向的梯度；Vg(i,j)是O中(i,j)點y方向的梯度。

圖 1在x和y方向上的梯度分析結果如圖 2所示。Hg1為圖1(a)某一行(i行)的水平梯度之和,Hg2為圖1(b)同一行的水平梯度之和；Vg1為圖1(a)某一列(j列)的豎直梯度之和,Vg2為圖1(b)同一列的豎直梯度之和。

(3)

(4)

在圖 2中,Hg和Vg分別相減得到了對應差值曲線。觀察可得,Hg1和Hg2的差在200左右波動,即存在一個明顯的差值；Hg1和Hg2的差在0附近波動,即基本不存在差異。這證明了先前的觀察,即條紋非均勻噪聲使得圖像在x方向上的梯度劇烈變化，而在y方向的梯度保持不變。

圖2 圖1的梯度分析

3 條紋非均勻噪聲校正

3.1 校正原理及模型建立

在第2節(jié)中,分析了條紋非均勻噪聲的形成原理及其特征,得出了NUC前后圖像豎直(y方向)與水平(x方向)的梯度能量變化特性,即y方向保持不變,x方向劇烈變化。根據這一先驗知識,使用加權微分約束的方法構造懲罰函數,進行紅外條紋NUC。

采用探測器線性響應模型,對于輸入的理想圖像z,可以得到:

g=h(z)+k

(5)

其中,g為觀測圖像；k是加性高斯白噪聲；h(·)為退化函數(如模糊等)。對紅外圖像進行NUC的目的即從最終被觀測到的圖像中恢復出理想圖像。于是,根據貝葉斯理論以及最大后驗概率等效于最小化懲罰函數的原理,對圖像復原過程建模,構造懲罰函數以進行復原。

根據分析,紅外圖像非均勻噪聲會使得圖像出現豎直方向的條紋噪聲,從而導致圖像在y方向灰度基本保持不變而在x方向變化較大。因此,NUC的目的可以等效于保持y方向梯度不變的同時最小化x方向的梯度。

由于紅外圖像的微分概率分布服從于廣義高斯分布,有如下公式:

-lnp(g/z)=‖?yz-?yg‖2

(6)

-lnp(z)=‖?xz‖2

(7)

其中,?x與?y都是一階微分算子。公式(6)為模型的保真項,其目的在于保持原始信號不變；公式(7)為模型的規(guī)整化項,用于最小化x方向的梯度從而實現NUC。同時,對于規(guī)整化項,再引入權重函數Tx進行調整,以區(qū)分不同梯度信息:

Tx=λ(|?xg|α+β)-1

(8)

其中,α、β和λ是固定的常量參數。通過上述保真項、規(guī)整化項以及權重函數的建模,可得到懲罰函數模型為:

f(z)=-lnp(g/z)-lnp(z)

=‖?yz-?yg‖2+λ(|?xg|α+β)-1‖?xz‖2

(9)

3.2 懲罰函數優(yōu)化及校正圖像求解

對于懲罰函數,通過最小化懲罰函數求解得到z,即:

z=argminzf(z)

=argminz[‖?yz-?yg‖2+Tx‖?xz‖2]

(10)

根據拉格朗日定理可以得到,當:

(11)

懲罰函數取到最小值,即此時z為所求的最優(yōu)值。通過推導,可得z的最優(yōu)解為:

(12)

此時得到的z即為最優(yōu)的NUC結果。這可以使得圖像在保證在校正x方向條紋非均勻噪聲的同時盡可能使y方向梯度保持不變,并減少圖像的模糊。

4 實驗結果與分析

4.1 客觀評價方法

為評估方法在NUC處理方面的性能,需要客觀評價方法對實驗結果進行評價。本文采用兩種方法對實驗結果進行分析。第一種評價方法為平整度ρ,用以判別圖像的平滑程度[11],其定義如下:

(13)

其中,h=[1,-1];I為待測圖像;符號*代表卷積操作;‖…‖為一階范數。ρ的值越小,圖像的條紋校正效果越好,但ρ過小時圖像較為模糊。

第二種評價方法為水平梯度K,用以判斷圖像在x方向上的平整程度。其定義如下:

(14)

同樣,h=[1,-1];I為待測圖像；符號*代表卷積操作;M和N分別為圖像的行數和列數;K的值越小,圖像在x方向上的平整程度越高。

4.2 實驗過程與結果

本文使用的紅外圖像為實地拍攝,共采集20幀圖像,如圖 3(a)所示為其中的一幀。所用相機為768×576分辨率紅外定焦(15 mm)相機(M500/M500C高分辨率紅外熱成像機芯),由浙江兆晟科技股份有限公司生產。在算法處理中,對參數進行調整及測試,最終設置參數α、β和λ的值分別為2.5、10-6及0.5,有關不同參數的討論,可見4.3節(jié)。

本文實驗運行在windows10操作系統(tǒng)中,CPU為i5-6300HQ(2.3 GHz),內存為8G,實驗環(huán)境為Matlab 2014a。

同時,本文將所提出的算法與幾種現有性能優(yōu)異的單幀NUC算法進行對比,包括最小均方誤差法MMSE[6]、L0約束方法[8]以及頻域處理法[10]。原始圖像及經NUC后的圖像如圖3所示。通過觀察圖像可以發(fā)現,L0及MMSE方法對于圖像的的校正效果相對較弱,而頻域處理法校正效果雖然較好,但對于圖像的質量損失較大,不利于后續(xù)的觀察。本文所提出的方法在盡可能對條紋噪聲進行校正的同時較好圖像質量損失也相對較小。

將各方法所得到的結果進行客觀評價,得到各結果的ρ值、K值,如表1所示。根據表1,可以發(fā)現本文方法的平整度與水平梯度值最小,間接表明本方法在NUC方面優(yōu)于其他對比方法。

圖3 紅外原始圖像及實驗結果

表1 客觀評價分析

為了更好地對比各算法,本文對序列視頻中的圖像逐幀進行處理評價,結果圖 4所示。

圖4 對于20幀圖像的平整度及水平梯度分析

此外,本文也對各方法的平均運算時間進行比較,如表2所示。

表2 平均運算時間分析(單位:秒)

通過圖4的客觀評價與表2的運算時間的比較,本文方法在客觀評價上基本優(yōu)于其他方法,運算速度也更快。頻域處理法雖然在平整度的評價中較好,但是結合主觀評價后可以看出其平整度指標較高是以圖像質量的損失為代價的,并不是因為其校正效果更好。另外,L0約束方法雖然在平整度上與本文方法接近,但結合主觀評價以及水平梯度的比較可以發(fā)現其在x方向平滑程度相對較弱,意味著其對于條紋的校正效果相對較弱。

4.3 參數分析

第3節(jié)中的懲罰函數模型有三個常數,本文分別對三個常數進行了分析與調試,以期取得最好的條紋校正效果。本節(jié)將依次對三個參數α、β和λ的取值進行論述。

α為權重函數中梯度的指數項,即通過對梯度的非線性縮放來控制校正結果中圖像邊緣的銳利程度,α的值越大,規(guī)整化項在圖像中占的權重越小,校正結果的邊緣越尖銳。將α依照一定間隔取值并進行復原,結果如圖 5及圖 6所示。

圖5 不同α值對復原結果的影響

可以發(fā)現,當α的取值太小時,圖像平整度較小,水平梯度也較小,此時由于規(guī)整化項在懲罰函數中權重過大導致圖像在X方向上的模糊程度比較嚴重；當α超過一定取值后圖像平整度先保持不變后緩慢下降,而水平梯度則會先上升后下降,這說明當α的值過大時由于規(guī)整化項在懲罰函數中權重過小使得條紋校正效果不佳?；谏鲜隹紤],本文取α的值為2.5。

β則為圖像中權重函數中的加項,用以約束權重函數的最小權重并防止病態(tài),對懲罰函數的影響較小,圖 7僅給出簡單的數據分析。

可見β值從10-9到10-6變化,對于圖像整體復原結果影響不大。本文取β值為10-6。

圖6 不同α值對校正結果的影響,圖(a)～(e)分別是α為0.5,1.5,2.5,3.5以及4.5時圖像校正結果的部分

圖7 不同β值對復原結果的影響

λ為權重函數中的權重項,通過線性縮放來影響規(guī)整化項的權重。λ的值越大,則規(guī)整化項在懲罰函數中所占的權重越大,圖像越平滑。圖 8及圖 9為不同λ值對復原結果的影響。

圖8 不同λ值對圖像復原結果的影響

圖9 不同λ值對校正結果的影響,(a)～(e)分別為λ值是0.01,0.1,0.5,1.5及2.5時圖像校正結果的部分

可以看到,當圖像λ值越大時,由于規(guī)整化項在懲罰函數中的權重越大,圖像的校正效果越好,但不可避免的是同時圖像的模糊程度也越嚴重。基于上述情況以及對于圖像主觀分析,本文取λ值為0.5。

4.4 硬件實驗

本文搭建了硬件系統(tǒng)實際運行并分析。如圖 10所示,包括紅外成像鏡頭、相機、FPGA電路、計算機以及顯示部分。所有的圖像采集處理過程都運行在FPGA上并通過數據線顯示在電腦屏幕中。

圖10 成像系統(tǒng)示意圖

由于硬件系統(tǒng)化實驗需要在FPGA上進行,對比方法未能較好在FPGA上實現,因而無法與本文方法進行對比。本方法在FPGA上處理速度約為15 f/s,基本可以實現實時處理,但是對于高分辨率高幀數畫面的實時處理仍有一定的差距。

5 結 論

本文提出了一種基于單幀圖像的條紋NUC方法。本文首先分析了紅外圖像條紋非均勻噪聲的形成原理。根據紅外圖像的微分概率分布等特性與假設,利用條紋圖像在X和Y方向梯度上的不同特征提出了微分約束模型,通過構造懲罰函數的方法最優(yōu)化求解得到校正圖像。經過實驗對比可以發(fā)現,相比于傳統(tǒng)的方法而言,本文所提出的方法對于條紋非均勻噪聲的抑制效果比較好,對于條紋校正中常出現的圖像模糊情況也有所改善。此外,基于單幀圖像的算法收斂速度較快,從第一幀就可實現NUC。在下一步的工作中,將考慮改進算法,通過提取圖像中的信息自適應的設置算法中的參數；此外算法也會導致圖像整體能量減少的問題,這也是在之后的工作中需要解決的。