基于曲面擬合的紅外圖像盲元檢測(cè)方法

張北偉，曹江濤，叢秋梅

?

基于曲面擬合的紅外圖像盲元檢測(cè)方法

張北偉，曹江濤，叢秋梅

（遼寧石油化工大學(xué) 信息與控制工程學(xué)院，遼寧 撫順 13001）

針對(duì)傳統(tǒng)紅外圖像盲元檢測(cè)方法采用固定檢測(cè)閾值和不能兼顧全局非均勻性的問(wèn)題，提出了一種基于曲面擬合的盲元檢測(cè)方法。首先分析了有效像元和盲元在灰度分布三維圖上的顯著差別，進(jìn)而提出整幅本底圖像的曲面擬合方法，然后用擬合后的曲面值作為比較基準(zhǔn)運(yùn)用3原則進(jìn)行盲元檢測(cè)。使用擬合后的曲面值替代固定基準(zhǔn)能夠消除探測(cè)器響應(yīng)非均勻性對(duì)盲元檢測(cè)的影響，提高盲元檢測(cè)的準(zhǔn)確性和有效性。進(jìn)一步開(kāi)展了驗(yàn)證實(shí)驗(yàn)和比較實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明該方法比直接運(yùn)用3原則法檢測(cè)精度更高、更有效。

紅外圖像；盲元檢測(cè)；曲面擬合；3原則

0 引言

凝視型紅外焦平面陣列（IRFPA）技術(shù)具有響應(yīng)靈敏、分辨率高、體積小、功耗低等諸多優(yōu)點(diǎn)，已在國(guó)防、民用等領(lǐng)域得到廣泛應(yīng)用。但由于制造工藝、材料等因素的影響，IRFPA器件不可避免地存在著盲元[1-2]。盲元的出現(xiàn)對(duì)于56FE像的觀察和后續(xù)任務(wù)（如識(shí)別、跟蹤）的進(jìn)行產(chǎn)生了嚴(yán)重的干擾。所以去除盲元成為紅外圖像必不可少的預(yù)處理工作。

盲元是探測(cè)器、光學(xué)系統(tǒng)、讀出電路等各種因素綜合作用的結(jié)果[3]。盲元又稱(chēng)為無(wú)效像元，包括死像元和過(guò)熱像元[4]，死元是響應(yīng)率過(guò)低的像元，過(guò)熱元是時(shí)間噪聲過(guò)高的像元?？紤]到探測(cè)器的響應(yīng)值只能在零到滿(mǎn)阱容量之間取值，響應(yīng)率過(guò)高的像元和響應(yīng)異常的像元也應(yīng)屬于盲元，因?yàn)檫@些像元會(huì)過(guò)早地趨于飽和或噪聲水平，丟失信息。盲元在成像上的表現(xiàn)為異于大部分有效像元的過(guò)亮點(diǎn)和過(guò)暗點(diǎn)，如圖1(a)所示。去除盲元分為兩步：盲元檢測(cè)和盲元補(bǔ)償。盲元補(bǔ)償基于盲元檢測(cè)，現(xiàn)有的各種補(bǔ)償方法均能達(dá)到滿(mǎn)意效果。去除盲元效果不佳大多來(lái)源于盲元檢測(cè)不完全[5]。盲元的檢測(cè)會(huì)受到系統(tǒng)噪聲和非均勻性噪聲的影響，常用的3原則檢測(cè)法[1,6]能檢測(cè)出大部分顯著的盲元，但3原則并沒(méi)有考慮非均勻性噪聲的影響，容易造成誤判。

分析了盲元和有效像元在灰度分布三維圖上的區(qū)別后，在原有3原則盲元檢測(cè)法的基礎(chǔ)上提出一種基于曲面擬合的盲元檢測(cè)方法。在分析了算法思想之后，給出了方法的效果圖，并與傳統(tǒng)3原則方法的效果進(jìn)行了比較，論證了該方法的有效性。該方法對(duì)盲元檢測(cè)的精度和數(shù)量均有提高。

1 盲元的圖像特征

盲元的檢測(cè)一般是在本底圖像上進(jìn)行的，本底圖像是探測(cè)器對(duì)均勻溫度的黑體所成的圖像，理想的本底圖像應(yīng)該是個(gè)均勻的平面，但由于紅外圖像非均勻性和盲元的存在，所以一般的本底圖像會(huì)有固定圖案和過(guò)亮、過(guò)暗點(diǎn)。圖1(a)是制冷型紅外探測(cè)器對(duì)20℃黑體所成的本底圖像。為了便于直觀地對(duì)盲元進(jìn)行觀察，我們?cè)趫D1(b)中畫(huà)出該本底圖像的灰度分布三維圖來(lái)反映像元灰度的分布情況，其中軸、軸為像元的行坐標(biāo)和列坐標(biāo)，軸為像元的灰度值。從圖中可看出大部分像元的灰度位于圖1(b)下方的一個(gè)曲面上，位于曲面上或附近的像元為有效像元。也有少數(shù)像元的灰度異常凸起或下陷，這些像元便是盲元。盲元檢測(cè)便是找出這些異常的像元。之所以在本底圖像而不是在場(chǎng)景圖像上進(jìn)行，是因?yàn)閳?chǎng)景圖像的異常凸起或下陷也可能是信息，本底圖像則可以排除信息的干擾提高準(zhǔn)確性。人眼能輕松地從灰度分布三維圖中分辨出有效像元和盲元，根據(jù)的是曲面的連續(xù)性，認(rèn)為那些不符合曲面連續(xù)性且偏離曲面太遠(yuǎn)的像元是盲元。

2 傳統(tǒng)的盲元檢測(cè)方法

目前的盲元檢測(cè)方法有：定義法[4]、雙閾值迭代法[7]、3原則檢測(cè)法[1,6]、直方圖法[8-9]、小波濾波法[1]、定標(biāo)法[3,10]等。其中小波濾波法是利用小波來(lái)增強(qiáng)盲元以便在3原則下能識(shí)別出來(lái)；直方圖法是根據(jù)在非均勻性校正后有效像元的均值和標(biāo)準(zhǔn)差等符合正態(tài)分布，對(duì)不符合此要求的像元進(jìn)行檢測(cè)；雙閾值迭代法根據(jù)的原理是有效像元的響應(yīng)隨溫度的變化呈近似線性關(guān)系，而盲元?jiǎng)t幾乎不隨溫度的改變而改變。小波濾波法和直方圖法存在計(jì)算量大，工程實(shí)施困難等缺點(diǎn)；雙閾值迭代法的缺點(diǎn)是兩個(gè)閾值的選取是直接給出的，不能做到因圖而異。定義法和3原則檢測(cè)法原理類(lèi)似，只是判斷的閾值選取不同。

3原則檢測(cè)法是先求出圖像的均值：

式中：、分別為圖像的行數(shù)和列數(shù)；(,)為坐標(biāo)(,)的像元灰度值。再根據(jù)均值求出圖像的像元灰度標(biāo)準(zhǔn)差[1]：

并計(jì)算每個(gè)像元灰度偏離均值的偏離距離(,)：

(,)＝|(,)－|(3)

判定偏離距離大于等于3的像元為盲元，即：

(,)＝|(,)－|≥3(4)

3原則檢測(cè)法的缺陷是在計(jì)算和偏離距離(,)時(shí)均采用了統(tǒng)一的恒定的基準(zhǔn)——均值。由于此時(shí)的本底圖像是有非均勻性的，即有固定圖案，在灰度分布三維圖上表現(xiàn)為曲面，不同位置起伏不一致，統(tǒng)一恒定基準(zhǔn)適用的是平面的情況，這種情況下采用統(tǒng)一恒定基準(zhǔn)容易產(chǎn)生誤判。

圖1 原始紅外圖像及其灰度分布三維圖

3 基于曲面擬合的盲元檢測(cè)算法

針對(duì)3原則法采用恒定基準(zhǔn)的缺陷，本文提出對(duì)不同像元采用不同基準(zhǔn)的方法。先對(duì)圖像進(jìn)行曲面擬合，擬合出圖像的固定圖案，即非均勻性。而像元(,)的參考基準(zhǔn)（用(,)表示）是經(jīng)過(guò)曲面擬合后位置(,)的擬合灰度值。據(jù)此計(jì)算像元灰度標(biāo)準(zhǔn)差：

然后再運(yùn)用3原則判斷盲元。用曲面擬合的灰度作為基準(zhǔn)判斷盲元能使檢測(cè)結(jié)果更準(zhǔn)確，因?yàn)槿コ斯潭▓D案（非均勻性）產(chǎn)生的誤判影響。這也是人眼能從灰度分布三維圖中判斷出盲元的思想。檢測(cè)算法的主要步驟如下：

第1步，設(shè)定曲面擬合模型。根據(jù)探測(cè)器型號(hào)和使用情況選取合適的曲面擬合模型，由于多項(xiàng)式曲面通用性比較強(qiáng)，三次曲面能夠并且足以描述曲面的曲折變化，所以此處采用一般化的三階多項(xiàng)式擬合模型：

也可根據(jù)具體情況選擇其他曲面擬合模型。

第2步，帶入圖像數(shù)據(jù)計(jì)算出多項(xiàng)式擬合系數(shù)，并求出各像素點(diǎn)的擬合灰度值。帶入數(shù)據(jù)公式則可得式：

式中：x、y為第個(gè)像元的行坐標(biāo)和列坐標(biāo)，1≤≤×；g(x,y)為第個(gè)像元的實(shí)際灰度值。把式(7)寫(xiě)成矩陣形式為：

×＝(8)

此方程至少需要10個(gè)點(diǎn)才能有唯一解，一般圖像的點(diǎn)數(shù)都遠(yuǎn)遠(yuǎn)多于10個(gè)，故可利用最小二乘求出多項(xiàng)式擬合系數(shù)＝(T)－1T，計(jì)算各像素點(diǎn)(,)的擬合灰度值，并把此作為基準(zhǔn)(,)。以圖1為例說(shuō)明這兩步，由于圖1中過(guò)亮元灰度特別高，所以在圖1(b)中顯示起來(lái)看到凸起的豎條而掩蓋了下面曲面的形狀，即固定圖案?，F(xiàn)調(diào)整灰度顯示范圍以顯示出固定圖案（曲面形狀），如圖2所示。帶入數(shù)據(jù)求出擬合系數(shù)，并根據(jù)多項(xiàng)式擬合公式計(jì)算出各像元的擬合灰度值，便可得到圖1經(jīng)曲面擬合后的灰度分布三維圖，如圖3所示。比較圖2和圖3可知，擬合后的數(shù)據(jù)很好地反應(yīng)了圖像中占大多數(shù)的有效像元的總體分布情況。因此，用曲面擬合后的數(shù)據(jù)可作為像元基準(zhǔn)數(shù)據(jù)而不是單純地使用恒定的整幅圖像平均值，可減少局部非均勻性的影響。

第3步，根據(jù)各像素點(diǎn)的灰度值(,)和基準(zhǔn)(,)，由式(5)求出像元灰度標(biāo)準(zhǔn)差。

第4步，檢測(cè)盲元。應(yīng)用3原則，認(rèn)為滿(mǎn)足公式的像元(,)為盲元：

(,)＝|(,)－(,)|≥3(9)

記錄下各盲元的位置以待后續(xù)的盲元補(bǔ)償。此處檢測(cè)的盲元既包括過(guò)亮元，也包括過(guò)暗元（死元）。為了進(jìn)一步提高檢測(cè)精度和數(shù)量，仿照國(guó)標(biāo)中的檢測(cè)方法中的迭代思想[4]，用去除已檢測(cè)出的盲元后的數(shù)據(jù)重新再擬合、檢測(cè)，只是此時(shí)圖像的像元灰度標(biāo)準(zhǔn)差變?yōu)椋?/p>

式中：為已檢測(cè)出的盲元的數(shù)量，后面的求和也不包括盲元，迭代直至不能檢測(cè)出新盲元為止。

總結(jié)上面的檢測(cè)步驟可得基于曲面擬合的盲元檢測(cè)方法的流程圖如圖4所示。

4 實(shí)驗(yàn)結(jié)果與分析

根據(jù)3節(jié)中描述的盲元檢測(cè)算法，對(duì)有盲元的圖像（圖1）進(jìn)行檢測(cè)并用8鄰域高斯補(bǔ)償方法進(jìn)行盲元補(bǔ)償，高斯補(bǔ)償是用鄰域中非盲元灰度值的加權(quán)和來(lái)替代盲元灰度值，權(quán)值為距離的高斯函數(shù)值。檢測(cè)的結(jié)果數(shù)量如表1，檢測(cè)出的盲元集合和補(bǔ)償后圖像的灰度分布三維圖如圖6所示，左側(cè)顯示了檢測(cè)出的所有325個(gè)盲元，右側(cè)為已補(bǔ)償后的圖像的灰度分布三維圖，從圖中可以看出圖2中異常凸起和下陷的盲元已得到充分檢測(cè)和恰當(dāng)補(bǔ)償。本文還做了與直接運(yùn)用3原則法的比較實(shí)驗(yàn)，來(lái)驗(yàn)證本文方法的有效性和準(zhǔn)確性，表1還列出了直接運(yùn)用3原則法檢測(cè)出的盲元數(shù)，從數(shù)量上說(shuō)明本文方法的有效性。準(zhǔn)確性方面，圖5給出了參考文獻(xiàn)[6]中介紹的3原則法得到的盲元集合和對(duì)盲元補(bǔ)償后的灰度分布三維圖，與圖6對(duì)比可以看出3原則法對(duì)許多不顯著的盲元沒(méi)能檢測(cè)出，而本文方法多檢測(cè)出的部分盲元恰為3原則法沒(méi)能檢測(cè)出的不顯著的盲元。也說(shuō)明了直接運(yùn)用3原則有漏判的現(xiàn)象。表1中第2列給出的是先經(jīng)過(guò)非均勻性校正后用兩種盲元檢測(cè)方法檢測(cè)盲元并補(bǔ)償?shù)玫降木鶆驁D像的方差，本文方法的方差為6.3953，是因?yàn)樘綔y(cè)器探測(cè)信號(hào)有一定程度的噪聲水平。由于所用的探測(cè)器的規(guī)模是320×256，有81920個(gè)像元，3原則法方差多出的1.2說(shuō)明有大量盲元沒(méi)有被檢測(cè)出。

圖2 調(diào)整灰度顯示范圍后的灰度分布三維圖

圖3 經(jīng)曲面擬合后的灰度分布三維圖

圖4 本文方法的流程圖

表1 盲元檢測(cè)結(jié)果統(tǒng)計(jì)

圖5 由文獻(xiàn)[6]得到的盲元集合及其灰度分布三維圖

圖6 由本文方法得到的盲元集合及其灰度分布三維圖

圖7(a)顯示的是檢測(cè)并去除盲元后的效果圖，與圖1對(duì)比即可看出原圖中過(guò)亮和過(guò)暗的像元被準(zhǔn)確檢測(cè)出并得到了合理補(bǔ)償，只剩下了固定圖案噪聲，效果更適合人眼觀察和后續(xù)處理。圖7(b)顯示的是圖7(a)經(jīng)過(guò)非均勻性校正之后的圖像，去掉了固定圖案噪聲，還原成均勻的本底圖像。

驗(yàn)證實(shí)驗(yàn)和比較實(shí)驗(yàn)表明，本文提出的盲元檢測(cè)方法能較好地將盲元檢測(cè)出來(lái)，且在檢測(cè)精度和數(shù)量上優(yōu)于3s原則和國(guó)家標(biāo)準(zhǔn)中的盲元檢測(cè)方法。

圖7 本文方法效果圖

5 結(jié)論

分析了盲元與有效像元在灰度分布三維圖上的區(qū)別，介紹了3原則檢測(cè)盲元的思想，并在此基礎(chǔ)上提出了一種基于曲面擬合的盲元檢測(cè)方法。然后給出了算法的主要步驟，演示了算法的效果圖，并把它與原3原則法的效果進(jìn)行對(duì)比，證明了該方法的有效性，該方法在提高盲元檢測(cè)的準(zhǔn)確性和數(shù)量上優(yōu)于原3原則法。

[1] 張科, 趙桂芳, 崔瑞青, 等. 一種提高紅外焦平面陣列盲元檢測(cè)精度的方法[J]. 紅外與激光工程, 2007, 36(4): 453-456.

ZHANG Ke, ZHAO Gui-fang, CUI Rui-qing, et al. Method of improving bad pixel detection precision ofIRFPA[J]., 2007, 36(4): 453-456.

[2] SCRIBNER D A, KRUER M R, GRIDLEY C J. Measurement, characterization and modeling of noise in staring infrared focal plane array[C]//, 1987, 782: 147-160.

[3] 隋修寶, 陳錢(qián), 顧國(guó)華, 等. 紅外焦平面陣列盲元檢測(cè)算法[J]. 光電工程, 2008(8): 107-111.

Sui Xiubao, Chen Qian, Gu Guohua, et al. Algorithm of blind pixels detection for IRFPA[J]., 2008(8): 107-111.

[4] GB/T 17444-2013. 紅外焦平面陣列參數(shù)測(cè)試方法[S]. 北京: 中國(guó)標(biāo)準(zhǔn)出版社, 2013.

GB/T 17444-2013. Measuring methods for parameters of infrared focal plane arrays[S]. Beijing: China Standards Press, 2013.

[5] Dierickx B, Meynants G. Missing pixel correction algorithm for image sensors[C]//, 1998, 3410: 200-203.

[6] 劉會(huì)通, 馬紅偉. 紅外焦平面非均勻性校正若干方案的設(shè)計(jì)和分析[J]. 激光與紅外, 2003(4): 277-279.

Liu Huitong, Ma Hongwei. Design and analysis of schemes for nonuniformity correction of IRFPA[J]., 2003(4): 277-279.

[7] 周慧鑫, 魏亞姣, 秦翰林, 等. 采用雙閾值的非制冷IRFPA盲元迭代檢測(cè)算法[J]. 紅外與激光工程, 2011, 40(5): 795-799.

Zhou Huixin, Wei Yajiao, Qin Hanlin, et al. Blind-pixel iterative detection algorithm based on double threshold for uncooled IRFPA[J]., 2011, 40(5): 795-799.

[8] 石巖, 毛海岑, 張?zhí)煨? 等. 一種新的基于特征直方圖分解的紅外焦平面陣列無(wú)效像元判別方法[J]. 紅外與毫米波學(xué)報(bào), 2005, 24(2): 119-124.

Shi Yan, Mao Haicen, Zhang Tianxu, et al. New approach of IRFPA non-effective pixel discrimination based on pixel's characteristics histogram analysis[J]., 2005, 24(2): 119-124.

[9] 張紅輝, 羅海波, 余新榮, 等. 采用特征直方圖的紅外焦平面陣列盲元檢測(cè)方法[J]. 紅外與激光工程, 2014(6): 1807-1811.

Zhang Honghui, Luo Haibo, Yu Xinrong, et al. Blind-pixel detection algorithm for IRFPA by applying pixel's characteristics histogram analysis[J]., 2014(6): 1807-1811.

[10] 周慧鑫, 殷世民,劉上乾, 等. 紅外焦平面器件盲元檢測(cè)及補(bǔ)償算法[J]. 光子學(xué)報(bào), 2004(5): 598-600.

Zhou Huixin, Yin Shimin, Liu Shangqian, et al. Algorithm of blind pixels auto-searching and compensation for IRFPA[J]., 2004(5): 598-600.

Detection Method for Infrared-image Blind Pixels Based on Curved-surface Fitting

ZHANG Beiwei，CAO Jiangtao，CONG Qiumei

(,, Fushun 113001, China)

Aiming at solving the problem that the traditional blind-pixel detection methods for infrared images use the fixed detection threshold and could not give consideration to global non-uniformity, a blind-pixel detection method based on curved-surface fitting is proposed. Firstly, the analyzation of the difference between effective pixels and blind pixels was conducted in the 3D distribution of grayscale. Then the curved-surface fitting method based on the whole background image was put forward, and the fitted surface values could be used afterward as the benchmark to detect blind pixels with the 3sprinciple. Using fitting values instead of a fixed benchmark can eliminate the influence that the non-uniformity noise of the detector brings to the blind-pixel detection, and improve the accuracy and effectiveness of blind-pixel detection. Then the verified experiment and comparison experiment were carried out, and the experimental result shows that the proposed method is more effective and precise as compared to directly using the 3sprinciple.

infrared image，blind pixels detection，curved surface fitting，3principle

TN215

A

1001-8891(2017)11-1007-05

2016-05-23；

2016-12-05.

張北偉（1984-），女，博士，講師，研究方向?yàn)槟Ｊ阶R(shí)別及圖像處理，目標(biāo)識(shí)別與跟蹤，認(rèn)知無(wú)線電。

國(guó)家自然科學(xué)基金資助項(xiàng)目（61203021）。