張秋旋,王瑋冰,2,李 佳
?
基于補償算法的紅外探測器非均勻性校正
張秋旋1,王瑋冰1,2,李 佳1
(1. 中國科學(xué)院微電子研究所,北京 100020;2. 昆山光微電子有限公司,江蘇 蘇州 215300)
由于工藝條件的限制,紅外焦平面探測器各像元的非均勻性嚴重影響了紅外圖像質(zhì)量,由紅外焦平面非均勻性所導(dǎo)致的成像效果變差的問題已成為制約紅外成像技術(shù)應(yīng)用的瓶頸?;贔PGA為數(shù)據(jù)處理核心的硬件平臺,采用領(lǐng)域平均算法結(jié)合加權(quán)濾波算法以及溫度補償算法依次實現(xiàn)了對紅外圖像的盲元校正與實時補償處理。實驗結(jié)果表明此算法能夠?qū)崟r處理圖像補償過程中產(chǎn)生的大量數(shù)據(jù),顯著地提高了紅外圖像質(zhì)量,并且僅用FPGA完成所有數(shù)據(jù)處理,構(gòu)成了精簡的最小系統(tǒng),有效地降低了成本。
紅外焦平面;非均勻性校正;補償算法;FPGA
理想情況下,在紅外焦平面陣列各像素點受到相同輻照下,各像素的輸出電壓值應(yīng)相同。但因溫度對紅外探測器成像具有一定影響,而實際紅外成像的過程中紅外探測器需要長期暴露在外界環(huán)境中,因此探測器表面溫度會隨著環(huán)境溫度和時間累積發(fā)生變化,變化的探測器基底溫度影響著各像素點輸出響應(yīng)值的大小,使各像元在均勻輻照下由于基底溫度不同而產(chǎn)生不同的輸出響應(yīng),即紅外焦平面陣列非均勻性,非均勻性嚴重影響了圖像質(zhì)量并且限制了紅外探測器的應(yīng)用。因此,紅外焦平面非均勻性的有效校正是不可避免的技術(shù)問題[1-3]。
為了實現(xiàn)最佳的校正效果,本文采用盲元補償算法剔除陣列中的過熱像元和未響應(yīng)像元,通過分析探測器基底溫度與探測器輸出響應(yīng)之間的關(guān)系,將經(jīng)過盲元補償算法輸出的探測器有效數(shù)據(jù)進行溫度補償,消除探測器基底溫度對各像元輸出電壓的影響。設(shè)計基于FPGA為數(shù)據(jù)處理核心的硬件平臺,并結(jié)合片外FLASH與SDRAM完成補償校正方案,有效解決了紅外焦平面陣列各像元輸出的非均勻性問題。
盲元是指紅外焦平面探測器中響應(yīng)率過高和過低的像素點。若探測器中存在過多盲元則會導(dǎo)致紅外圖中出現(xiàn)大量黑白噪點,影響紅外圖像效果。溫度補償算法無法消除盲元影響,為了保證后期成像效果系統(tǒng)需先對探測器輸出進行盲元補償[4-5]。
當(dāng)前主流的盲元補償算法是線性插值法。算法采用盲像元相鄰的同一行或者同一列中的2個像素點或4個像素點數(shù)據(jù)進行線性插值計算,若(,)為盲元像素點,其中為探測器陣列的行數(shù),為探測器陣列的列數(shù)。采用同列間兩點進行線性插值法,則校正后的盲元輸出數(shù)據(jù)為:
(,)=[(,-1)+(,+1)] (1)
但是傳統(tǒng)的補償算法并未對連續(xù)盲元的情況進行考慮,若探測器同一列中出現(xiàn)3個連續(xù)盲元,則此方法校正效果不理想[6-7]。
為了克服上述方案的不足,本文在傳統(tǒng)算法上進行了改進。在探測器輸出連續(xù)盲元的條件下,讀取盲元同一列中相鄰的非盲像素輸出數(shù)據(jù),并根據(jù)其據(jù)盲元的距離調(diào)整加權(quán)系數(shù)實現(xiàn)線性插值計算,以此來達到最佳的盲元補償效果。
1)選取相鄰列:若盲元(,)的相鄰像素點(,+1)和(,-1)不是盲元,則用數(shù)據(jù)(,+1)和(,-1)完成線性插值算法;若像素點(,+1)和(,-1)其中有一個為盲元點,則向前或向后遞增或遞減一個像素點。
2)選取加權(quán)系數(shù):通過選取的像素點與盲元的相關(guān)性確定加權(quán)系數(shù)的值。若未出現(xiàn)連續(xù)盲元的情況,則盲元補償輸出為:
(,)=*(,-1)+*(,+1) (2)
考慮2個像素點對中間列的影響相同,則==1/2。
若左側(cè)相鄰像素點為盲元,則盲元補償輸出為:
(,)=*(,-2)+*(,+1) (3)
考慮到(-2)與(+1)與()的相關(guān)性,?。?/4,=3/4。為了便于算法的硬件實現(xiàn),選取公式中的除數(shù)為2的冪次。
1.3.1 溫度補償介紹
從制作成本等方便考慮,本文采用的紅外探測器為非制冷型紅外焦平面探測器。探測器基底溫度易受環(huán)境溫度和電路工作溫度的影響,變化的基底溫度會影響整體非均勻性關(guān)系,導(dǎo)致紅外成像效果不理想。因此需要消除探測器基底溫度影響,改善紅外探測器輸出非均勻性[8]。
對于基底溫度變化的影響,傳統(tǒng)方案一般采用添加半導(dǎo)體制冷機實現(xiàn),但是其工作時產(chǎn)生較高的功耗,甚至超過探測器的自身功耗,這與現(xiàn)在低功耗的設(shè)計方向不符[9]。目前的方案是設(shè)計溫度補償電路抵消探測器輸出非均勻性,但輸出響應(yīng)中仍有部分誤差被放大,沒有達到最優(yōu)的非均勻性校正效果[10-11]。
考慮到以上方案的不足,本文通過分析紅外探測器基底溫度與輸出響應(yīng)之間的關(guān)系,如圖1所示,提出了基于溫度補償?shù)男U惴?。溫度補償算法包括標(biāo)定和計算兩部分,標(biāo)定過程通過擬合不同探測器基底溫度下探測器輸出響應(yīng)的數(shù)據(jù),得到基底溫度與探測器響應(yīng)函數(shù)關(guān)系(),其中為探測器表面溫度。以25℃為基準(zhǔn)溫度,則可構(gòu)建溫度補償函數(shù)。計算過程中實時監(jiān)測并輸出探測器的基底溫度,將每個像元實時溫度下的輸出響應(yīng)與補償函數(shù)相加,以此排除基底溫度變化對探測器輸出電壓的影響。此算法易實現(xiàn),實時性強,適合實時對系統(tǒng)進行非均勻性校正。
圖1 探測器基底溫度與電壓輸出關(guān)系圖
Fig.1 Target surface temperature and voltage output
1.3.2 溫度補償原理
標(biāo)定過程中,需要通過離散的各數(shù)據(jù)點作出擬合曲線,常用的擬合方式有:通過各數(shù)據(jù)點對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,進而得出最佳擬合系數(shù)的神經(jīng)網(wǎng)絡(luò)算法[12];借助泰勒級數(shù)展開進行逐次逼近近似估計的牛頓迭代法[12]和在數(shù)據(jù)偏差平方和最小的條件下進行曲線擬合的最小二乘法[14-15]??紤]到系統(tǒng)計算量和計算速度,本文采用了最小二乘法進行曲線擬合,其過程如下:
在不同探測器表面溫度下,測出探測器輸出響應(yīng),即獲得各數(shù)據(jù)點(x,y)的值,其中為探測器表面溫度,為該溫度下探測器輸出電壓。設(shè)置探測器輸出電壓與探測器表面溫度的擬合曲線:
()=22+1+0(4)
式中:0,1,2為溫度補償系數(shù)
采集各數(shù)據(jù)點到擬合曲線()的距離,并計算出距離的偏差平方和:
根據(jù)最小二乘法擬合曲線原理,當(dāng)偏差平方和達到最小值時,可得到近似擬合曲線()。為了得到的最小值,采用對求偏導(dǎo)求極值的方式,即:
進一步計算,得:
用矩陣表示為:
公式(8)存在唯一解,通過計算可解出0,1,2的值,將其帶入到公式(4)中得出輸出電壓與探測器表面溫度的關(guān)系曲線。
計算過程中根據(jù)公式(4)得到補償函數(shù)(),其中為基準(zhǔn)溫度,為探測器表面溫度,得:
()=()-() (9)
代入公式(4)進行計算,得:
()=22+1+0-(22+1+0) (10)
進一步計算化簡,得:
()=2(+)(-)+1(-) (11)
通過補償函數(shù)計算出的補償值()與探測器輸出的響應(yīng)值相加,得到溫度校正后的圖像數(shù)據(jù)。
校正算法的優(yōu)劣直接影響著紅外成像的效果。為了得到最優(yōu)的非均勻性校正效果,校正模塊主要從盲元和探測器基底溫度兩方面進行校正,即盲元補償模塊接受AD轉(zhuǎn)換數(shù)據(jù)并輸出有效的探測器響應(yīng),溫度補償模塊對有效的響應(yīng)進行校正。
盲元補償?shù)膶崿F(xiàn)流程如圖2所示,為了提高運算速率,調(diào)用FPGA中的ROM僅對一行探測器輸出數(shù)據(jù)進行存儲。檢測到盲元數(shù)據(jù)后開啟盲元補償模塊,當(dāng)其相鄰點非盲元時調(diào)用計算公式(2)并且列計數(shù)加一,檢測完一行數(shù)據(jù)時清空ROM,重新存儲下一行數(shù)據(jù)。若相鄰像素點為盲元時繼續(xù)讀取下一個數(shù)據(jù)直至讀取到第一個非盲數(shù)據(jù),調(diào)用計算公式(3)并且列計數(shù)加一,一行數(shù)據(jù)監(jiān)測完成時清空ROM中存儲的數(shù)據(jù)。整個補償過程在FPGA中完成,通過公式計算的輸出數(shù)據(jù)即為盲元補償后的探測器有效輸出響應(yīng)。
溫度補償?shù)挠布Y(jié)構(gòu)如圖3所示。在標(biāo)定過程中探測器基底溫度輸出通過FPGA控制I2C芯片ADS1112轉(zhuǎn)換為16位數(shù)字信號。FPGA將盲元補償輸出數(shù)據(jù)與溫度值傳輸?shù)絇C端,PC端通過MATLAB計算出每個像素點的擬合曲線系數(shù)并將系數(shù)生成表格的形式。將系數(shù)表燒寫到FLASH中,并設(shè)置Flash寄存器地址為0x19,偏移地址的大小為16bit,包括讀寫標(biāo)志,讀寫控制和各像元對應(yīng)數(shù)據(jù)等信息。紅外探測器初始化之后將FLASH中的數(shù)據(jù)存入到DDR中,在使能信號控制下與探測器輸出的數(shù)據(jù)進行運算。
圖2 盲元補償流程圖
Fig.2 Bad pixel correction
計算過程中讀取DDR中的校正表數(shù)據(jù),由于DDR傳輸數(shù)據(jù)的時鐘頻率為108M,數(shù)據(jù)處理的時鐘頻率為54M,2個時鐘異步,為了防止亞穩(wěn)態(tài)的產(chǎn)生,采用FIFO控制器對數(shù)據(jù)進行讀取。調(diào)用FPGA內(nèi)部乘法器進行補償函數(shù)的計算,在探測器輸出數(shù)據(jù)有效時,用盲元補償數(shù)據(jù)加上補償函數(shù),則消除非均勻性對探測器輸出的影響。
圖3 溫度補償
采集紅外探測器校正前后的輸出數(shù)據(jù)進行對比,本文選取一幀中各像元輸出電壓平均值為參考,做出圖像校正前后每幀平均輸出電壓與探測器基底溫度的關(guān)系圖。由圖4對比可知,未經(jīng)過校正處理的系統(tǒng)每幀平均輸出電壓變化隨基底溫度升高變化較大,在20℃到44℃的靶面溫度范圍內(nèi),每幀平均輸出電壓相差1.4V,嚴重影響探測器成像質(zhì)量。由圖可知通過補償算法對探測器輸出響應(yīng)進行校正后,探測器輸出電壓平均值隨溫度升高變化減緩,每幀平均輸出電壓相差0.2V,探測器輸出響應(yīng)得到有效改善。
圖4 校正前后對比
圖5 校正前后非均勻性對比
探測器輸出圖像如圖6所示,(a)為紅外探測器基底溫度升高到35°時探測器原始輸出圖像,由圖可知圖像存在黑色噪點并且圖像邊緣受探測器基底溫度影響,細節(jié)不明顯。(b)為紅外探測器表面溫度升高到35°時經(jīng)過盲元補償算法的輸出圖像,可以看出壞點數(shù)量明顯減少。(c)為紅外探測器基底溫度升高到35°時進過盲元校正和溫度補償后的探測器輸出圖像,可看出圖像更加平滑,細節(jié)得到了明顯增強,說明了校正算法具有良好的效果。
本文以FPGA作為系統(tǒng)核心硬件平臺,提出了采用補償算法對紅外焦平面陣列的非均勻性進行校正。盲元補償算法首先得到探測器的有效輸出數(shù)據(jù),其次溫度補償算法消除探測器基底溫度對輸出響應(yīng)的影響,與傳統(tǒng)校正方案相比,此算法具有穩(wěn)定性和實時性的優(yōu)點。實驗結(jié)果表明,經(jīng)過校正后盲元數(shù)量明顯減少,圖像分辨率提高,補償算法校正效果良好。
圖6 校正前后圖像對比
Fig.6 The non-uniformity picture before and after correction
[1] 史浩然, 李召龍, 沈同圣. 紅外焦平面陣列非均勻性的校正方法研究[J]. 激光與紅外, 2016, 12(2): 204-208.
SHI Haoran, LI Zhaolong, SHEN Tongsheng. Research on nonuniformity correction of infrared focal plane array[J]., 2016, 12(2): 204-208.
[2] 呂游, 何昕, 魏仲慧. 紅外焦平面陣列非均勻性算法研究[J]. 計算機技術(shù)與發(fā)展, 2015(2): 1-5.
LV you, HE Xin, WEI Zhonghui. Reseach on non-uniformity correction algorithms for IRFPA[J]., 2015(2): 1-5.
[3] Tones S.N., Hayat M.M.. Kalman Filtering for Adapative Nonuiformity Corrrection in Infrared Focal Plane Arrays[J]., 2003, 20(3): 470-480.
[4] Zuo C, Chen Q, Gu G, et al. Scene-based nonuniformity correction algorithm based on interframe registration.[J]., 2011, 28(6):1164-76.
[5] 安廣齊, 趙剡, 張海峰. 紅外探測器盲元檢測及補償[J]. 航空兵器, 2016, 41(3): 54-58.
AN Guangqi, ZHAO Yan, ZHANG Haifeng. Blind pixel detection and compensation of infrared detector[J]., 2016, 41(3): 54-58.
[6] Goma J, Aleksic M. Bad pixel location algorithm for cell phone cameras[J]., 2007, 6502: 650-655.
[7] 王少白, 王春鴻, 饒長輝. 點源目標(biāo)質(zhì)心探測中單個盲元線性插值補償算法選取[J]. 紅外與激光工程, 2012, 41(8): 2156-2161.
WANG Shaobai, WANG Chunhong, RAO Changhui, Linear interpolation compensation algorithms of single blind pixel for point source centroid detection[J]., 2012, 41(8): 2156-2161.
[8] 趙斌, 王建華. 基于PSO-BP的紅外溫度傳感器環(huán)境溫度補償[J]. 傳感器與微系統(tǒng), 2015, 30(2): 47-49.
ZHAO Bin, WANG Jianhua. Ambient temperature compensation of infrared temperature sensor based on PSO-BP[J]., 2015, 30(2): 47-49.
[9] CHEN Baoguo, FAN Yangyu, ZHANG Xuefeng, et al. Moving scene based nonuniformitycorrection algorithm[C]//, 2012, 8419: 1-6.
[10] Calvano J V, Alves V C, Lubaszewski M. Fault detection methodology and BIST method for 2nd order Butterworth, Chebyshev and Bessel filter approximations[C]//,, 2000: 319-324.
[11] 陳西曲, 李祥輝, 易新建. 新型無TEC的非制冷IRFPA讀出電路研究[J]. 紅外與激光工程, 2006, 35(5): 551-554.
CHEN Xiqu, LI Xianghui, YI Xinjian, et al. New readout circuit of uncooled infrared focal plane arrays without TEC[J]., 2006, 35(5): 551-554.
[12] 喬冰琴, 常曉明. 改進粒子群算法在BP神經(jīng)網(wǎng)絡(luò)擬合非線性函數(shù)方面的應(yīng)用[J]. 太原理工大學(xué)學(xué)報, 2012, 43(5): 558-563.
QIAO Bingqin, CHANG Xiaoming. Application of Improved PSO in Fitting Nonlinear Function by the BP Neural Network[J]., 2012, 43(5): 558-563.
[13] 云磊. 牛頓迭代法的MATLAB實現(xiàn)[J]. 信息通信, 2011, 116(6): 20-22.
YUN Lei. MATLAB implementation of Newton’s method[J]., 2011, 116(6): 20-22.
[14] 丁克良, 沈云中, 歐吉坤. 整體最小二乘法直線擬合[J]. 遼寧工程技術(shù)大學(xué)學(xué)報, 2010, 29(1): 44-47.
DING Keliang, SHENG Yunzhong, OU Jikun. Methods of line-fitting based on total least-squares[J]., 2010, 29(1): 44-47.
[15] CHEN Baoguo, FAN Yangyu, ZHANG Xuefeng, et al. Moving scene based nonuniformity correction algorithm[C]//, 2012, 8419: 1-6.
Non-uniformity Correction of Infrared Detector Based on Compensation Algorithm
ZHANG Qiuxuan1,WANG Weibing1,2,LI jia1
(1.,100020,; 2.,215300,)
Due to the limitations of the process conditions, the non-uniformity of each pixel in an infrared focal plane detector significantlyaffects the quality of the infrared image. The problem of imaging effect, caused by the non-uniformity of the infrared focal plane, has become a bottleneck in the application of infrared imaging technology.Using FPGA as the hardware platform fordata processing, the blind algorithm and real-time compensation processing of infrared imagesare realized by using a domain-averaging algorithm in combinationwith weighted filtering algorithm and temperature compensation algorithm. The experimental results show that this algorithm can deal with the large amount of data generated duringthe image compensation process in real time and improve the quality of the infrared imagesignificantly. All the data processing is completed by the FPGA, which results in a minimum system with reduced cost.
IRFPA,Nonuniformity Correction,compensation algorithm,F(xiàn)PGA
TN215
文獻識別碼:A
1001-8891(2017)07-0621-05
2016-12-13;
2017-04-18.
張秋旋(1992-),女,天津市人,碩士研究生,研究方向為MEMS紅外傳感器。
國家863計劃(2015AA042605);國家自然科學(xué)基金面上項目(61370044);中科院-北大率先合作團隊資助經(jīng)費(201510280052)。