梁 超,馬天翔
(中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林 長(zhǎng)春 130033)
?
基于黑體標(biāo)定的紅外圖像非均勻性校正系統(tǒng)設(shè)計(jì)
梁超*,馬天翔
(中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林 長(zhǎng)春 130033)
為提高某中波紅外探測(cè)器的圖像質(zhì)量,設(shè)計(jì)了基于FPGA的紅外圖像實(shí)時(shí)處理系統(tǒng), 系統(tǒng)能夠完成實(shí)時(shí)的非均勻性校正與盲元補(bǔ)償處理。介紹了目前常用的非均勻性校正、盲元識(shí)別和補(bǔ)償算法,并結(jié)合實(shí)際工程需求采用多點(diǎn)法進(jìn)行非均勻性校正以及8點(diǎn)平均法進(jìn)行盲元補(bǔ)償。在仿真實(shí)驗(yàn)成功的基礎(chǔ)上,基于FPGA平臺(tái)構(gòu)建了硬件平臺(tái)。系統(tǒng)可以實(shí)現(xiàn)系數(shù)自定義更新,可以手動(dòng)或自動(dòng)完成非均勻性較正系數(shù)計(jì)算,以及實(shí)現(xiàn)盲元列表的自動(dòng)更新操作。利用某國(guó)產(chǎn)中波紅外探測(cè)器對(duì)處理系統(tǒng)進(jìn)行了測(cè)試試驗(yàn),實(shí)驗(yàn)結(jié)果表明:校正后圖像非均勻性<0.3%,盲元率<0.001%。系統(tǒng)工作穩(wěn)定、可靠,圖像處理滿足實(shí)時(shí)性和精度要求。
紅外探測(cè)器;非均勻性校正;盲元補(bǔ)償
作為紅外成像系統(tǒng)的核心器件,紅外探測(cè)器的性能將直接影響整個(gè)系統(tǒng)的成像質(zhì)量。由紅外器件自身物理特性以及工作環(huán)境等原因所引起的非均勻性問(wèn)題是制約紅外成像系統(tǒng)性能的最主要因素[1-2]。紅外成像非均勻性的來(lái)源和成因有很多,探測(cè)器各像元響應(yīng)不一致、1/f噪聲、讀出電路、光學(xué)系統(tǒng)以及環(huán)境溫度的變化都會(huì)導(dǎo)致成像的不均勻[3]。因此,為提高探測(cè)器的成像質(zhì)量與系統(tǒng)的探測(cè)性能,必須進(jìn)行非均勻性校正。
目前業(yè)內(nèi)主流的紅外非均勻性校正算法可分為兩類:一類是基于黑體輻射定標(biāo)的非均勻性校正算法,主要包括單點(diǎn)校正、兩點(diǎn)法以及多點(diǎn)法;另外一類是基于場(chǎng)景的非均勻性校正算法,主要包括高通濾波法、人工神經(jīng)網(wǎng)絡(luò)法、卡爾曼濾波法和恒定統(tǒng)計(jì)平均法等。其中,基于場(chǎng)景的非均勻性校正算法大多處于實(shí)驗(yàn)室仿真階段或者在硬件實(shí)現(xiàn)上存在一定的問(wèn)題,并且算法的環(huán)境適應(yīng)性存在著很大的限制[4-9]。相對(duì)而言,基于黑體輻射定標(biāo)的非均勻性校正算法在其可實(shí)現(xiàn)性、實(shí)時(shí)性以及算法的運(yùn)算速度等方面更具優(yōu)勢(shì),更適合于硬件實(shí)現(xiàn)和工程應(yīng)用。因此,本文采用多點(diǎn)法完成紅外圖像的非均勻性校正處理。
采用Xilinx公司生產(chǎn)的Spartan-6系列FPGA芯片XC6SLX150作為主處理器,完成紅外圖像的接收、實(shí)時(shí)非均勻性校正處理以及盲元補(bǔ)償,具有非均勻性較正系數(shù)、盲元列表自動(dòng)更新、多種模式圖像輸出等功能。經(jīng)過(guò)多次試驗(yàn)驗(yàn)證,系統(tǒng)工作穩(wěn)定可靠,圖像處理效果良好,實(shí)時(shí)性和處理精度滿足需求。
圖1為紅外圖像處理系統(tǒng)的結(jié)構(gòu)示意圖。系統(tǒng)主要由圖像接收模塊、FLASH和SRAM驅(qū)動(dòng)模塊、非均勻性校正模塊、盲元補(bǔ)償模塊、圖像輸出模塊、系數(shù)更新模塊以及系統(tǒng)控制模塊組成。
圖1 圖像處理系統(tǒng)原理圖 Fig.1 Schematic of image processing system
系統(tǒng)工作的基本原理為:紅外探測(cè)器輸出的圖像數(shù)據(jù)經(jīng)過(guò)圖像接收模塊后緩存至FPGA的DRAM中,系統(tǒng)控制模塊根據(jù)當(dāng)前工作的溫度區(qū)間選擇適用的非均勻性校正系數(shù)段,隨后非均勻性校正模塊從片內(nèi)DRAM中讀取圖像數(shù)據(jù),從SRAM中讀取對(duì)應(yīng)像元的非均勻性較正系數(shù),并進(jìn)行非均勻性校正處理,將處理結(jié)果輸出至盲元補(bǔ)償模塊,根據(jù)周圍8個(gè)像元的情況進(jìn)行盲元補(bǔ)償,最后將處理后的圖像數(shù)據(jù)進(jìn)行輸出。可通過(guò)串口指令選擇輸出原始圖像或處理后圖像,在進(jìn)行系數(shù)更新時(shí),通過(guò)串口指令控制系統(tǒng)完成相應(yīng)溫度節(jié)點(diǎn)圖像的存儲(chǔ),待所有溫度下的圖像都存儲(chǔ)完成后,系統(tǒng)開(kāi)始進(jìn)行非均勻性校正系數(shù)計(jì)算和更新操作,同時(shí)完成相應(yīng)溫度區(qū)間內(nèi)的盲元識(shí)別。圖2為圖像處理系統(tǒng)軟件工作流程圖。
圖2 圖像處理系統(tǒng)軟件工作流程圖 Fig.2 Software workflow chart of image processing system
系統(tǒng)各模塊設(shè)計(jì)相對(duì)獨(dú)立,通過(guò)調(diào)整輸入輸出模塊的圖像傳輸協(xié)議即可適用于不同的探測(cè)器成像系統(tǒng)中,具有較高的可移植性。
3.1多點(diǎn)非均勻性校正算法
紅外探測(cè)器的像元響應(yīng)在工作溫度范圍內(nèi)線性較好時(shí)可將其從低溫到高溫的響應(yīng)近似為斜率和偏移量都不同的直線簇,如圖3所示。在光照度為φ的條件下,紅外探測(cè)器中第(i,j)個(gè)像元的響應(yīng)輸出為:
(1)
式中,(i,j)是探測(cè)器像元對(duì)應(yīng)的坐標(biāo),φs是對(duì)應(yīng)像元接收到的光子流,Ri,j和Bi,j分別對(duì)應(yīng)增益量和偏移量。
圖3 紅外探測(cè)器像元響應(yīng)曲線 Fig.3 Response curves of infrared detector image element
根據(jù)式(1)所示,探測(cè)器像元在低溫和高溫黑體輻射條件下的響應(yīng)分別為:
(2)
(3)
由于每個(gè)像元的輸出響應(yīng)曲線都不同,因此在相同的輻射條件下會(huì)表現(xiàn)出紅外圖像的非均勻性。進(jìn)行非均勻性校正的目的就是將上述直線簇通過(guò)改變?cè)鲆媪亢推屏康姆绞绞蛊渲睾?,最終使探測(cè)器各像元在校正溫度范圍內(nèi)表現(xiàn)出相同的響應(yīng)值,如圖4所示。
圖4 增益校正和偏移校正 Fig.4 Gain correction and offset correction
將高溫和低溫輻射條件下各像元的響應(yīng)進(jìn)行時(shí)間和空間平均后可以得到一條期望的響應(yīng)曲線,如圖4(b)所示。該曲線對(duì)各像元的原始響應(yīng)曲線進(jìn)行增益修正和偏移修正。若設(shè)校正后像元輸出響應(yīng)為P,增益量修正系數(shù)為G,偏移量修正系數(shù)為O,則單個(gè)像元進(jìn)行非均勻性校正后的輸出響應(yīng)如下式:
(4)
(5)
由式(4)、式(5)可計(jì)算出探測(cè)器各像元的非均勻性校正增益修正系數(shù)G和偏移修正系數(shù)O,如式(6)、式(7)所示。
(6)
(7)
這樣,根據(jù)式(6)、式(7),對(duì)探測(cè)器像元的原始響應(yīng)只需要一次乘法運(yùn)算和一次加法運(yùn)算即可完成探測(cè)器的兩點(diǎn)法非均勻性校正[10-13]。
兩點(diǎn)校正算法是應(yīng)用最為普遍的一種非均勻性校正算法,其計(jì)算量小、實(shí)現(xiàn)簡(jiǎn)單、實(shí)時(shí)性和適用性較好,但由于探測(cè)器的響應(yīng)曲線是近似線性,因此其溫度適用范圍和校正精度存在著一定的矛盾。多點(diǎn)校正法則很好地解決了這個(gè)問(wèn)題,在兩點(diǎn)法的基礎(chǔ)上增加一部分硬件即可在保證溫度適用范圍的前提下提高校正精度。多點(diǎn)校正算法是將紅外探測(cè)器的像元響應(yīng)曲線按照工作的溫度區(qū)間近似分為多個(gè)線性段的折線,在每個(gè)溫度區(qū)間內(nèi)采用兩點(diǎn)法進(jìn)行校正。
圖5 多點(diǎn)較正算法示意圖 Fig.5 Sketch map of multi-point correction algorithm
圖5為多點(diǎn)校正算法示意圖。其中V為探測(cè)器的像元響應(yīng),Ф為探測(cè)器接收到的輻射通量。將整個(gè)探測(cè)器的工作溫度區(qū)間分為3段,每段內(nèi)的響應(yīng)曲線可近似為線性,隨后可采用兩點(diǎn)法進(jìn)行校正。
根據(jù)實(shí)際的精度需求,系統(tǒng)采用多點(diǎn)法完成紅外圖像的非均勻性校正。
3.2實(shí)時(shí)校正算法的硬件實(shí)現(xiàn)
接收到紅外探測(cè)器輸出的圖像數(shù)據(jù)后,系統(tǒng)根據(jù)當(dāng)前工作的溫度區(qū)間選擇相應(yīng)的校正系數(shù)段,在此溫度范圍內(nèi)進(jìn)行兩點(diǎn)法非均勻性校正。
如前文所述,圖像數(shù)據(jù)需要一次乘法操作和一次加法操作來(lái)完成增益量和偏移量的校正。為了保證圖像的實(shí)時(shí)性,系統(tǒng)采用流水線的工作方式完成圖像處理。
由于圖像的接收時(shí)鐘和FPGA內(nèi)部進(jìn)行圖像處理的時(shí)鐘相互獨(dú)立,因此需要先將圖像數(shù)據(jù)送入FIFO緩存,以待后續(xù)各個(gè)模塊采用同步時(shí)鐘進(jìn)行處理。
進(jìn)行非均勻性校正時(shí)首先將當(dāng)前像元對(duì)應(yīng)的增益校正系數(shù)G和偏移校正系數(shù)O從2片SRAM中讀入FPGA,然后與當(dāng)前的圖像數(shù)據(jù)進(jìn)行乘法和加法操作,從FIFO中讀取16 bit數(shù)據(jù)需要2個(gè)時(shí)鐘周期,一次乘法操作需要2個(gè)時(shí)鐘周期,而從SRAM中將系數(shù)讀出并完成地址偏移操作同樣需要2個(gè)時(shí)鐘周期。因此,數(shù)據(jù)讀取、系數(shù)讀入、乘法操作剛好可以按流水線的方式進(jìn)行工作,而加法操作是不需要耗費(fèi)額外的時(shí)鐘周期的[14]。所以,在探測(cè)器輸出圖像數(shù)據(jù)的2個(gè)時(shí)鐘周期后,即下一拍圖像數(shù)據(jù)送入FPGA時(shí),剛好可以完成當(dāng)前數(shù)據(jù)的非均勻性校正操作。非均勻性校正的流水線操作如圖6所示。
圖6 非均勻性校正的流水線工作 Fig.6 Assembly line work of nonuniformity correction
圖7為FPGA內(nèi)部進(jìn)行非均勻性校正的前仿真結(jié)果。FPGA采用XC6SLX150,編譯環(huán)境ISE13.3,采用ISIM進(jìn)行時(shí)序仿真。圖中截取了20個(gè)時(shí)鐘周期,其中CLK信號(hào)為非均勻性校正處理的工作時(shí)鐘信號(hào),頻率為50 MHz;fifo_data_in信號(hào)為從FIFO中讀出的探測(cè)器的圖像數(shù)據(jù);Mul_pixel信號(hào)為進(jìn)行數(shù)據(jù)拼接后的16 bit數(shù)據(jù);P_A為增益校正系數(shù)G;P_B為偏移校正系數(shù)O;pixel_data_out_reg信號(hào)為進(jìn)行非均勻性校正處理后的結(jié)果。由圖7中可以分析出,當(dāng)前像元完成非均勻性校正處理的時(shí)刻剛好是下一像元數(shù)據(jù)被接收到的時(shí)刻。算法處理延時(shí)為2個(gè)時(shí)鐘周期即40 ns,能夠滿足系統(tǒng)的實(shí)時(shí)性要求。
圖7 非均勻性校正時(shí)序仿真結(jié)果 Fig.7 Simulation result of nonuniformity correction timing sequence
3.3盲元補(bǔ)償算法的硬件實(shí)現(xiàn)
盲元是指探測(cè)器像面中由于制造和生產(chǎn)工藝問(wèn)題導(dǎo)致的響應(yīng)過(guò)高或過(guò)低的像元。盲元在成像時(shí)表現(xiàn)為極亮或極暗的像素點(diǎn),將嚴(yán)重影響紅外成像系統(tǒng)的成像質(zhì)量,也為后續(xù)的圖像處理、目標(biāo)識(shí)別等工作帶來(lái)了困難[15]。
系統(tǒng)中采用鄰域平均法來(lái)完成紅外探測(cè)器的盲元補(bǔ)償,即在確定盲元位置后,取其周圍有效像元響應(yīng)的平均值作為盲元的替換響應(yīng)。根據(jù)任務(wù)需求和硬件實(shí)現(xiàn)的復(fù)雜程度,有一維平均、二維平均及8點(diǎn)全平均3種盲元補(bǔ)償方法可選。其中,一維平均法是利用當(dāng)前盲元左右兩個(gè)像元的灰度平均值進(jìn)行補(bǔ)償,其實(shí)時(shí)性較好,但對(duì)于邊界盲元和叢生盲元并不能夠很好地進(jìn)行處理;二維平均法是利用盲元周圍上下左右4個(gè)有效像元的平均值進(jìn)行補(bǔ)償,進(jìn)行流水處理需要緩存兩行圖像信息,實(shí)時(shí)性稍差,但對(duì)于邊界盲元和叢生盲元的處理相比于一維平均法要合理很多;8點(diǎn)全平均法采用盲元周圍全部的8個(gè)像元中有效像元的灰度平均值進(jìn)行補(bǔ)償,與二維平均值相比,同樣需要緩存兩行圖像信息,但由于引入了更多的有效像元,使得補(bǔ)償后的盲元響應(yīng)置信度更高。因此,系統(tǒng)選用8點(diǎn)全平均法進(jìn)行盲元補(bǔ)償,其示意圖如圖8所示。
圖8 盲元補(bǔ)償示意圖 Fig.8 Sketch map of blind pixel compensation
在進(jìn)行盲元補(bǔ)償處理時(shí),需要建立兩個(gè)數(shù)據(jù)緩沖區(qū),一個(gè)為320×3的原始響應(yīng),另一個(gè)為320×2的補(bǔ)償后響應(yīng)。首先緩存兩行像元的灰度值,在第3行第1個(gè)像元數(shù)據(jù)到來(lái)時(shí)進(jìn)行第1行第1個(gè)像元的盲元補(bǔ)償處理。根據(jù)盲元列表判定,如果當(dāng)前像元是盲元,則將周圍8個(gè)像元的校正后響應(yīng)帶入加法器,移位求平均值,作為盲元的替換響應(yīng)存入緩沖區(qū);如果不是盲元,則直接將其灰度值存儲(chǔ)在替換后緩沖區(qū)中。按順序完成盲元補(bǔ)償,在當(dāng)前處理像元之前的像元響應(yīng)采用替換后緩沖區(qū)中的灰度值,當(dāng)前處理像元之后的像元中如果存在盲元,則盲元響應(yīng)不參加平均,由剩下的非盲元響應(yīng)和補(bǔ)償后響應(yīng)進(jìn)行加權(quán)平均。通過(guò)這種方式,對(duì)于周圍8個(gè)像元中的叢生盲元,采取就近替換的原則,避免了盲元補(bǔ)償時(shí)因叢生盲元而導(dǎo)致的補(bǔ)償后響應(yīng)失衡現(xiàn)象。
圖9 盲元補(bǔ)償緩沖區(qū)設(shè)置示意圖 Fig.9 Sketch map of blind pixel compensation buffer setting
兩個(gè)緩沖區(qū)建立示意圖如圖9所示,8點(diǎn)全平均法盲元補(bǔ)償需要額外的320×5個(gè)字的數(shù)據(jù)緩沖區(qū),最新的數(shù)據(jù)將最舊的數(shù)據(jù)覆蓋,采用行指針循環(huán)的方式完成盲元補(bǔ)償?shù)牧魉€工作。可以分析出,完成盲元補(bǔ)償輸出的像元與最新輸入的像元時(shí)間上相差兩行,由于整個(gè)系統(tǒng)的處理都是流水線操作,且各模塊采用同樣的50 MHz系統(tǒng)時(shí)鐘。因此,盲元補(bǔ)償處理所耗費(fèi)的時(shí)鐘周期數(shù)為320×2×2=1280,處理延時(shí)為25.6 μs,滿足系統(tǒng)實(shí)時(shí)性需求。
3.4系數(shù)更新模塊的設(shè)計(jì)實(shí)現(xiàn)
紅外探測(cè)器隨著工作次數(shù)和使用時(shí)間的增加,其非均勻性會(huì)發(fā)生變化,盲元也會(huì)增多。因此,需要定期對(duì)探測(cè)器進(jìn)行系數(shù)標(biāo)定。
根據(jù)前文所述多點(diǎn)法的基本原理,在進(jìn)行系數(shù)標(biāo)定時(shí),首先控制黑體到達(dá)相應(yīng)的溫度,通過(guò)串口發(fā)送命令告知FPGA,系統(tǒng)會(huì)將當(dāng)前成像數(shù)據(jù)存儲(chǔ)至SRAM中。如此,將所有溫度區(qū)間的邊界溫度成像一一進(jìn)行存儲(chǔ),隨后,通過(guò)串口發(fā)送系數(shù)計(jì)算指令,系統(tǒng)開(kāi)始進(jìn)行非均勻性校正系數(shù)計(jì)算。
根據(jù)非均勻性校正原理,首先從SRAM中讀取出各溫度下存儲(chǔ)的圖像數(shù)據(jù),并計(jì)算出各圖像內(nèi)像元響應(yīng)的平均灰度值,以此作為多點(diǎn)法中各溫度下的理想校正后響應(yīng)P;隨后再?gòu)腟RAM中將各圖像內(nèi)對(duì)應(yīng)像元數(shù)據(jù)依次讀出,求出其各溫度下的平均值,以此作為當(dāng)前像元在各溫度下的典型響應(yīng)值V,最后根據(jù)式(6)、(7)可計(jì)算出當(dāng)前像元在各溫度下的非均勻性校正系數(shù),同時(shí)可通過(guò)比較其原始響應(yīng)值V來(lái)確定出當(dāng)前像元是否為盲元。如此將所有像元一一進(jìn)行計(jì)算并將結(jié)果寫(xiě)入FLASH中,待所有像元數(shù)據(jù)全部計(jì)算并燒寫(xiě)完成后,系統(tǒng)將自動(dòng)觸發(fā)一次初始化操作,將新的非均勻性校正系數(shù)和盲元列表更新至SRAM中[16]。至此,非均勻性校正系數(shù)的更新操作全部完成,圖10為系數(shù)更新模塊的軟件工作流程圖。
圖10 系數(shù)更新模塊軟件工作流程圖 Fig.10 Software workflow chart of coefficient update module
系統(tǒng)除具有自動(dòng)系數(shù)更新功能以外,還可根據(jù)需要通過(guò)串口經(jīng)FPGA將參數(shù)直接寫(xiě)入FLASH進(jìn)行系數(shù)更新。
為了驗(yàn)證系統(tǒng)的實(shí)際性能,聯(lián)合紅外探測(cè)器和圖像采集器在實(shí)驗(yàn)室條件下進(jìn)行了成像實(shí)驗(yàn)。
圖11為采集器接收到的系統(tǒng)測(cè)試圖像。實(shí)驗(yàn)結(jié)果表明,系統(tǒng)圖像輸出通路工作正常,后端圖像接收設(shè)備能夠穩(wěn)定、準(zhǔn)確的接收到圖像數(shù)據(jù)。
圖11 測(cè)試圖像 Fig.11 Test image
在實(shí)驗(yàn)室條件下對(duì)均勻輻射的黑體進(jìn)行成像實(shí)驗(yàn)。設(shè)置黑體輻射溫度40 ℃,圖12為紅外探測(cè)器直接進(jìn)行成像與經(jīng)過(guò)非均勻性校正和盲元補(bǔ)償后的成像對(duì)比圖。
圖12 黑體溫度40 ℃非均勻性校正前后成像對(duì)比圖 Fig.12 Comparison of black body image in 40 ℃ before and after nonuniformity correction
圖12(a)為探測(cè)器輸出的原始圖像,在均勻黑體輻射條件下,圖像中由于探測(cè)器非均勻性帶來(lái)的條紋現(xiàn)象和盲元帶來(lái)的壞點(diǎn)非常明顯,嚴(yán)重降低了圖像質(zhì)量。圖12(b)為經(jīng)過(guò)非均勻性校正和盲元補(bǔ)償處理后的圖像,相比于原始圖像,條紋狀圖像噪聲及盲元壞點(diǎn)經(jīng)過(guò)處理后已經(jīng)基本消失,圖像整體均勻性得到顯著提升。經(jīng)過(guò)計(jì)算,校正前圖像非均勻性為5%,盲元率為0.06%;校正后圖像非均勻性低于0.3%,盲元率低于0.001%,圖像質(zhì)量滿足指標(biāo)需求。
為了比較多點(diǎn)法和兩點(diǎn)法校正效果以及8點(diǎn)全平均法和一維、二維平均法盲元補(bǔ)償?shù)男阅懿町悾诓煌瑮l件下分別進(jìn)行了成像試驗(yàn)。表1為在20~65 ℃時(shí),兩點(diǎn)法和多點(diǎn)法的校正效果對(duì)比。其中,兩點(diǎn)法的校正系數(shù)是在15 ℃和70 ℃時(shí)計(jì)算得到的。
表1 兩點(diǎn)法和多點(diǎn)法校正效果對(duì)比
由表1可知,相比于兩點(diǎn)法,多點(diǎn)法在獲得校正系數(shù)時(shí)更多地考慮了探測(cè)器響應(yīng)的非線性變化,因此在整體溫度范圍內(nèi)非均勻性更低,校正效果更好。
表2為采用不同方法進(jìn)行盲元補(bǔ)償處理后的盲元?dú)埩魧?duì)比。
表2 3種方法盲元補(bǔ)償效果對(duì)比
一維平均法對(duì)于2個(gè)以上的叢生盲元處理效果較差,因此其盲元率較高;二維平均法和8點(diǎn)全平均法則通過(guò)引入周邊像元提升了補(bǔ)償效果,而8點(diǎn)全平均法中引入的有效像元數(shù)更多,因此其補(bǔ)償效果會(huì)更平滑,補(bǔ)償結(jié)果置信度更高[17]。
圖13 對(duì)實(shí)際景物成像非均勻性校正前后對(duì)比圖 Fig.13 Comparison of actual scene image before and after nonuniformity correction
圖13中給出了利用紅外探測(cè)器對(duì)實(shí)際目標(biāo)成像時(shí)系統(tǒng)處理前后的對(duì)比圖。可以看出,經(jīng)過(guò)系統(tǒng)處理后,圖像質(zhì)量得到大幅提升,為后續(xù)觀測(cè)或圖像處理提供了便利。
為解決紅外探測(cè)器的非均勻性與盲元問(wèn)題,設(shè)計(jì)了一套基于FPGA的紅外圖像實(shí)時(shí)處理系統(tǒng),采用多點(diǎn)校正法提升了系統(tǒng)的溫度適用范圍和非均勻性校正精度;采用8點(diǎn)全平均法使盲元補(bǔ)償?shù)闹眯哦雀摺?shí)驗(yàn)結(jié)果表明:紅外圖像實(shí)時(shí)處理系統(tǒng)能夠穩(wěn)定、準(zhǔn)確、高精度的完成紅外圖像的非均勻性校正和盲元補(bǔ)償處理,校正后非均勻性低于0.3%,盲元率低于0.001%,圖像輸出延時(shí)小于30 μs,圖像處理精度及實(shí)時(shí)性滿足指標(biāo)需求,系統(tǒng)設(shè)計(jì)相對(duì)獨(dú)立,具有一定的可移植性。
[1]張一舟,許廷發(fā),劉子偉,等.基于Savitzky-Golay加權(quán)擬合的紅外圖像非均勻性條帶校正方法[J].中國(guó)光學(xué),2015,8(1):51-57.
ZHANG Y ZH,XU T F,LIU Z W,etal.. Correction method for stripe nonuniformity in infrared images based on Savitzky-Golay weighted fitting algorithm[J].ChineseOptics,2015,8(1):51-57.(in Chinese)
[2]吳晗平.紅外搜索系統(tǒng)[M].北京:國(guó)防工業(yè)出版社,2013.
WU H P.InfraredSearchSystem[M]. Beijing:National Defense Industry Press,2013.(in Chinese)
[3]李俊山,楊威,張雄美.紅外圖像處理、分析與融合[M].北京:科學(xué)出版社,2009.
LI J SH,YANG W,ZHANG X M.Processing,AnalysisandFusionofInfraredImage[M]. Beijing:Science Press,2009.(in Chinese)
[4]李曉杰,任建偉,李憲圣,等.反射式拼接CCD相機(jī)非均勻性定標(biāo)與校正[J].液晶與顯示,2014,29(6):1057-1064.
LI X J,REN J W,LI X SH,etal.. Non-uniformity calibration and correction of reflector-based mosaic CCD camera[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(6):1057-1064.(in Chinese)
[5]王學(xué)偉,李珂,王世立.紅外焦平面陣列的非均勻性研究[J].激光與紅外,2012,42(10):1131-1134.
WANG X W,LI K ,WANG SH L. Study of non-uniformity in infrared focal plane arrays[J].Laser&Infrared,2012,42(10):1131-1134.(in Chinese)
[6]曲洪豐,王曉東,呂寶林.多通道輸出面陣CCD圖像非均勻性校正[J].液晶與顯示,2012,27(4):569-572.
QU H F,WANG X D,LV B L. Non-uniformity correction of mutiple output area CCD image[J].ChineseJ.LiquidCrystalsandDisplays,2012,27(4):569-572.(in Chinese)
[7]寧永慧,郭永飛.TDICCD拼接相機(jī)的像元響應(yīng)非均勻性校正方法[J].中國(guó)光學(xué),2013,6(3):386-394.
NING Y H,GUO Y F. Correction of pixel response non-uniformity in TDICCD mosaic camera[J].ChineseOptics,2013,6(3):386-394.(in Chinese)
[8]代少升,張?zhí)祢U.基于非線性響應(yīng)的紅外焦平面陣列非均勻性自適應(yīng)校正算法[J].光學(xué) 精密工程,2008,16(4):714-719.
DAI SH SH,ZHANG T Q. Adaptive nonuniformity correction algorithm for IRFPA with nonlinear response[J].Opt.PrecisionEng.,2008,16(4): 714-719.(in Chinese)
[9]孫志遠(yuǎn),常松濤,朱瑋,等.應(yīng)用內(nèi)外定標(biāo)修正實(shí)現(xiàn)紅外測(cè)量系統(tǒng)輻射定標(biāo)[J].光學(xué) 精密工程,2015,23(2):356-362.
SUN ZH Y,CHANG S T,ZHU W,etal.. Radiation calibration of infrared system by amendment of inner and outer calibrations[J].Opt.PrecisionEng.,2015,23(2): 356-362.(in Chinese)
[10]任婷婷,張智杰.一種基于場(chǎng)景的紅外圖像非均勻性校正算法[J].光學(xué)與光電技術(shù),2014,12(2):136-138.
REN T T,ZHANG ZH J. A scene-based non-uniformity correction algorithm for infrared image[J].Optics&OptoelectronicTechnology,2014,12(2):136-138.(in Chinese)
[11]任建樂(lè),陳錢(qián),顧國(guó)華,等.紅外焦平面陣列條紋非均勻性校正方法[J].紅外與激光工程,2013,42(8):1987-1990.
REN J Y,CHEN Q,GU G H,etal.. Stripe nonuniformity correction for infrared-focal plane arrays[J].InfraredandLaserEngineering,2013,42(8):1987-1990.(in Chinese)
[12]樊曉清,顧國(guó)華,隋修寶,等.紅外熱像儀與上位機(jī)通信系統(tǒng)設(shè)計(jì)[J].光學(xué)與光電技術(shù),2013,11(3):49-53.
FAN X Q,GU G H,SUI X B,etal.. Design of communication system between thermal imager and host computer[J].Optics&OptoelectronicTechnology,2013,11(3):49-53.(in Chinese)
[13]朱瑞飛,王超,魏群,等.紅外探測(cè)器非均勻性校正系統(tǒng)研制[J].紅外與激光工程,2013,42(7):1669-1673.
ZHU R F,WANG CH,WEI Q,etal.. Manufacture of nonuniformity correction system for infrared detector[J].InfraredandLaserEngineering,2013,42(7):1669-1673.(in Chinese)
[14]李一芒,何昕,魏仲慧.紅外預(yù)警實(shí)時(shí)圖像處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].液晶與顯示,2013,28(1):110-114.
LI Y M,HE X,WEI ZH H. Design and implement of real-time image processing system for IR warning system based on multi-passage[J].ChineseJ.LiquidCrystalsandDisplays,2013,28(1):110-114.(in Chinese)
[15]張曉龍,劉英,王健,等.不同非均勻性校正溫度的紅外測(cè)溫技術(shù)[J].中國(guó)光學(xué),2014,7(1):150-155.
ZHANG X L,LIU Y,WANG J,etal.. Infrared thermometry technology with different nonuniformity correction temperatures[J].ChineseOptics,2014,7(1):150-155.(in Chinese)
[16]黃戰(zhàn)華,楊鶴猛,孫立彬,等.一種基于DSP+CPLD的低功耗實(shí)時(shí)紅外成像系統(tǒng)實(shí)現(xiàn)方法[J].光學(xué)技術(shù),2012,38(1):14-18.
HUANG ZH H,YANG H M,SUN L B,etal.. An implement method for real-time infrared imaging system with low power consumption based on DSP+CPLD[J].OpticalTechnique,2012,38(1):14-18.(in Chinese)
[17]徐世偉,魏東,王大鵬,等.紅外線陣探測(cè)器盲元定位與補(bǔ)償[J].紅外與激光工程,2014,43(11):3621-3626.
XU SH W,WEI D,WANG D P,etal.. Blind pixel detection and compensation for infrared linear detector[J].InfraredandLaserEngineering,2014,43(11):3621-3626.(in Chinese)
Design of infrared imaging nonuniformity correction system based on black body calibration
LIANG Chao*, MA Tian-xiang
(Changchun Institute of Optics,Fine Mechanics and Physics,ChineseAcademyofSciences,Changchun130033,China)*Correspondingauthor,E-mail:liangchao_job@126.com
In order to improve the image quality of certain medium wave infrared detector, a infrared image real-time processing system based on FPGA is designed, which can accomplish nonuniformity correction and blind pixel compensation in real time. Some widely used nonuniformity correction algorithms, blind pixel detection and compensation algorithms are introduced. Combined with actual project requirements, nonuniformity correction with multi-point method and blind pixel compensation with eight-point average method are realized on the FPGA platform on the basis of successful simulation. User-defined coefficient updating, non-correction coefficients manually or automatically calculating and blind pixel lists automatically updating are realized by the system. The processing system is tested using certain domestic medium wave infrared detector, and the result shows that the nonuniformity of corrected image is less than 0.3% and the blind pixel of corrected image is less than 0.001%. The system is stable and reliable, which satisfies the requirements of image processing in real-time and accurancy.
infrared imaging detector;nonuniformity correction;blind pixel compensation
2016-01-19;
2016-02-25
中國(guó)科學(xué)院國(guó)防科技創(chuàng)新基金項(xiàng)目(No.CXJJ-16-S038)
2095-1531(2016)03-0385-09
TN215; TN911.73
A
10.3788/CO.20160903.0385
梁超(1988—),男,黑龍江七臺(tái)河人,碩士,研究實(shí)習(xí)員,2011年、2014年于哈爾濱工程大學(xué)分別獲得學(xué)士、碩士學(xué)位,主要從事航空遙感成像系統(tǒng)方面的研究。E-mail:liangchao_job@126.com
Supported by National Defense Science and Technology innovation Fund, Chinese Academy of Sciences(No.CXJJ-16-S038)