四波段共光軸成像實驗平臺及其圖像融合

劉志豪，金偉其*，李力，沙漠洲，郭勤

四波段共光軸成像實驗平臺及其圖像融合

劉志豪1，金偉其1*，李力1，沙漠洲2，郭勤2

（1.北京理工大學 光電學院 光電成像技術(shù)與系統(tǒng)教育部重點實驗室，北京 100081；2.北京機電工程研究所，北京 100074）

為獲取以及充分利用場景的多波段信息，同時為多波段圖像算法研究奠定基礎，基于非制冷紅外焦平面陣列，研制了共光軸分束的可見光+近紅外、短波紅外、中波紅外和長波紅外四波段光電成像實驗平臺。給出了基于四波段光電成像實驗平臺的圖像處理案例，使用現(xiàn)場可編程門陣列完成各路圖像的預處理與多波段圖像融合。預處理過程主要包括可見光機芯盲元校正以及基于梯度域濾波的中、長波紅外機芯的低頻非均勻性校正，從而優(yōu)化各波段的圖像質(zhì)量。雙波段和四波段圖像融合采用色彩傳遞的方式對YUV顏色空間中線性組合融合的圖像進行色彩增強，得到更佳的自然感彩色融合圖像的同時保證了算法的運行效率。使用中、長波紅外進行雙波段紅外測溫，室內(nèi)黑體實驗表明，在20～80 ℃內(nèi)雙波段測溫的準確度明顯高于單波段測溫，雙波段測溫誤差小于3.5%，單點溫度波動幅度小于0.7%。外場實驗結(jié)果表明，信息融合圖像能有效增強人眼對場景信息的理解。四波段光電成像實驗平臺能夠獲得場景的四波段信息，經(jīng)過圖像融合與雙波段測溫加強了對場景信息的理解。

光電成像；多波段成像；非制冷紅外焦平面陣列；圖像融合；雙波段紅外測溫

1 引　言

隨著多波段成像探測器技術(shù)的發(fā)展，多波段融合成像技術(shù)展現(xiàn)出廣泛的應用前景?？梢姽?近紅外、短波紅外、中波紅外和長波紅外是目前最常用的光電成像波段?？梢姽?近紅外波段具有與人眼視覺習慣一致的場景細節(jié)紋理信息；在常溫情況下短波紅外主要屬于反射信息成像，且其傳輸特性優(yōu)于可見光，目標場景的信息差異與可見光波段也有較為明顯的差異；中波紅外和長波紅外主要反映目標場景的熱輻射信息，與反射特性存在明顯的差異，且中波紅外和長波紅外的輻射特性也有各自的特點，以往常用于測溫、裝甲目標識別等。因此，4個波段均包含目標場景特性的不同方面，即增加了目標場景的波譜信息，這些信息的有效利用或融合已成為提升光電成像系統(tǒng)偵察能力的有效手段［1-2］。

目前，一方面以硅基CCD/CMOS的可見光+近紅外成像探測器性能不斷提升，另一方面，短波、中波和長波紅外焦平面探測技術(shù)也得到迅速發(fā)展，且雙色甚至多色紅外焦平面探測技術(shù)已走向?qū)嵱?，即多波段成像傳感技術(shù)已逐漸成熟［3-5］，但對于多波段圖像處理方法的研究仍然不足。雙波段圖像融合方法的研究已取得一些進展［6-12］，除一些簡單的加權(quán)疊加算法外，基于色彩傳遞的自然感彩色融合算法具有計算量小，便于實時處理，已應用于可見光與紅外的彩色夜視裝備［9-10］；近年來，深度學習也在圖像融合方面展現(xiàn)出良好的發(fā)展勢頭［12］。不過，多波段成像探測器整體上系統(tǒng)復雜，價格較高，且需要配套多通道配準、圖像預處理等環(huán)節(jié)，限制了多波段圖像處理算法的發(fā)展。

本文研制了一種基于CMOS的可見光+近紅外、InGaAs短波紅外焦平面機芯、非制冷紅外焦平面陣列（Infrared Focal Plane Array， IRFPA）的中波、長波紅外成像機芯組成的四波段共光路光電成像實驗平臺，該平臺能夠同時獲取目標場景中的四波段信息，并給出了雙波段或四波段彩色融合、雙波段融合、雙波段紅外測溫等多種典型的多波段處理圖像的效果，為后續(xù)其他處理算法的研究提供實驗基礎。

2 四波段共光軸光電成像實驗平臺

2.1　光學系統(tǒng)設計

如圖1所示，實驗平臺從窗口進入光學系統(tǒng)的有效光譜輻射波長為0.4～12 μm，入射輻射經(jīng)共光軸窗口后，被分成可見光+近紅外波段、短波紅外波段、中波以及長波紅外波段。中波和長波紅外物鏡的焦距均取40 mm，可見光和短波紅外采用變焦鏡頭，通過調(diào)節(jié)得到四路相同視場的聚焦成像。

圖1　四波段共光軸成像光學系統(tǒng)

用于分離入射輻射的各分束鏡反射及透射參數(shù)如表1所示。第一分束鏡的基片材料采用進口多光譜ZnS，鍍膜材料選用Ge、ZnS和YbF3，反射可見光和短波紅外波段，透射中波紅外和長波紅外波段；第二分束鏡的基片材料采用進口多光譜ZnS，鍍膜材料選用Ge和ZnS，反射中波紅外波段，透射長波紅外波段；第三分束鏡的基片材料采用石英玻璃，鍍膜材料選用Ta2O5和SiO2，反射可見光和近紅外波段，透射短波紅外波段。

四通道共光軸分光成像系統(tǒng)具有如下優(yōu)點：

（1）視場內(nèi)景物均能準確配準，配準完成后對不同物距的景物不存在視差。共光軸的分光光學系統(tǒng)與要求嚴格配準的多通道成像系統(tǒng)十分契合。

表1分束鏡的膜系設計

Tab.1　Film design of semi-reflective mirror

（2）共光軸的分光光學系統(tǒng)能通過光學和機械方式完成配準，不需進行電子配準，從而不會損失各個通道的視場和圖像分辨率。

2.2　結(jié)構(gòu)設計

如圖2所示，四波段共光路成像實驗平臺包含多譜段窗口、四波段共光軸光學系統(tǒng)、四個波段物鏡與成像機芯、數(shù)字視頻處理板、內(nèi)部數(shù)據(jù)接口以及外部數(shù)據(jù)/電源接口?？梢姽馓綔y器采用昆山銳芯微公司低照度CMOS機芯，可在5×103lx弱光條件下清晰成像；中波和長波紅外探測器分別使用煙臺艾睿公司非制冷型寬波段機芯和常規(guī)長波紅外機芯，在保證成像質(zhì)量的前提下成本更低、穩(wěn)定性更高。探測器參數(shù)如表2。

圖2　四波段共光路成像實驗平臺

表2四波段共光路成像實驗平臺各探測器參數(shù)

Tab.2　Detector parameters of four-band coaxial imaging experimental platform

為保證四波段共光路成像實驗平臺具備光學配準的能力，在3個分束鏡底部設計使用了俯仰旋轉(zhuǎn)角和軸旋轉(zhuǎn)角的微位移結(jié)構(gòu)，4個相機可進行，，3個方向的位移和軸旋轉(zhuǎn)角的調(diào)整，且均能鎖死，同時保證了配準精度和機械結(jié)構(gòu)強度。

配準是實現(xiàn)四通道成像后續(xù)圖像融合與雙波段測溫的基礎。根據(jù)系統(tǒng)的結(jié)構(gòu)特點，使用如下步驟完成配準：（1）粗調(diào)。根據(jù)圖2將4個相機和3個分束鏡大致調(diào)到規(guī)定的位置；（2）微調(diào)長波紅外相機，確定長波紅外相機光軸后固定，以此為基準調(diào)整其他光學器件，完成其他部件的配準工作；（3）以長波紅外相機為基準，調(diào)整第一分束鏡，配準短波紅外與長波紅外圖像；（4）以長波紅外相機為基準，調(diào)整第二分束鏡，配準中波紅外圖像與長波紅外圖像；（5）以長波紅外相機為基準，調(diào)整第三分束鏡，配準可見光與長波紅外圖像；（6）確定4個波段的圖像是否完全配準。

配準完成后的4個通道圖像同時傳輸?shù)揭曨l處理板中，使用FPGA（型號為XC7K325T）完成四路視頻的預處理、圖像融合、雙波段測溫等工作，實時輸出四通道的原始圖像、融合圖像以及溫度圖像。

3 多波段圖像信息融合

經(jīng)過共光軸分光以及可見光+近紅外、短波紅外、中波紅外以及長波紅外機芯的成像與圖像采集，得到經(jīng)過配準且在時序上同步的4個波段視頻信號。4個波段的實時圖像信息輸入到FPGA中，完成后續(xù)圖像處理工作，包括各路圖像的預處理、雙波段或四波段彩色融合、雙波段融合和雙波段紅外測溫等。

3.1　單通道圖像預處理

采集到的可見光+近紅外波段、短波紅外波段、中波紅外波段以及長波紅外波段的原始圖像如圖3所示。其中，短波紅外、中波紅外以及長波紅外的原始圖像為14位。值得注意的是，使用非制冷型探測器采集的中波紅外圖像質(zhì)量較好，盡管圖像四周有明顯的四角熱，但可通過兩點校正以及其他非均勻性校正算法優(yōu)化。

圖3　同時采集的四波段原始圖像

為優(yōu)化圖像質(zhì)量，方便后續(xù)圖像融合與雙波段測溫，需對各通道圖像進行預處理，去除短波紅外圖像的盲元、中波紅外與長波紅外圖像的低頻輻射噪聲與網(wǎng)格噪聲。針對短波紅外圖像的盲元，通過標定確定盲元位置，再利用3×3模板內(nèi)有效像元的均值作為盲元處的灰度，完成整幅圖像的盲元校正。針對中波紅外與長波紅外圖像的低頻輻射噪聲和網(wǎng)格噪聲，先對兩個探測器分別進行兩點校正，再使用一種基于梯度域濾波的低頻噪聲校正方法優(yōu)化中波紅外圖像［13］。

假設一種二元多項式C，（）校正模型探測器變化緩慢的非均勻性噪聲，C，（）的表達式為：

其中：是矩陣T的與方向的梯度，是低頻部分方向和方向分量的向量。

由于（T）1T矩陣只與圖像尺寸有關，可提前計算存儲于查找表中，便于硬件實時處理。

經(jīng)過預處理后的四通道圖像如圖4所示，對比圖3可見，圖像質(zhì)量得到一定的改善，可見光圖像的盲元和中波紅外圖像的非均勻性噪聲已基本去除。

圖4　預處理后的四波段圖像

3.2　雙波段自然感彩色圖像融合

針對可見光+近紅外波段和長波紅外波段的圖像融合，采用基于YUV色彩傳遞的自然感彩色融合算法［8］，算法框圖如圖5。

圖5　雙波段自然感彩色融合流程

線性組合結(jié)構(gòu)是一種簡單有效的彩色融合處理算法。該算法通過將原始的雙通道圖像在YUV空間進行線性組合得到初始彩色化圖像，即：

再將參考圖像的顏色傳遞給初始彩色化圖像，得到：

其中：，，和，，分別為彩色參考圖像和初始彩色圖像YUV各通道的標準差；，，和，，分別為彩色參考圖像和初始彩色圖像YUV各通道的均值。

基于色彩傳遞的自然感彩色融合圖像如圖6所示。本課題組前期通過主觀實驗［14］和客觀評價方法［15-16］證明只要彩色參考圖像的選擇合適，基于色彩傳遞的彩色化方法可獲得較其他傳統(tǒng)方法更適宜的自然感彩色融合圖像，在細節(jié)和色彩再現(xiàn)等方面均有很好的表現(xiàn)，目前已在DSP［9］和FPGA［10］硬件平臺實現(xiàn)實時處理，且原理簡單、計算量小，可實時處理。

圖6　雙波段自然感彩色融合圖像

3.3　四波段自然感彩色圖像融合

四波段紅外圖像融合采用基于色彩傳遞的自然感彩色融合算法，算法框圖如圖7所示，同時還可進行可見光+近紅外、短波紅外、中波紅外以及長波紅外中任意2個通道的融合。

圖7　四波段自然感彩色融合流程

四波段圖像的融合流程與雙波段圖像的融合相同，先將四波段圖像在YUV空間線性組合，即有：

再通過式（5）的色彩傳遞過程獲得最終的彩色融合圖像。YUV彩色空間中，對于融合后的彩色圖像在保證，固定（均為128）的前提下，只保留亮度通道即實現(xiàn)了基于顏色空間的灰度融合。圖8展示了使用圖6（c）的彩色參考圖像進行四波段彩色融合得到的圖像，其中彩色融合圖像8（e）中，樹葉部分通過色彩傳遞后被渲染成黃綠色，色彩表現(xiàn)接近人眼視覺特性。

將4個波段圖像融合于一張圖像，保留了每個波段信息的同時，保證了原始信息的可辨識度，能對場景中的目標進行更加快速地探測與識別。使用YUV空間進行色彩傳遞，減少了大量的對數(shù)與指數(shù)運算，是最有利于硬件實時視頻處理的顏色空間。

目前的融合算法多使用可見光與長波紅外進行融合，使用可見光、短波紅外、中波紅外以及長波紅外這4個波段進行融合的方法及成像系統(tǒng)少見。本系統(tǒng)使用4個波段的信息進行融合，實現(xiàn)多光譜信息的協(xié)同體現(xiàn)，在保證算法處理速度的前提下，具備高的可靠性和魯棒性。

3.4　基于雙波段紅外的溫度場圖像重構(gòu)

輻射測溫法源于黑體輻射的普朗克定律，實際應用中測溫準確度還受到探測器、大氣的光譜透過率以及光學系統(tǒng)參數(shù)等因素的影響。根據(jù)探測器的響應原理，在兩測溫波段［min，max］，探測器輸出的信號電平為：

其中：R（）為探測器光譜響應率；為探測器單元面積；（）物體光譜發(fā)射率；為光學系統(tǒng)的通光口徑；為光學系統(tǒng)焦距；a（）為大氣光譜透過率；0（）為光學系統(tǒng)透過率；普朗克定律eb（）為黑體輻射出射度。

在雙波段比色測溫的應用中，一般會使用探測器獲得的不同紅外波段信號量的比值來確定所測物體的溫度，其比值結(jié)果為［17-18］：

使用中、長波紅外的雙波段比色測溫可以大幅減小測溫目標的光譜發(fā)射率和傳輸過程中光譜透過率對測溫準確度的影響，近似認為兩個不同波段信號的比值是一個與溫度相關的函數(shù)，從而反演出溫度場圖像。

在標定實驗中，采用IRTS-300型黑體系統(tǒng)，它由面源黑體和平行光管組成。在5～21 ℃每隔2 ℃采集100幅圖像；在25～90 ℃每隔5 ℃采集100幅圖像，使用最小二乘法擬合中波與長波圖像像元灰度值的比值與溫度之間的關系曲線如圖9所示，對應的擬合方程為：

采集到的中、長波紅外圖像經(jīng)過預處理后，計算出各像素點的信號強度比值，再通過標定實驗擬合出的曲線得出溫度場圖像。整個圖像的處理過程在FPGA中完成，流程如圖10所示。使用圖7的中長波紅外圖像得到的溫度圖像如圖11所示。

圖10　雙波段測溫軟件流程

圖11　中波和長波紅外圖像生成的溫度圖像

為驗證雙波段測溫的精度，采用RTS-300型黑體在20～80 ℃內(nèi)每隔5 ℃進行一次溫度測量實驗，結(jié)果如表3所示。在20～80 °C內(nèi)，雙波段測溫的準確度明顯高于單波段測溫，且雙波段測溫誤差小于3.5%，表明雙波段測溫方法是有效可行的。

表3雙波段與單波段測溫結(jié)果

Tab.3　Results of dual-band and single-band temperature measurement

為分析單點穩(wěn)定性，將面源黑體穩(wěn)定在40 ℃，每隔一段時間讀取一組經(jīng)標定的多波段成像系統(tǒng)的測溫值，結(jié)果如圖12所示?？梢钥闯?，測量溫度在40 ℃周圍波動，波動幅度在0.7%左右。

圖12　測溫單點穩(wěn)定性結(jié)果

本實驗平臺中波和長波紅外雙波段測溫的特點為：（1）采用非制冷中、長波紅外焦平面探測器，工作穩(wěn)定、成本低，能同時獲得場景中波和長波紅外信息及溫度信息，不需專用的測溫探測器；（2）雙波段比色測溫能夠有效降低因物體發(fā)射率不同、紅外輻射傳播過程中衰減造成的測溫誤差；（3）雙波段比色測溫能對場景進行大范圍、遠距離的溫度測量，也便于方便地甄別圖像中溫度不同的環(huán)境目標。

3.5　外場實驗

為驗證本四波段共光路成像實驗平臺的成像效果，分別在海面與陸地進行實驗，預期利用目標在各個波段下輻射量的差異將場景中不同目標進行區(qū)分。

海面實驗結(jié)果如圖13所示，在煙幕遮擋的情況下，可見光與短波紅外圖像中的船只目標已基本被遮擋，但中波紅外與長波紅外圖像中能大致看到船體。從彩色融合圖像可知，四波段圖像已進行了較好的配準，且保留了四波段的信息。船只顏色在融合圖像中呈紅色，煙幕在融合圖像中呈青色，通過顏色即可區(qū)分出船與煙幕。

圖14　陸地實驗結(jié)果

陸地實驗結(jié)果如圖14所示。場景中包含天空、建筑樓、車輛和樹等，信息豐富。因霧天昏暗，中波紅外圖像質(zhì)量明顯降低。彩色融合圖像能還原出天空的藍色、樹的綠色，車輛等在中、長紅外圖像中灰度值較大的目標偏紅色，與樹、天空等冷色調(diào)可明顯地區(qū)分開。

通過海面與陸地的實驗可知，四波段共光路成像實驗平臺獲取了各個波段目標場景的獨有信息，通過彩色圖像融合，這些獨有信息呈現(xiàn)出不同的顏色并集成在一幅圖像以不同的顏色信息進行展示，方便快速進行目標探測與識別。同時，能利用中波和長波紅外圖像快速生成目標場景的等效溫度圖像，增加了新的目標場景信息。

4 結(jié)　論

本文設計并研制了一個包含可見光+近紅外、短波紅外、中波紅外以及長波紅外的四波段光電成像實驗平臺，通過分束鏡實現(xiàn)共光軸4個波段的分離，使用FPGA完成圖像預處理、雙波段/四波段圖像的融合，可實時采集已配準的四波段圖像序列與各波段融合圖像序列，為多波段圖像處理算法的研究提供了平臺；通過將雙波段的自然感彩色圖像融合算法擴展至四波段，給出了一個多波段圖像處理方案。

通過盲元校正、兩點非均勻性校正以及低頻輻射非均勻性校正環(huán)節(jié)優(yōu)化各通道的成像質(zhì)量，采用自然感彩色融合方法對雙/多個波段圖像進行融合，先在YUV空間中對4個波段圖像進行線性疊加獲得初始彩色化圖像，再將彩色參考圖像的色彩傳遞給初始彩色化圖像，得到符合人眼視覺特性的自然感彩色圖像。使用中、長波紅外圖像實時生成場景溫度圖像。并通過IRTS-300型黑體對測溫誤差進行了分析，在20～80 ℃內(nèi)，雙波段紅外測溫的準確度明顯高于單波段紅外測溫，雙波段測溫誤差小于3.5%，單點溫度波動幅度小于0.7%。外場實驗表明，四波段共光軸成像實驗平臺能將目標在不同波段的信息轉(zhuǎn)換為顏色信息集成在一幅融合圖像中，方便后續(xù)的目標探測與識別。

非制冷型中波紅外機芯雖然已達到可用的要求，但與長波紅外機芯相比成像質(zhì)量還有差距，信噪比需要進一步提升。在成像質(zhì)量受器件工藝限制提升緩慢的情況下，可通過圖像去噪、圖像增強等算法優(yōu)化圖像質(zhì)量。高性能成像可使用制冷型紅外成像機芯。

雙波段測溫盡管可減小輻射發(fā)射率的影響，其結(jié)果仍受物體反射率等因素的影響。由于實際成像場景各異，很難用一個合適的常系數(shù)修正中波/長波輻射關系。為了提高雙波段紅外測溫的精度，可利用多波段場景信息，通過場景先驗知識或分類深度學習算法獲取目標信息實現(xiàn)基于場景的輻射修正；再通過添加距離校正因子優(yōu)化校正模型，減小不同景深大氣對測溫的影響。

［1］ 許洪，王向軍. 多光譜、超光譜成像技術(shù)在軍事上的應用［J］. 紅外與激光工程， 2007， 36（1）： 13-17.

XU H， WANG X J. Applications of multispectral/hyperspectral imaging technologies in military［J］.， 2007， 36（1）： 13-17.（in Chinese）

［2］ 戴立群，唐紹凡，徐麗娜，等. 從可見光到熱紅外全譜段探測的星載多光譜成像儀器技術(shù)發(fā)展概述［J］. 紅外技術(shù)， 2019， 41（2）： 107-117.

DAI L Q， TANG SH F， XU L N，. Development overview of space-borne multi-spectral imager with band range from visible to thermal infrared［J］.， 2019， 41（2）： 107-117.（in Chinese）

［3］ 李靜，宋廣，董珊，等. 非制冷紅外焦平面探測器研究進展與趨勢［J］. 紅外， 2020， 41（10）： 1-14， 24.

LI J， SONG G， DONG SH，. Research progress and trend of uncooled infrared focal plane detectors［J］.， 2020， 41（10）： 1-14， 24.（in Chinese）

［4］ 汪良衡，李云濤，雷華偉，等. InAs/GaSb超晶格長波紅外探測器［J］. 紅外技術(shù)， 2018， 40（5）： 473-476.

WANG L H， LI Y T， LEI H W，. Long-wavelength super lattice infrared detectors based on InAs/GaSb［J］.， 2018， 40（5）： 473-476.（in Chinese）

［5］ 李雪，邵秀梅，李淘，等. 短波紅外InGaAs焦平面探測器研究進展［J］. 紅外與激光工程， 2020， 49（1）： 64-71.

LI X， SHAO X M， LI T，. Developments of short-wave infrared InGaAs focal plane detectors［J］.， 2020， 49（1）： 64-71.（in Chinese）

［6］ 駱媛，王嶺雪，金偉其，等. 微光（可見光）/紅外彩色夜視技術(shù)處理算法及系統(tǒng)進展［J］. 紅外技術(shù)， 2010， 32（6）： 337-344.

LUO Y， WANG L X， JIN W Q，. Developments of image processing algorithms and systems for LLL（vis.）/IR color night vision［J］.， 2010， 32（6）： 337-344.（in Chinese）

［7］ 張洪偉，丁亞林，馬迎軍，等. 紅外雙波段雙視場成像告警系統(tǒng)設計［J］. 光學精密工程， 2020， 28（6）： 1283-1294.

ZHANG H W， DING Y L， MA Y J，. Design of infrared dual-band/dual-FOV imaging early warning system［J］.， 2020， 28（6）： 1283-1294.（in Chinese）

［8］ 史世明，王嶺雪，金偉其，等. 基于YUV空間色彩傳遞的可見光/熱成像雙通道彩色成像系統(tǒng)［J］. 兵工學報， 2009， 30（1）： 30-35.

SHI SH M， WANG L X， JIN W Q，. A dual-band color imaging system for visible and thermal IR images based on color transfer in YUV color space［J］.， 2009， 30（1）： 30-35.（in Chinese）

［9］ 駱媛，金偉其，劉效東. 基于顏色查找空間的自然感彩色融合算法及DSP實時實現(xiàn)［J］. 紅外與激光工程， 2012， 41（8）： 2241-2246.

LUO Y， JIN W Q， LIU X D. Color look-up space based natural color fusion algorithm and DSP real-time implementation［J］.， 2012， 41（8）： 2241-2246.（in Chinese）

［10］ 范永杰，金偉其，李力，等. 基于FPGA的可見光/紅外雙通道實時視頻融合系統(tǒng)［J］. 紅外技術(shù)， 2011， 33（5）： 257-261.

FAN Y J， JIN W Q， LI L，. Real time fusion system for visible and IR video based on FPGA［J］.， 2011， 33（5）： 257-261.（in Chinese）

［11］ 楊桄，童濤，陸松巖，等. 基于多特征的紅外與可見光圖像融合［J］. 光學精密工程， 2014， 22（2）： 489-496.

YANG G， TONG T， LU S Y，. Fusion of infrared and visible images based on multi-features［J］.， 2014， 22（2）： 489-496.（in Chinese）

［12］ SUN C Q， ZHANG C， XIONG N X. Infrared and visible image fusion techniques based on deep learning： a review［J］.， 2020， 9（12）： 2162.

［13］ CAO Y P， TISSE C L. Single-image-based solution for optics temperature-dependent nonuniformity correction in an uncooled long-wave infrared camera［J］.， 2014， 39（3）： 646-648.

［14］ 金偉其，賈曉婷，高紹姝，等. 彩色融合圖像的質(zhì)量主觀評價［J］. 光學精密工程， 2015， 23（12）： 3465-3471.

JIN W Q， JIA X T， GAO SH SH，. Subjective evaluation of quality for color fusion images［J］.， 2015， 23（12）： 3465-3471.（in Chinese）

［15］ 高紹姝，金偉其，王嶺雪，等. 基于場景理解的雙波段彩色融合圖像質(zhì)量評價［J］. 紅外與激光工程， 2014， 43（1）： 300-305.

GAO SH SH， JIN W Q， WANG L X，. Quality evaluation for dual-band color fusion images based on scene understanding［J］.， 2014， 43（1）： 300-305.（in Chinese）

［16］ 張勇，金偉其. 夜視融合圖像質(zhì)量客觀評價方法［J］. 紅外與激光工程， 2013， 42（5）： 1360-1365.

ZHANG Y， JIN W Q. Objective assessment method of night vision fusion image quality［J］.， 2013， 42（5）： 1360-1365.（in Chinese）

［17］ 張林，張志杰，李巖峰. 雙波段比色測溫技術(shù)的應用［J］. 現(xiàn)代電子技術(shù)， 2019， 42（8）： 1-5.

ZHANG L， ZHANG ZH J， LI Y F. Application of dual-waveband colorimetric temperature measurement technology［J］.， 2019， 42（8）： 1-5.（in Chinese）

［18］ 邢冀川，劉廣榮，金偉其，等. 雙波段比色測溫方法及其分析［J］. 紅外技術(shù)， 2002， 24（6）： 73-76.

XING J CH， LIU G R， JIN W Q，. Dual waveband chromatic thermometry and its analysis［J］.， 2002， 24（6）： 73-76.（in Chinese）

Four-band coaxial imaging experimental platform and its image fusion methods

LIU Zhihao1，JIN Weiqi1*，LI Li1，SHA Mozhou2，GUO Qin2

（1，，，100081，；2，100074，），：

To obtain and make full use of the multi-spectrum information of the scene， and to lay the foundation for the research of multi-band image algorithms， a four-band coaxial imaging experimental platform of visible light + near infrared， short wave infrared， mid-wave infrared and long-wave infrared was developed based on uncooled infrared focal plane array （IRFPA）. Image processing cases based on the four-band imaging experimental platform were presented. FPGA was used in the preprocessing of each channel of image and the fusion of multi-band image. The image quality of each band was optimized by the preprocessing procedure， that included the blind point correction of the visible sensor and nonuniformity correction of the mid-wave and long-wave infrared sensors based on grad-filtering. Dual-band and four-band image fusion enhanced the color of the fusion image obtained by linear combination in the YUV color space by color transfer， thus resulting in a natural color fusion image as well as ensuring the operating efficiency of the algorithm. Dual-band infrared temperature measurement was performed using medium and long-wave infrared. The blackbody experiment shows that in the temperature range of 20-80 ℃， the accuracy of dual-band temperature measurement is significantly higher than that of single-band temperature measurement， the error of dual-band temperature measurement is less than 3.5%， and the single-point temperature fluctuation range is less than 0.7%. The outfield experiment results show that information fusion images can effectively enhance the human eye’s understanding of scene information. The four-band imaging experimental platform can easily obtain the four-band information of the scene， and image fusion and dual-band temperature measurement can strengthen the understanding of scene information.

photoelectric imaging； multi-band infrared imaging； un-cooled infrared focal plane array（IRFPA）； image fusion； dual-band temperature measurement

TN216

A

10.37188/OPE.20223001.0001

1004-924X（2022）01-0001-11

2021-08-27；

2021-10-15.

精導十三五重點預研項目（No.41415020102）；國家自然科學基金資助（No.61871034）

劉志豪（1996），男，湖北潛江人，博士研究生，2017年于北京理工大學獲得學士學位，主要從事多波段紅外成像技術(shù)及相關算法的研究。E-mail：840064852@qq.com

金偉其（1961），男，上海人，教授，博士生導師，光電成像技術(shù)與系統(tǒng)教育部重點實驗室主任，1982年于北京工業(yè)學院獲得學士學位，1990年于北京理工大學獲得博士學位，主要從事夜視與紅外技術(shù)、光電圖像處理、光電檢測與儀器方面的研究。E-mail：jinwq@bit.edu.cn