“十”字型四孔徑視場(chǎng)部分重疊仿生熱成像

楊建國(guó)，羅 琳，金偉其，李 力，何玉青

（北京理工大學(xué) 光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100081）

1 引言

人眼雙目立體視覺(jué)以及蜜蜂、蜻蜓等昆蟲(chóng)復(fù)眼具有小型化、多孔徑、大視場(chǎng)和中心高分辨率（空間變分辨率）的特點(diǎn)，可實(shí)現(xiàn)中心高分辨成像、邊緣大視場(chǎng)搜索的視覺(jué)模式，對(duì)運(yùn)動(dòng)目標(biāo)具有很高的探測(cè)能力，對(duì)細(xì)節(jié)信息也有較強(qiáng)的分辨能力，是目標(biāo)搜索與跟蹤、精確探測(cè)與制導(dǎo)等應(yīng)用領(lǐng)域重點(diǎn)研究的目標(biāo)之一［1］。

人工仿生復(fù)眼大致可分為多相機(jī)陣列的宏觀型和微透鏡棱鏡陣列的緊湊型仿生復(fù)眼兩大類(lèi)［2］。其中，宏觀型仿生復(fù)眼由多個(gè)低成本單孔徑相機(jī)組成，常規(guī)排列方式為光軸平行或發(fā)散的陣列形式。2014 年，Carles 等［3］采用25 個(gè)光軸互相平行的商業(yè)可見(jiàn)光相機(jī)陣列實(shí)現(xiàn)了超分辨成像。2015 年，Perazzi 等［4］設(shè)計(jì)了一種非結(jié)構(gòu)化CCD 攝像機(jī)陣列的多目成像系統(tǒng)，并通過(guò)引入局部翹曲概念有效去除拼接接縫不連續(xù)和鬼影等問(wèn)題，實(shí)現(xiàn)了大視場(chǎng)圖像拼接。2018 年，García-Díaz 等［5］研制了寬譜段多孔徑熱成像系統(tǒng)，主要包含6 個(gè)像素32×32 的PbSe 組成中波紅外陣列、6 個(gè)像素160×120 的QQVGA 組 成長(zhǎng)波紅 外陣列以及1 個(gè)可見(jiàn)光CMOS 相機(jī)。2019 年，金偉其等［6］提出了“田”字型四孔徑視場(chǎng)部分重疊仿生熱成像模式，獲得了緊湊的復(fù)眼熱成像系統(tǒng)。2021 年，方璐等［7］提出層內(nèi)非結(jié)構(gòu)和層間主從式異構(gòu)等非結(jié)構(gòu)化計(jì)算成像新理論，成功研制了十億像素的智能成像系統(tǒng)。

緊湊型仿生復(fù)眼由微透鏡棱鏡陣列以及單孔徑相機(jī)組成。2000 年，Tanida 等［8-9］提 出一種類(lèi)似蜻蜓的TOMBO（Thin Observation Module by Bound Optics）復(fù)眼成像系統(tǒng)，主要由平板微透鏡陣列、光探測(cè)器和光隔離器等構(gòu)成，這是首個(gè)真正意義上的緊湊型復(fù)眼成像系統(tǒng)。他們還相繼提出彩色復(fù)眼成像方法、指紋識(shí)別，開(kāi)發(fā)出超薄型復(fù)眼照相機(jī)、TOMBO 內(nèi)窺鏡。2007 年，Laycock 等［10］提出的機(jī)載多孔徑成像系統(tǒng)主要由球面分布的微型透鏡陣列、光纖面板（Fiber Optic Panel，F(xiàn)OP）和CMOS 成像探測(cè)器組成，可獲得120°大視場(chǎng)清晰成像，并應(yīng)用到單兵頭盔夜視鏡，有效提高了夜間作戰(zhàn)能力和態(tài)勢(shì)感知能力。2013 年以來(lái)，裘溯等［11-12］持續(xù)研究了該復(fù)眼成像模式，提出利用重疊區(qū)域進(jìn)行超分辨、對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行快速檢測(cè)等方法，設(shè)計(jì)了切角為40°和20°的基于光纖面板的五孔徑和九孔徑復(fù)眼成像實(shí)驗(yàn)系統(tǒng)。2016 年，Carles 等［13］提出一種微棱鏡微透鏡陣列系統(tǒng)，在中心凹區(qū)域內(nèi)實(shí)現(xiàn)了高分辨率成像，低分辨率外圍提供了態(tài)勢(shì)感知。2020 年，陳宇等［14］基于瓢蟲(chóng)復(fù)眼結(jié)構(gòu)設(shè)計(jì)了一款大視場(chǎng)小尺度仿生復(fù)眼光學(xué)系統(tǒng)，采用正六邊形緊密排布方式提高了空間利用率。

常規(guī)熱成像系統(tǒng)屬于單目視覺(jué)系統(tǒng)，成像器件像素陣列和像元間距確定后，系統(tǒng)視場(chǎng)角越大，空間分辨率越低，二者相互聯(lián)系又相互制約，為了實(shí)現(xiàn)兼具大視場(chǎng)和高分辨率的熱成像，本文基于宏觀型仿生復(fù)眼理論，研究了多孔徑視場(chǎng)部分重疊仿生熱成像系統(tǒng)的布局模式，并搭建四孔徑視場(chǎng)部分重疊仿生熱成像實(shí)驗(yàn)系統(tǒng)，以驗(yàn)證其布局模式、圖像拼接與超分辨等方面的成像效果。

2 多孔徑仿生熱成像系統(tǒng)

2.1 布局模式分析

多孔徑成像技術(shù)利用子孔徑圖像拼接構(gòu)成大視場(chǎng)，利用子孔徑部分重疊視場(chǎng)的冗余信息進(jìn)行圖像重采樣，提高系統(tǒng)中心視場(chǎng)的空間分辨率，形成大視場(chǎng)空間變分辨率成像。早期的排列方式大多為低視場(chǎng)重疊的大視場(chǎng)拼接成像以及高視場(chǎng)重疊的超分辨成像模式。文獻(xiàn)［6］提出了一種“田”字型四孔徑視場(chǎng)部分重疊仿生熱成像模式，如圖1 所示。其中，數(shù)字表示子孔徑重疊數(shù)量。通過(guò)約50%的視場(chǎng)重疊，將成像視場(chǎng)劃分為4 子孔徑重疊、2 子孔徑重疊以及單子孔徑3 類(lèi)9個(gè)子區(qū)域，不僅可實(shí)現(xiàn)大視場(chǎng)空間變分辨率成像，而且可拓展獲得近場(chǎng)立體視覺(jué)、雙色成像以及偏振成像等模式。

圖1 “田”字型四孔徑Fig.1 Tian-shaped four-aperture

子孔徑探測(cè)器布局模式并不唯一，不同的子孔徑探測(cè)器數(shù)目及其布局模式會(huì)產(chǎn)生不同的仿生熱成像效果。本文提出采用光軸有一定傾斜的單孔徑相機(jī)構(gòu)成“十”字型四孔徑視場(chǎng)部分重疊仿生熱成像模式［15］，如圖2 所示，其上下或左右兩個(gè)單孔徑相機(jī)的視場(chǎng)分別具有50%的視場(chǎng)重疊率，上（或下）與左右單孔徑相機(jī)分別具有56.25%的視場(chǎng)重疊率，拼接總視場(chǎng)較單孔徑增加1 倍，視場(chǎng)中心向外從4 孔徑重疊逐漸過(guò)渡到3，2 和1 孔徑重疊。

圖2 “十”字型四孔徑Fig.2 Cross-shaped four-aperture

考慮到4 個(gè)單孔徑相機(jī)均傾斜一個(gè)角度，而通常系統(tǒng)中心軸線方向的成像更為重要，也可在上述四孔徑布局模式基礎(chǔ)上增加一個(gè)中心子孔徑，形成“十”字型五孔徑熱成像模式（見(jiàn)圖3），從而具有不同的視覺(jué)效能［16］。當(dāng)中心單孔徑相機(jī)的分辨率與四周4 個(gè)單孔徑相機(jī)相同時(shí)，視場(chǎng)中心向外從5 孔徑重疊逐漸過(guò)渡到4，3 和1 孔徑重疊，將成像區(qū)域劃分為4 類(lèi)13 個(gè)子區(qū)域，在保證大視場(chǎng)成像的前提下進(jìn)一步提高了系統(tǒng)的中心分辨率，有利于進(jìn)行弱小目標(biāo)的探測(cè)與識(shí)別。當(dāng)中心單孔徑相機(jī)的分辨率是四周4 個(gè)單孔徑相機(jī)的2.25 倍時(shí)（水平和豎直方向各1.5 倍），視場(chǎng)中心向外從5 孔徑重疊逐漸過(guò)渡到4，3，2 和1 孔徑重疊，將成像區(qū)域劃分為5 類(lèi)17 個(gè)子區(qū)域，在保證大視場(chǎng)成像的前提下改變了系統(tǒng)的空間分辨率，視場(chǎng)重疊率更高，分辨細(xì)節(jié)的能力更強(qiáng)，更加符合人眼視覺(jué)的中心高分辨成像、邊緣大視場(chǎng)搜索的視覺(jué)模式。

圖3 “十”字型五孔徑Fig.3 Cross-shaped five-aperture

2.2 “十”字型四孔徑視場(chǎng)部分重疊仿生熱成像系統(tǒng)

為了驗(yàn)證上述仿生復(fù)眼熱成像模式，本文研制了一款“十”字型四孔徑視場(chǎng)部分重疊仿生熱成像實(shí)驗(yàn)系統(tǒng)。該系統(tǒng)選擇幀頻較高的ULIS 公司小面陣非制冷紅外焦平面陣列（Infrared Focal Plane Array，IRFPA）Micro80 GEN2（像元80×80，像元間距為34 μm，幀頻為50 Hz，響應(yīng)波段為8～14 μm，NETD＜100 mK），寄存器配置端口為I2C，視頻數(shù)據(jù)接口為14 位標(biāo)準(zhǔn)HSYNC/VSYNC數(shù)字信號(hào)。配套紅外物鏡焦距為3.1 mm，F(xiàn)數(shù)為1，視場(chǎng)角為50.8°（H）×50.8°（V）。如圖4 所示，驅(qū)動(dòng)板尺寸為25 mm×25 mm，提供IRFPA 工作的模擬和數(shù)字電源以及外圍電路電容電阻負(fù)載。數(shù)字處理板采用自制的FPGA 圖像處理板，尺寸為120 mm×80 mm×10 mm，F(xiàn)PGA為XC7Z035，DDR存儲(chǔ)器為MT41J256M16，通信接口為兩路RS422，輸入接口為兩路TFM-125-02-L-D-WT，視頻輸出接口為兩路Camera-Link。

圖4 熱成像組件Fig.4 Thermal imaging components

搭建的“十”字型四孔徑視場(chǎng)部分重疊仿生熱成像系統(tǒng)如圖5 所示，系統(tǒng)尺寸為180 mm×100 mm×100 mm。經(jīng)測(cè)定拼接視場(chǎng)為單孔徑相機(jī)的2.36 倍，四孔徑重疊區(qū)域占總視場(chǎng)的7.78%。IRFPA 輸出標(biāo)準(zhǔn)行場(chǎng)數(shù)據(jù)信號(hào)經(jīng)FPGA 圖像處理板處理，通過(guò)CameraLink 接口輸出到eBUS 采集卡進(jìn)行圖像顯示、大視場(chǎng)拼接和高分辨圖像重構(gòu)。

圖5 “十”字型四孔徑仿生熱成像系統(tǒng)Fig.5 Cross-shaped four-aperture bionic thermal imaging system

3 圖像拼接與超分辨

3.1 圖像預(yù)處理

由于探測(cè)器工藝和讀出電路導(dǎo)致的像元響應(yīng)不一致及光學(xué)和機(jī)械結(jié)構(gòu)的雜散輻射，IRFPA成像往往存在低頻固定圖像噪聲，需進(jìn)行非均勻性校正（Non-Uniformity Correction，NUC）。

NUC 方法一般分為基于參考源的校正（Calibration Based NUC，CBNUC）和基于場(chǎng)景的自適應(yīng)校正（Scene Based NUC，SBNUC）兩大類(lèi)。前者主要分為單點(diǎn)校正、兩點(diǎn)校正和多點(diǎn)校正，后者主要分為統(tǒng)計(jì)類(lèi)校正、配準(zhǔn)類(lèi)校正和神經(jīng)網(wǎng)絡(luò)類(lèi)校正［17］。熱成像系統(tǒng)通常都預(yù)先進(jìn)行CBNUC 處理，獲得基本校正參數(shù)；在應(yīng)用過(guò)程中產(chǎn)生的固定圖像噪聲，通過(guò)擋板等進(jìn)行CBNUC 或通過(guò)變化的場(chǎng)景進(jìn)行SBNUC，以提高系統(tǒng)的成像質(zhì)量。本文采取兩點(diǎn)校正方法（20 ℃和45 ℃兩個(gè)溫度點(diǎn)作為定標(biāo)點(diǎn)）確定增益和偏置系數(shù)矩陣，圖6 給出了探測(cè)器輸出圖像平均灰度隨溫度的變化。

圖6 IRFPA 輸出圖像灰度與溫度關(guān)系Fig.6 Relationship between gray value of IRFPA output image and temperature

3.2 圖像配準(zhǔn)與拼接

在本實(shí)驗(yàn)系統(tǒng)中，由于探測(cè)器像元數(shù)偏少且靈敏度偏低，故IRFPA 的分辨率和對(duì)比度較低，角點(diǎn)、邊緣和紋理等細(xì)節(jié)信息不明顯，給紅外圖像的配準(zhǔn)帶來(lái)了挑戰(zhàn)。經(jīng)典的圖像配準(zhǔn)與拼接方法將運(yùn)動(dòng)模型假設(shè)為簡(jiǎn)單的圖像平移、縮放和旋轉(zhuǎn)等全局運(yùn)動(dòng)，這對(duì)光軸相互平行的多相機(jī)陣列是可行的，但本系統(tǒng)4 個(gè)子孔徑光軸輻射分布，圖像真實(shí)投影為透視變換，尺度不變特征變換（Scale Invariant Feature Transform，SIFT）等算法通常不穩(wěn)定。同時(shí)，由于系統(tǒng)各孔徑關(guān)系相對(duì)固定，在確定工作距離后僅需要一次透視變換矩陣標(biāo)定，這里采取手動(dòng)選取特征點(diǎn)來(lái)解決透視變換矩陣求取等問(wèn)題。

考慮到實(shí)驗(yàn)系統(tǒng)的應(yīng)用背景及成像效果，工作距離選定在1.5 m 左右。以圖2 右子孔徑為基準(zhǔn)圖像進(jìn)行配準(zhǔn)，其余3 個(gè)子孔徑圖像的透視變換矩陣為：

獲得透視變換矩陣后進(jìn)行圖像拼接。盡管探測(cè)器型號(hào)、寄存器參數(shù)配置相同，但各子孔徑探測(cè)器的響應(yīng)率不完全一致，在拼接處不可避免地出現(xiàn)灰度不一致的情況，需要進(jìn)行平滑過(guò)渡處理。這里采用灰度線性加權(quán)融合過(guò)渡策略，將重疊區(qū)域的像素值按一定權(quán)重相加合成新的圖像。

如圖7 所示，假定兩幅圖像為左右重疊，重疊區(qū)域中某像素點(diǎn)到重疊區(qū)域左邊界的距離為d1，到重疊區(qū)域右邊界的距離為d2，在左右兩幅圖中對(duì)應(yīng)的灰度分別為I1和I2，則融合后的灰度值為：

圖7 圖像重疊區(qū)域的權(quán)重變化Fig.7 Weight change of image overlapped area

3.3 圖像超分辨

考慮到實(shí)時(shí)性，本文采用基于焦平面探測(cè)器空間積分模型的圖像超分辨重建算法（FPAs’Spatial Integration model based Micro-Scanning image reconstruction，SIMS）［18］，該算法主要包括以下3 個(gè)步驟：

（1）采用基于離散傅里葉變換（Discrete Fourier Transform，DFT）的圖像配準(zhǔn)算法對(duì)四孔徑圖像的重疊區(qū)域進(jìn)行位移估計(jì)，設(shè)置上采樣系數(shù)為100，即圖像的配準(zhǔn)精度為像素的1/100，下、左、上子孔徑圖像相對(duì)右子孔徑圖像的位移估計(jì)分別為（0.12，1.34）、（-0.24，0.7）和（-0.57，-0.2）。對(duì)于穩(wěn)定的系統(tǒng)結(jié)構(gòu)，此參數(shù)僅需一次確定，滿足實(shí)時(shí)應(yīng)用需求。

（2）基于幀間差分過(guò)采樣圖像重建算法生成過(guò)采樣重建圖像，下、左、上子孔徑圖像相對(duì)右子孔徑圖像的初始位移量分別為（0.25，0.25）、（0.5，0）和（0.25，-0.25），經(jīng)過(guò)幀間差分過(guò)采樣的系數(shù)矩陣為：

（3）基于調(diào)制傳遞函數(shù)（Modulation Transfer Function，MTF）的空間積分模型建立Wiener 濾波器，抑制探測(cè)器空間積分的影響，獲得高分辨圖像?？紤]到探測(cè)器在空間上離散采樣，像元內(nèi)空間積分導(dǎo)致圖像模糊，探測(cè)器空間積分模型的MTF 近似為：

式中：u=-M/2，-M/2+1，…，M/2-1；v=-N/2，-N/2+1，…，N/2-1；M×N為探測(cè)器面陣規(guī)格；常數(shù)α和β分別表示探測(cè)器水平和豎直方向的占空比。

根據(jù)探測(cè)器MTF 空間積分模型，建立Wiener 濾波器：

4 實(shí)驗(yàn)結(jié)果與討論

實(shí)驗(yàn)利用“十”字型四孔徑視場(chǎng)部分重疊仿生熱成像系統(tǒng)獲取分辨率靶標(biāo)圖像和外界場(chǎng)景圖像，并進(jìn)行了圖像預(yù)處理、配準(zhǔn)與拼接以及超分辨處理。

4.1 分辨率靶標(biāo)測(cè)試

圖8（a）為CI 黑體SR-800N，輻射面尺寸為7×7 英寸，溫度為0～125 ℃；圖8（b）為四條帶分辨率靶標(biāo)，輻射率為0.93，寬度W分別為7.13，8.00，8.98，10.08 mm。按照成像系統(tǒng)剛好區(qū)分靶標(biāo)條帶的分辨率要求，可得工作距離DW與W、鏡頭焦距f以及探測(cè)器像元尺寸PS的關(guān)系為：

圖8 分辨率靶標(biāo)測(cè)試Fig.8 Resolution target test

考慮到分辨率靶標(biāo)有4 組不同寬度的條帶，根據(jù)式（8）設(shè)定靶標(biāo)放置在729～819 mm 之間，即第二組和第三組條帶對(duì)應(yīng)的工作距離。實(shí)驗(yàn)中將分辨率靶標(biāo)固定到黑體輻射面前，并在距分辨率靶標(biāo)800 mm 處放置實(shí)驗(yàn)系統(tǒng)，保證實(shí)驗(yàn)系統(tǒng)、分辨率靶標(biāo)和黑體三者的中心一致。為了豐富場(chǎng)景信息，將風(fēng)扇置于靶標(biāo)右側(cè)，光學(xué)夾具置于靶標(biāo)左側(cè)?？紤]到紅外圖像顯示時(shí)采用全局動(dòng)態(tài)范圍壓縮算法，而分辨率靶標(biāo)占據(jù)像素較少，故將黑體溫度設(shè)為與室溫相差5 K（黑體溫度為299 K，室溫為294 K），便于觀察場(chǎng)景信息。

圖9 給出了四孔徑采集圖像預(yù)處理前后的對(duì)比，其中圖9（a）為探測(cè)器直接輸出原始數(shù)據(jù)經(jīng)過(guò)壓縮顯示的圖像，圖9（b）為經(jīng)過(guò)NUC 及盲元剔除的圖像。非均勻性校正采取兩點(diǎn)NUC 方法，盲元通過(guò)中值濾波值（濾波核3×3）替代。由于探測(cè)器自身工藝及設(shè)計(jì)的讀出電路不可避免地存在差異，4 張單孔徑圖像略有差異。經(jīng)過(guò)預(yù)處理，豎條紋噪聲明顯減少，可以清楚地看到靶標(biāo)、風(fēng)扇和光學(xué)夾具。4 張單孔徑圖像除獲取分辨率靶標(biāo)外，還獲取了不同的場(chǎng)景信息，左上圖像包含風(fēng)扇和光學(xué)夾具信息，左下圖像缺失光學(xué)夾具部分信息，右上圖像缺失風(fēng)扇信息，右下圖像缺失光學(xué)夾具信息。

圖9 靶標(biāo)圖像預(yù)處理Fig.9 Target image preprocessing

圖10 為進(jìn)行拼接處理前后的圖像效果。可以看出，系統(tǒng)視場(chǎng)重疊與圖2（b）的理想情況有所差異；采取灰度線性加權(quán)融合過(guò)渡策略，有效緩解了拼接處灰度不一致的情況；經(jīng)過(guò)圖像配準(zhǔn)與拼接后，成像視場(chǎng)增大，場(chǎng)景信息比單孔徑圖像明顯增多。

圖10 靶標(biāo)圖像的拼接處理Fig.10 Target image stitching processing

由于四孔徑重疊區(qū)域不可避免地存在亞像素級(jí)錯(cuò)位，重疊區(qū)域較4 幅單孔徑圖像均有所模糊。圖11 為幾種不同重構(gòu)方法的高分辨圖像比較。這里最近鄰、雙線性和雙三次插值時(shí)選擇了4 幅單孔徑圖像中成像效果最好的圖像進(jìn)行。由于探測(cè)器像素少，角分辨率較低，圖像馬賽克現(xiàn)象較為嚴(yán)重，難以直接通過(guò)觀察分辨率靶標(biāo)來(lái)獲得分辨率的提升率，只能從圖像清晰度方面來(lái)評(píng)價(jià)插值效果。從直接的圖像效果來(lái)看，SIMS 插值效果最好，最近鄰插值次之，雙三次插值優(yōu)于雙線性插值；經(jīng)過(guò)SIMS 重構(gòu)的第三組條帶邊緣最清晰，第二組條帶較最近鄰插值稍差，但條帶邊緣的清晰度仍然是最高的。

圖11 不同重構(gòu)方法的中心高分辨圖像Fig.11 Center high-resolution images of different reconstruction methods

4.2 外界場(chǎng)景測(cè)試

對(duì)實(shí)際場(chǎng)景進(jìn)行了測(cè)試實(shí)驗(yàn)。圖12 為對(duì)實(shí)驗(yàn)室內(nèi)人群的成像效果圖，圖12（a）為系統(tǒng)直接輸出原始數(shù)據(jù)經(jīng)過(guò)壓縮后顯示的圖像，圖12（b）為經(jīng)過(guò)非均勻性校正以及盲元剔除的預(yù)處理圖像。預(yù)處理后的場(chǎng)景信息清晰可見(jiàn)，豎條紋噪聲明顯減少，且由于圖像顯示為全局動(dòng)態(tài)范圍壓縮算法，故視覺(jué)效果方面外界場(chǎng)景圖像噪聲比分辨率靶標(biāo)圖像噪聲小。

圖12 圖像預(yù)處理Fig.12 Image preprocessing

4 幅單孔徑圖像獲取了不同的場(chǎng)景信息，左上圖像包含燈管信息，左下圖像缺失第一人的右手信息和第三人的頭部信息，右上圖像缺失第三人的左手信息，右下圖像包含置物架信息。圖13為有/無(wú)拼縫處理的拼接圖像對(duì)比，拼縫處理采取灰度線性加權(quán)融合過(guò)渡策略，有效解決了拼接處灰度不一致情況。可以看出，由于實(shí)際外界場(chǎng)景圖像的工作距離與分辨率靶標(biāo)測(cè)試不同，其透視變換矩陣明顯不同。經(jīng)過(guò)圖像配準(zhǔn)與拼接后，成像視場(chǎng)增大，場(chǎng)景信息比單孔徑圖像明顯增多。但受配準(zhǔn)精度和探測(cè)器角度的影響，重疊區(qū)域的圖像較單孔徑圖像有一定的模糊。圖14 分別給出幾種重構(gòu)方法的中心高分辨圖像。與分辨率靶標(biāo)測(cè)試一樣，采用最近鄰、雙線性和雙三次插值時(shí)，選擇4 幅單孔徑圖像中成像效果最好的一幅進(jìn)行。從圖像效果來(lái)看：SIMS 插值效果最好，雙三次插值次之，直接過(guò)采樣最差，最近鄰插值較雙線性插值圖像清晰，但圖像邊緣的鋸齒狀效應(yīng)更明顯。

圖13 圖像的拼接處理Fig.13 Image stitching processing

圖14 不同重構(gòu)方法的中心高分辨圖像Fig.14 Center high-resolution images of different reconstruction methods

4.3 客觀評(píng)價(jià)

由于本系統(tǒng)難以獲得原始的高分辨圖像，常用的全參考客觀評(píng)價(jià)指標(biāo)峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似度（Structural Similarity，SSIM）無(wú)法使用。雖然各類(lèi)研究提出了一些圖像重建效果的評(píng)價(jià)指標(biāo)，但還沒(méi)有公認(rèn)的無(wú)參考客觀評(píng)價(jià)指標(biāo)。本文從圖像清晰度方面進(jìn)行重構(gòu)圖像效果的評(píng)價(jià)。圖像清晰度評(píng)價(jià)指標(biāo)能夠較好地與人眼主觀視覺(jué)感受保持一致，常用圖像信息熵（Information Entropy，IE）、基于熵的增強(qiáng)判據(jù)（Measure of Enhancement by Entropy，EME）、均方根對(duì)比度（Root-Mean-Square Contrast，RMSC）、Brenner 梯度函數(shù)、Tenengrad 梯度函數(shù)，以及灰度方差乘積函數(shù)SMD2 等進(jìn)行重建圖像質(zhì)量的綜合評(píng)價(jià)。評(píng)價(jià)指標(biāo)值越大，圖像信息越豐富，清晰度也越高。

表1 列出了圖11，14 幾種重建算法的無(wú)參考客觀評(píng)價(jià)指標(biāo)對(duì)比。可以看出：在IE 方面，SIMS與雙三次插值優(yōu)于雙線性插值和最近鄰插值；在EME方面，SIMS優(yōu)于其他3種插值算法；在RMSC 方面，針對(duì)靶標(biāo)測(cè)試，SIMS 優(yōu)于其他3種，針對(duì)人群測(cè)試，4 種算法差不多，但SIMS 最好；在Brenner 梯度和Tenengrad 梯度方面，SIMS最優(yōu)，最近鄰插值次之，雙線性插值最差，與主觀視覺(jué)分析一致；在SMD2 方面，SIMS 仍然是最好的。綜合來(lái)看，SIMS 的重建效果優(yōu)于其他3 種插值算法。

表1 圖11 和圖14 無(wú)參考客觀評(píng)價(jià)指標(biāo)對(duì)比Tab. 1 Comparison of unreferenced objective evaluation indicators in Figure 11 and Figure 14

5 結(jié)論

本文研究了“十”字型多孔徑視場(chǎng)部分重疊仿生熱成像模式，給出了“十”字型四孔徑/五孔徑兩種仿生熱成像模式，并研制了“十”字型四孔徑視場(chǎng)部分重疊仿生熱成像系統(tǒng)，其拼接總視場(chǎng)為單孔徑相機(jī)的2.36 倍，四孔徑重疊區(qū)域占總視場(chǎng)的7.78%；通過(guò)去盲元和非均勻性校正、基于透視變換的圖像拼接以及基于SIMS 的超分辨處理，此類(lèi)仿生熱成像模式在探測(cè)器受限的條件下能夠緩減大視場(chǎng)和高分辨率的矛盾，構(gòu)成空間變分辨率仿生復(fù)眼成像系統(tǒng)，可望應(yīng)用到新型成像制導(dǎo)子彈、微型無(wú)人機(jī)緊急避障系統(tǒng)等領(lǐng)域。

本文主要論述系統(tǒng)構(gòu)成、視場(chǎng)拼接以及實(shí)現(xiàn)空間變分辨率的途徑等，目前圖像配準(zhǔn)與拼接算法采取手動(dòng)選取特征點(diǎn)的方式來(lái)獲得透視變換矩陣，存在人為誤差干擾。由于4 個(gè)單孔徑相機(jī)的響應(yīng)率不完全一致且像素太少，超分辨圖像存在馬賽克現(xiàn)象。超分辨率的提升與重疊率的關(guān)系、運(yùn)動(dòng)目標(biāo)快速檢測(cè)、偏振成像及雙色成像等仿生復(fù)眼特性將是后續(xù)研究的內(nèi)容。