高速微掃描圖像超分辨重建

趙浩光，曲涵石，王 鑫，尚 洋，劉立剛，韓松偉，孟 森，王 平

（1.國(guó)防科技大學(xué) 空天科學(xué)學(xué)院，湖南 長(zhǎng)沙410073；2.中國(guó)航空工業(yè)集團(tuán)公司 沈陽飛機(jī)設(shè)計(jì)研究所，遼寧 沈陽110035；3.西安電子科技大 學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，西安710071；4.中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 航空光學(xué)成像與測(cè)量重點(diǎn)實(shí)驗(yàn)室，吉林 長(zhǎng)春130033；5.圖像測(cè)量與視覺導(dǎo)航湖南省重點(diǎn)實(shí)驗(yàn)室，湖南 長(zhǎng)沙410073；6.上海乂義實(shí)業(yè)有限公司，上海20114）

1 引 言

超分辨成像技術(shù)是指對(duì)同一場(chǎng)景多次曝光采樣，獲取存在亞像素偏差的低分辨率圖像序列，然后利用圖像超分辨重建技術(shù)將一幅或多幅低分辨率圖像合成高分辨率圖像的技術(shù)［1-2］。

傳統(tǒng)圖像超分辨重建技術(shù)主要應(yīng)用于航天領(lǐng)域的遙感成像技術(shù)，其實(shí)現(xiàn)方法為：針對(duì)同一場(chǎng)景使用多個(gè)相機(jī)同步進(jìn)行采樣或者使用一個(gè)相機(jī)在不同位置進(jìn)行采樣，以此獲取低分辨率圖像序列，然后利用空域插值法得到高分辨率圖像，最后使用傳統(tǒng)圖像處理手段去除圖像噪聲和模糊。這種超分辨重建技術(shù)存在定位精度差、實(shí)時(shí)性較差、配套設(shè)備體積大的問題，很難應(yīng)用于航空偵察領(lǐng)域。

自二十世紀(jì)九十年代起，基于微掃描的超分辨重建技術(shù)開始受到西方國(guó)家重視?，F(xiàn)階段，美國(guó)、法國(guó)等西方國(guó)家已經(jīng)在航空光電偵察領(lǐng)域廣泛使用此項(xiàng)技術(shù)［3］，而我國(guó)在這個(gè)方向尚處于起步階段［10］。

近些年，隨著深度學(xué)習(xí)技術(shù)的廣泛使用，圖像超分辨技術(shù)得到了飛速發(fā)展，其基本思想是通過計(jì)算機(jī)多層次深入學(xué)習(xí)獲得先驗(yàn)知識(shí)，利用不同圖像在高頻細(xì)節(jié)的相似性，結(jié)合深度學(xué)習(xí)算法構(gòu)建高分辨率圖像和低分辨率圖像之間的關(guān)系模型。較之傳統(tǒng)方法，基于深度學(xué)習(xí)的超分辨重建技術(shù)的重建效果得到了進(jìn)一步提升，但是實(shí)時(shí)性變得更差。即使使用更快、更深的卷積神經(jīng)網(wǎng)絡(luò)做單幀圖像超分辨重建，依然很難應(yīng)用于航空偵察領(lǐng)域。

無論使用何種超分辨重建技術(shù)，探測(cè)器輸出的低分辨率圖像均會(huì)受到如下因素制約：

（1）光學(xué)系統(tǒng)的方案設(shè)計(jì)、加工精度和安裝誤差會(huì)引起圖像模糊，改變圖像對(duì)比度；

（2）探測(cè)器靶面的像元尺寸、感光材料的選取以及讀出電路的設(shè)計(jì)均會(huì)使圖像產(chǎn)生一定程度的噪聲混疊；

（3）伺服控制系統(tǒng)的控制誤差會(huì)引起圖像運(yùn)動(dòng)模糊。

這些因素不僅降低了探測(cè)器輸出的低分辨率圖像的成像質(zhì)量，而且增加了低分辨率圖像二次配準(zhǔn)的難度，進(jìn)而影響超分辨重建的結(jié)果。

本文將光學(xué)系統(tǒng)內(nèi)部透鏡固定到高速微掃組件上，在探測(cè)器曝光的間歇期快速移動(dòng)光學(xué)透鏡一段距離，使探測(cè)器輸出的前后兩幀圖像存在亞像素偏差。然后使用基于概率分布的超分辨重建算法，將低分辨率圖像序列處理成高分辨率圖像。與傳統(tǒng)的超分辨重建相比，高速微掃描組件體積小、重量輕、掃描速度快、到位精度高，能較好的應(yīng)對(duì)場(chǎng)景快速變化和平臺(tái)振動(dòng)干擾，滿足機(jī)載光電偵察設(shè)備對(duì)尺寸、重量和抗沖擊振動(dòng)的要求。基于概率分布的超分辨重建算法能夠針對(duì)圖像有效信息進(jìn)行處理，避免了大量冗余計(jì)算，進(jìn)一步提高超分重建的實(shí)時(shí)性和準(zhǔn)確性。經(jīng)實(shí)驗(yàn)驗(yàn)證，高速微掃描圖像超分辨重建技術(shù)在機(jī)載光電偵察平臺(tái)不改變光學(xué)系統(tǒng)的前提下，可以有效地提升目標(biāo)識(shí)別距離。

高速微掃描超分辨技術(shù)還能較好的克服或緩解前文提及的三點(diǎn)制約因素帶來的問題。高速微掃描超分辨技術(shù)在提高光電偵察設(shè)備輸出圖像分辨率的同時(shí)［4］，還能夠提升探測(cè)器的靈敏度［1，5］、降低探測(cè)器的系統(tǒng)噪聲，對(duì)探測(cè)器進(jìn)行基于場(chǎng)景的非均勻較正，進(jìn)而降低探測(cè)器因設(shè)計(jì)、加工、像元尺寸、伺服控制等因素產(chǎn)生的負(fù)面影響［6-7］，最終提高光電偵察設(shè)備的識(shí)別能力。

隨著電子芯片集成化技術(shù)和計(jì)算機(jī)技術(shù)的高速發(fā)展［8］，實(shí)現(xiàn)無人機(jī)自主偵查打擊已成為可能。世界軍事強(qiáng)國(guó)無不重視無人機(jī)自主查打技術(shù)的研究［9］，具有高度自主偵查、打擊能力的無人機(jī)系統(tǒng)必將成為未來戰(zhàn)爭(zhēng)的主角。目標(biāo)自主識(shí)別是無人機(jī)自主感知、自主決策、自主規(guī)劃、自主攻擊的基礎(chǔ)。實(shí)現(xiàn)目標(biāo)自主識(shí)別可使無人機(jī)迅速適應(yīng)戰(zhàn)場(chǎng)環(huán)境，對(duì)敵我態(tài)勢(shì)進(jìn)行準(zhǔn)確判斷和應(yīng)對(duì)，即使在通信受阻、操作人員被限制的不利條件下，依然能夠繼續(xù)執(zhí)行任務(wù)。因此開展相關(guān)領(lǐng)域的技術(shù)研究勢(shì)在必行。

2 微掃描圖像超分辨工作原理

先敵發(fā)現(xiàn)、先敵識(shí)別是機(jī)載光電偵察設(shè)備的重要指標(biāo)，這對(duì)光電偵察設(shè)備裝備的探測(cè)器的靈敏度和分辨率提出較高要求［6］。探測(cè)器靈敏度與像元尺寸正相關(guān)，即像元尺寸越大探測(cè)器靈敏度越高。光電偵察設(shè)備受到無人機(jī)載重（續(xù)航）、安裝結(jié)構(gòu)影響，對(duì)光學(xué)系統(tǒng)口徑進(jìn)行了尺寸限制，導(dǎo)致探測(cè)器靶面尺寸偏小。在探測(cè)器靶面固定的情況下，分辨率與像元尺寸負(fù)相關(guān)，即分辨率越高，像元尺寸越小，單個(gè)像元的靈敏度越低。

本文采用高速微掃描圖像超分辨技術(shù)，即使光電偵察設(shè)備使用大像元探測(cè)器，也可以在保證高靈敏度的同時(shí)，提升機(jī)載光電偵察設(shè)備的分辨率。高速微掃描超分辨原理分為兩個(gè)步驟（參見圖1）：

圖1 高速微掃描超分辨示意圖Fig.1 Schematic diagram of high-speed micro-scanning super-resolution

（1）控制微掃描組件（二維壓電高速微掃描平臺(tái)和緊湊型高頻壓電控制器）實(shí)現(xiàn)圖像過采樣；

（2）使用圖像過采樣獲取的低分辨率圖像，在嵌入式平臺(tái)實(shí)現(xiàn)圖像實(shí)時(shí)超分辨重建算法。

2.1 圖像過采樣基本原理

為了獲取具有亞像素級(jí)偏差的低分辨率原始圖像序列，需要微掃描平臺(tái)按照一定頻率及步長(zhǎng)移動(dòng)光學(xué)透鏡。通過機(jī)械平移透鏡一段距離d，使得目標(biāo)物在像平面上的成像位置由I運(yùn)動(dòng)到I′，如圖2所示。

通過精細(xì)控制實(shí)現(xiàn)成像的微位移（亞像素級(jí)）運(yùn)動(dòng)，這一過程稱為過采樣過程。過采樣過程通常會(huì)使用4種微掃描模式［2］（1×1，2×2，3×3，4×4），如圖3所示。本文綜合考慮了計(jì)算機(jī)資源分配和實(shí)時(shí)性需求，采用2×2微掃描模式。

圖3 常用微掃描模式Fig.3 The micro-scan pattern according to the mode

2.2 圖像超分辨重建原理

將獲取的存在亞像素級(jí)偏差的低分辨率圖像處理成高分辨率圖像的方式主要有三種［11］，分別是：

a基于經(jīng)典插值理論的圖像插值算法；

b基于概率分布的超分辨重建算法；

c基于深度學(xué)習(xí)的圖像擬合算法。

方式a的特點(diǎn)是圖像處理的速度快、魯棒性差、超分效果有限；方式b的特點(diǎn)是魯棒性好、超分效果較好、圖像處理速度相對(duì)較慢；方式c的特點(diǎn)是需要事先進(jìn)行大量的機(jī)器訓(xùn)練、運(yùn)行過程消耗大量的計(jì)算資源，很難滿足機(jī)載光電偵察設(shè)備對(duì)實(shí)時(shí)性的要求［12］。為滿足機(jī)載光電偵察設(shè)備的實(shí)時(shí)性需求，同時(shí)達(dá)到最優(yōu)的重建效果，本文采用了基于概率分布的超分辨重建算法。

基于概率分布的超分辨重建算法的基本原理是：建立真實(shí)成像的數(shù)學(xué)模型，估計(jì)模型的相關(guān)參數(shù)，結(jié)合探測(cè)器輸出的低分辨率圖像序列Y，構(gòu)建符合一定條件的像素概率分布函數(shù)［13］，通過極大似然估計(jì)，確定理想高分辨圖像X。成像模型如圖4所示。

圖4 成像模型示意圖Fig.4 Schematic diagram of image degradation process

2.2.1 光學(xué)成像模型的數(shù)學(xué)擬合

選取連續(xù)的自然場(chǎng)景作為輸入，經(jīng)一定頻率采樣后獲得離散場(chǎng)景，離散場(chǎng)景對(duì)應(yīng)理想的高分辨率圖像X，當(dāng)采樣頻率高于奈奎斯特頻率時(shí)，離散場(chǎng)景可完全復(fù)現(xiàn)輸入場(chǎng)景。

機(jī)載探測(cè)器的空間位置是時(shí)刻變化的，這些變化會(huì)引起圖像的平移、旋轉(zhuǎn)、仿射，導(dǎo)致場(chǎng)景X發(fā)生生運(yùn)動(dòng)變化，用運(yùn)動(dòng)變化矩陣F表示這一過程；受到探測(cè)器光學(xué)孔徑限制和伺服控制精度的雙重影響，場(chǎng)景X中某些點(diǎn)會(huì)擴(kuò)散成不規(guī)則的彌散斑，導(dǎo)致輸出圖像伴隨一定程度的模糊，用模糊因子矩陣H表示這一過程；探測(cè)器感光區(qū)生成像素值的過程是一個(gè)下采樣的過程，導(dǎo)致探測(cè)器輸出圖像的分辨率進(jìn)一步降低，用下采樣算子矩陣D表示這一過程；探測(cè)器輸出圖像經(jīng)讀出電路轉(zhuǎn)換后會(huì)附著噪聲，用噪聲混疊矩陣V表示這一過程。因此，第k幀的探測(cè)器輸出圖像Y k的表達(dá)式如下所示：

其中：Y k為探測(cè)器輸出的第k幀低分辨率圖像，D k為第k幀下采樣算子，H k為第k幀模糊因子，F(xiàn) k為第k幀的運(yùn)動(dòng)變化，X為理想高分辨率圖像，V k為第k幀噪聲混疊項(xiàng)。

下采樣算子D k、模糊因子H k、幀間運(yùn)動(dòng)變化F k可分別通過圖像配準(zhǔn)、相機(jī)標(biāo)定、解算光電偵察設(shè)備姿態(tài)的方式確定，即降質(zhì)矩陣W k可確定。另外，場(chǎng)景明暗變化也會(huì)引起探測(cè)器輸出的圖像Y k的變化，故引入明暗變化矩陣λ1k，λ2k，對(duì)式（1）進(jìn)行調(diào)整如下：

2.2.2 構(gòu)建概率密度函數(shù)求取理想高分辨圖像

式（2）中D k，H k，F(xiàn) k均為稀疏矩陣，根據(jù)若干張輸出圖像Y k反推理想高分辨率圖像X的過程實(shí)際上是一個(gè)解算病態(tài)方程的過程。假設(shè)混疊噪聲項(xiàng)V k符合高斯分布，構(gòu)建關(guān)于高分辨率圖像X、光照強(qiáng)度變化矩λ1k，λ2k及降質(zhì)矩陣W k的Y k像素值的概率密度函數(shù)，如下：

其中：參數(shù)β和M的值一般默認(rèn)為1，實(shí)際情況會(huì)根據(jù)實(shí)際場(chǎng)景進(jìn)行微調(diào)。在Y k，λ1k，λ2k，W k已知的情況下對(duì)式（2）進(jìn)行極大似然估計(jì)，也就是求概率極值所對(duì)應(yīng)的理想高分辨率圖像X?ML，如下：

由于降質(zhì)矩陣W k行數(shù)、列數(shù)較大，且有較多非零元素，無法直接求逆，故使用迭代法求逆。構(gòu)建似然函數(shù)L及似然函數(shù)L關(guān)于任一高分辨率估計(jì)圖像x的導(dǎo)數(shù)似然函數(shù)L的表達(dá)式

極大似然估計(jì)值X?ML通過共軛梯度迭代法求解。如忽略光照強(qiáng)度變化引起的圖像變化，認(rèn)定混疊噪聲項(xiàng)V的期望為零，則X?ML的可近似為如下：

如無法忽略光照強(qiáng)度變化引起的圖像變化，且認(rèn)定噪聲混疊項(xiàng)V的期望為零，則X?ML的解析式可改寫為：

3 高速微掃描超分辨的實(shí)現(xiàn)

為在機(jī)載光電偵察設(shè)備上實(shí)現(xiàn)實(shí)時(shí)高速微掃描超分辨技術(shù)，與其他機(jī)載設(shè)備進(jìn)行了精細(xì)配合，通信示意圖如圖5所示。本文將光學(xué)系統(tǒng)中的一片透鏡固定到二維壓電高速微掃描平臺(tái)上，以此帶動(dòng)該透鏡進(jìn)行高速微位移。首先在上位機(jī)端按照2×2掃描模式，驅(qū)動(dòng)二維壓電高速微掃描平臺(tái)，獲取具有亞像素級(jí)偏差的低分辨率原始圖像序列，然后在嵌入式平臺(tái)上，使用基于概率分布的超分辨重建算法，將探測(cè)器輸出的低分辨率原始圖像處理成高分辨率圖像。

圖5 微掃描超分辨通信示意圖Fig.5 Communication schematic diagram of micro-scan?ning super-resolution

本文利用過采樣后獲取的四幀連續(xù)圖像，合成一幀理想高分辨率圖像，本質(zhì)上是犧牲時(shí)間換取空間的方式。對(duì)于幀頻為120 FPS，畫幅為640×512，位深為14 bit的輸入圖像，經(jīng)本文算法處理后的圖像幀頻變?yōu)?0 FPS，畫幅變?yōu)? 280×1 024，位深仍為14 bit，理論上可提升100%的空間分辨率，大幅度提高識(shí)別距離。

3.1 圖像過采樣的實(shí)現(xiàn)

圖像過采樣由二維壓電高速微掃描平臺(tái)、緊湊型高頻壓電控制器配合實(shí)現(xiàn)。當(dāng)探測(cè)器處于曝光階段時(shí)，透鏡保持位置穩(wěn)定，當(dāng)探測(cè)器處于非曝光階段時(shí)，二維壓電高速微掃描平臺(tái)帶動(dòng)透鏡快速運(yùn)動(dòng)實(shí)現(xiàn)亞像素位移。

為了保證微掃描與探測(cè)器曝光同步，上位機(jī)先發(fā)送微掃描控制命令，1.5 ms后發(fā)送探測(cè)器外觸發(fā)信號(hào)，曝光完成后，上位機(jī)再次發(fā)送微掃描控制命令，以此循環(huán)，確保微掃描不引起圖像模糊，提高成像質(zhì)量。針對(duì)輸出幀頻為120 FPS的探測(cè)器，高速微掃描超分辨核心組件進(jìn)行了專門的優(yōu)化設(shè)計(jì)，采用2×2的過采樣掃描方式，微掃描時(shí)間＜1.0 ms，到位穩(wěn)定精度＜0.3μm（對(duì)應(yīng)約0.03個(gè)像素）。二維壓電高速微掃描平臺(tái)的實(shí)測(cè)結(jié)果如圖6所示。

圖6 2×2微掃描位移測(cè)試結(jié)果Fig.6 2×2 micro-scan pattern test result

本文采用壓電陶瓷作為驅(qū)動(dòng)單元，采用閉環(huán)控制的方法，解決壓電陶瓷輸出位移與輸入電壓非線性的問題。經(jīng)理論計(jì)算和反復(fù)標(biāo)校實(shí)驗(yàn)，本文為達(dá)成圖像0.5像素微位移，微掃描步長(zhǎng)設(shè)定為±6.75μm，測(cè)試結(jié)果如圖7所示。

圖7 微掃描位移響應(yīng)測(cè)試結(jié)果Fig.7 Micro-scan response test results

3.2 圖像實(shí)時(shí)超分辨的實(shí)現(xiàn)

3.2.1 圖像配準(zhǔn)預(yù)處理

光學(xué)成像系統(tǒng)受真實(shí)場(chǎng)景的復(fù)雜程度、光學(xué)系統(tǒng)的加工精度、方案設(shè)計(jì)、選材、光軸一致性以及伺服系統(tǒng)的控制精度等多方面影響，并不是理想的時(shí)不變系統(tǒng)。微掃描后獲取的圖像序列很難保證嚴(yán)格相差1/4或1/2個(gè)像元大小，導(dǎo)致在進(jìn)行圖像超分辨之前，必須進(jìn)行圖像配準(zhǔn)。

圖像配準(zhǔn)技術(shù)包括四個(gè)方面：變換模型、特征空間、相似性測(cè)度、搜索空間。本文依據(jù)這四個(gè)特性，將圖像配準(zhǔn)分為以下五個(gè)步驟進(jìn)行：

Step1：根據(jù)實(shí)際應(yīng)用場(chǎng)合選取適當(dāng)?shù)淖儞Q模型；

Step2：選取基于灰度的特征空間；

Step3：根據(jù)變換模型的配置參數(shù)及所選用的特征，確定參數(shù)的變化范圍及最優(yōu)的搜索策略；

Step4：應(yīng)用相似性測(cè)度在搜索空間中按照優(yōu)化準(zhǔn)則進(jìn)行搜索，尋找最大相關(guān)點(diǎn)，從而求解出變換模型中的未知參數(shù)；

Step5：將待配準(zhǔn)圖像按照變換模型逐像素一一對(duì)應(yīng)到參考圖像中，實(shí)現(xiàn)圖像間的匹配。

3.2.2 實(shí)時(shí)圖像超分辨

真實(shí)場(chǎng)景經(jīng)2×2模式過采樣處理后，獲得4張低分辨率圖像，本文的目的是根據(jù)這四張低分辨率圖像估計(jì)出一張理想高分辨率圖像X，故式（5）中的N=4，根據(jù)式（6）結(jié)合迭代法計(jì)算出極大似然估計(jì)值X?ML，這個(gè)極大似然估計(jì)值就是超分辨重建后的高分辨率圖像。本文使用基于概率分布的超分辨重建算法，需要構(gòu)建一個(gè)行數(shù)、列數(shù)較大的降質(zhì)矩陣W，導(dǎo)致求極大似然估計(jì)值的過程涉及大量、頻繁的矩陣計(jì)算。為了兼顧硬件功耗、處理芯片性能，本文對(duì)超分辨重建算法進(jìn)行了改進(jìn)和優(yōu)化。

本文將過采樣獲取的4幅640×512的低分辨率圖像，重建成一幅1 280×1 024的高分辨圖像，對(duì)應(yīng)的W矩陣的大小為1 280×1 024×4×640×512。為降低W矩陣的復(fù)雜度，本文提出一種分塊處理方法，即將固定區(qū)域分割成80個(gè)子區(qū)域，記作Y(i)k，i=1，2，...，80，每子區(qū)域Y(i)k的畫幅為36×36，且與相鄰子區(qū)域有部分重疊（防止邊界損失）。分割后每個(gè)子區(qū)域?qū)?yīng)的W(i)k矩陣的大小為72×72×4×36×36，大大降低了迭代過程的復(fù)雜度。

本文采用共軛梯度法（Conjugate Gradient）求式（6）的極大似然估計(jì)值時(shí)。共軛梯度法是介于最速下降法與牛頓法之間的一種方法。通過一階導(dǎo)數(shù)的使用，克服了最速下降法收斂慢的缺點(diǎn)，又避免了牛頓法需要存儲(chǔ)和計(jì)算Hesse矩陣并求逆的缺點(diǎn)。共軛梯度法具有步收斂性，穩(wěn)定性高。經(jīng)實(shí)驗(yàn)驗(yàn)證，采用共軛梯度法僅需10次迭代便可達(dá)到最速下降法150次迭代的收斂性，且迭代精度幾乎一致，極大提高了迭代效率。

為了提升幀間運(yùn)動(dòng)信息的時(shí)效性、準(zhǔn)確性及魯棒性，本文選用GPU-TX2i嵌入式平臺(tái)作為硬件環(huán)境，并行構(gòu)建80個(gè)子區(qū)域?qū)?yīng)的降質(zhì)矩陣，并行迭代求解子區(qū)域?qū)?yīng)的高分辨率圖像X(i)。為提高圖像處理速度，在算法優(yōu)化時(shí)使用更小的卷積核，嚴(yán)格控制存儲(chǔ)量，實(shí)時(shí)調(diào)整迭代步長(zhǎng)，在保證精度的情況下盡量減小迭代次數(shù)，降低圖像處理運(yùn)算量。為了避免子區(qū)域合成全畫幅的高分辨率圖像時(shí)出現(xiàn)邊緣效應(yīng)，本文對(duì)每個(gè)子區(qū)域邊緣重疊部分的灰度值進(jìn)行了自適應(yīng)調(diào)整，最終獲得期望的超分辨率圖像X。

4 測(cè)量實(shí)驗(yàn)與結(jié)果

4.1 超分辨重建對(duì)圖像空間分辨率提升的測(cè)試

為了測(cè)試基于概率分布的超分辨重建算法對(duì)圖像空間分辨率的提升效果，本文分別對(duì)室內(nèi)靶標(biāo)、室外復(fù)雜場(chǎng)景進(jìn)行測(cè)試。

4.1.1 室內(nèi)靶標(biāo)測(cè)

室內(nèi)靶標(biāo)測(cè)試識(shí)別的目標(biāo)是1951USAF分辨率測(cè)試板。1951USAF分辨率測(cè)試板由不同的群組（Group）和對(duì)應(yīng)元素（Element）構(gòu)成，可通過查表獲取相應(yīng)的分辨率。1951USAF分辨率測(cè)試板上的每個(gè)群組包含六個(gè)元素，每個(gè)元素包含水平分布和垂直分布的三條靶標(biāo)，靶標(biāo)之間的間距與靶標(biāo)寬度相同?？臻g分辨率（Frequency）計(jì)算方法如下所示：

經(jīng)過采樣處理后，探測(cè)器輸出的4張具有亞像素偏差的低分辨率原始圖像如圖8所示。由于實(shí)驗(yàn)在室內(nèi)進(jìn)行，不存在大氣湍流擾動(dòng)和伺服控制精度的問題，這四張圖片的偏差實(shí)際為0.5個(gè)像素，屬于一種較為理想的狀態(tài)。

圖8 具有亞像素偏差的4張低分辨率原始圖像Fig.8 4 low-resolution images with sub-pixel shift

對(duì)比數(shù)據(jù)取自圖8中標(biāo)紅位置的局部圖，超分辨前后空間分辨率變化如圖9所示，圖9中的左圖為低分辨率原始圖像，右圖為超分辨重建的圖像。

圖9 低分辨率原始圖像與超分辨重建圖像對(duì)比圖Fig.9 Comparison of low resolution original image and super-resolution reconstruction results

由圖9知，低分辨率原始圖像可分辨第2組第3元素，對(duì)應(yīng)的空間分辨率為5.039。經(jīng)超分辨重建處理后的高分辨率圖像可分辨第3組第2元素，其對(duì)應(yīng)的空間分辨率為8.979。相比于低分辨率原始圖像，超分辨重建后的圖像可識(shí)別的元素提升了5個(gè)，空間分辨率提升78.2%。

4.1.2 室外復(fù)雜場(chǎng)景測(cè)試

室外復(fù)雜場(chǎng)景測(cè)試相較于室內(nèi)靶標(biāo)測(cè)試，不能忽略大氣湍流擾動(dòng)和伺服控制精度的影響，為了不降低超分辨重建算法在復(fù)雜場(chǎng)景下的魯棒性、穩(wěn)定性，需要對(duì)過采樣獲取的圖像進(jìn)行配準(zhǔn)。

室外復(fù)雜場(chǎng)景的超分辨前后圖像的局部對(duì)比，如圖10所示，圖10中的左圖為低分辨率原始圖像，右圖為超分辨重建的圖像。

圖10 地面外景超分辨結(jié)果對(duì)比圖Fig.10 Comparison of super-resolution results in outdoor scenes

由圖10知，經(jīng)超分辨重建處理后，圖像中的混疊信息被去除掉了，目標(biāo)的特征更清晰、識(shí)別更容易。

4.2 超分辨重建對(duì)目標(biāo)識(shí)別距離提升的測(cè)試

為了測(cè)試本文基于概率分布的超分辨重建算法對(duì)目標(biāo)識(shí)別距離的提升效果，利用某型號(hào)無人機(jī)掛載光電偵察設(shè)備進(jìn)行實(shí)地測(cè)試。無人機(jī)初始飛行高度約2 000 m，距離目標(biāo)場(chǎng)景10 km，無人機(jī)以288 km·h-1的速度飛行，逐漸接近目標(biāo)場(chǎng)景。場(chǎng)景仿真示意圖如圖11所示。

圖11 場(chǎng)景仿真示意圖Fig.11 Schematic diagram of scene simulation

無人機(jī)機(jī)載光電偵察設(shè)備的探測(cè)器輸出圖像分辨率為640×512、像元尺寸17μm、幀頻為120 FPS，光電偵察設(shè)備光學(xué)系統(tǒng)的焦距為400 mm。R1點(diǎn)與R2點(diǎn)均放置有坦克車，R1點(diǎn)與無人機(jī)之間的距離約3 904.68 m，R2點(diǎn)與無人機(jī)之間的距離約2 725.54 m。

圖13 R2點(diǎn)處超分辨結(jié)果對(duì)比圖Fig.13 Comparison of super-resolution results at point R2

超分辨重建仿真實(shí)驗(yàn)的對(duì)比結(jié)果如圖12和13所示，圖12和13中的左圖均為低分辨率原始圖像，右圖均為超分辨重建的圖像。由圖像知，在R1點(diǎn)處，超分辨重建獲取的高分辨率圖像可識(shí)別到坦克目標(biāo)，而低分辨率原始圖不能識(shí)別；在R2點(diǎn)處，二者均可識(shí)別出坦克目標(biāo)，但超分辨重建后的圖像識(shí)別效果更加顯著。

圖12 R1點(diǎn)處超分辨結(jié)果對(duì)比圖Fig.12 Comparison of super-resolution results at point R1

光學(xué)仿真結(jié)果表明，針對(duì)同一場(chǎng)景，經(jīng)超分辨重建獲取的高分辨率圖像對(duì)坦克目標(biāo)的識(shí)別距離由2 725.54 m提升到3 904.68 m，識(shí)別距離提升了約43.3%。

4.3 超分辨重建處理的實(shí)時(shí)性測(cè)試

實(shí)驗(yàn)表明，探測(cè)器輸出的幀頻為120 FPS、分辨率為640×512的實(shí)時(shí)圖像，經(jīng)超分辨重建處理后輸出的圖像分辨率為1 280×1 024，幀頻可達(dá)30 FPS，每幀處理時(shí)間僅為33 ms，滿足機(jī)載光電偵察設(shè)備對(duì)圖像實(shí)時(shí)處理的要求，如圖14所示。

圖14 實(shí)時(shí)處理輸出幀頻為30 FPSFig.14 Real-time processing output frequency is 30 FPS

5 結(jié) 論

為了提升無人機(jī)機(jī)載光電偵察設(shè)備的性能，本文結(jié)合實(shí)際工程項(xiàng)目，在嵌入式平臺(tái)實(shí)現(xiàn)了基于概率分布的圖像超分辨重建。實(shí)驗(yàn)結(jié)果表明，高速微掃描超分辨核心組件的微掃描響應(yīng)時(shí)間＜1.0 ms，到位精度＜0.3μm（對(duì)應(yīng)0.03個(gè)像素）。探測(cè)器輸出的幀頻為120 FPS、分辨率為640×512的圖像，經(jīng)超分辨重建處理后，變?yōu)閹l為30 FPS、分辨率為1 280×1 024的圖像。超分辨重建處理單幀圖像時(shí)間約為33 ms，滿足機(jī)載光電偵察設(shè)備對(duì)實(shí)時(shí)性的要求。地面實(shí)測(cè)結(jié)果表明，經(jīng)超分辨重建后，圖像有效空間分辨率提升了78.2%。應(yīng)用場(chǎng)景光學(xué)仿真表明，經(jīng)超分辨重建后，光電偵察設(shè)備對(duì)于坦克目標(biāo)的識(shí)別距離提升了43.3%。微掃描組件和超分辨重建技術(shù)的配合使用，既能提升光電偵察設(shè)備輸出圖像的有效空間分辨率，又能增加光電偵察設(shè)備對(duì)地面目標(biāo)的識(shí)別距離。