基于雙重注意力殘差網(wǎng)絡的偏振圖像超分辨率重建

徐國明，王杰，馬健，2，王勇，劉佳慶，李毅

（1 安徽大學 互聯(lián)網(wǎng)學院，合肥 230039）

（2 安徽大學農(nóng)業(yè)生態(tài)大數(shù)據(jù)分析與應用技術國家地方聯(lián)合工程研究中心，合肥 230601）

（3 陸軍炮兵防空兵學院偏振光成像探測技術安徽省重點實驗室，合肥 230031）

（4 安徽文達信息工程學院 智能技術研究所，合肥 231201）

0 引言

在偏振成像探測中，氣溶膠或者探測目標的物理屬性差異和變化由偏振特性來表征，高維度的偏振特性能有效提高目標與背景的對比度，從而為實現(xiàn)目標空間結構的反演奠定基礎，并能夠在雜亂的背景中增強對目標的識別效果［1］。這些特性使得偏振成像探測被廣泛應用于目標識別與跟蹤、機器視覺、地理信息分析、遙感圖像處理等領域［2］?？臻g調制型全偏振成像技術是繼傳統(tǒng)的分時和同時偏振成像技術后發(fā)展起來的新體制偏振成像技術［3］。曹奇志等［4］提出了基于改進型Savart 偏光鏡的微型快拍成像測偏技術。楊敏等［5］利用單像元非均勻性差分圖像校正方法和迭代排序方式，設計了面向運動目標探測的分時型紅外偏振成像系統(tǒng)。在實際應用中，由于受成像距離遠及大氣擾動的影響使得投影在焦平面上圖像的極限分辨率嚴重下降［6］（遠小于光學系統(tǒng)衍射極限分辨率），從而造成獲得的偏振圖像空間分辨率較低，而高分辨率的圖像對目標探測精度具有重要的意義和價值。另一方面，圖像的空間分辨率受限于探測器像元數(shù)目，為此，在不替換硬件成像系統(tǒng)的情況下，通常采用超分辨率（Super-resolution Reconstruction，SR）方法，通過利用信息融合和信號處理技術來提高圖像的采樣頻率［7］，從而獲取高于成像系統(tǒng)的高分辨率圖像。該方法是圖像處理和實際工程應用中常用的技術手段，也是底層計算機視覺的熱點研究問題。

圖像超分辨率重建是指采用圖像處理和機器學習技術，從同一場景中已有的一張或多張低分辨率（Low-Resolution，LR）圖像構建高分辨率（High-Resolution，HR）圖像的技術［8］。徐國明等［9］針對空間調制型全偏振計算成像系統(tǒng)，提出基于場景特征遷移學習的超分辨率方法。孟祥超等［10］基于我國2018年5月發(fā)射的高分五號衛(wèi)星上搭載的多角度偏振成像儀展開研究，通過融合HR 的全色影像和LR 的高光譜影像，重建得到同時具有高空間分辨率和高光譜分辨率的遙感影像。近年來，基于學習［11-12］的圖像超分辨率重建方法因為良好的性能而受到廣泛關注。DONG C 等［13］提出了基于卷積神經(jīng)網(wǎng)絡的圖像超分辨率（Superresolution Convolutional Neural Network，SRCNN），但其網(wǎng)絡層次太淺，無法充分提取圖像特征。DONG C等［14］進一步提出了一種快速的卷積神經(jīng)網(wǎng)絡的結構（Accelerating the Super-resolution Convolutional Neural Network，F(xiàn)SRCNN）。該網(wǎng)絡選擇相比SRCNN 中更小尺寸的濾波器，增加更多的映射層并在網(wǎng)絡的最后引入了反卷積層。LIM B 等［15］通過使用簡化的殘差塊，建立了一個非常寬的增強深度超分辨率網(wǎng)絡（Enhanced Deep residual Network Super-resolution，EDSR）。注意力機制在底層計算機視覺問題中表現(xiàn)出了顯著的性能［16-18］。HU J 等［19］提出了通道注意力塊可以提高網(wǎng)絡的分辨能力，不同的特征通道自適應地賦予不同的權值，使網(wǎng)絡集中于更有信息量的特征。LIU J 等［20］提出了一個新的殘差特征聚合框架，結合增強的空間注意力塊，更有效地提取圖像特征。

上述方法直接應用于實際偏振成像系統(tǒng)的圖像超分辨率，無法充分考慮偏振成像特性，偏振圖像的先驗信息不能有效表達，從而導致模型的性能有限。這些方法忽略了跨特征通道區(qū)分的學習能力、未能充分利用殘留特征以及缺失關鍵位置的特征提取，從而導致性能下降。偏振圖像超分辨率難以產(chǎn)生紋理細膩、邊緣清晰的細節(jié)信息。針對該問題，本文提出了一種雙重注意力殘差網(wǎng)絡（Dual Attention Residual Network，DARN）模型。DARN 網(wǎng)絡結構由一個具有全局跳躍連接的殘差網(wǎng)絡組成，實現(xiàn)底層網(wǎng)絡與頂層網(wǎng)絡的連接，以穩(wěn)定深層網(wǎng)絡的訓練。其中殘差網(wǎng)絡又包含若干殘差組，每個殘差組包含若干具有局部跳躍連接的雙重注意力塊級聯(lián)的殘差塊，可以充分利用特征通道之間的相關性，同時將殘差的特征集中在關鍵的空間內(nèi)容上。網(wǎng)絡末端的上采樣模塊采用亞像素卷積層來重建高分辨率圖像。

1 相關工作

1.1 殘差學習

經(jīng)典的卷積層或全連接層在信息傳遞時，會存在信息丟失、損耗等問題。殘差網(wǎng)絡［21］（Residual Network，ResNet）在某種程度上解決了這個問題，通過直接將輸入信息繞道傳到輸出，保護信息的完整性。整個網(wǎng)絡只需要學習輸入、輸出差別的那一部分，簡化學習目標和難度。殘差塊（Residual Block，RB）基于前饋卷積網(wǎng)絡與一個恒等跳躍連接構成，如圖1 所示。在形式上，用H(x)表示所期望得到的實際映射，堆疊的非線性多層網(wǎng)絡去擬合另一個殘差映射函數(shù)F(x)，x為第i層殘差塊的輸入，實際的映射關系可表示為

圖1 殘差塊的基本單元Fig.1 Basic structure of residual block

殘差單元通過恒等映射的引入在輸入和輸出之間建立了一條直接的關聯(lián)通道，從而使得強大的有參層集中學習輸入和輸出之間的殘差。殘差網(wǎng)絡更容易優(yōu)化，并且能夠通過增加相當?shù)纳疃葋硖岣邷蚀_率。深度殘差網(wǎng)絡解決了網(wǎng)絡結構增加深度帶來的退化問題，能夠通過單純地增加網(wǎng)絡深度［22］，來提高網(wǎng)絡性能。本文設計的網(wǎng)絡結構基于深度殘差網(wǎng)絡。

1.2 通道注意力機制

通道注意力機制被視為一種引導，使可用的處理資源的分配偏向于輸入的最有信息量的部分［19］。以往基于CNN 的圖像超分辨率方法平等地對待低分辨率圖像通道特征。為了使網(wǎng)絡集中于更有信息量的特征，可以利用特征通道之間的相關性，網(wǎng)絡結構圖如圖2 所示。通過使用全局平均池化層將輸入特征的通道全局空間信息變換成通道描述符。

圖2 通道注意力機制網(wǎng)絡結構Fig.2 Network structure of channel attention mechanism

在圖2 網(wǎng)絡結構中，設置X=[x1，…，xi，…，xc]為輸入，具有大小為H×W的c個特征映射，其中Conv表示卷積層的功能，?表示Hadamard 相乘［23］，ReLU 與sigmoid 分別代表神經(jīng)網(wǎng)絡不同的激活函數(shù)［24］。通過將X的空間維度H×W收縮，可以得到通道統(tǒng)計∈zRc。z的第c個元素的關系表達式為

式中，xc(i，j)表示第c個特征映射xc在位置(i，j)處的通道特征值，HGP(?)表示全局池化功能。這種通道統(tǒng)計看作是局部描述符的集合，其統(tǒng)計有助于表達整個圖像。

通過全局平均池化層后從聚合信息中完全捕獲通道的關聯(lián)性，引入sigmoid 函數(shù)作為簡單門控機制。這種機制學習通道間的非線性相互作用并可以強調多通道特性。非線性相互作用關系可表示為

式中，f(?)和δ(?)分別表示sigmoid 門控和ReLU 函數(shù)功能。wD是卷積層的權重，作用是減少通道數(shù)目，比率為r。經(jīng)過ReLU 函數(shù)激活后，低維特征映射再通過卷積層，通道數(shù)以比率r增加，其權重為wU。最終獲得通道統(tǒng)計量s，重新縮放輸入xc。通道注意力機制的特征表征通過原輸入特征映射xc與第c個通道縮放描述符sc逐通道Hadamard 相乘，可表示為

考慮到低分辨率圖像的輸入和特征包含豐富的低頻信息，在不同通道中被同等對待，缺乏跨特征通道的區(qū)分學習能力，并阻礙了深層網(wǎng)絡的表征能力。本文方法基于深度殘差網(wǎng)絡結構，加入了通道注意力機制。

1.3 空間注意力機制

空間注意力機制在深層網(wǎng)絡中廣泛存在，但對空間注意力機制的分析相對較少。相關方向主要是通過可視化或分析整個注意力模塊在圖像處理中的學習注意力權重來進行研究。以往的工作表明，編碼器-解碼器注意力模塊中的注意力權重分配起著類似于傳統(tǒng)方法中特征配對的作用。給定一個目標特征和一組關鍵特征，注意力函數(shù)衡量目標特征與關鍵特征配對的相關性得出注意力權重然后自適應地聚合關鍵內(nèi)容。為了使模型能夠關注來自不同表示子空間和不同位置的關鍵內(nèi)容，多個注意函數(shù)的輸出被線性地聚集成可學習的權重。假定q表示一個目標特征，其內(nèi)容表示為Zq，k表示一個關鍵特征，其內(nèi)容表示為xk。多個注意力函數(shù)的輸出特征yq，可表示為

式中，m表示第m個注意力函數(shù)，Ωq表示目標特征關鍵區(qū)域，Am(q，k，Zq，xk)表示第m個注意力函數(shù)中的注意力權重。Wm和W′m表示可學習權重。通常，注意力權重在Ωq內(nèi)歸一化，即

設計空間注意力網(wǎng)絡結構［20］時，考慮到以下因素：1）注意力塊必須足夠輕，因為它將被插入到網(wǎng)絡的每個殘差模塊中；2）注意力塊需要一個大的感受野才能很好地完成圖像超分辨率的任務?；诖耍O計注意力機制網(wǎng)絡如圖3 所示，輸入的圖像特征映射通過一個卷積核大小為1×1 的卷積層，降低通道維度，整個殘差塊結構輕量化。同時，使用跳過連接將空間降維前的高分辨率特征直接連接到空間注意力塊的末端。然后輸入特征通過一個步長為2 的卷積層，擴大感受野。使用最大池化層將輸入特征的全局空間信息變換成空間描述符。常規(guī)的卷積核大小為2×2 的最大池化層帶來的感受野擴大有限，引入了具有更大窗口的卷積核大小為7×7 的卷積層和步長為3 的最大池化層。通過增加上采樣層恢復輸入特征的空間維度，并且使用大小為1×1 的卷積核來恢復通道維度。最后，引入sigmoid 函數(shù)作為簡單門控機制?？臻g注意力機制的特征表征通過原輸入特征映射與空間縮放描述符對應Hadamard 相乘。

圖3 空間注意力機制網(wǎng)絡結構Fig.3 Spatial attention mechanism network structure

2 本文算法

DARN 方法主要由淺層特征提取模塊、殘差中深層特征提取模塊、特征映射模塊和重建模塊四個部分組成。

2.1 網(wǎng)絡結構

圖4 所示為設計的深度殘差雙重注意力網(wǎng)絡基本結構，用ILR和ISR分別表示DARN 網(wǎng)絡的輸入和輸出的偏振圖像。從ILR的輸入中提取淺層特征F0，使用一個卷積核大小為3×3 的卷積層完成淺層特征獲取。該過程可表示為

圖4 深度殘差雙重注意力網(wǎng)絡基本結構Fig.4 Network architecture of dual attention deep residual network

式中，H(?)表示卷積層（Conv）的淺層特征提取功能。

將提取的特征F0發(fā)送到主干模塊進行殘差中深度特征學習。主干模塊由G個基礎模塊（Base Modules，BM）的殘差組網(wǎng)絡構成。其中深度特征F1的學習過程可表示為

式中，BR表示網(wǎng)絡結構中全局殘差塊包含的非常深的殘差組功能。它包含基礎模塊BM 和全局跳躍連接（Global Skip Connection，GSC）。如圖5 所示，每個基礎模塊BM 還包含局部跳躍連接（Local Skip Connection，LSC）和B 個通道注意力機制（Channel Attention Mechanism，CA）與空間注意力機制（Spatial Attention Mechanism，SA）級聯(lián)的殘差塊（Dual Attention Residual Block，DARB）。提取的深度特征經(jīng)過一個卷積核大小為3×3 的卷積層（Conv）再通過殘差結構與淺層特征F0逐像素相加。此時非線性特征映射F2可表示為

圖5 基礎模塊的網(wǎng)絡結構Fig.5 Network structure of base modules

上采樣部分通?？蛇x擇反卷積（也稱轉置卷積）、最近鄰上采樣卷積和亞像素卷積［25］（Efficient Subpixel Convolutional Neural Network，ESPCN）的方法。本文頂層網(wǎng)絡使用亞像素卷積，這種網(wǎng)絡末端上采樣方法已經(jīng)被證明在計算復雜度方面更有效，并且比前端上采樣的SR 方法獲得更高的性能。最后，通過一個卷積核大小為3×3 的卷積層（Conv）重建放大的特征圖實現(xiàn)圖像的超分辨率。重建過程可表示為

式中，ISR表示超分辨率圖像，HRE(?)表示重構函數(shù)，f(?)表示超分辨率網(wǎng)絡的函數(shù)。F′2表示F2經(jīng)過上采樣后的輸出特征。

2.2 殘差中深層特征提取

在圖像超分辨率中，通過堆疊RB 構建深層網(wǎng)絡會遭受訓練困難，并且很難獲得更多的性能增益。受EDSR［15］的啟發(fā)，使用殘差組作為更深層次網(wǎng)絡的基本模塊，采用全局殘差學習來減輕訓練難度。設第t個基礎模塊BM 的輸出深度特征為Ft，則Ft可表示為

式中，Bt表示網(wǎng)絡結構中第t個基礎模塊BM 的殘差組函數(shù)，F(xiàn)t與Ft-1分別表示第t個基礎模塊BM 的輸入特征映射和輸出特征映射，F(xiàn)0表示淺層特征。殘差塊堆疊在一起，形成SR 網(wǎng)絡的主干部分（如圖5）。在圖像重建任務中，殘差塊可以產(chǎn)生一些有用的分層特征，這些特征集中在原始圖像的不同方面。第一個殘差塊的特征必須經(jīng)過很長的路徑并且重復加法和卷積運算才能到達最后一個模塊。因此，殘差特征很難被充分利用，并且在整個網(wǎng)絡的學習過程中起著非常局部的作用。為此，引入跳躍連接來實現(xiàn)底層網(wǎng)絡與頂層網(wǎng)絡的連接，提高深層網(wǎng)絡訓練的穩(wěn)定性，實現(xiàn)更好的性能。

若干個基礎模塊BM 和跳躍連接允許網(wǎng)絡的主干部分專注于LR 特征更具信息性的組成部分。每個基礎模塊BM 包含了LSC 和CA 與SA 級聯(lián)的殘差塊DARB。如圖6 所示，CA 提取通道間的通道統(tǒng)計量，使可用的處理資源的分配偏向于輸入的最有信息量的部分。為了最大化深度殘差通道注意力網(wǎng)絡框架的有效性，可與SA 結合使用。該結構將殘差的特征集中在關鍵的空間內(nèi)容上，從而獲得更具代表性的特征，如圖7所示。第t個基礎模塊BM 的第b個DARB 輸出深度特征Ft，b可表示為

圖6 雙重注意力機制殘差塊的網(wǎng)絡結構Fig.6 Network structure of dual attention residual block

圖7 空間注意力的網(wǎng)絡結構Fig.7 Network structure of spatial attention block

式中，ηt，b(?)表示通道注意力機制的 功能 函數(shù)，αt，b(?)表示空間注意力機制的功能函數(shù)，F(xiàn)t，b-1與Ft，b分別表示殘差塊DARB 的輸入特征與輸出特征，Xt，b表示從輸入特征Ft，b-1中學習的殘差特征。

基于雙重注意力殘差塊（DARB）和全局殘差學習的結構為高精度圖像SR 構建一個DARN 深層網(wǎng)絡，并實現(xiàn)性能改進。

得到老師的表揚后，越來越多的孩子開始幫助小鵬。一天，我看到教室地上有個塑料瓶和一張廢紙片，就在我準備彎腰的一剎那，一個學生搶先一步撿走了塑料瓶，然后對著小鵬喊：“小鵬，給你一個塑料瓶?！倍厣系募埰瑓s一直無人問津。頓時，我眼前一亮：如果紙片也能像塑料瓶一樣有人收集利用、變廢為寶的話，那些躺在地上的廢紙就不會無人理睬了，是不是也會像塑料瓶那樣被孩子們搶著撿呢？

2.3 損失函數(shù)

常見的損失函數(shù)包括L2、L1、感知損失和對抗損失。為了驗證深度殘差網(wǎng)絡DARN 的有效性，選擇與之前殘差網(wǎng)絡算法相同的L1損失函數(shù)對DARN 網(wǎng)絡模型進行優(yōu)化。設x為輸入LR 圖像，θ為待優(yōu)化的網(wǎng)絡參數(shù)集。目標是學習一個映射函數(shù)f(·)，用于生成高分辨率圖像y?=f(x；θ)。假設給定一組訓練集，首先通過雙三次插值下采樣來縮放高清圖像HR，研究每個不同下采樣級別的數(shù)據(jù)集HR-LR 配對的映射關系。使用穩(wěn)定的L1損失函數(shù)來處理損失值，而不是最小化y和y?之間的均方誤差。訓練DARN 網(wǎng)絡的目標是最小化L損失函數(shù)，損失函數(shù)可表示為

式中，f(?)表示超分辨率重建網(wǎng)絡的函數(shù)，θ表示提出網(wǎng)絡的參數(shù)集和分別表示訓練數(shù)據(jù)中第i個低分辨率圖像及與其對應的真實高分辨率圖像，‖ ‖1為1 范數(shù)，采用隨機梯度下降法優(yōu)化損失函數(shù)。

3 實驗結果與分析

3.1 實驗環(huán)境與數(shù)據(jù)

實驗環(huán)境為：訓練與測試圖像集采用處理器為Intel（R）Core（TM）i9-10900X CPU @ 3.70GHz，系統(tǒng)運行內(nèi)存128 GB，GPU 顯卡為24 GB 顯存容量的NVIDIA Quadro RTX 6000 的服務器。訓練軟件運行環(huán)境為Python3.6，編程框架為Pytorch 0.4.1，搭建Cuda11.2 用于實驗加速。測試評估樣本的軟件為Matlab R2019。

偏振圖像由自行研制的一套基于Savart 偏光鏡的空間調制型紅外與可見光雙通道偏振相機，實現(xiàn)對目標給定譜段下完整偏振狀態(tài)的快速測量采集，如圖8 所示?？臻g調制器模塊由一對Savart 偏光鏡、一塊半波片和一塊偏振片組成。該成像系統(tǒng)采用Stokes 矢量的空間調制原理［9］，同時將4 個Stokes 矢量（S0～S3）調制在同一幅圖像中，一次采集即可得到包含目標4 個Stokes 矢量的調制信息，據(jù)此可以解析出多個偏振參量圖像。本實驗采用470 幅自建的偏振圖像數(shù)據(jù)集以及公開數(shù)據(jù)集DIV2K（800 幅）進行混合訓練實驗。再采用多組場景下采集的偏振圖像作為測試數(shù)據(jù)集。同時對訓練圖像隨機旋轉90°、180°、270°，并水平翻轉進行數(shù)據(jù)增強。實驗主要包括兩個部分：1）使用雙三次退化模型對偏振相機采集的高清訓練樣本集進行不同倍數(shù)的下采樣處理并添加噪聲和模糊，得到與之對應的低分辨率圖像，完成網(wǎng)絡模型的訓練，并與其他方法進行測試對比以驗證算法的有效性；2）將本文方法重建的圖像與偏振成像系統(tǒng)采集的高分辨率同一場景圖像進行比較，為系統(tǒng)定標校正提供數(shù)據(jù)參考。

圖8 光譜偏振相機Fig.8 Spectral polarization camera

3.2 評價指標與實驗參數(shù)設置

實驗通過定性分析、定量分析、與成像系統(tǒng)對比校正三個方面進行評價。評價標準采用峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似性（Structural Similarity，SSIM）在變換的YCbCr 空間［26］的Y 通道（亮度分量）上評估不同方法的超分辨率效果以及信息熵、清晰度指標來評價圖像的質量。

網(wǎng)絡結構中，基礎模塊BM 的數(shù)量G設置為10。每個BM 模塊中，殘差塊DARB 的數(shù)量B設置為20，通道數(shù)設置為64。通道降維度和升維度卷積層的卷積核大小為1×1，其余所有卷積層的卷積核大小為3×3。網(wǎng)絡每個批次訓練時，提取16 張大小為48×48 的LR 樣本作為輸入，每600 個批次進行一次測試。本文算法的模型由Adam optimizer［27］訓練，其中一階矩估計的指數(shù)衰減速率β1= 0.9，二階矩估計的指數(shù)衰減速率β2= 0.999，一個很小的常數(shù)?= 10-8，網(wǎng)絡共迭代訓練600 epoch。初始學習率為10-4，每訓練200 epoch 以后（即，迭代1.2×105次）反向傳播迭代學習率衰減一半。

3.3 實驗結果分析

為測試本文方法的性能，選取一組植絨布圖像，如圖9 所示。實驗使用PSNR 和SSIM 評價圖像的重建效果，PSNR 是基于對應像素點間的誤差，其值越大說明重建質量越好。SSIM 分別從亮度、對比度、結構三方面度量圖像相似性，其值越高說明重建圖像與原始高清圖像越接近。將本文方法與Bicubic、SRCNN、FSRCNN、EDSR 方法進行對照實驗，分別在縮放因子為2、3、4 時進行重建，得到PSNR 值和SSIM 值如表1所示。

圖9 不同偏振方向植絨布圖像Fig.9 Different polarization direction of fabric image

表1 植絨布偏振圖像在不同算法下的指標對比Table 1 Comparison of indicators of fabric image polarization by different algorithms

從表1 的實驗數(shù)據(jù)可直觀看出，本文方法的客觀評價指標顯著優(yōu)于其他方法。本文方法的參數(shù)量明顯比EDSR 方法少，同時實現(xiàn)了更高的性能，在模型大小和性能之間取得了更好的權衡。實驗結果還表明，較深的網(wǎng)絡可能比較寬的網(wǎng)絡更容易獲得更好的性能。在縮放因子為2 時，本文方法的PSNR 值相對Bicubic、SRCNN、FSRCNN、EDSR 方法平均分別提升4.894 dB、2.611 dB、2.413 dB、0.019 dB，SSIM 值平均分別提升0.033、0.011、0.009、0.000 3；在縮放因子為3 時，PSNR 值平均分別提升3.896 dB、2.168 dB、2.224 dB、0.080 dB，SSIM 值平均分別提升0.054、0.023、0.023、0.001；在縮放因子為4時，PSNR 值平均分別提升3.385 dB、2.004 dB、1.871 dB、0.073 dB，SSIM 值平均分別提升0.065、0.037、0.035、0.001。

為進一步驗證本文方法重建圖像的效果，從采集的偏振圖像中選擇兩張細節(jié)豐富、紋理清晰的圖像進行測試。從各超分辨率算法放大2 倍后的重建圖像細節(jié)展示，直觀看出本文方法重建圖像具有較好的視覺效果，如圖10、11 所示。由圖中標記區(qū)域的字母“UN”和飛機可以看出，Bicubic 方法重建的圖像出現(xiàn)模糊、振鈴效應、紋理不清晰等問題，超分辨率效果有限；基于神經(jīng)網(wǎng)絡的方法SRCNN、FSRCNN 重建的圖像視覺上比較平滑，圖像銳度有所提升，但背景明顯被虛化，仍存在邊緣模糊、分辨率低等問題；深度網(wǎng)絡EDSR重建圖像進一步提高圖像銳度、改善視覺效果，但圖像標記區(qū)域出現(xiàn)了模糊偽影、圖像邊緣模糊等問題；本文算法重建圖像效果明顯優(yōu)于其他算法重建圖像，紋理細節(jié)更加清晰，圖10（f）中的字母“UN”和圖11（f）中的飛機機翼尾燈，都取得較好的效果，亮度均勻，接近原始的高清圖像。本文方法的客觀評價指標PSNR 值與SSIM 值也均優(yōu)于其他方法。實驗數(shù)據(jù)充分說明本文方法相比其他算法客觀評價指標有所提高，視覺效果較好。

圖10 卡車縮放模型的不同方法重建效果Fig.10 Reconstruction effect of truck contraction model by different methods

圖11 飛機的不同方法重建效果Fig.11 Reconstruction effect of airplane image by different methods

3.4 全偏振圖像解析

全偏振成像系統(tǒng)通過調制解析獲取探測物體的光譜特征、特定空間特征以及反映目標材質的相關本征偏振信息。它從不同角度反映出場景以及探測目標信息、目標全偏振參量實現(xiàn)同步探測。為了進一步體現(xiàn)本文算法的有效性并為系統(tǒng)定標校正，選取清晰度高的石碑圖像通過調制解析得到原始的全偏振圖像解析結果作為實驗的測試樣本。然后隨機選取若干張紋理豐富、細節(jié)復雜的全偏振解析圖像通過雙三次插值下采樣生成低分辨率解析圖像，再用訓練好的網(wǎng)絡模型進行圖像超分辨率重建。實驗使用PSNR 和SSIM 評價圖像的重建效果。

隨機選取了直升機對地觀測下的5 張細節(jié)、紋理清晰的合肥渡江戰(zhàn)役紀念碑的全偏振圖像解析圖構成測試圖像集，如圖12 所示，分別為V 圖、Ey圖、S0圖、Q 圖、U 圖各一張。將本文方法與Bicubic、SRCNN、FSRCNN、EDSR 方法進行對比實驗，各網(wǎng)絡模型在×2 的縮放因子下，得到重建圖像的PSNR 值和SSIM 值如表2 所示。

圖12 紀念碑全偏振圖像解析Fig.12 Analysis of monument image full polarization

表2 紀念碑全偏振圖像解析圖在不同算法下的指標對比Table 2 Comparison of indicators on the analysis of monument image full polarization by different algorithms

從表2 的實驗數(shù)據(jù)可以看出，本文方法的客觀評價指標顯著優(yōu)于其他方法。在圖像測試耗時方面，Bicubic 方法較快，其他基于學習的方法耗時均比Bicubic 方法高。本文方法在測試時間和性能之間進行了更好的權衡，犧牲少量時間，改善了重建圖像質量且測試時間在0.5 s 之內(nèi)。本文方法的PSNR 值相對Bicubic、SRCNN、FSRCNN、EDSR 方法平均分別提升8.668 dB、5.308 dB、5.487 dB、1.253 dB，SSIM 值平均分別提升0.084、0.033、0.029、0.001。由表1 可知，本文方法的參數(shù)數(shù)量明顯比EDSR 方法少，同時EDSR 網(wǎng)絡的通道數(shù)為本文方法的4 倍，提取更多特征信息，僅個別情況下與本文方法性能上相當。本文方法在合肥渡江戰(zhàn)役紀念碑全偏振圖像解析結果圖上進行SR 重建的PSNR 值和SSIM 值明顯優(yōu)于對比方法。

為進一步驗證本文方法重建圖像的效果，從測試的全偏振圖像解析圖中選擇一張細節(jié)豐富、紋理清晰的V 圖進行測試。從各超分辨率算法在2 倍的縮放因子下的重建圖像細節(jié)展示，可直觀看出本文方法重建圖像具有較好的視覺效果，如圖13 所示。圖13 標記區(qū)域的條紋可以看出，Bicubic 方法重建的圖像出現(xiàn)模糊、背景明顯被虛化、條紋不清晰等問題，重建圖像效果有限；基于卷積網(wǎng)絡的方法SRCNN、FSRCNN 重建的圖像視覺上比較平滑，圖像銳度有所提升，但仍存在邊緣模糊，分辨率低等問題；深度網(wǎng)絡EDSR 重建圖像進一步提高圖像銳度、改善視覺效果，但圖像標記區(qū)域出現(xiàn)了亮度不均勻、圖像邊緣模糊等問題；本文算法重建圖像效果明顯優(yōu)于其他算法重建圖像，紋理細節(jié)更加清晰，亮度均勻，較為接近原始的高清圖像。本文方法的客觀評價指標PSNR 值與SSIM 值也均優(yōu)于其他方法，充分驗證了所提方法的優(yōu)越性。

圖13 V 圖的不同方法重建效果Fig.13 Reconstruction effect of image V by different methods

3.5 系統(tǒng)對比校正

越大則圖像清晰程度越高。

表3 比較了本文方法SR 重建圖像與系統(tǒng)采集的HR 和LR 圖像的無參考評價指標。從表3 可以看出，在信息熵指標上，SR 重建結果普遍略低于系統(tǒng)HR 圖像，但高于系統(tǒng)LR 圖像。對于清晰度指標，SR 重建結果基本與系統(tǒng)HR 圖像質量保持一致，但相較于LR 圖像清晰度提高。圖14 所示為系統(tǒng)采集的HR 和LR 圖像與SR 重建圖像效果對比，可以看出相機采集的LR 圖像出現(xiàn)“凹凸條紋”模糊、背景明顯被虛化、紋理不清晰等問題，而2 倍SR 重建的圖像“凹凸條紋”紋理細節(jié)清晰、亮度均勻、接近系統(tǒng)采集的HR 圖像，相較于LR 圖像質量有明顯的改善。不同倍數(shù)超分辨重構下的信息熵、清晰度與超像元倍數(shù)的關系曲線如圖15 所示。從圖15 的折線圖可直觀看出，隨著超分辨率倍數(shù)的增加，對于信息熵指標，系統(tǒng)HR 圖像曲線趨于平緩持平，SR 重建圖像曲線呈現(xiàn)下降趨勢但與系統(tǒng)HR 圖像曲線保持較近的距離。對于清晰度指標，系統(tǒng)HR 圖像曲線與SR 重建圖像曲線趨于平緩基本持平，數(shù)據(jù)波動小。實驗數(shù)據(jù)充分說明本文方法的有效性，重建圖像較為接近系統(tǒng)成像的效果。

圖14 偽裝網(wǎng)偏振圖像重建結果與系統(tǒng)采集結果對比Fig.14 Comparison between polarization image reconstruction results of camouflage net and the system-acquired results

圖15 無參考評價指標與超像元倍數(shù)關系曲線Fig.15 Curve of relationship between no reference evaluation index and supercell multiple

表3 偽裝網(wǎng)偏振圖像無參考評價結果Table 3 No reference comparison of camouflage net polarization images results

研制的光譜偏振相機包含兩個通道，一個為可見光近紅外光譜偏振相機，另一個為短波紅外光譜偏振相機。偏振成像系統(tǒng)［7］根據(jù)探測目標以及圖像處理的要求，可實現(xiàn)成像空間分辨率的調節(jié)。如分辨率為2 048×2 048 的可見光偏振圖像與640×512 的短波紅外偏振圖像，設置系統(tǒng)可分別采集HR 圖像和LR（1 024×1 024 和320×256）圖像。為了對比本文方法與成像系統(tǒng)的圖像效果，將LR 圖像進行SR 重建。然后與系統(tǒng)采集的HR 圖像進行評價。實驗采用信息熵、清晰度來無參考評價圖像的質量。信息熵表示圖像包含平均信息量的多少，熵值越大則所含信息量越多。清晰度表示圖像中微小細節(jié)反差與紋理變化特征，值

4 結論

本文提出了一種基于雙重注意力殘差網(wǎng)絡DARN 的偏振圖像超分辨率重建方法。通過實驗在主觀視覺效果、客觀評價指標與成像系統(tǒng)對比校正三個方面對算法進行評價。所提方法的重建圖像紋理細節(jié)更加豐富、清晰，較為接近系統(tǒng)成像的效果，充分說明該方法實現(xiàn)了更好的重建準確性和視覺改善效果，能夠很好地抑制輸入偏振圖像中的平滑區(qū)域，生成更加高質量的偏振圖像，為偏振圖像的超分辨率以及全偏振相機系統(tǒng)校正的理論研究提供了一種數(shù)據(jù)支撐。本文主要考慮多通道與空間特征的提取，網(wǎng)絡深度與網(wǎng)絡規(guī)模有待改善。下一階段的主要任務是減少網(wǎng)絡模型參數(shù)量，降低網(wǎng)絡深度的同時盡可能地優(yōu)化訓練網(wǎng)絡的效率以及進一步提高重建圖像的質量，在此基礎上考慮融入多個殘差塊聚合網(wǎng)絡，簡化網(wǎng)絡模型。