海上艦船目標圖像退化函數研究?

張 坤 李天偉

（海軍大連艦艇學院航海系 大連 116018）

1 引言

近年來，圖像超分辨率技術得到了有效發(fā)展，廣泛應用于各種領域，如視頻監(jiān)控、醫(yī)學成像、高清晰度電視、遙感、手機與數碼相機等［1］。目前深度卷積神經網絡（CNN）方法在單幅圖像超分辨率（SISR）領域取得了非常大的進展［2～3］。但為了訓練一個可用的深度網絡，基于該算法的圖像超分辨率方法需要一個很大的數據集［4］。在海上艦船目標圖像的超分辨任務中，實地采集大量同時包含高低分辨率的成對圖像數據有很多難以克服的困難。因此為了有效利用現有海上艦船目標高分辨率（High-Resolution，HR）圖像數據，需要一種退化函數，能把清晰的海上目標圖像處理成低分辨率圖像（Low-Resolution，LR），以最大的接近實際采集的海上艦船目標退化圖像，而后用生成的數據集訓練超分辨率所用的深度網絡。

現有基于CNN 的SISR 方法主要假設低分辨率（LR）圖像由高分辨率（HR）圖像經過雙三次（bicubic）降采樣得到，因此當真實圖像的退化過程不遵循該假設時，其超分辨結果會非常差［5］。實驗表明，實際采集的海上艦船目標圖像和其降采樣圖像并不完全符合雙三次降采樣特征，因此本文以互信息為評價準則，通過與實際采集的降采樣圖像對比的方法，基于二次線性差值方法和高斯低通過濾器為基礎，構建一種有效的模擬海上目標圖像退化函數的方法，該方法可對現有數據進行有效拓展。

2 目標圖像采集方法

本文對實驗數據進行了實地的采集，通過選擇合理的地理位置，在港口和艦船的通航路線附近架設雙目攝像機，對停泊和航行中的艦船目標進行拍攝。實驗使用用兩臺大華DH-IPC-HF5431組成雙目攝像頭，共同對同一海上目標圖像進行采集。攝像機調至固定化參數，參數如表1。

表1 雙目攝像機參數

攝像機架設方式如圖1所示。

圖1 攝像機架設方式

在實際圖像采集中，由于目標距離攝像機較遠，可以假設海上艦船目標同時在長焦和廣角圖像的中間，從而忽略鏡頭畸變的影響。

最終得到如圖2 所示包含該同一目標的低分辨率（LR）和高分辨率（HR）圖像，以一組圖像為例。

圖2 低分辨率和高分辨率圖像（左HR右LR）

3 bilinear 差值和高斯低通過濾器在圖像退化模型中的應用

3.1 圖像退化模型

在通常的圖像退化模型中，一般包含一個退化函數和加性噪聲［6］，如圖3所示。

但在海上艦船目標圖像的圖像退化過程中，由于使用了相同型號的攝像機同時采集低分辨率（LR）和高分辨率（HR）圖像，所以兩幅圖像有相同的加性噪聲，而任務目標為把低分辨率（LR）盡量的恢復到高分辨率（HR）圖像，因此在這里只需要考慮退化函數，如圖4所示。

圖3 圖像退化模型1

圖4 圖像退化模型2

即為

H[f(x,y)]可化為卷積顯示，這樣式（1）可寫成g=h*f，其中h 可分為h1 和h2，其中h1 為圖像分辨率退化函數，h2 為圖像清晰度退化函數，因此退化函數可寫為

在圖像復原中，有3 種主要的估計退化函數的方法:1）觀察法，2）實驗法，3）數學建模法［6］。本文使用實驗估計法，使用與獲取退化圖像的設備相似的裝置進行實驗。從理論上講，可以得到一個準確的退化估計函數。

3.2 圖像分辨率退化函數

由高分辨率圖像（HR）向低分辨率圖像（LR）轉化過程中，需經歷圖像差值過程，現有的圖像差值算法主要有最近鄰插值（nearest），雙線性差值（bilinear），雙三次插值（bicubic），lanczos 插值［7］等，本文采用的方法采用為雙線性差值。

雙線性插值，又稱為雙線性內插。在數學上，雙線性插值是由兩個變量的插值函數的線性插值擴展，其核心思想是在兩個方向分別進行一次線性插值。假如我們想得到未知函數f在點P=（x，y）的值，假設我們已知函數f在Q11=（x1，y1），Q12=（x1，y2），Q21=（x2，y1），及Q22=（x2，y2）四個點的值。

在x，y方向分別差值，得到

若選擇一個坐標系統使得f的四個已知點坐標分別為（0，0）、（0，1）、（1，0）和（1，1），那么插值公式就可以化簡為

或用矩陣運算表示為

3.3 圖像清晰度退化函數

圖像濾波器兼有模糊處理和減小噪聲的作用，為使退化后的圖像接近實際采集的低分辨率圖像，同時減小低分辨率圖像的噪聲，需要對經分辨率退化函數處理的圖像進行進一步的處理。

理想的低通濾波去掉了高頻信息，即細節(jié)信息，保留了低頻信息代表了原圖像概貌［8～9］。理想的低通濾波器模板為

其中，D0表示通帶的半徑。 D(u,v)計算方式也就是兩點間的距離，計算公式如下:

雖然低通濾波器濾除了高頻成分，所以使得圖像模糊。但由于理想低通濾波器的過度特性過于急峻，所以會產生了振鈴現象，為彌補這種不足，本文采用高斯低通濾波器可有效避免此類現象，Guassian 低通濾波器［10］是一種線性平滑濾波，其函數為

D0表示通帶的半徑。高斯濾波后圖像被平滑的程度取決于標準差。它的輸出是領域像素的加權平均，同時離中心越近的像素權重越高。因此，相對于均值濾波［11］（mean filter），它的平滑效果更柔和，而且邊緣保留的也更好，不會產生振鈴現象。

4 實驗結果與分析

為測試本文所運用bilinear 差值和GLPF 圖像退化函數的有效性，本文使用Intel ?Core i7-7700@3.60GHz、RAM 16.00 GB 的機器，在Matlab 2014b 平臺下編程設計了相關實驗。實驗采用上文所述實地采集的數據，從中挑選50 對圖像作為驗證數據。使用余弦相似度［9］作為評價指標，其公式為

xi和yi為二維圖像合成的一維向量。通過與nearest 插值，bicubic 插值，box 插值，lanczos2 插值，lanczos3 插值等常見差值方法的對比，對同樣50 副圖像進行差值和比較，得出各差值方法與原LR 圖像的余弦相似度均值、方差和運行時間，實驗結果如表2。

表2 差值效果對比1

相比于一般使用的bicubic 差值，bilinear 差值在余弦相似度上數值更大而方差更小，平均運行時間較短，生成的圖像更接近于實際采集的低分辨率圖像（LR）。

在采用雙線性差將高分辨率圖像轉換成低分辨率圖像后，使用清晰度過濾器對圖像進行進一步的處理，實驗使用均值濾波器、圓形均值濾波器、motion濾波器等濾波器作為對比，過濾器參數如下:

表3 過濾器參數

實驗圖像在經過bilinear 差值處理成目標分辨率后，再使用圖像過濾器進行進一步的實驗，經過不同的過濾器處理后，再次與原低分辨率圖像（LR）進行比較，得到數據如表4。

表4 差值效果對比2

可以看到高斯低通濾波器最接近實際采集的低分辨率圖像且方差最小，平均運行時間較短。經bilinear 差值和高斯低通濾波器處理后，得到經退化函數處理的低分辨率圖像，部分對比圖像見圖5。

圖5 部分對比圖像和其余弦相似度

實驗結果表明，該算法能有效模擬海上艦船目標圖像的退化過程，生成的圖像與原LR 圖像的余弦相似度平均在0.997以上。

5 結語

本文運用雙線性插值和高斯低通濾波器相結合的算法實現了對海上艦船目標圖像的退化過程。實驗證明，該算法思想簡便，能高效地完成大規(guī)模數據的處理，達到了預期的效果。實驗結果表明，以余弦相似度作為評價指標，原LR圖像與經退化函數處理的HR 圖像有超過0.997 的余弦相似性。但是，該算法并未考慮實際的物理過程，對理論上圖像退化過程研究不深入，在雨霧的天氣條件下退化圖像和實際圖像可能有較大差別，需要進一步結合天氣等物理特性進行進一步優(yōu)化［12～13］。