基于關鍵幀間矩陣約束的多幀湍流圖像盲復原?

魚 輪 李暉暉

（1.商洛學院電子信息與電氣工程學院 商洛 726000）

（2.西北工業(yè)大學自動化學院信息融合技術教育部重點實驗室 西安 710129）

1 引言

地基望遠鏡在觀測天體目標時，光波在經過大氣傳播過程中，運動隨機的大氣湍流會造成空氣折射率的變化，導致光波振幅和相位的隨機起伏，使得地基望遠鏡成像系統(tǒng)的光學傳遞函數(shù)OTF跟著隨機變化，最終使觀察到的天體目標圖像出現(xiàn)退化、抖動、扭曲和分辨率降低［1］。

實現(xiàn)大氣湍流退化圖像的復原，是系統(tǒng)下一步分類、識別、檢測的基礎。大氣湍流的最大特點是具有很強的隨機性［2］，這使得建模時很難描述和測定點擴散函數(shù)（Point Spread Function，PSF）的具體形式，必須從觀察圖像中以某種方式估計出退化信息。目前對這類反問題的處理大部分都采用盲復原算法［3］。根據(jù)復原時參與的觀測幀數(shù)目，分為單幀復原和多幀復原。從單幀復原的角度看，近幾年的處理方法大多數(shù)是構建一個代價函數(shù)，然后依據(jù)從大量自然圖像樣本統(tǒng)計信息中得到的一些圖像梯度分布、邊緣特征規(guī)律等先驗信息，作為正則約束項，最后求解代價函數(shù)方程，求出圖像和PSF的估計值［4～9］，這些算法都取得了一定的復原效果，但是單幀圖像復原容易求得局部極小值，且在圖像邊緣的特征不明顯或者被噪聲污染嚴重時，這種先驗信息構成的約束就很難求出正確的解［10］，同時，從自然圖像中得到的統(tǒng)計特性等先驗信息并不能通用約束各種類型的模糊圖像。而多幀模糊圖像中各自包含的信息更能直接反映PSF的特性，反映圖像更為準確的退化信息，各幀之間的信息可以平衡互補，這些優(yōu)點使得多幀圖像復原效果較單幀復原效果更好［11］。多幀復原有兩種算法，一種是非直接法，即首先估計出PSF，然后通過標準非盲卷積恢復出原始圖像，缺點是對噪聲敏感［12］，另一種是直接法，即直接利用模糊圖像構成的矩陣零空間或者其列空間估計出模糊圖像和PSF，缺點是大量的矩陣運算導致算法復雜度較高［12］。Bresler Y等人研究了多幀圖像復原中估計模糊核函數(shù)和PSF尺寸的高效算法，但是在有噪聲環(huán)境下，算法存在穩(wěn)定性問題。另一方面，近年來也有學者結合湍流退化圖像的特性進行多幀湍流退化圖像復原［13］，但這些多幀復原算法大多處理時間長，且在觀測幀空間不齊時需進行匹配預處理，這增加了算法的難度和圖像復原時間。

基于以上分析，本文在前人研究的基礎上［1～7］，提出一種基于關鍵幀約束和交替迭代的多幀湍流圖像盲復原算法。為解決單幀復原時可利用的先驗信息有限且不可靠、觀測幀空間不齊時需匹配的問題，該算法先從輸入圖像序列中提取出關鍵幀，然后根據(jù)關鍵幀之間的相似性，構造出關鍵幀間相似矩陣，以此作為約束指導PSF的復原。為解決多幀復原時耗時長的問題，采用變量分離和增廣拉格朗日方法對代價函數(shù)進行交替迭代，以達到快速性估計PSF和恢復圖像的目的。

2 多幀短曝光退化圖像模型

通常假設短曝光湍流退化圖像的點擴散函數(shù)是空間移不變的，湍流退化圖像模型可簡化為目標圖像和點擴散函數(shù)的卷積過程，表達式如下：

式中，?表示空間卷積運算，u表示原始圖像，hi表示第i個通道的模糊核，通常假設點擴散函數(shù)之間{h1，h2，…，h L}是互質的，gi表示得到的觀測序列，即退化圖像序列，n為加性噪聲，L是待復原的觀測幀數(shù)目。

3 算法原理

3.1 算法概述

為了提高處理速度和復原圖像的質量，在圖像預處理階段，利用關鍵幀提取算法自適應提取出關鍵幀湍流圖像，然后在頻域內分別構造估計原始圖像和點擴散函數(shù)的代價函數(shù)方程，通過各向同性總變分模型約束指導圖像復原，利用關鍵幀間相似矩陣約束來指導PSF復原，采用變量分離和增廣拉格朗日方法對代價函數(shù)交替迭代最小化求解，最后當算法滿足收斂條件時，得到復原結果。算法整體流程圖如圖1所示。

圖1 算法流程圖

3.2 提取關鍵幀

對于同一時間、同一地點獲得的觀測幀而言，方差值過大或者過小的圖像，可能是異常值［2］。在得到觀測幀序列后，采用基于方差的序列圖像關鍵幀提取算法提取出關鍵幀。算法流程如下：

表1 關鍵幀提取算法

得到觀測幀序列的關鍵幀后，下一步的目標就是估計點擴散函數(shù)，通過圖像U迭代和點擴散函數(shù)h迭代估計出點擴散函數(shù)后，最后再做一個非盲反卷積，即可得到最終估計的清晰圖像。算法詳細的

流程如圖2所示。

圖2 算法詳細流程圖

3.3 點擴散函數(shù)和目標圖像的估計

多幀湍流退化圖像復原的代價函數(shù)表達式為

其中，第一項代表數(shù)據(jù)保真項，γ為權重參數(shù)，hk代表第k個觀測幀未知的模糊核，gk代表第k個模糊觀測幀，‖·‖代表l2范數(shù)，Q(u)是圖像的約束項，R({ hk})是模糊核的約束項，為了求解方便，這里假設輸入的每一幀觀測圖像的方差都是相同的。

求解上述代價函數(shù)問題時，一般是采用變量分裂的方法［13］，通過添加輔助變量，分解成含有l(wèi)2范數(shù)和l1范數(shù)優(yōu)化的子問題，然后使用增廣拉格朗日方法［14］對子問題交替迭代最小化進行求解［15］，本文將上式分解為以下兩個代價函數(shù)：

下面將介紹如何交替迭代求解以上兩個代價函數(shù)。

3.3.1 點擴散函數(shù)的估計

為簡化理論分析，這里假設用2幀（K=2）圖像做復原來做推導，設模糊圖像gk的尺寸為M，原始清晰圖像u的尺寸為N，點擴散函數(shù)的尺寸hk為L。用來表示點擴散函數(shù)hk的估計，如果=hk，根據(jù)卷積的交換性質，則有

用向量矩陣來表達上式，則寫為

其中δ是權值參數(shù)，矩陣R(h)的最小特征值記為λ1，最小特征值λ1對應的特征向量即為點擴散函數(shù)的估計向量［10］，RΔ的表達式為

Φ(h)是保證點擴散函數(shù)稀疏性和能量性的函數(shù)，表達式為

ψ(t)為

根據(jù)Harikumar［11］和Filip?roubek等［10］的參考文獻，用輸入的觀測幀構建的相似矩陣R(h)可以作為點擴散函數(shù)的約束項，式（6）、（7）和（8）表明相似矩陣R(h)的零空間代表的就是點擴散函數(shù)的值。

3.3.2 目標圖像的估計

對于式（3），Q(u)采用圖像梯度幅值的各向

同性TV模型約束，表達式為

其中?(x)=‖x‖，利用向量矩陣表達Q(u)，上式可以改寫為

其中Dx和Dy均是矩陣，分別表示對x和y的求導，這樣式（3）就變?yōu)?/p>

采用變量分裂的思想，用vx代替Dxu，用vy代替Dyu，這樣就產生了如下的約束問題：

該約束問題和式（7）等價，使用增廣拉格朗日方法（或者分裂Bregman迭代法）處理該約束問題時，構建的代價函數(shù)為

采用交替迭代法，去求解該代價函數(shù)，其算法流程如表2所示。

表2 圖像迭代算法

在迭代算法中，參數(shù)ax和ay是由于使用ALM算法而引入的，在迭代過程中，只要讓參數(shù)α持續(xù)增大，這樣就可以保證式（15）約束問題得到收斂。由于函數(shù)Φ是一個低階的半連續(xù)的，具有proper和convex性質的函數(shù)，且[DTx，DTy]T是一個列滿秩矩陣，這樣就可以保證在參數(shù)α相對較小的情況下使式（3）約束問題收斂。

從算法步驟中可以看出來，使用變量分裂后，對每一幀而言，最小化vx和vy時，可以相互獨立的迭代進行。

4 實驗結果與分析

為驗證本文所提算法的有效性，本文分別針對仿真模糊圖像和真實模糊圖像做出了兩組對比性實驗，對比的方法都是近年來在圖像盲復原領域中較為先進的方法。模擬數(shù)據(jù)采用256piexls×256piexls的海事衛(wèi)星湍流退化仿真圖像。圖像實測數(shù)據(jù)采用的是Zhu等［13］提供的大氣湍流圖像測試數(shù)據(jù)庫?？陀^評價指標上，用PSNR、GMG、LS來衡量圖像的復原效果［16］。實驗條件為CPU Intel?Core（TM）i3-4160 CPU@3.60GHz，RAM 4GB的計算機上使用Matlab R2013b完成的實驗仿真。

4.1 模擬湍流退化圖像數(shù)據(jù)實驗

在模擬湍流退化圖像復原實驗中，本文測試了Filip等［11］的多幀快速迭代最小化算法、Xiang等［13］的多幀湍流盲反卷積法進行對比，實驗中，各個算法的參數(shù)均已調到最優(yōu)。測試的輸入圖像為15幀，分別是10幀湍流退化程度相對較弱的圖像和5幀湍流退化程度相對較強的圖像。

輸入的15幀湍流退化圖像如圖3所示。

圖3 輸入的15幀湍流退化圖像

采用基于方差的序列圖像關鍵幀提取算法提取關鍵幀時，提取的關鍵幀為第1，2，4，5，6，7，9幀。實驗中發(fā)現(xiàn)，當閾值設為0.95倍的輸入序列的方差平均值時，即threshold=0.95*時，復原效果更優(yōu)。

圖4是各個算法復原結果圖。

圖4中，圖（b）是文獻［11］的原始算法對15幀輸入圖像處理的復原結果，由于未做提取關鍵幀的處理，因此復原結果比較差，未能恢復出圖像的細節(jié)，尤其是衛(wèi)星的中心輪廓及天線部分依舊很模糊。圖（c）是采用基于方差處理得到的結果，可以看出，本文提出的基于關鍵幀的提取算法對多幀圖像復原結果有一定提升，可以看清衛(wèi)星的整體輪廓和天線部分。本文算法處理效果好的原因就在于算法首先對輸入的多幀圖像做了提取關鍵幀的處理，這就避免了觀測質量較差的圖像錯誤指導圖像盲復原。而文獻［13］提出的基于B樣條插值的非剛性圖像配準的方法在處理模擬湍流退化圖像時表現(xiàn)很不理想。相比之下，本文提出的算法不需要對多幀圖像做配準對齊預處理，也能達到比較好的復原效果。

圖4 復原結果對比

表3 復原結果指標統(tǒng)計

從表3中可以看出本文算法的實驗指標整體上要優(yōu)于其他兩種算法。雖然文獻［11］的峰值信噪比指標值要高于本文算法對應的峰值信噪比，但本文算法的復原結果從視覺效果上遠遠優(yōu)于文獻［11］的復原結果，且灰度平均梯度（GMG）和拉普拉斯梯度模（LS）的指標值優(yōu)于文獻［13］。這從另一方面也表明，要想客觀公正的評價圖像復原結果，需要從視覺質量和技術指標上綜合評價。

4.2 實測數(shù)據(jù)實驗

為進一步驗證本文算法的實用性，本文選取了文獻［13］給定的湍流測試數(shù)據(jù)庫進行了實驗，采用10幀月球表面（Moon Surface）的湍流退化圖像進行測試。輸入的10幀Moon Surface湍流退化圖像如圖5所示。

采用基于方差的關鍵幀提取算法提取出的關鍵幀為第1，2，3，4，5幀共5幀圖像，各個算法的復原結果及技術指標如下所示。

圖5 輸入的10幀Moon Surface圖像

圖6 Moon Surface各算法復原結果

表4 各算法實驗結果指標統(tǒng)計

從視覺效果上看，文獻［13］的處理結果和輸入圖像比較相似，復原恢復程度不是特別明顯。文獻［11］算法的復原結果導致圖像出現(xiàn)了變形，而本文提出的基于關鍵幀約束和交替迭代的算法，在使用基于方差的關鍵幀提取算法之后，提取出了關鍵幀，即對復原效果有提升的輸入幀，使得圖像的復原結果優(yōu)于其他算法。同時，本文提出的算法指標值也高于其他算法，綜合圖6與表4，可以看出本文算法復原結果相較其他的算法，具有更好的質量。

5 結語

本文提出一種基于關鍵幀間矩陣約束的多幀湍流圖像盲復原算法。算法不僅解決了單幀圖像復原時信息有限的問題，而且解決了觀測幀序列空間不齊需匹配的問題。通過實驗結果可知，文中算法對圖像取得較好的復原效果，具有更好的主觀客觀質量。文中算法僅考慮序列圖像之間的幀間約束，并沒有深入研究自然圖像的先驗約束，下一步考慮將這兩種約束結合在一起，構造更有利于得到復原圖像的約束條件方程。