一種基于雙模式成像的遙感圖像去運(yùn)動(dòng)模糊方法

李奇 董文德 徐之海 馮華君 陳躍庭

（浙江大學(xué)現(xiàn)代光學(xué)儀器國(guó)家重點(diǎn)實(shí)驗(yàn)室，杭州 310027）

1 引言

光電成像是對(duì)地觀測(cè)、軍事偵察的最重要手段之一。高空間分辨率、高時(shí)間分辨率、高光譜分辨率的成像探測(cè)系統(tǒng)是各類光學(xué)成像載荷追求的目標(biāo)。然而這類成像系統(tǒng)大多工作在顫振環(huán)境之中，載荷平臺(tái)振動(dòng)所造成的光軸偏移、像面抖動(dòng)嚴(yán)重地影響了高分辨率成像與高精度探測(cè)。

國(guó)內(nèi)外對(duì)空間相機(jī)像面去模糊（穩(wěn)定成像）的研究開始于20世紀(jì)80年代，運(yùn)用平臺(tái)穩(wěn)像、光學(xué)穩(wěn)像對(duì)振動(dòng)環(huán)境中的穩(wěn)定成像進(jìn)行研究。進(jìn)入90年代末期以后，隨著CCD/CMOS光電成像技術(shù)的日益成熟，光電穩(wěn)像、電子穩(wěn)像、顫振圖像的軟件恢復(fù)與重建技術(shù)得到了進(jìn)一步深入研究和發(fā)展，并在航空航天成像系統(tǒng)中逐步得到應(yīng)用。

縱觀國(guó)內(nèi)外對(duì)空間相機(jī)像面去模糊的方法，大致分為兩種方案：一種引入探測(cè)支路和補(bǔ)償器件，探測(cè)支路獲得空間相機(jī)的顫振信息，實(shí)時(shí)驅(qū)動(dòng)反饋裝置對(duì)補(bǔ)償像面運(yùn)動(dòng)；另一種方案只引入探測(cè)支路，根據(jù)探測(cè)獲得的顫振運(yùn)動(dòng)信息，對(duì)主成像相機(jī)上獲得的模糊圖像進(jìn)行復(fù)原處理，得到像質(zhì)改善的遙感圖像。

國(guó)外有一些采用實(shí)時(shí)探測(cè)與實(shí)時(shí)補(bǔ)償相結(jié)合方案的去模糊穩(wěn)像系統(tǒng)。美國(guó)NASA的TRACE相機(jī)裝備了圖像運(yùn)動(dòng)補(bǔ)償子系統(tǒng)；德國(guó)普朗克超高層氣流物理學(xué)院、高度天文臺(tái)（HAO）、洛克-馬丁太陽和天體物理實(shí)驗(yàn)室等研究單位聯(lián)合研制的SUNRISE項(xiàng)目[1]，采用了波前傳感器來探測(cè)光軸的偏移，然后調(diào)整主光路中的校正反射鏡來穩(wěn)定成像；美國(guó)、日本和英國(guó)共同研制的Solar-B衛(wèi)星上裝載了穩(wěn)像系統(tǒng)[2]，高速小面陣 CCD相機(jī)獲取亞像素位移，通過伺服和驅(qū)動(dòng)電路控制兩維壓電偏轉(zhuǎn)鏡實(shí)現(xiàn)像面顫振抑制；德國(guó)Dresden工業(yè)大學(xué)的K. Janschek等人研究了一種高分辨相機(jī)焦平面穩(wěn)定技術(shù)的光學(xué)反饋方法[3]；德國(guó)宇航中心空間傳感技術(shù)研究所的Ingo Walter等人提出了一種采用微機(jī)械器件對(duì)空間CCD成像系統(tǒng)進(jìn)行穩(wěn)像的方案；美國(guó)普林斯頓Electrim公司的Gaylord G Olson提出了在幀轉(zhuǎn)移面陣CCD上采用穩(wěn)定補(bǔ)償[4]，并進(jìn)行了相關(guān)試驗(yàn)研究。

近年來，國(guó)際上在顫振模糊圖像的高清晰軟件復(fù)原方面也開展了較多的研究工作。圖像復(fù)原這一去模糊的過程，往往需要先知道模糊核（即PSF）的數(shù)據(jù)，然后用這個(gè)已經(jīng)得到的準(zhǔn)確的模糊核來解卷積而復(fù)原出清晰的圖像。目前對(duì)于采用實(shí)時(shí)探測(cè)、事后復(fù)原方案研究比較有代表性的包括：美國(guó)亞利桑那大學(xué)的L. M. Close和D. W. J. M cCarthy對(duì)太陽望遠(yuǎn)鏡上的相關(guān)跟蹤器及動(dòng)態(tài)補(bǔ)償系統(tǒng)進(jìn)行了研究，用于探測(cè)及矯正大氣湍流對(duì)成像品質(zhì)的影響[5]；美國(guó)斯坦福大學(xué)的Suk Hwan Lim等人對(duì)高速CMOS圖像傳感器的視頻處理應(yīng)用作了相關(guān)研究[6]，他們利用高幀速率CMOS采樣得到的圖像序列，得到比基于普通幀速率（30幀/s）下更準(zhǔn)確的Lucas-Kanade光流場(chǎng)估計(jì)，得到了更好的空間分辨率；美國(guó)哥倫比亞大學(xué)M. Ben-Ezra和S. K. Nayar利用高幀速率的輔助相機(jī)采集主成像相機(jī)一幅圖像曝光時(shí)間內(nèi)的多幀圖像，通過 Lucas-Kanade光流法計(jì)算幀間運(yùn)動(dòng)，得到相機(jī)的自身運(yùn)動(dòng)軌跡，以此構(gòu)建成像過程的點(diǎn)擴(kuò)散函數(shù)PSF，最后使用Lucy-Richardson迭代反卷積算法復(fù)原圖像，取得了較好的效果[7-8]；德國(guó)德累斯頓工業(yè)大學(xué)的K laus Janschek等人提出了一種利用光學(xué)聯(lián)合變換相關(guān)器探測(cè)成像部件偏移的方法，并根據(jù)得到的偏移矢量重構(gòu)焦面的運(yùn)動(dòng)軌跡，通過圖像后處理的方法補(bǔ)償因平臺(tái)顫振引起的像面模糊[9]。

2 雙模式成像去模糊

圖像復(fù)原的效果與運(yùn)動(dòng)路徑的精細(xì)程度相關(guān)性非常大，實(shí)時(shí)探測(cè)時(shí)受限于探測(cè)器件的精度和帶寬，難免會(huì)引入誤差。為了進(jìn)一步精確地描述運(yùn)動(dòng)路徑，可以采用雙模式成像的方法進(jìn)行處理，即采用兩次曝光的方式獲得正常曝光的模糊圖像和短時(shí)間曝光的高噪聲圖像，近似認(rèn)為模糊圖是增強(qiáng)后的短曝光圖與模糊核作用的結(jié)果，從而利用二者關(guān)系求取模糊核（即點(diǎn)擴(kuò)散函數(shù)），進(jìn)而實(shí)現(xiàn)運(yùn)動(dòng)模糊圖像的復(fù)原，本文對(duì)這種方法進(jìn)行改進(jìn)，引入聯(lián)合雙邊濾波器，取得更高品質(zhì)的復(fù)原效果。

基于雙模式成像的遙感圖像去模糊步驟為：首先對(duì)兩張不同亮度的圖像進(jìn)行配準(zhǔn)和亮度校正；然后根據(jù)模糊圖和非模糊的噪聲圖的關(guān)系計(jì)算模糊核（即點(diǎn)擴(kuò)散函數(shù)）；最后進(jìn)行圖像復(fù)原，即使用余量解卷積和帶有增益的余量解卷積RL方法，并用雙邊濾波器合成低邊緣振鈴的圖像。

2.1 圖像配準(zhǔn)和預(yù)處理

圖像配準(zhǔn)包括旋轉(zhuǎn)配準(zhǔn)、位置配準(zhǔn)和縮放配準(zhǔn)，已經(jīng)有許多成熟方法，如基于像素點(diǎn)的方法和基于特征點(diǎn)的方法等。但是模糊圖和高噪聲圖的配準(zhǔn)不同，兩幅圖存在很大的差異，即使特征點(diǎn)匹配也效果不佳。

根據(jù)模糊核具有一定的稀疏性和連續(xù)性的特點(diǎn)進(jìn)行圖像配準(zhǔn)，如果模糊圖和短曝光圖配準(zhǔn)不精確，如旋轉(zhuǎn)角度不對(duì)等，將導(dǎo)致估計(jì)的模糊核有很多噪聲，且會(huì)分散碎裂。試驗(yàn)中發(fā)現(xiàn)，當(dāng)旋轉(zhuǎn)角度匹配正確時(shí)，所得的模糊核為最佳，而當(dāng)旋轉(zhuǎn)配準(zhǔn)角度匹配錯(cuò)誤（即使只相差0.1°），模糊核都會(huì)擴(kuò)散開，并會(huì)嚴(yán)重影響復(fù)原的結(jié)果。縮放比不同時(shí)，模糊核也會(huì)出現(xiàn)這樣的情況。因此可以根據(jù)此規(guī)律來得到正確的配準(zhǔn)縮放比和配準(zhǔn)角度。

2.2 模糊核估計(jì)

令I(lǐng)，K，B分別為清晰圖像、模糊核和模糊圖像的矢量表示式。實(shí)驗(yàn)中清晰圖I是用增強(qiáng)和去噪后的短曝光圖像來代替[10]。用Tikhonov約束準(zhǔn)則求解K，如下：

式中 λ為約束強(qiáng)度系數(shù)，其值越大，表示對(duì)K的平滑作用越強(qiáng)。用拉格朗日法解得

對(duì)于上式可以用各種迭代法求解K，如Landweber迭代、共軛梯度法等。在Landweber迭代過程中，由于縮放系數(shù)的值通常難以確定，只能靠人為調(diào)整，因此Landweber迭代算法的表現(xiàn)不夠穩(wěn)定，難以收斂到令人滿意的解。而共軛梯度法則不需要人為指定任何參數(shù)，且通常能收斂到較好的結(jié)果，故本文將Landweber算法中的迭代式替換為共軛梯度法迭代式，其它步驟保持不變?？紤]到模糊核的稀疏性和連續(xù)性，需在迭代的過程中加入對(duì)K的約束，即在每次迭代后用一個(gè)遲滯濾波器濾除可能為噪聲的小信號(hào)，這樣噪聲就不會(huì)被無限地放大而使結(jié)果不收斂。

如果圖像的模糊核比較復(fù)雜，比如有兩個(gè)斷開的區(qū)域等，這時(shí)直接用這樣的方法求模糊核可能會(huì)不夠精確，因此可以采用多尺度框架下引導(dǎo)求模糊核。即先在小尺度下進(jìn)行模糊核和復(fù)原圖的求取，然后逐步放大尺度，并以上一步得到的模糊核和復(fù)原圖作為初始估計(jì)值繼續(xù)優(yōu)化，直到原始尺度最終得到準(zhǔn)確模糊核和復(fù)原圖。

2.3 帶有增益控制的余量RL復(fù)原

直接對(duì)模糊圖用 RL反卷積，反差大的邊界會(huì)有較大的振鈴出現(xiàn)，而邊界反差小的邊界處，這種現(xiàn)象則相對(duì)較小。所以可以結(jié)合模糊圖用反卷積的方法求出短曝光的去噪圖與真實(shí)清晰圖之間的微小差量。對(duì)最簡(jiǎn)單的圖像模糊模型進(jìn)行推演，流程如圖1所示。

圖1 余量法求取清晰圖流程Fig.1 Iterative process of residual algorithm

2.4 聯(lián)合雙邊濾波增強(qiáng)

以上部分闡述了如何利用雙模式成像方法求取模糊核及實(shí)現(xiàn)反卷積的過程，但由于圖像復(fù)原問題固有的病態(tài)性，復(fù)原圖像通常將受到噪聲和振鈴等負(fù)面效應(yīng)的影響，雖然帶有增益控制的余量 RL算法能對(duì)這些負(fù)面效應(yīng)做有效控制，但所得的結(jié)果中細(xì)節(jié)同樣會(huì)被抑制，致使復(fù)原圖像顯得較為平滑。為了克服這一問題，本文將采用聯(lián)合雙邊濾波器實(shí)現(xiàn)對(duì)圖像細(xì)節(jié)的增強(qiáng)處理，以便得到更加符合人眼視覺感受的復(fù)原圖像。

雙邊濾波器的公式為

式中 Ip表示待濾波的圖像在p點(diǎn)的像素值；表示待濾波的圖像在q點(diǎn)的像素值；表示濾波后的圖像p點(diǎn)的像素值；p表示整幅圖中某像素點(diǎn)的坐標(biāo)；q表示濾波窗口中某像素點(diǎn)的坐標(biāo)；?表示濾波窗口像素坐標(biāo)的集合；表示標(biāo)準(zhǔn)差為的高斯濾波函數(shù)；表示標(biāo)準(zhǔn)差為的高斯濾波函數(shù)；表示空間濾波窗中空間臨近權(quán)重的標(biāo)準(zhǔn)差；表示強(qiáng)度相似權(quán)重的標(biāo)準(zhǔn)差；W表示歸一化項(xiàng)；||·||表示求絕對(duì)值。

聯(lián)合雙邊濾波器相對(duì)于雙邊濾波器的改進(jìn)之處在于，在用雙邊濾波器對(duì)用余量 RL方法得到的復(fù)原圖上濾波去振鈴和噪聲時(shí)，將雙邊濾波器中的強(qiáng)度相似度模板中的強(qiáng)度差改成兩幅圖對(duì)應(yīng)的強(qiáng)度差，這兩幅圖分別為余量RL方法和帶有增益的余量RL方法得到的圖，這種方法可以表示為：余量RL的高頻細(xì)節(jié)＋帶增益余量RL的低頻細(xì)節(jié)－它們共同得出的振鈴＝復(fù)原結(jié)果。

3 仿真復(fù)原結(jié)果

圖 2是以圖像復(fù)原領(lǐng)域非常流行的飛天石雕圖像的復(fù)原結(jié)果，原圖來自文獻(xiàn)[10]，其中(a)為短時(shí)間曝光圖像增強(qiáng)后的高噪聲圖，圖中噪聲非常明顯，且丟失了很多顏色信息；(b)為正常曝光的模糊圖，在曝光過程中相機(jī)有晃動(dòng)，從而產(chǎn)生一個(gè)大的模糊量，圖右下角為求得的模糊核；(c)為用所求得的模糊核RL的復(fù)原結(jié)果；(d)為用本文方法的復(fù)原結(jié)果。

圖2 實(shí)拍模糊圖像的復(fù)原結(jié)果Fig.2 Restoration results of motion blur image

采用余量RL方法得到的圖復(fù)原效果較好，圖像邊界尖銳，但是也存在振鈴嚴(yán)重噪聲被放大等問題；而采用帶有增益的余量 RL方法復(fù)原得到的圖振鈴和噪聲抑制的較好，平坦區(qū)域能保持光滑，但是圖中真實(shí)存在的較弱的細(xì)節(jié)會(huì)被抹去。本文的方法采用聯(lián)合雙邊濾波綜合了這兩種方法的優(yōu)點(diǎn)，得到了更加清晰準(zhǔn)確的結(jié)果，從圖像左上角的細(xì)節(jié)對(duì)比即可看出本文方法的振鈴抑制效果。

4 面向遙感應(yīng)用的模擬驗(yàn)證

通過以上軟件處理驗(yàn)證了雙模式成像去運(yùn)動(dòng)模糊的可行性，設(shè)計(jì)了面向遙感應(yīng)用的模擬試驗(yàn)裝置。如圖3所示，裝置由光源、成像標(biāo)板、平移微動(dòng)臺(tái)、平行光管、反射鏡組成。環(huán)形照明光源發(fā)出的光將標(biāo)板均勻照亮（作為目標(biāo)景物的成像標(biāo)板制成鑒別率或遙感圖像形式）。照明后的標(biāo)板位于平行光管的焦點(diǎn)處，經(jīng)平行光管成像在無窮遠(yuǎn)處。標(biāo)板固定在平移微動(dòng)臺(tái)上，平移微動(dòng)臺(tái)可在計(jì)算機(jī)控制下實(shí)現(xiàn)各種平移顫振的精密模擬，并進(jìn)行顫振形式和顫振參數(shù)的靈活調(diào)整。微動(dòng)臺(tái)平移運(yùn)動(dòng)的幅度取決于計(jì)算機(jī)輸出波形中的電壓值，微動(dòng)臺(tái)平移運(yùn)動(dòng)的頻率取決于計(jì)算機(jī)輸出波形的頻率，而輸出波形可根據(jù)需要用軟件編輯，由此完成空間運(yùn)動(dòng)環(huán)境中平移顫振的精密模擬。標(biāo)板經(jīng)平行光管后的光線被反光鏡反射轉(zhuǎn)向進(jìn)入成像系統(tǒng)和相機(jī)。

試驗(yàn)時(shí)，開啟平移微動(dòng)臺(tái)使標(biāo)板處于顫振狀態(tài)，相機(jī)分別用極短的曝光時(shí)間和正常的曝光時(shí)間分別拍攝，獲得同一景物的雙模式圖像。實(shí)測(cè)的顫振模擬裝置實(shí)測(cè)的幅頻特性曲線如圖4所示，顫振頻率可以達(dá)到200 Hz，顫振幅度隨著頻率的升高而降低，在低頻部分為150 μrad以上，可實(shí)現(xiàn)文獻(xiàn)中報(bào)道的衛(wèi)星顫振幅頻特性[11]的模擬。

圖4 模擬裝置的幅頻特性曲線Fig.4 Amplitude-frequency characteristic curve of simulation apparatus

5 結(jié)束語

在運(yùn)動(dòng)模糊圖像的復(fù)原過程中，復(fù)原效果與運(yùn)動(dòng)路徑（模糊核）的精細(xì)程度相關(guān)性非常大，受限于探測(cè)器件的精度和帶寬，運(yùn)動(dòng)路徑實(shí)時(shí)探測(cè)時(shí)引入的誤差對(duì)復(fù)原結(jié)果有很大的影響。為了進(jìn)一步精確地描述運(yùn)動(dòng)路徑，采用雙模式成像（短時(shí)間曝光的高噪聲圖像和正常曝光的模糊圖像）的方法進(jìn)行處理，近似認(rèn)為模糊圖是增強(qiáng)后的短曝光圖與模糊核作用的結(jié)果，從而利用二者關(guān)系求取模糊核。本文提出方法包含圖像配準(zhǔn)及預(yù)處理、模糊核估計(jì)、圖像反卷積、聯(lián)合雙邊濾波增強(qiáng)等步驟，軟件處理的結(jié)果證實(shí)了這種方法的有效性，同時(shí)設(shè)計(jì)了面向遙感應(yīng)用的雙模式成像模擬裝置以進(jìn)行下一步的實(shí)驗(yàn)。這種方法既不需要補(bǔ)償器件，也不需要探測(cè)元件和探測(cè)支路，并在圖像迭代處理過程中不斷修正模糊核，在初始模糊核有一定誤差的情況下，同樣可望取得良好的像面去模糊效果，對(duì)于提高遙感圖像像質(zhì)具有潛在的應(yīng)用價(jià)值。

References)

[1]Solankia S K, Gandorfer A M, et al. Sunrise: A Balloon-borne Telescope for High Resolution Solar Observations in the Visible and UV[J]. SPIE, 2003, 4853: 129-139.

[2]Toshifumi Shimizu, Shin’ichi Nagata, et al. Image Stabilization System on SOLAR-B Solar Optical Telescope[J]. SPIE, 2004,5487: 1199-1206.

[3]Janschek K, Tchernykh V. Optical Correlator for Image Motion Compensation in the Focal Plane of Satellite Camera[J]. Space Technology, 2001, 21(4): 127-132.

[4]Olson G G. Image Motion Compensation w ith Frame Transfer CCDs[J]. SPIE, 2002, 4567: 153-160.

[5]Close L M, M cCarthy D W. High-resolution Imaging w ith a Tip-tilt Cassegrain Secondary[J]. Publications of the Astronomical Society of the Pacific, 1994, 106: 77-86.

[6]Lim S , Apostolopoulos J G , et al. Optical Flow Estimation Using Temporally Oversampled Video[J]. IEEE Transactions on Image Processing, 2005, 14(8):1074-1087.

[7]Ben-Ezra M, Nayar S K. Motion Deblurring Using Hybrid Imaging[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003.

[8]Ben-Ezra M, Nayar S K. Motion-based Motion Deblurring[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6): 689-698.

[9]Janschek K, Tchernykh V, et al. Integrated Camera Motion Compensation by Real-time Image Motion Tracking and Image Deconvolution[C]. IEEE/ASME International Conference on Advanced Intelligent Mechatronics, 2005: 1437-1444.

[10]Lu Yuan, Jian Sun, Long Quan,et al. Image Deblurring w ith Blurred / Noisy Image Pairs[J]. ACM Transactions on Graphics,2007, 26(3): 1-10.

[11]Wittig M, van Holtz L, et al. In-orbit Measurements of M icroaccelerations of ESA’s Communication Satellite OLYMPUS[J],SPIE, 1990, 1218: 205-214.