積分型非線性平差模型及其在超分辨率圖像重建中的應(yīng)用

朱建軍，樊東昊，周 璀，周靖鴻

中南大學(xué)地球科學(xué)與信息物理學(xué)院，湖南 長沙 410083

1 引 言

目前的平差模型主要包含線性模型和非線性模型兩種。線性模型中，觀測值與平差參數(shù)之間是線性函數(shù)關(guān)系，例如經(jīng)典平差中的條件平差模型和間接平差模型。而非線性平差模型中觀測值與平差參數(shù)之間是一種非線性函數(shù)關(guān)系。傳統(tǒng)的測量數(shù)據(jù)處理問題基本上都可以通過這兩種模型來描述，例三角網(wǎng)、水準(zhǔn)網(wǎng)、邊角網(wǎng)、GPS網(wǎng)，攝影測量中的空三等，因而可用傳統(tǒng)的測量數(shù)據(jù)處理理論來解決這些數(shù)據(jù)處理問題。由于技術(shù)的發(fā)展，數(shù)據(jù)采集的手段不斷增多，現(xiàn)代測量數(shù)據(jù)處理中許多情況是不能簡單地用線性平差模型或非線性平差模型來描述，例如極化干涉SAR中的復(fù)數(shù)問題、數(shù)字高程模型、圖像處理等，在數(shù)字高程模型中，可以將每個格網(wǎng)的高程值看作地表函數(shù)在該格網(wǎng)范圍內(nèi)的一個積分。同樣在圖像處理時，也可以將每個像素值看作客體表面函數(shù)在該像元范圍內(nèi)的一個積分，當(dāng)像素值已知，要利用不同像素值反求像元內(nèi)客體表面函數(shù)時，那么觀測的像素值與待求的函數(shù)之間就是一種積分關(guān)系，以這種積分關(guān)系建立起來的平差模型有兩個特點：一是觀測量與待求函數(shù)之間是一種積分關(guān)系；二是待求的是函數(shù)而不是參數(shù)。積分關(guān)系也是一種非線性關(guān)系，考慮到其特殊性，可稱之為“積分型非線性平差模型”。積分型非線性平差模型實際在傳統(tǒng)的大地測量中就出現(xiàn)并已經(jīng)使用：傳統(tǒng)大地測量中，重力測量值或者水準(zhǔn)高差等于重力場的關(guān)系就是一種積分關(guān)系，當(dāng)需要反求重力場時，建立的就是上述積分型非線性平差模型。傳統(tǒng)大地測量中是用球諧函數(shù)將積分轉(zhuǎn)換為求參數(shù)的平差模型。

圖像超分辨率重建是指通過對多幅具有互補信息的低分辨率圖像進行處理，重建一幅或多幅高分辨率圖像的過程［1］。由于圖像超分辨率重建能夠突破硬件的限制來提高圖像的分辨率，因而得到廣泛的關(guān)注和推崇。最典型的應(yīng)用是法國的SPOT 5衛(wèi)星，該衛(wèi)星通過獲取兩幅相互錯位0.5像素的分辨率為5m的圖像，利用圖像超分辨率重建技術(shù)，得到2.5m分辨率圖像，并向全球大量提供。目前圖像超分辨率重建的算法大致可以分為兩類：一是頻率域算法［2－5］，即利用傅里葉變換將圖像變換到頻率域進行有關(guān)的重建計算；二是空域算法［6－10］，即直接在空間域?qū)D像灰度進行操作。頻率域方法由于局限于全局平移運動和線性空間不變降質(zhì)模型，且利用空域先驗知識的能力有限，導(dǎo)致其適用范圍非常有限；而空域算法，由于所采用的假設(shè)不同，不同的空域算法分別有不同的缺點［11－15］。本文的目的就是研究建立超分辨率重建的積分型非線性平差模型，用平差的方法解決超分辨率重建的問題。

為了評價該方法進行圖像重建的效果，本文將利用傳統(tǒng)的重建圖像的評價指標(biāo)進行定量評價。評價指標(biāo)通常是采用PSNR和SSIM指數(shù)。PSNR指標(biāo)用于衡量兩幅圖像之間的灰度相似性，而SSIM指標(biāo)用于衡量兩幅圖像的結(jié)構(gòu)相似性，本文將同時利用PSNR指數(shù)和SSIM指數(shù)對重建圖像從灰度相似性和結(jié)構(gòu)相似性方面進行綜合評價［16］。

2 超分辨率重建的積分型非線性平差模型及其解算

圖像超分辨率重建過程就是對同一目標(biāo)進行多次觀測，獲取多幅低分辨率影像，利用低分辨率影像求取目標(biāo)的真實影像，即求取高分辨率影像的過程。這一過程與測繪領(lǐng)域中對同一對象進行觀測，用測量平差求取對象最佳值的過程類似。如果用圖像的灰度函數(shù)來表示圖像的真實影像，任意像素值可以看作灰度函數(shù)在這個像素內(nèi)的積分，那么低分辨率影像與真實影像之間的關(guān)系就可以通過一個積分來描述

式中，gi表示像素值；x、y是像素坐標(biāo)；vi是像元范圍；f（x，y）是客體表面灰度函數(shù)。當(dāng)對同一目標(biāo)進行多次觀測時，獲取多幅低分辨率圖像時，可以構(gòu)成觀測方程

式中，觀測值是像素值Li；Vi為改正值向量；待求的為灰度函數(shù)f（x，y）。每幅低分辨率圖像的每個像素都可以建立一個如式（2）的方程，最后可根據(jù)需求組成一個觀測方程組。與傳統(tǒng)的測量平差模型不同的是，傳統(tǒng)的測量平差待求量是參數(shù)，而式（2）的待求量是函數(shù)。依據(jù)上述觀測方程求函數(shù)是一個值得深入研究的問題。重力測量中是用球諧函數(shù)將上述函數(shù)轉(zhuǎn)換為參數(shù)，然后用最小二乘方法求解。對于圖像，上述函數(shù)可以用傅里葉級數(shù)、小波函數(shù)來表示，本文嘗試采用多項式，將其轉(zhuǎn)換為參數(shù)估計的方法，即在圖像上一個足夠小的范圍內(nèi)，用二次多項式代替灰度函數(shù)

將式（3）代入式（2）得

按最小二乘原理可解算出X

式中，P為觀測值的權(quán)。對于上述圖像超分辨率重建問題，如何選權(quán)也是一個值得研究的問題。實際上，上述像素值L所包含的誤差可分為兩個部分，一是圖像本身的噪聲，二是上述二次多項式替代過程中所帶來的模型誤差。而模型誤差大小與像素距二次多項式曲面中心的遠近有關(guān)，依據(jù)這一誤差性質(zhì)，本文按如下方案加權(quán)：選取參考圖像中的任意像素L1（i，j），計算其周圍8個像素中心與該像素的像素中心的距離。通過配準(zhǔn)獲得圖像之間的空間轉(zhuǎn)換參數(shù)后，將所有圖像轉(zhuǎn)換到參考圖像相應(yīng)的坐標(biāo)系中，再計算其他圖像對應(yīng)的9個像素的像素中心與該像素中心的距離。取距離平方的反比對17個觀測值定權(quán)，像素L1（i，j）本身也由像素的大小決定，即取像素半個像元寬度平方成反比。

按式（5）解算出X，即可得到客體表面灰度函數(shù)。依據(jù)式（6）求解相應(yīng)區(qū)域內(nèi)的c個高分辨率像素值

3 圖像重建策略

基于積分型非線性平差模型的重建方法流程如圖1所示，分為以下3步：

（1）圖像預(yù)處理：對低分辨率圖像通過模糊估計和噪聲估計獲得模糊函數(shù)及噪聲類型，在圖像重建前先對低分辨率圖像序列進行預(yù)處理，包括去模糊和去噪處理。選取參考圖像L1，并定義參考圖像的列為X軸，行為Y軸，X、Y坐標(biāo)軸取值范圍分別為0～N、0～M，N、M為參考圖像的行列數(shù)。每個像元的坐標(biāo)用像元中心的坐標(biāo)值表示，也可以對坐標(biāo)進行標(biāo)準(zhǔn)化處理：讓X向和Y向像素之間的坐標(biāo)間隔均為2／N，原點移至X軸的中央，此時X取值范圍在－1～1變化，Y的取值范圍在0～2M／N變化。然后采用SIFT特征配準(zhǔn)方法計算獲得其他各低分辨率圖像序列與參考圖像之間幾何變換參數(shù)，包括平移和旋轉(zhuǎn)，再根據(jù)變換參數(shù)，將圖像序列變換到參考圖像坐標(biāo)系中。從參考圖像中逐行依次選取像素L1（i，j）及周邊8個像素點對應(yīng)的像素值和坐標(biāo)，再從其他序列圖像中選取最靠近像素L1（i，j）的像素點Ln（k，r）及周邊8個像素點對應(yīng)的像素值及坐標(biāo)。

圖1 基于積分型非線性平差模型的重建方法流程圖Fig.1 The flow chart of reconstruction method based on adjustment model of integral

（2）超分辨率像素值的計算：在獲得以上數(shù)據(jù)后，按照積分型非線性平差模型列出觀測方程式（4）。每張圖像有9個像素，如果有n張低分辨率圖像，則有9n個方程，用矩陣形式，式（4）可表示為

式中的積分范圍為各個低分辨率像素點所代表的區(qū)域。

依據(jù)式（5）求取X，將求出的X代入式（3），得到L1（i，j）及相鄰8個像素區(qū)域內(nèi)的灰度函數(shù)

（3）獲得超分辨率圖像：將式（8）代入式（6）就可以計算任意大小的高分辨率圖像像素值，實際計算時，只計算與像素L1（i，j） 重合的高分辨率圖像像素的像素值及其周邊的8個高分辨率像素值。如果低分辨率圖像像素與高分辨率圖像的像素大小比小于3，則求出的高分辨率像素值會存在重疊區(qū)域，如圖2所示，白色框為未重疊的高分辨率像素，格網(wǎng)框為重疊的高分辨率像素，對于該重疊區(qū)域，本文采用相鄰像素點的高分辨率像素值取平均。

圖2 高分辨率像素值重疊區(qū)域示意圖Fig.2 Schematic diagram of superposed high resolution pixel value

4 試驗與結(jié)果分析

4.1 模擬序列影像試驗

為了研究對比平差方法的可行性并對其進行定量評價，本項目按如下思路展開模擬試驗：從某個原始高分辨率圖像，采樣加噪獲取系列低分辨率影像，再用采樣獲取的系列低分辨率影像重建與原始圖像同一分辨率及大小的高分辨率圖像，用重建的圖像與原始圖像比較，就可研究不同方法的效果。試驗具體按獲取低分辨率圖像、圖像配準(zhǔn)、模糊函數(shù)及噪聲估計、圖像重建4個步驟進行。

4.1.1 獲取低分辨率圖像

將一幅高分辨率圖像經(jīng)圖像變換得到低分辨率序列，其中圖像變換包括圖像的平移和旋轉(zhuǎn)、模糊化處理、降采樣、加噪，詳細(xì)過程可參考文獻［17］。該方法獲得的低分辨率圖像序列完全能夠滿足超分辨率重建的試驗要求。這里列出一張大小為800像素×600像素、灰度級為256的中南大學(xué)校園風(fēng)景圖進行試驗，試驗中首先利用模擬觀測系統(tǒng)模擬出兩幅具有亞像素位移的低分辨率圖像，如圖3所示。

4.1.2 圖像配準(zhǔn)

圖像配準(zhǔn)就是選擇其中一張LR圖像作為參考幀，將其余LR圖像在空間上與參考幀圖像進行對準(zhǔn)。多張LR圖像經(jīng)配準(zhǔn)后為HR格網(wǎng)的非規(guī)則采樣，常用的圖像配準(zhǔn)模型包括平移模型、仿射變換模型、雙線性模型、投影模型與嚴(yán)格模型［11］。本文采用SIFT算法對低分辨率圖像組進行亞像素級高精度配準(zhǔn)，基于特征的圖像配準(zhǔn)一般可以分為3步：特征提取、特征描述、特征匹配［18］。

圖3 模擬低分辨率圖像序列Fig.3 The low resolution images simulated

4.1.3 模糊度及噪聲估計

模糊函數(shù)描述了圖像形成過程中受到模糊退化影響程度的大小，估計模糊函數(shù)的精度直接影響超分辨率重建圖像的質(zhì)量。本文試驗采用模擬低分辨率圖像序列，添加的模糊函數(shù)為高斯模糊函數(shù)，噪聲為均值0、方差0.05的高斯噪聲，在圖像預(yù)處理階段使用維納濾波對低分辨圖像序列進行去模糊處理和去噪處理。

4.1.4 圖像重建

用低分辨率圖像序列分別用迭代反向投影法、凸集投影法、本文算法重建出一幅和原始圖像大小相同的高分辨率圖像，如圖4所示。通過對比可以看出，圖4（c）相對于其他算法，在主觀視覺上最為模糊，而且可以清晰地看出，本文算法與其他方法相比較，重建圖像的邊緣效果處理得最為理想。

對于圖像重建的效果可用PSNR和SSIM圖像評價指標(biāo)進行客觀評價。PSNR描述了以源圖像為標(biāo)準(zhǔn)信號，重建圖像的信噪比。PSNR越大，圖像質(zhì)量越好，其定義為

式中，M、N為圖像大??；f′（i，j）、f（i，j）分別表示原始高分辨率圖像和重建圖像在（i，j）處的灰度值。SSIM是基于誤差敏感的，這種評價方法將像素誤差看作是質(zhì)量的虧損，是一種充分考慮圖像的結(jié)構(gòu)信息和人類視覺特點的圖像質(zhì)量評價方法，并且其值越大，失真越小，圖像質(zhì)量越好。

圖4 模擬影像重建結(jié)果Fig.4 The reconstruction results of simulated images

結(jié)果如表1所示。通過與PSNR的對比，得出本文算法的峰值信噪比的PSNR值高于其他算法，說明本文重建圖像與原高分辨率圖像在灰度上相似性更高，雖然主觀上看，圖4（b）比圖4（c）清晰，但是圖4（b）存在嚴(yán)重的波紋現(xiàn)象，影響了圖像的紋理結(jié)構(gòu)，從而使得PSNR值低于圖4（c）。通過對結(jié)構(gòu)相似性指數(shù)SSIM的對比，得出本文重建算法與其他算法具有相同水平的結(jié)構(gòu)相似性。

表1 PSNR及SSIM評價結(jié)果Tab.1 Evaluation results of PSNR and SSIM

4.2 真實序列影像試驗

利用數(shù)碼相機在不同位置、不同時刻對同一場景進行連續(xù)取景，在取景的過程中，相機與物體之間的水平距離保持不變，使得影像的空間分辨率不變，從而得到一組列相互錯位的影像［19］。采用這種方法對實驗室張貼的一幅上海地區(qū)遙感圖像上的一處體育場進行拍攝取景，獲取4幅分辨率為255像素×155像素的圖像。選取其中一幅作為參考圖像，利用SIFT算法對低分辨率圖像序列進行配準(zhǔn)，對圖像序列進行重建。試驗結(jié)果如圖5所示，圖中5（a）為其中一幅低分辨率圖像，通過圖中體育場邊界線可以看出，圖5（f）相對其他結(jié)果有著較好的視覺效果，圖5（b）、圖5（d）和圖5（e）存在明顯的波紋，影響了圖像的紋理結(jié)構(gòu)，圖5（c）相對于其他結(jié)果較模糊，因此從主觀視覺上，本文算法的結(jié)果較為理想。

圖5 真實影像重建結(jié)果Fig.5 The reconstruction results of real images

5 結(jié) 論

超分辨率重建問題可以用平差的方法來解決。大量的試驗證明，用二次多項式對超分辨率重建的積分型非線性平差模型在足夠小的范圍內(nèi)進行參數(shù)化是可行的，試驗結(jié)果顯示，通過主觀和客觀的綜合評價都表明采用平差方法解決圖像超分辨重建問題能夠得到較好的重建效果。

［1］ SHEN Huanfeng，LI Pingxiang，ZHANG Liangpei，et al.Overview on Super Resolution Image Reconstruction［J］.Optical Technique，2009，35（2）：194－199.（沈煥鋒，李平湘，張良培，等.圖像超分辨率重建技術(shù)與方法綜述［J］.光學(xué)技術(shù)，2009，35（2）：194－199.）

［2］ TSAI R Y，HUANG T S.Multiframe Image Restoration and Registration［J］.Advances in Computer Vision and Image Processing，1984（1）：101－106.

［3］ TEKALP A M，OZKAN M K，SEZAN M I.High Resolution Image Reconstruction from Lower Resolution Image Sequences and Spacevarying Image Restoration［C］∥The IEEE International Conference on Acoustics，Speech and Signal Processing.San Francisco，CA：IEEE，1992：169－172.

［4］ DAVILA C E.An Efficient Recursive Total Least Squares Algorithms for FIR Adaptive Filtering［J］.IEEE Transactions on Signal Processing，1994，42（2）：268－280.

［5］ KALTENBACHER E，HARDIE R C.Highresolution Infrared Image Reconstruction Using Multiple，Low Resolution，Aliased Frames［C］∥Proceedings of the IEEE 1996National Aerospace Electronics Conference.Dayton，OH：IEEE，1996：702－709.

［6］ CLARK J J，PALMER M R，LAURENCE P D.A Transformation Method for the Reconstruction of Functions from Nonuniformly Spaced Samples［J］.IEEE Transactions on Acoustics，Speech and Signal Processing，1985，33（4）：1151－1165.

［7］ IRANI M，PELEG S.Improving Resolution by Image Registration［J］.Graphical Models and Image Processing，1991，53（3）：231－239.

［8］ STARK H，OSKOUI P.High－resolution Image Recovery from Image－plane Arrays，Using Convex Projections［J］.Journal of the Optical Society of America A，1989，6（11）：1715－1726.

［9］ SCHUULZ R R，STEVENSON R L.Extraction of High Resolution Frames from Video Sequences［J］.IEEE Transactions on Image Processing，1996，5（6）：996－1011.

［10］ ELAD M，F(xiàn)EUER A.Super Resolution Restoration of an Image Sequence：Adaptive Filtering Approach［J］.IEEE Transactions on Image Processing，1999，8（3）：387－395.

［11］ ZHANG Xinming，SHEN Lansun.The Development of Superresolution Restoration from Image Sequences［J］.Measurement ＆ Control Technology，2002，21（5）：33－35.（張新明，沈蘭蓀.超分辨率復(fù)原技術(shù)的發(fā)展［J］.測控技術(shù)，2002，21（5）：33－35.）

［12］ FAN Chong，GONG Jianya，ZHU Jianjun.POCS Superresolution Sequence Image Reconstruction Based on Image Registration Excluded Aliased Frequency Domain［J］.Acta Geodaetica et Cartographica Sinica，2006，35（4）：358－363.（范沖，龔健雅，朱建軍.一種基于去混疊影像配準(zhǔn)方法的POCS超分辨率序列圖像重建［J］.測繪學(xué)報，2006，35（4）：358－363.）

［13］ SHEN Huanfeng，ZHANG Liangpei，HUANG Bo，et al.A Map Approach for Joint Motion Estimation，Segmentation，and Super Resolution［J］.IEEE Transactions on Image Processing，2007，16（2）：479－490.

［14］ RUDIN L I，OSHER S，F(xiàn)ATEMI E.Nonlinear Total Variation Based Noise Removal Algorithms［J］.Physica D：Nonlinear Phenomena，1992，60（1－4）：259－268.

［15］ FARSIU S，Robinson M D.Fast and Robust Multi－frame Super Resolution［J］.IEEE Transactions on Image Processing，2004，13（10）：1327－1344.

［16］ ZHANG Liangpei，SHEN Huanfeng，ZHANG Hongyan，et al.Super Resolution Image Reconstruction［M］.Beijing：Science Press，2012.（張良培，沈煥鋒，張洪艷，等.圖像超分辨率重建［M］.北京：科學(xué)出版社，2012.）

［17］ FAN Donghao，ZHU Jianjun，ZHOU Cui，et al.Designing and Implementation of the Simulation System of the Image Degradation［J］.Geotechnical Investigation ＆ Surveying，2014，42（5）：75－79.（樊東昊，朱建軍，周璀，等.圖像退化仿真系統(tǒng)的設(shè)計與實現(xiàn)［J］.工程勘察，2014，42（5）：75－79.）

［18］ KANG Yanni，HUANG Huan，ZHU Yuyan，et al.Superresolution Image Registration Based on SIFT and Its Realization with Matlab［J］.Computer Knowledge and Technology，2009，5（28）：8031－8033.（康燕妮，黃歡，朱玉艷，等.基于SIFT的超分辨率圖像配準(zhǔn)及Matlab實現(xiàn)［J］.電腦知識與技術(shù)，2009，5（28）：8031－8033.）

［19］ SHEN Huanfeng，LI Pingxiang，ZHANG Liangpei.Adaptive Regularized MAP Super－resolution Reconstruction Method［J］.Geomatics and Information Science of Wuhan University，2006，31（11）：949－952.（沈煥鋒，李平湘，張良培.一種自適應(yīng)正則化MAP超分辨率重建方法［J］.武漢大學(xué)學(xué)報：信息科學(xué)版，2006，31（11）：949－952.）

［20］ SHEN Huangfeng，NGM K，LI Pingxiang，et al.Superresolution Reconstruction Algorithm to MODIS Remote Sensing Images［J］.The Computer Journal，2007，52（1）：90－100.

［21］ PURKAIT P，CHANDA B.Morphologic Gain－controlled Regularization for Edge－preserving Super－resolution Image Reconstruction［J］.Signal，Image and Video Processing，2013，7（5）：925－938.

［22］ SHI Wenzhong，TIAN Yan，LIU Jian.A Fast Superresolution Reconstruction from Image Sequence［J］.Wuhan U－niversity of Natural Sciences，2006，11（2）：399－404.

［23］ MA Jun，JING Weili，F(xiàn)AN Chong.Papoulis－gerchberg Super－resolution Reconstruction Based on Improvement Approach of Keren Registration Method［J］.Bulletin of Surveying and Mapping，2007（12）：14－17（馬俊，景維立，范沖.一種基于改進Keren空域配準(zhǔn)方法的Papoulis－gerchberg超分辨率重建［J］.測繪通報，2007（12）：14－17.）

［24］ WU Yan.One Improved Super－reconstruction Algorithm Based on IBP Theory［J］.Infrared，2009，30（12）：11－15.（吳艷.一種改進的IBP超分辨率重構(gòu)算法［J］.紅外，2009，30（12）：11－15.）

［25］ LUCCHESEL，CORTELAZZO GM.A Noise－robust Frequency Domain Technique for Estimating Planar Rototranslations［J］.IEEE Transactions on Signal Processing，2000，48（6）：1769－1786.