基于SIFT匹配和RANSAC算法的超分辨率重建

張 省，朱 偉

(山東省國土測繪院,山東 濟南 250013)

隨著傳感器等技術的發(fā)展，高分辨率圖像的應用日趨深入。現(xiàn)如今提高圖像分辨率主要有兩種途徑，一種主要從硬件層次，但受制于技術限制與投入成本等因素，發(fā)展較慢；另一種為軟件層次，主要是利用多幅圖像間的信息互補提高圖像分辨率，這類方法應用廣泛，效果較好，即為圖像超分辨率重建方法[1-2]。文獻[3]于 1984年首次提出超分辨率重建方法。超分辨率重建技術近年來得到巨大發(fā)展，在計算機視覺領域發(fā)展迅速，提高了信息處理效率。

1 圖像超分辨率重建技術

序列圖像超分辨率重建是根據(jù)序列圖像間信息互補重建高分辨率圖像的技術[4]。如圖1所示，超分辨率重建方法是，通過將4幅低分辨率圖像利用圖像重建，按照序列圖像位置偏移獲取最終圖像的高分辨率像素值。圖像超分辨率重建的目標即是獲取上述高分辨率圖像的像素值。

序列圖像超分辨率重建中，序列圖像的運動估計是重建的重要步驟，運動估計的精度與后續(xù)重建結果的質量密切相關。

運動估計算法主要考慮全局性變化，如序列圖像間整體的平移、旋轉和縮放，部分運動估計算法可處理一般化運動模型，Keren算法作為其中經(jīng)典的算法，可進行局部或整體的運動估計。但現(xiàn)實中，重建的圖像場景更為復雜，上述模型并不能很好地滿足實際需求。近年來光流法運動估計算法等研究較為深入，應用情況更為廣泛。但是為了使運動估計算法更適應應用實際，本文結合攝影測量領域圖像匹配算法，引入SIFT匹配運動估計算法，提升同名點匹配的質量。算法能夠滿足超分辨率重建的精度要求，有利于實現(xiàn)圖像高精度運動估計[5-7]。

2 基于SIFT匹配和RANSAC的運動估計方法

部分超分辨率重建算法都是以序列圖像間運動幅度較小為基礎開展的，如輕微的移動等，但現(xiàn)實獲取的序列圖像中，大多存在移動、旋轉和縮放等多種復雜變換，運動估計較為復雜和困難，針對上述復雜序列圖像的運動估計算法較少。由此，本文提出基于SIFT匹配和隨機采樣一致性算法(RANSAC)的運動估計方法，以實現(xiàn)旋轉縮放圖像序列的超分辨率重建。

2.1 SIFT算法

尺度不變特征轉換(SIFT)算法由文獻[8]提出并完善，在圖像匹配領域應用廣泛，對于尺度縮放等圖像具有較好穩(wěn)健性。SIFT算法可分為兩部分：一是SIFT特征提取，通過構建DOG尺度空間，生成特征點相關信息；二是對SIFT特征點進行匹配，采用KD-tree索引和BBF(best-bin-first)查詢機制進行匹配。

2.2 RANSAC算法去除誤匹配點

RANSAC算法于1981年由文獻[9]針對試驗數(shù)據(jù)的擬合問題提出。針對SIFT粗匹配的結果，RANSAC算法可以從原始匹配結果計算出精確模型，達到剔除粗差點的作用[10]。

2.3 基于SIFT和RANSAC的運動估計算法

本文提出的基于SIFT匹配和RANSAC算法的運動估計是以圖像匹配為基礎。圖像匹配主要獲取圖像間同名點，但超分辨率重建的運動估計主要獲取序列圖像間的關系模型，因此需在SIFT匹配獲取同名點的基礎上建立圖像變換模型[11-12]。由于本文需要解決圖像的平移、旋轉、縮放等變換，因此采用投影變換模型描述圖像間變換關系。

(1)

式中，mi(0≤i≤8)為圖像變換參數(shù)；∝為尺度因子。

基于SIFT匹配和RANSAC算法的運動估計原理如圖2所示，首先采用SIFT匹配算法提取序列圖像的同名特征點，然后使用RANSAC算法去除誤匹配的同名特征點，最后根據(jù)上述同名點計算投影變換矩陣。算法流程如圖3所示。

圖4(a)為SIFT特征點匹配的結果，圖4(b)為RANSAC算法消除誤匹配之后的結果，RANSAC算法較明顯地去除了部分特征點對。

3 試驗及分析

3.1 運動估計算法試驗

本文試驗使用分辨率為256×256像素的Lena圖像，如圖5所示，對該圖像進行平移并下采樣獲取4幅低分辨率圖像(64×64像素)。其中低分辨率圖像序列的相對位移分別為(0，0)、(2.5，3.5)、(3.6，4.2)、(4.7，5.6)，圖6(a)和圖6(b)的相對位移為(4.7，5.6)。表1列出了上述運動估計算法對x和y方向位移的平均絕對誤差。SIFT-RANSAC為在SIFT匹配基礎上，采用RANSAC算法消除誤匹配點。本文使用Keren算法作為對比算法，Keren圖像匹配算法于1988年由文獻[10]提出，主要應用于圖像之間存在全局位移和旋轉，精度較高且運算速度較快，在超分辨率重建領域應用較廣。Keren算法使用開源軟件包superresolution_v_2.0實現(xiàn)，本文兩種基于影像匹配的運動估計算法在VS2010環(huán)境下，使用C++語言實現(xiàn)。由表1可得，SIFT-RANSAC運動估計算法精度優(yōu)于Keren算法。

3.2 序列圖像超分辨率重建算法試驗

為了驗證算法對于尺度縮放圖像的支持，本次試驗選擇分辨率為512×512像素的手表示例圖像，對該圖像進行處理獲取兩幅不同尺度的圖像，圖像大小為256×256像素。重建算法選擇迭代反投影法[13](iterative back-projection，IBP)，并與一種基于SIFT匹配的超分辨率重建方法SIFT-MAP[14-15]進行比較。由圖7可得，SIFT-MAP算法(圖7(f))重建效果一般，稍好于單幅插值算法，主要原因是該算法是針對視頻圖像、采用分區(qū)SIFT特征匹配的方法，對于圖像尺度因子估計精度不足。由圖7中的視覺效果和表2中的量化指標都可看出，本文采用算法重建結果效果良好，細節(jié)信息豐富，對于多分辨率圖像序列的超分辨率重建具有較好的效果。

表1 序列圖像運動估計算法平均絕對誤差比較 像素

表2 手表圖像超分辨率重建結果量化比較

4 結 語

本文著重研究具有較為復雜變換關系的序列圖像運動估計算法，探討了基于SIFT匹配和RANSAC算法的運動估計算法。試驗結果表明，相比傳統(tǒng)運動估計算法，本文提出方法精度較高，重建結果較好。但序列圖像的超分辨率重建技術涉及的領域較大，新的技術和方法不斷涌現(xiàn)，因此在以后的研究中還有較多的難點需要關注。為了更好地推廣超分辨率重建技術在實際中的應用，為圖像處理領域提供高分辨率圖像，仍有許多工作需要進一步研究和改進。