基于SIFT特征的彩色圖像拼接方法研究

張永梅1，2，張晨希3，郭 莎1

（1.北方工業(yè)大學計算機學院，北京 100144；2.廣東省普及型高性能計算機重點實驗室，深圳市服務(wù)計算與應(yīng)用重點實驗室，深圳 518060；3.北方工業(yè)大學電子信息工程學院，北京 100144）

基于SIFT特征的彩色圖像拼接方法研究

張永梅1，2，張晨希3，郭 莎1

（1.北方工業(yè)大學計算機學院，北京 100144；2.廣東省普及型高性能計算機重點實驗室，深圳市服務(wù)計算與應(yīng)用重點實驗室，深圳 518060；3.北方工業(yè)大學電子信息工程學院，北京 100144）

針對傳統(tǒng)特征提取拼接算法在復(fù)雜圖像中配準過程中出現(xiàn)的過多誤匹配，導致拼接后圖像出現(xiàn)鬼影、模糊等問題，從而影響拼接圖像的質(zhì)量，提出一種改進的SIFT配準算法；在對目標圖像提取SIFT特征后，利用SIFT描述子的尺度以及梯度方向信息建立最小鄰域匹配剔除誤匹配點，之后利用局部均方根誤差（RMSE）評價映射矩陣與RANSAC算法相結(jié)合，迭代出精確變換模型；在對圖像進行幾何矯正后，提出一種自適應(yīng)的混合線性算法對重合區(qū)域圖像變換至HIS顏色空間進行圖像拼接，最后得到平滑無縫的完整彩色全景拼接圖像；實驗結(jié)果證明，該算法在拼接復(fù)雜場景并且重合區(qū)域不多時仍有較好的準確性及穩(wěn)定性。

圖像拼接；客觀評價；最小鄰域匹配；自適應(yīng)混合線性拼接

0 引言

圖像拼接技術(shù)是將一組由傳感器拍攝到在同一區(qū)域，并且具有相互重疊區(qū)域的圖像集合拼接成一幅寬視角的無縫高分辨率圖像或360°全景圖像的技術(shù)［1 5］，在圖像處理、計算機視覺、計算機圖形學和虛擬現(xiàn)實等學科中都占有重要的地位［6 7］。圖像拼接的本質(zhì)是對待拼接圖像進行圖像配準找出重疊部分，再對其進行圖像拼接消除拼接縫隙的過程。通過圖像配準可以確定相鄰圖像序列間的旋轉(zhuǎn)和平移等參數(shù)，從而通過變換模型將圖像轉(zhuǎn)換至同一視角，最終達到無縫拼接。

圖像拼接的兩個關(guān)鍵技術(shù)是圖像配準和圖像拼接。圖像配準是圖像拼接的基礎(chǔ)也是最重要的一部分，目前圖像配準技術(shù)經(jīng)過長時間發(fā)展有了很大進步，新的技術(shù)也如雨后春筍般層出不窮，因此圖像配準技術(shù)的創(chuàng)新也成為圖像拼接技術(shù)發(fā)展的主要原因。相比較于圖像的配準，圖像拼接技術(shù)的差異在于對不同拼接圖像的特點，應(yīng)選擇恰當?shù)钠唇臃椒ú拍艿玫捷^好的拼接效果。一般來說，圖像拼接技術(shù)主要包括圖像預(yù)處理、圖像配準、拼接重構(gòu)三步。

圖像預(yù)處理是對源圖像進行數(shù)字圖像處理的基本操作，如去噪、圖像銳化、直方圖均衡化等。利用傅里葉變換、小波變換等分析手段，將圖像轉(zhuǎn)換至頻域進行分析處理。

圖像配準是根據(jù)圖像的特性，采用一定的匹配策略，找出相鄰兩幅待配準圖像中的特征點、統(tǒng)計特性、顏色等相似區(qū)域及像素點在參考圖像中對應(yīng)的位置，從而確定兩幅圖像之間的數(shù)學變換關(guān)系模型。

拼接重構(gòu)是完成統(tǒng)一坐標變換后，將待拼接圖像的重合區(qū)域進行圖像拼接處理，消除邊緣縫隙、模糊、像素點錯位等問題，得到重構(gòu)的無縫平滑全景圖像。

1 基于SIFT的最小鄰域匹配圖像配準算法

準確的圖像配準是圖像拼接能夠順利完成的重要先決條件。圖像配準的方法可以分為基于區(qū)域和基于特征兩大類方法［8 11］。在基于特征的配準方法中，1999年由Lowe提出并在2004年改進完善的SIFT［12］算法對圖像旋轉(zhuǎn)、比例縮放、光照變化表現(xiàn)出較強的魯棒性，并能提取出較多的特征點。

1.1 鄰域特征匹配法原理

該方法首先直接從目標和待配準兩個源圖像中提取各自的特征點集，再對兩者對應(yīng)的特征點集進行匹配。本文針對已提取出的特征點集先構(gòu)建一棵K－D樹 （K－Dimensional Tree），然后在該數(shù)據(jù)結(jié)構(gòu)中采用BBF算法搜索特征點的最近鄰域點。

本文將圖像中的特征點表示為Si＝［Xi，ri，θi，f（Xi，ri，θi）］T，其中Xi∈R2，描述該點的位置信息，ri描述該點的尺度大小信息，θi描述該點的梯度方向，f（Xi，ri，θi）描述對應(yīng)匹配特征點描述子。

1.2 鄰域特征匹配算法步驟

1）初始的正確匹配點集采用兩兩匹配遍歷方式，重復(fù)匹配直到確定該兩點滿足鄰域關(guān)系，這樣就可以確定初始正確匹配點集，具體方法如3）和4）所示。

2）從圖像中任意選擇未匹配的一點S1，以該點為圓心（歐氏距離）尋找最臨近的正確匹配特征點S2和與之對應(yīng)的匹配點f（S2）；

3）連接S1與最鄰近匹配點S2，同時連接這兩點各自對應(yīng)的點f（S1）與f（S2），并計算其各自連線與S1點和f（S1）梯度方向角度的差值θx；

4）本文設(shè)定閾值角度為10°，考慮到不同拍攝角度引起的誤差，如果計算所得的匹配點的角度差在設(shè)定的閾值范圍內(nèi)，則本文判斷該鄰近點匹配成功，并且保留該點，否則判斷其為誤匹配候選點。

5）同樣利用上述方法計算點S1與其次鄰近點的角度差值，如果同樣未在閾值內(nèi)，則判斷該點是錯誤的匹配點，否則判斷其與次臨近點為正確匹配；

6）重復(fù)步驟2）～5），直到遍歷完圖像中所有匹配特征點。

該方法能有效利用鄰域的特征點位置關(guān)系來進行特征點的匹配，并且可以消除一定誤匹配。鄰域匹配法如圖1所示。

圖1 最近鄰域匹配表示兩幅圖像之間匹配關(guān)系

1.3 反向匹配法刪除誤匹配

本文對待配準圖像中的特征點進行單向匹配后，再對待配準圖像中的同名匹配點進行同閾值的逆向匹配，只保留雙向匹配均為相同對應(yīng)雙方的特征點對，將剩余特征點刪除掉。這樣做的目的是：在第一次匹配后，經(jīng)常會出現(xiàn)目標圖像中多個點與待配準圖像中同一個點匹配，而在逆向匹配后，可以找到唯一對應(yīng)的同名點，從而有效排除其他錯誤的匹配。如圖2所示，三條連接線只有一條是正確匹配。

1.4 RANSAC算法與客觀評價相結(jié)合的變換矩陣校正方法

本文提出一種基于局部均方根有效值的客觀評價方法，并結(jié)合RANSAC算法對配準圖像進行客觀評價，如果評價指標達到客觀評價要求，則認為符合標準，如果達不到要求，則找出并刪除引起偏差的不準確匹配點，再利用RANSAC算法重新計算內(nèi)點，重復(fù)上述步驟，排除誤差偏大的不穩(wěn)定匹配點，迭代出達到亞像素級匹配標準的變換矩陣，從而得到最好的配準結(jié)果。

圖2 雙向匹配法排除誤匹配點

相比傳統(tǒng)的SIFT算法，經(jīng)過客觀評價方法提純后，特征點匹配的正確率以及計算變換矩陣的精度上都有明顯提高。

2 多通道自適應(yīng)線性混合圖像拼接方法

經(jīng)過上一步配準，得到了變換矩陣并將待拼接圖像與目標圖像轉(zhuǎn)換為同一個坐標系，下一步將多幅彩色圖像拼接后拼接為一幅完整的全景圖像。如果所有的圖像都已經(jīng)完美配準并且經(jīng)過了曝光補償?shù)仁侄翁幚?，這將是一個簡單的問題，只需要把坐標對準就可以，但是在實際的圖像拼接中，明顯的拼接縫隙、模糊都有可能發(fā)生。

拼接縫隙是由于拍攝角度不同、光照強弱等，導致拼接后出現(xiàn)明顯兩端變換的縫隙，模糊是指由于配準未能精確或拼接時像素點未能對齊，導致像素點的錯位，視覺效果會有模糊的感覺，鬼影是指由于圖像之間有相對移動的目標而在拼接后，圖像之間在同一位置會有像素點相對位移的沖突，出現(xiàn)物體重影、多重顯示等問題。

為了解決這些問題，需要選擇哪些在圖像重合區(qū)域像素拼接時需要被保留、放大或者舍棄，因為待拼接圖像存在多樣性，所以如何選擇不能僅僅依靠一定閾值、權(quán)值的預(yù)設(shè)，而需要計算機根據(jù)圖像信息自適應(yīng)選取。選擇什么樣的拼接策略把這些重合區(qū)域中不同的像素點計算出來將會直接影響拼接圖像的質(zhì)量好壞。

線性平均法最簡單的方法就是將兩幅圖像重合區(qū)域的對應(yīng)像素取平均值

在誤匹配較大或者圖像場景中物體移動明顯的情況下，上述的線性平均法不能達到理想的效果，雖然可以在一定程度上模糊拼接接縫，但是會出現(xiàn)較嚴重的鬼影效果，不能作為彩色圖像拼接方法的普遍應(yīng)用方法。通過中值濾波法能夠有效地消除線性平均法的不足，但是相對地會帶來拼接圖像模糊的問題。

為了解決上述兩種方法帶來的不足，本文改進了一種自適應(yīng)權(quán)值的線性拼接方法。該線性拼接方法提高靠近圖像中心點像素的權(quán)重值，降低靠近圖像邊緣像素點的權(quán)重值，當圖像出現(xiàn)切口或間斷區(qū)域時，降低臨近部分像素點的權(quán)重值會有比較好的效果。而這個權(quán)重的計算可以使用自適應(yīng)計算方法來表示為距離映射關(guān)系。

將每一個有效的像素標記為其歐氏距離最近的無效像素。

雖然這種簡單的加權(quán)平均可以有效地解決不同圖像曝光差異引起的邊緣接縫，但是無法很好地解決模糊與鬼影的問題，這是因為如果兩幅圖像出現(xiàn)過度衰減的值不能只是用簡單的求和方法來拼接。

為了解決兩幅圖像重合區(qū)域存在不同移動物體或場景帶來的鬼影問題，本文提出一種利用ωpk（x）來提高距離映射的權(quán)值，如果高于某一定范圍，那么權(quán)重值就會被這個距離映射的更大的值所決定。這種方法可以在曝光差異與模糊之間提供一種合理的折衷，達到比較理想的拼接結(jié)果。

如果p→∞，那么只有最高權(quán)重的圖像中的像素可以被選擇作為拼接后圖像像素點。

則按照選擇函數(shù)選擇圖像的相應(yīng)像素點來直接填充拼接后圖像對應(yīng)的像素點值。這種方法相對于其他線性平均法，高通濾波法等在進行拼接時，可以完全采用其中一幅圖像的像素值，這樣的好處是可以有效地消除兩幅圖像間存在移動物體帶來的錯位，也稱為鬼影，但是會減少圖像的一些信息量。

考慮到人眼對HIS顏色的敏感程度，本文選擇待拼接圖像S（飽和度）顏色空間做距離映射，計算之后再返回到RGB空間，對圖像采用本文的拼接方法。

最后，整體看來就是通過S顏色空間計算出重合區(qū)域圖像的距離映射，權(quán)值α與β在范圍0－1內(nèi)自適應(yīng)改變，該操作可以用來對兩幅圖像或兩段視頻產(chǎn)生時間上的畫面疊化效果。

本文對目標圖像與待拼接圖像進行投影變換，變換至同一坐標系中，解決圖像旋轉(zhuǎn)、縮放、平移和錯切等問題，接下來利用曝光補償消除拼接圖像之間的光照差異，為拼接做好預(yù)處理準備。預(yù)處理完成后將拼接圖像變換到HIS顏色空間，在S顏色空間內(nèi)計算拼接圖像間的顏色距離映射，從而得到拼接每個圖像像素點所占權(quán)重值，然后利用得到權(quán)重計算拼接后圖像像素值，最后利用圖像拼接客觀評價指標計算拼接前后圖像相似度指標，得到拼接圖像同時進行其質(zhì)量評價。算法流程如圖3所示。

圖3 拼接算法流程圖

在圖4的實驗圖像中，（a）是利用線性平均法的結(jié)果，可以看到如果兩幅圖像重合區(qū)域相對移動物體過多，或者由變換矩陣不準確帶來的像素點錯位，那么將會出現(xiàn)大量鬼影、模糊等問題，很大程度上會影響拼接結(jié)果；（b）中雖然利用中值濾波方法消除了鬼影的存在，但是帶來的大量錯位以及縫隙對人類視覺感官影響較大；（c）中利用帶權(quán)值的線性拼接方法，比起線性平均法有較好的效果，但是還是會存在一定鬼影導致拼接效果欠佳；（d）、（e）利用本文的自適應(yīng)分配權(quán)值的線性模型方法，將圖像轉(zhuǎn)到S顏色空間進行拼接處理，在兩幅圖像出現(xiàn)運動物體混疊，導致像素值相差過大時，將權(quán)值分配大部分為上方圖像α→∞、β→0，優(yōu)化消除了鬼影及縫隙，從視覺效果上有一定提升。

圖4 各種拼接方法效果對比

3 實驗結(jié)果及分析

為了驗證本文方法的有效性與可靠性，在Visual studio 2010上進行了12組圖像拼接的實驗，由于篇幅限制，本文給出兩組實驗結(jié)果，圖5、6分別為圖像分辨率900×900由無人機拍攝的圣亞歷山大·涅夫斯基大教堂圖像以及分辨率為900 ×1 300的馬尼拉人笑容圖像。圖7分辨率為2 500×1 800。表1、2、3、4給出了幾種算法對比結(jié)果。

表1 本文算法與各類算法配準正確率比較%__

表2 不同方法真實映射矩陣RMSE誤差

通過表1實驗結(jié)果可知，本文算法在傳統(tǒng)SIFT特征點提取算法的基礎(chǔ)上，利用最小鄰域雙向匹配法進行特征點的匹配，相比傳統(tǒng)BBF匹配方法在精確度上有較大提升，接著利用客觀評價方法均方根誤差值反向?qū)ふ义e誤匹配點，如此迭代達到高精度的配準模型。表2所示的真實映射矩陣誤差是指排除所有誤匹配后，待配準圖像通過求得矩陣映射至目標圖像后的RMSE誤差，如果越小說明所求矩陣越精確。如表3所示，相比于其他3種方法，本文因為沿用了SIFT特征點，雖然在特征點提取時間并未突破，但可以計算出變換矩陣的精度均強于SURF算法以及專業(yè)配準軟件ENVI所得結(jié)果，能夠為彩色圖像拼接提供更好的配準圖像。

圖5 無人機拍攝圣亞歷山大·涅夫斯基大教堂全景拼接圖像（該組圖像為無人機拍攝，存在較大角度旋轉(zhuǎn)，小幅度重合區(qū)域并且?guī)в懈咚乖肼暎?/p>

圖6 無人機拍攝馬尼拉人笑容全景拼接圖像（該組圖像為無人機拍攝，帶有大幅度的旋轉(zhuǎn)，并且因為現(xiàn)實原因帶有白色邊框補充區(qū)域）

圖72 500×1 800高分辨率復(fù)雜城市拼接結(jié)果

表3 圖像拼接評價結(jié)果

表4 圖像拼接信息量結(jié)果

通過表3本文算法與現(xiàn)有算法的對比可以看到，本文算法雖然在精度以及時間都不是最佳選擇，但是綜合兩點后得到了較好的結(jié)果。根據(jù)SSIM相似度評價指標的定義，結(jié)果越接近1，說明拼接前圖像與拼接后圖像越接近，反之說明差異性越大。相比于普通的線性加權(quán)平均方法，本文算法在利用顏色距離空間對權(quán)重的自適應(yīng)分割，選取在顏色空間更加符合人眼的圖像作為拼接像素點的基準，而不僅是單單加權(quán)平均像素點，這在主觀視覺以及客觀評價指標上都有了較好的提升；相比于基于小波變換的Mallat與高通濾波法，本文算法在保證較高的拼接質(zhì)量的同時又具有較低的時間復(fù)雜度，這在彩色圖像拼接的實際應(yīng)用中會給用戶較好的視覺體驗。

信息熵是衡量圖像信息豐富程度的一個重要指標，該指標只關(guān)心拼接圖像本身的灰度，拼接圖像的熵越大，說明拼接圖像的信息量增加得越多。表4表明，通過本文拼接處理后圖像信息量僅略低于文獻［6］提出的Mallat算法拼接的圖像，因為基于小波的方法在各個頻帶上分別進行了圖像拼接，所以信息量相比原圖會有少許增加，這種方法在帶拼接圖像之間靜止物體較多的時候比較適用，但是如果圖像之間運動物體較多，則會出現(xiàn)鬼影、模糊等現(xiàn)象；相比其他兩種方法，本文方法可以有效保持圖像的信息量。

5 結(jié)論

針對傳統(tǒng)圖像拼接方法時間復(fù)雜度高，精度低，配準時圖像要求重合度較高等不足，本文利用客觀評價方法與改進的SIFT特征提取算法相結(jié)合的方法，有效地提高了圖像的配準率及穩(wěn)定性，接著根據(jù)人類視覺對顏色敏感機制，提出了一種基于多通道自適應(yīng)線性混合圖像拼接算法，相對于其他拼接算法，本文算法在繼承線性拼接方法速度快的同時，有效地改善了傳統(tǒng)方法沒有解決的鬼影、陰影、模糊等問題，可以有效地解決待拼接圖像之間出現(xiàn)過多移動目標的情況。

［1］王 娟，師 軍，吳憲祥.圖像拼接技術(shù)綜述［J］.計算機應(yīng)用研究，2008，25（7）：1940-1943.

［2］余先川，呂中華，胡 丹.遙感圖像配準技術(shù)綜述［J］.光學精密工程，2013，21（11）：2960-2972.

［3］王 勇，何曉川，劉清華，等.一種感興趣區(qū)域?qū)?yōu)搜索的全自動圖像拼接算法［J］.電子與信息學報，2009，31（2）：261 -264.

［4］Hernani Goncalves，JoséA.Goncalves，Luís Corte－Real，Member，Measures for an objective evaluation of the geometric correction process quality［J］.IEEE Geoscience And Remote Sensing Letters，2009，6（2）：292-296.

［5］Fischler MA，Bolles R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography［J］.Communications of the ACM，1981，24（6）：381-395.

［6］延偉東，田 錚，溫金環(huán)，等.基于偏最小二乘的SIFT誤匹配校正方法［J］.計算機應(yīng)用，2012，32（5）：1255-1257.

［7］鄭雪梅，范 勇，石琦凱，等.一種基于點的快速圖像配準算法［J］.計算機工程，2012，38（1）：220-221.

［8］羅曉清，吳小俊.一種基于區(qū)域相似性的圖像融合評價方法［J］.電子學報，2010，38（5）：1152-1155.

［9］劉 輝，申海龍.基于相似性的圖像融合質(zhì)量的客觀評估方法［J］.軟件學報，2006，17（7）：1580-1587.

［10］王海鳳，范 輝，李晉江.結(jié)合SIFT和Krawtchouk矩不變量的圖像配準方法［J］.計算機工程與應(yīng)用，2013，49（1）：202 -205.

［11］Liu Z X，An J B，Jing Y.A simple and robust feature point matching algorithm based on restricted spatial order constraints for aerial image registration［J］.IEEE Trans on Geoscience and Remote Sensing，2012，50（2）：514-527.

［12］Lowe D G.Distinctive image features from scale－invariant key points［J］.International Journal of Computer Vision，2004，60 （2）：245-251.

Color Image Mosaic Algorithm Based on Improved SIFT

Zhang Yongmei1，2，Zhang Chenxi3，Guo Sha1

（1.School of Computer Science，North China University of Technology，Beijing 100144，China；2.Guangdong Key Laboratory of Popular High Performance Computers，Shenzhen Key Laboratory of Service Computing and Applications，Shenzhen 518060，China；3.Institute of Information Engineering，North China University of Technology，Beijing 100144，China）

For too many unstable matching errors extracted by the traditional feature extraction algorithm in process of big complex images registration，reduces the mosaic image quality because of ghost，fuzzy problem after fusion image.Improved algorithm based on SIFT is proposed in this paper，after extracting SIFT feature from the target image，using the Minimum Neighbor Feature Matching eliminate false matches based on scale and gradient direction information from SIFT descriptor.Then iterate the accurate mapping matrix by using Random Sample Consensus algorithm（RANSAC）and the local root mean squared error（RMSE）.After image geometric correction，adaptive mix linear blend algorithm is proposed to fuse the overlap region of image in HIS color space.Finally achieve the full color image smooth and seamless panorama stitching.The results show the proposed algorithm is accuracy and stability in the complex scene and with little splicing overlap regions.

image mosaic；objective evaluation；minimum neighbor feature matching；adaptive mix linear blend

1671-4598（2016）08-0236-04

10.16526／j.cnki.11－4762／tp.2016.08.065

：TP751.1

：A

2016-02-23；

：2016-03-11。

國家自然科學基金項目（61371143）；廣東省普及型高性能計算機重點實驗／深圳市服務(wù)計算與應(yīng)用重點實驗室開放課題（SZU －GDPHPCL2014）；北京市教委面向虛實融合的多源圖像配準與識別科研項目（PXM2015_014212_000024）；北京市教委多源遙感圖像配準與識別科研項目（XN081）；北京市教委基于內(nèi)容感知的最優(yōu)圖像縮放技術(shù)研究與應(yīng)用科研項目。

張永梅（1967-），女，山西太原人，博士，教授，主要從事圖像處理、智能識別方向的研究。