基于特征點(diǎn)匹配的全景圖像拼接技術(shù)研究

王俊秀++孔令德

摘 要：提出了一種基于特征點(diǎn)匹配的全景圖像拼接算法，首先提取各圖像中的SIFT特征，通過(guò)特征點(diǎn)匹配完成兩幅圖像的配準(zhǔn)；再根據(jù)圖像配準(zhǔn)結(jié)果計(jì)算出圖像間的變換矩陣；最后采用漸入漸出加權(quán)平均的融合方法對(duì)兩幅圖像進(jìn)行無(wú)縫拼接。實(shí)驗(yàn)表明，該算法具有匹配精度高、魯棒性強(qiáng)等特點(diǎn)，可以快速而自動(dòng)地生成全景圖像。

關(guān)鍵詞：全景圖；圖像拼接；特征匹配；圖像融合

中圖分類(lèi)號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A

1 引言（Instroduction）

隨著計(jì)算機(jī)技術(shù)水平的不斷提高，全景圖和超寬視角的圖像在現(xiàn)實(shí)生活中有著廣泛的應(yīng)用。通常情況下，全景圖像所需要展現(xiàn)的景物往往不能在單幅圖像的視野中完全被描繪出來(lái)，因此，形成一幅完整的全景圖像需要把多幅圖像拼接到一起。這些待拼接圖像，相鄰的圖像邊界之間必須要有重疊的部分，全景圖像拼接的主要任務(wù)就是找出重疊區(qū)域，確定它們之間的相互關(guān)系，然后將相同區(qū)域進(jìn)行融合，從而得到一幅全景圖像[1]。全景圖像拼接的大體過(guò)程如圖1所示。

圖1 全景圖像拼接的流程

Fig.1 Process of panoramic image mosaic

圖像拼接當(dāng)中的關(guān)鍵技術(shù)是圖像配準(zhǔn)階段和圖像融合兩個(gè)階段。

本文研究了基于SIFT特征點(diǎn)匹配的柱面全景圖像拼接算法：首先，提取待拼接圖像的SIFT特征點(diǎn)；然后，通過(guò)特征點(diǎn)的相似度準(zhǔn)則進(jìn)行配準(zhǔn)，并得到圖像間的變換矩陣；最后根據(jù)變換矩陣采用漸入漸出加權(quán)平均的融合方法進(jìn)行圖像的無(wú)縫拼接得到全景圖像。

2 基于特征點(diǎn)的圖像配準(zhǔn)（Image registration based

on feature point）

基于特征的圖像配準(zhǔn)是圖像配準(zhǔn)中最常見(jiàn)的一種方法。圖像的特征點(diǎn)對(duì)于圖像的像素點(diǎn)來(lái)說(shuō)要少很多，從而可以大幅度減少匹配過(guò)程中的計(jì)算量，而且特征點(diǎn)的匹配度量值對(duì)位置變化敏感，這樣提高了圖像匹配的精度；而且特征提取過(guò)程可以在某種程度上消除噪聲影響，另外對(duì)灰度變化、圖形形變以及遮擋等的魯棒性較好?；谔卣鼽c(diǎn)的圖像配準(zhǔn)方法，主要有四個(gè)步驟包括：特征點(diǎn)提取、特征點(diǎn)匹配、求解變換矩陣以及圖像變換[2]。

本文特征點(diǎn)提取采用SIFT特征提取算法。SIFT，即尺度不變特征轉(zhuǎn)換（Scale-invariant feature transform，SIFT）[3]，是用于圖像處理領(lǐng)域的一種描述子。近年來(lái)，SIFT特征已成為國(guó)內(nèi)外研究熱點(diǎn)和難點(diǎn)，它廣泛地應(yīng)用在很多領(lǐng)域，如圖像配準(zhǔn)、目標(biāo)識(shí)別、視頻檢索、全景圖拼接等。SIFT特征不只具有尺度不變性，即使改變旋轉(zhuǎn)角度，圖像亮度或拍攝視角，仍然能夠得到好的檢測(cè)效果，并且對(duì)于噪聲，仿射變換等具有良好的魯棒性。

2.1 SIFT特征提取

SIFT特征描述符的生成具體可以細(xì)化為四個(gè)步驟：尺度空間的構(gòu)建；空間極值檢測(cè)；確定關(guān)鍵點(diǎn)的方向；生成特征點(diǎn)描述子[4]。下面將詳細(xì)介紹SIFT特征提取的流程。

（1）尺度空間的構(gòu)建

尺度空間理論目的是模擬圖像信息的多尺度特征。在多尺度空間檢測(cè)特征點(diǎn)，主要是用高斯卷積核對(duì)初始圖像進(jìn)行尺度變換，得到圖像的尺度空間表示序列，再提取這些序列的特征。

為了在尺度空間有效地檢測(cè)到穩(wěn)定的關(guān)鍵點(diǎn)，引入金字塔結(jié)構(gòu)。圖像金字塔的構(gòu)建：圖像金字塔共O組，每組有S層，下一組的圖像由上一組圖像降采樣得到。將圖像金字塔與尺度空間結(jié)合起來(lái)，將輸入圖像通過(guò)不同尺度的高斯核函數(shù)連續(xù)平滑和下采生成高斯差分圖像，即DoG圖像。

（2）空間極值點(diǎn)檢測(cè)

生成尺度空間后，接下來(lái)就要選取特征點(diǎn)。本文通過(guò)在尺度空間中取局部極大或極小值的像素點(diǎn)來(lái)作為圖像在該尺度上的特征點(diǎn)，這些特征點(diǎn)對(duì)于尺度縮放和旋轉(zhuǎn)變化具有不變性。

（3）確定特征點(diǎn)的方向

對(duì)于一個(gè)特征點(diǎn)，以它為中心，對(duì)它的鄰域像素進(jìn)行采樣，計(jì)算梯度方向，用直方圖進(jìn)行統(tǒng)計(jì)，得到關(guān)鍵點(diǎn)鄰域像素的整體梯度分布，根據(jù)梯度分布特性，為每個(gè)特征點(diǎn)指定方向參數(shù)，使整個(gè)算子具有旋轉(zhuǎn)不變性。

（4）構(gòu)建SIFT特征向量

根據(jù)提取出來(lái)的圖像特征點(diǎn)，需要構(gòu)建相應(yīng)的區(qū)域描述算子（local descriptor）。SIFT算子是一個(gè)在基于特征點(diǎn)特征區(qū)域的描述算子，它是由主方向和高維的特征向量組成的。

特征點(diǎn)描述子生成步驟如下：首先確定周?chē)畔?，包括以特征點(diǎn)為中心上下左右半徑為4的正方形區(qū)域。這樣對(duì)每個(gè)特征點(diǎn)構(gòu)建一個(gè)8×8的共計(jì)64面積的正方形。再將此8×8區(qū)域分成4個(gè)面積為16的小區(qū)域，對(duì)于每個(gè)小區(qū)域分別計(jì)算梯度直方圖。對(duì)每個(gè)小區(qū)域中的所有的16個(gè)像素的梯度按照8個(gè)方向累加，這樣就計(jì)算出了一個(gè)8維的直方圖，而以特征點(diǎn)為中心的特征區(qū)域就可以計(jì)算出一個(gè)8×4=32維的直方圖。此直方圖經(jīng)過(guò)正態(tài)處理之后便可作為特征向量使用。這樣，對(duì)于每個(gè)特征點(diǎn)可以抽取一個(gè)32維的特征向量。為進(jìn)一步去除光照對(duì)比度變化的影響，可將特征向量的長(zhǎng)度歸一化。

至此，對(duì)每一個(gè)特征點(diǎn)，計(jì)算出其SIFT算子。然而，在實(shí)驗(yàn)中，也可靈活的改進(jìn)SIFT算子，以提高特征算子計(jì)算的精度或者實(shí)時(shí)性。SIFT在基于特征提取的匹配上，表現(xiàn)非常的優(yōu)異，此外，SIFT特征提取還對(duì)一些圖像變化，如材質(zhì)（texture）、旋轉(zhuǎn)（rotation）等變化，有很強(qiáng)的穩(wěn)定性。本算法從輸入圖像中提取得到基于仿射不變的SIFT特征，用于后期的匹配。

2.2 特征點(diǎn)匹配算法

在提取了對(duì)應(yīng)的特征向量之后，每幅圖像就可以用特征點(diǎn)的坐標(biāo)和對(duì)應(yīng)特征向量來(lái)表示，而圖像本身在后續(xù)的匹配中已經(jīng)沒(méi)有什么用處。所以實(shí)際輸入匹配算法的是特正點(diǎn)的坐標(biāo)和特征向量。一種最簡(jiǎn)單的匹配方法是找到最相近的匹配向量對(duì)。本文以?xún)蓚€(gè)特征向量的歐氏距離作為特征點(diǎn)匹配的相似度準(zhǔn)則。endprint

本文采取了基于樹(shù)結(jié)構(gòu)的匹配算法，簡(jiǎn)單的說(shuō)是K-d tree 的匹配方法。K-d tree是一種分割k維數(shù)據(jù)空間的數(shù)據(jù)結(jié)構(gòu)，每個(gè)結(jié)點(diǎn)表示k維空間的一個(gè)點(diǎn)。每一層都根據(jù)該層的分辨器對(duì)相應(yīng)對(duì)象做出分枝決策，頂層結(jié)點(diǎn)按由分辨器決定的一個(gè)維度進(jìn)行劃分，第二層則按照該層的分辨器決定的一個(gè)維進(jìn)行劃分，以此類(lèi)推在余下各維之間不斷地劃分。直至一個(gè)結(jié)點(diǎn)中的點(diǎn)數(shù)少于給定的最大點(diǎn)數(shù)時(shí)，結(jié)束劃分。

初步特征匹配主要原理如下：首先，采用優(yōu)先搜索查找算法找出K-d tree結(jié)構(gòu)中的每個(gè)特征點(diǎn)的兩個(gè)最近鄰特征點(diǎn)，如找出特征點(diǎn)的歐氏距離最近鄰居特征點(diǎn)和次近的鄰居特征點(diǎn)，然后計(jì)算與以及與兩組特征向量之間歐氏距離的比值r，如果比值r小于規(guī)定閾值T，則匹配成功，點(diǎn)對(duì)為圖像對(duì)中的一對(duì)匹配點(diǎn)，否則匹配失敗。

使用上述K-d tree的方法可以快速的剔除那些特征向量差距很大的特征點(diǎn)對(duì)，這樣可以初步去除一些不可能的誤匹配。但在利用K-d tree進(jìn)行簡(jiǎn)單的匹配之后，仍然不能利用簡(jiǎn)單的特征向量的差值來(lái)確定正確的匹配。為此，本文采用了RANSAC完成進(jìn)一步匹配工作。

2.3 RANSAC算法

本文利用的全局約束條件是立體視覺(jué)的變換矩陣，實(shí)現(xiàn)這個(gè)約束條件的是RANSAC（Random Sample Consensus）算法[5]。RANSAC即隨即抽樣一致性方法是由Fischler和Bolles提出的，是計(jì)算機(jī)視覺(jué)領(lǐng)域中最有效的魯棒參數(shù)估計(jì)算法之一，它對(duì)錯(cuò)誤率超過(guò)50%的一組數(shù)據(jù)仍然有很好的一致性分析結(jié)果。

本文根據(jù)上一小節(jié)中初步特征匹配的結(jié)果，篩選其中的少數(shù)匹配點(diǎn)對(duì)進(jìn)行模型估計(jì)，并通過(guò)不斷的迭代尋找得到圖像的精確匹配變換矩陣。首先選取最少量的數(shù)據(jù)對(duì)幾何變化模型進(jìn)行估算，可以估算出一個(gè)基本矩陣（fundamental matrix）。然后，用這個(gè)基本矩陣去驗(yàn)證所有的數(shù)據(jù)（簡(jiǎn)單匹配估算數(shù)據(jù)），如果匹配對(duì)和基本矩陣H之間的關(guān)系小于一個(gè)闕值T，說(shuō)明是一個(gè)符合模型的數(shù)據(jù)，記錄所有的符合模型數(shù)據(jù)。

使用RANSAC匹配算法，詳細(xì)步驟如下：然后重復(fù)以下步驟：

（1）在原始簡(jiǎn)單匹配集中隨機(jī)選取少量匹配對(duì)，數(shù)據(jù)量對(duì)于計(jì)算模型參數(shù)是充分的，用這些少量的匹配對(duì)對(duì)假設(shè)模型進(jìn)行參數(shù)估計(jì)。

（2）用所有的原始簡(jiǎn)單匹配集中的數(shù)據(jù)來(lái)檢測(cè)上一步中估算出來(lái)的模型參數(shù)，計(jì)算符合上一步中估算的模型的數(shù)據(jù)比例，并記錄符合此模型參數(shù)的數(shù)據(jù)。

（3）用符合模型參數(shù)的數(shù)據(jù)（inliers）對(duì)模型參數(shù)進(jìn)行重新校準(zhǔn)估算。

（4）然后用符合模型的參數(shù)（inliers）對(duì)重心校準(zhǔn)的模型進(jìn)行誤差計(jì)算（error estimation）。

以上步驟重復(fù)固定次數(shù)（一般為幾百次），然后選取誤差計(jì)算中最小的模型參數(shù)作為輸出（minimum error from error estimation），這便是RANSAC算法的基本方法。

在實(shí)現(xiàn)圖像立體匹配時(shí)，RANSAC是一種易使用且容易實(shí)現(xiàn)的算法。它能夠穩(wěn)定、準(zhǔn)確地計(jì)算出模型參數(shù)H（基于8參數(shù)透視變換矩陣）以及匹配對(duì)。

2.4 圖像變換

圖像變換實(shí)際上是將兩幅圖像變成一幅圖像。相鄰兩幅圖像中的像素點(diǎn)都處在各自的圖像坐標(biāo)系中，圖像變換根據(jù)兩幅圖像的坐標(biāo)系之間的關(guān)系（變換矩陣H）通過(guò)矩陣乘法將二者的坐標(biāo)系統(tǒng)一成一個(gè)，將源圖像變換到目標(biāo)圖像，完成圖像的幾何配準(zhǔn)最后變成一幅圖像。

圖像變換過(guò)程，主要可分為三步：

（1）計(jì)算源圖像經(jīng)過(guò)H矩陣變換后在目標(biāo)圖像坐標(biāo)系中的坐標(biāo)。

（2）計(jì)算源圖像經(jīng)過(guò)H矩陣變換后在目標(biāo)圖像坐標(biāo)系中的邊界。

（3）通過(guò)H變換后再插值確定源圖像像素點(diǎn)在目標(biāo)圖像中的坐標(biāo)和灰度值。

3 圖像融合算法（Image blending）

經(jīng)過(guò)圖像配準(zhǔn)后，根據(jù)圖像間變換矩陣H可以確定圖像間的重疊區(qū)域，對(duì)圖像序列進(jìn)行拼接形成一幅全景圖像。由于待拼接的各圖像可能會(huì)存在亮度差異，或者使用普通相機(jī)拍攝圖像時(shí)，圖像中可能出現(xiàn)邊緣失真現(xiàn)象，這樣會(huì)造成配準(zhǔn)后的圖像在強(qiáng)度或顏色上不連續(xù)，存在明顯的拼接縫隙，所以必須對(duì)圖像重疊部分進(jìn)行處理。為了消除圖像之間的拼接縫隙，實(shí)現(xiàn)平滑過(guò)渡，本文采用了圖像融合的方法。

圖像融合就是將不同來(lái)源的相同對(duì)象的圖像數(shù)據(jù)進(jìn)行空間上的配準(zhǔn)，然后采取一定的算法將各個(gè)圖像數(shù)據(jù)當(dāng)中的所有信息互補(bǔ)、有效地結(jié)合起來(lái)，產(chǎn)生出新的圖像數(shù)據(jù)的信息。新的數(shù)據(jù)能夠更全面的描述對(duì)象，從而減少了對(duì)象可能存在的不完整和誤差，并且最大限度的利用了信息源提供的信息。圖像融合能更好的描述被感知的對(duì)象，并且提高圖像信息的能力。所以被廣泛的應(yīng)用于地質(zhì)、農(nóng)業(yè)和軍事等方面。

本文采用線(xiàn)性插值的漸入漸出的加權(quán)平均法，該算法是由Szeliski提出的。如果假設(shè)為融合之后的圖像，和表示待拼接的圖像，那么拼接后圖像如公式（1）為：

（1）

公式（1）的、分別是兩幅圖像重疊區(qū)域?qū)?yīng)像素的權(quán)值，并且，，。選擇合適的權(quán)值可以更好的實(shí)現(xiàn)重疊部分平滑過(guò)渡，一般都可以消除拼接縫隙。這種方法簡(jiǎn)潔、快速，是一種比較常用的圖像融合方法。

4 全景圖像拼接實(shí)驗(yàn)與評(píng)價(jià)（Experiments and

evaluation of panorama image mosaic）

本文實(shí)現(xiàn)的基于SIFT特征點(diǎn)匹配的全景圖自動(dòng)拼接系統(tǒng)的主要功能是：（1）讀入多幅圖像；（2）提取每幅圖像的SIFT特征點(diǎn)；（3）計(jì)算圖像之間的匹配特征點(diǎn)對(duì)，以及圖像之間的坐標(biāo)變換矩陣；（4）圖像拼接融合，輸出全景圖像。圖2為本文實(shí)現(xiàn)的基于SIFT特征點(diǎn)匹配的全景圖像自動(dòng)拼接系統(tǒng)的功能流程圖。

圖2 系統(tǒng)的功能流程圖endprint

Fig.2 Function process chart of the system

在圖像拼接實(shí)驗(yàn)部分首先選取不同視角的兩幅圖像，對(duì)其進(jìn)行SIFT特征點(diǎn)提取和匹配，再利用RANSAC算法對(duì)匹配點(diǎn)進(jìn)行篩選，剔除錯(cuò)誤的點(diǎn)。然后利用線(xiàn)性插值的漸入漸出的加權(quán)平均法進(jìn)行融合。最終得到拼接圖像，如圖3所示。

圖3中，（a）、（b）為兩幅原始圖像；（c）、（d）為提SIFT特征點(diǎn)的圖像；（e）為采用RANSAC算法匹配后的圖像；（g）為最終拼接結(jié)果。由圖（f）可知，過(guò)渡區(qū)融合效果良好，既沒(méi)有“陰影”和“接縫”，也沒(méi)有明顯的亮度不同，視覺(jué)效果自然。

（a）原始圖像左圖 （b）原始圖像右圖

（a）The left original image （b）The right original image

（c）特征點(diǎn)提取左圖 （d）特征點(diǎn)提取右圖

（c）The left image after （d）The right image after

extracting feature points extracting feature points

（e）RANSAC算法匹配后的圖像

（e）The matching image using RANSAC

（f）拼接效果圖

（f）The result of image mosaic

圖3 圖像拼接實(shí)驗(yàn)

Fig.3 Experiments of image mosaic

為了驗(yàn)證算法的有效性，對(duì)使用數(shù)碼相機(jī)所拍攝的多張照片進(jìn)行了拼接實(shí)驗(yàn)，照片之間約有30%—50%的重疊部分，且焦距固定不變。實(shí)驗(yàn)采集了10幅圖像序列， 從上到下、從左至右分別為第1幅到第10幅圖像，各個(gè)圖像分辨率為480×640，如圖4所示。圖5為拼接的全景圖像結(jié)果，從結(jié)果可以看到照片在處理后拼接縫隙消除，基本實(shí)現(xiàn)了重疊區(qū)域的平滑過(guò)渡，說(shuō)明了該算法具有一定的抗干擾能力。由于該算法對(duì)光照和對(duì)比度有良好的穩(wěn)定性，因此得出了高品質(zhì)的全景圖像。

圖4 原始圖像序列

Fig.4 Original image sequence

圖5 拼接全景圖效果

Fig.5 The result of panorama image mosaic

5 結(jié)論（Conclusion）

本文主要對(duì)基于特征點(diǎn)的全景圖像拼接的關(guān)鍵技術(shù)進(jìn)行了研究，深入分析基于SIFT圖像配準(zhǔn)算法，實(shí)現(xiàn)了圖像的精確配準(zhǔn)。圖像配準(zhǔn)完成后，采用漸入漸出加權(quán)平均法對(duì)圖像融合，最后實(shí)現(xiàn)了多幅圖像的全景圖自動(dòng)拼接。實(shí)驗(yàn)證明，該算法能快速、自動(dòng)地實(shí)現(xiàn)全景圖像的無(wú)縫拼接。

參考文獻(xiàn)（References）

[1] BROWN M， LOWE D.Automatic Panoramic Image Stitching

using Invariant Features [M].IJCV，2007.

[2] 李柏林.基于特征點(diǎn)圖像拼接的配準(zhǔn)算法研究[D].天津：天津

大學(xué)，2008.

[3] Lowe D.Distinctive image features from Scale-Invariant

keypoints [J]. International Journal of Computer Vision，2004，

60（2）：91-110.

[4] Wang X.H.，F(xiàn)u W.P.Optimized SIFT Image Matching Algorithm

[C].Proceedings of the IEEE International Conference on

Automation and Logistics，Qingdao，China，2008.

[5] 郭紅玉，王鑒.一種基于RANSAC基本矩陣估計(jì)的圖像匹配

方法.紅外，2008，29（2）：5-8.

作者簡(jiǎn)介：

王俊秀（1987-），女，碩士，助教.研究領(lǐng)域：圖形圖像.

孔令德（1964-），男，博士，教授.研究領(lǐng)域：圖形圖像.endprint

Fig.2 Function process chart of the system

在圖像拼接實(shí)驗(yàn)部分首先選取不同視角的兩幅圖像，對(duì)其進(jìn)行SIFT特征點(diǎn)提取和匹配，再利用RANSAC算法對(duì)匹配點(diǎn)進(jìn)行篩選，剔除錯(cuò)誤的點(diǎn)。然后利用線(xiàn)性插值的漸入漸出的加權(quán)平均法進(jìn)行融合。最終得到拼接圖像，如圖3所示。

圖3中，（a）、（b）為兩幅原始圖像；（c）、（d）為提SIFT特征點(diǎn)的圖像；（e）為采用RANSAC算法匹配后的圖像；（g）為最終拼接結(jié)果。由圖（f）可知，過(guò)渡區(qū)融合效果良好，既沒(méi)有“陰影”和“接縫”，也沒(méi)有明顯的亮度不同，視覺(jué)效果自然。

（a）原始圖像左圖 （b）原始圖像右圖

（a）The left original image （b）The right original image

（c）特征點(diǎn)提取左圖 （d）特征點(diǎn)提取右圖

（c）The left image after （d）The right image after

extracting feature points extracting feature points

（e）RANSAC算法匹配后的圖像

（e）The matching image using RANSAC

（f）拼接效果圖

（f）The result of image mosaic

圖3 圖像拼接實(shí)驗(yàn)

Fig.3 Experiments of image mosaic

為了驗(yàn)證算法的有效性，對(duì)使用數(shù)碼相機(jī)所拍攝的多張照片進(jìn)行了拼接實(shí)驗(yàn)，照片之間約有30%—50%的重疊部分，且焦距固定不變。實(shí)驗(yàn)采集了10幅圖像序列， 從上到下、從左至右分別為第1幅到第10幅圖像，各個(gè)圖像分辨率為480×640，如圖4所示。圖5為拼接的全景圖像結(jié)果，從結(jié)果可以看到照片在處理后拼接縫隙消除，基本實(shí)現(xiàn)了重疊區(qū)域的平滑過(guò)渡，說(shuō)明了該算法具有一定的抗干擾能力。由于該算法對(duì)光照和對(duì)比度有良好的穩(wěn)定性，因此得出了高品質(zhì)的全景圖像。

圖4 原始圖像序列

Fig.4 Original image sequence

圖5 拼接全景圖效果

Fig.5 The result of panorama image mosaic

5 結(jié)論（Conclusion）

本文主要對(duì)基于特征點(diǎn)的全景圖像拼接的關(guān)鍵技術(shù)進(jìn)行了研究，深入分析基于SIFT圖像配準(zhǔn)算法，實(shí)現(xiàn)了圖像的精確配準(zhǔn)。圖像配準(zhǔn)完成后，采用漸入漸出加權(quán)平均法對(duì)圖像融合，最后實(shí)現(xiàn)了多幅圖像的全景圖自動(dòng)拼接。實(shí)驗(yàn)證明，該算法能快速、自動(dòng)地實(shí)現(xiàn)全景圖像的無(wú)縫拼接。

參考文獻(xiàn)（References）

[1] BROWN M， LOWE D.Automatic Panoramic Image Stitching

using Invariant Features [M].IJCV，2007.

[2] 李柏林.基于特征點(diǎn)圖像拼接的配準(zhǔn)算法研究[D].天津：天津

大學(xué)，2008.

[3] Lowe D.Distinctive image features from Scale-Invariant

keypoints [J]. International Journal of Computer Vision，2004，

60（2）：91-110.

[4] Wang X.H.，F(xiàn)u W.P.Optimized SIFT Image Matching Algorithm

[C].Proceedings of the IEEE International Conference on

Automation and Logistics，Qingdao，China，2008.

[5] 郭紅玉，王鑒.一種基于RANSAC基本矩陣估計(jì)的圖像匹配

方法.紅外，2008，29（2）：5-8.

作者簡(jiǎn)介：

王俊秀（1987-），女，碩士，助教.研究領(lǐng)域：圖形圖像.

孔令德（1964-），男，博士，教授.研究領(lǐng)域：圖形圖像.endprint

Fig.2 Function process chart of the system

在圖像拼接實(shí)驗(yàn)部分首先選取不同視角的兩幅圖像，對(duì)其進(jìn)行SIFT特征點(diǎn)提取和匹配，再利用RANSAC算法對(duì)匹配點(diǎn)進(jìn)行篩選，剔除錯(cuò)誤的點(diǎn)。然后利用線(xiàn)性插值的漸入漸出的加權(quán)平均法進(jìn)行融合。最終得到拼接圖像，如圖3所示。

圖3中，（a）、（b）為兩幅原始圖像；（c）、（d）為提SIFT特征點(diǎn)的圖像；（e）為采用RANSAC算法匹配后的圖像；（g）為最終拼接結(jié)果。由圖（f）可知，過(guò)渡區(qū)融合效果良好，既沒(méi)有“陰影”和“接縫”，也沒(méi)有明顯的亮度不同，視覺(jué)效果自然。

（a）原始圖像左圖 （b）原始圖像右圖

（a）The left original image （b）The right original image

（c）特征點(diǎn)提取左圖 （d）特征點(diǎn)提取右圖

（c）The left image after （d）The right image after

extracting feature points extracting feature points

（e）RANSAC算法匹配后的圖像

（e）The matching image using RANSAC

（f）拼接效果圖

（f）The result of image mosaic

圖3 圖像拼接實(shí)驗(yàn)

Fig.3 Experiments of image mosaic

為了驗(yàn)證算法的有效性，對(duì)使用數(shù)碼相機(jī)所拍攝的多張照片進(jìn)行了拼接實(shí)驗(yàn)，照片之間約有30%—50%的重疊部分，且焦距固定不變。實(shí)驗(yàn)采集了10幅圖像序列， 從上到下、從左至右分別為第1幅到第10幅圖像，各個(gè)圖像分辨率為480×640，如圖4所示。圖5為拼接的全景圖像結(jié)果，從結(jié)果可以看到照片在處理后拼接縫隙消除，基本實(shí)現(xiàn)了重疊區(qū)域的平滑過(guò)渡，說(shuō)明了該算法具有一定的抗干擾能力。由于該算法對(duì)光照和對(duì)比度有良好的穩(wěn)定性，因此得出了高品質(zhì)的全景圖像。

圖4 原始圖像序列

Fig.4 Original image sequence

圖5 拼接全景圖效果

Fig.5 The result of panorama image mosaic

5 結(jié)論（Conclusion）

本文主要對(duì)基于特征點(diǎn)的全景圖像拼接的關(guān)鍵技術(shù)進(jìn)行了研究，深入分析基于SIFT圖像配準(zhǔn)算法，實(shí)現(xiàn)了圖像的精確配準(zhǔn)。圖像配準(zhǔn)完成后，采用漸入漸出加權(quán)平均法對(duì)圖像融合，最后實(shí)現(xiàn)了多幅圖像的全景圖自動(dòng)拼接。實(shí)驗(yàn)證明，該算法能快速、自動(dòng)地實(shí)現(xiàn)全景圖像的無(wú)縫拼接。

參考文獻(xiàn)（References）

[1] BROWN M， LOWE D.Automatic Panoramic Image Stitching

using Invariant Features [M].IJCV，2007.

[2] 李柏林.基于特征點(diǎn)圖像拼接的配準(zhǔn)算法研究[D].天津：天津

大學(xué)，2008.

[3] Lowe D.Distinctive image features from Scale-Invariant

keypoints [J]. International Journal of Computer Vision，2004，

60（2）：91-110.

[4] Wang X.H.，F(xiàn)u W.P.Optimized SIFT Image Matching Algorithm

[C].Proceedings of the IEEE International Conference on

Automation and Logistics，Qingdao，China，2008.

[5] 郭紅玉，王鑒.一種基于RANSAC基本矩陣估計(jì)的圖像匹配

方法.紅外，2008，29（2）：5-8.

作者簡(jiǎn)介：

王俊秀（1987-），女，碩士，助教.研究領(lǐng)域：圖形圖像.

孔令德（1964-），男，博士，教授.研究領(lǐng)域：圖形圖像.endprint