基于特征點(diǎn)的圖像拼接技術(shù)在動(dòng)漫中的應(yīng)用

黃梅++唐琨++肖建新

摘 要 以制作全景圖為例將圖像拼接技術(shù)應(yīng)用到制作動(dòng)漫貼圖上，簡化動(dòng)漫貼圖的制作.使用手持相機(jī)采集一定重疊區(qū)域的圖像，柱面投影后采用基于尺度空間的Harris算法檢測(cè)圖像特征點(diǎn)，雙向歸一化互相關(guān)算法匹配特征點(diǎn)，迭代提取閾值T的算法去除誤匹配.通過改進(jìn)的RANSAC算法快速估算出變換參數(shù)模型，對(duì)拼接圖像進(jìn)行投影變換.Szeliski灰度融合方法，直接計(jì)算匹配點(diǎn)灰度平均值融合圖像，最后采用最佳縫合線的方法消除圖像拼接處的重影.基于Matlab的數(shù)據(jù)實(shí)驗(yàn)表明，提出的圖像拼接技術(shù)具有效率高，拼接圖像清晰等優(yōu)點(diǎn)，實(shí)現(xiàn)了較滿意的全景圖視覺效果.

關(guān)鍵詞 動(dòng)漫貼圖；虛擬漫游；圖像拼接技術(shù)

中圖分類號(hào) TN91173 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 10002537（2016）01004906

Application of Image Mosaic Based on Feature Point in the Animation

HUANG Mei， TANG Kun， XIAO Jianxin*

（Educational Technology Center， Changsha Normal College， Changsha 410100， China）

Abstract To simplify the steps of the animation production，the image mosaic technology is applied to the animation production with panorama as an example， and some images of the overlapping area with the cemera were collected. After the cylindrical projection， the Harris algorithm was used to detect the feature points of the images in the scale space. And the double direction of normalized cross correlation in featurepoint matching was adopted. The threshold T was extracted repeatly to remove the mismatch feature points. And the project model was estimated with the improved RANSAC algorithm. A method of gray adusting to image fusion， and the beat seamline is introduced to eliminate image ghosting. The data experiments based on Matlab showed that the image mosaic technology could effectively mosaic image and achieve a satisfactory visual panorama.

Key words animation map； virtual touring； image mosaic technology

圖像拼接技術(shù)是虛擬現(xiàn)實(shí)、計(jì)算機(jī)圖形學(xué)和圖像處理等領(lǐng)域的重要研究課題.在動(dòng)畫領(lǐng)域，用于制作動(dòng)畫模型貼圖，節(jié)省成本，提高制作模型貼圖的速度和精度[1].在TIP（tour into the picture畫中游）領(lǐng)域，生成全景圖像，為二維的靜止圖像中產(chǎn)生動(dòng)態(tài)三維圖像提供重要基礎(chǔ)[2].

圖像拼接技術(shù)是將數(shù)張相鄰有重疊區(qū)域的圖像或照片經(jīng)過配準(zhǔn)、圖像融合后拼接形成一張360度視角或?qū)捯暯堑娜皥D像.圖拼接算法主要集中在基于區(qū)域相關(guān)和基于特征的方法，基于區(qū)域相關(guān)的方法通過圖像的相似程度確定方差函數(shù)，通過函數(shù)確定圖像間的變換關(guān)系，該方法要求圖像間的變換幅度小，且該方法容易受到關(guān)照條件等的影響，計(jì)算機(jī)量大；基于特征的方法是通過提取圖像特征，確定特征對(duì)應(yīng)關(guān)系，從而找到圖像間的變換關(guān)系，這種方法相對(duì)穩(wěn)定，速度較快，適應(yīng)范圍廣.本文通過圖像拼接技術(shù)制作寬視角全景圖應(yīng)用到動(dòng)漫貼圖中.

1 全景圖像主要步驟

基于特征點(diǎn)的全景圖制作，首先要采集有一定重疊區(qū)域的圖像，然后對(duì)圖像進(jìn)行預(yù)處理，根據(jù)本文拼接的方法，是將圖像進(jìn)行柱面投影.再提取特征點(diǎn)、匹配特征點(diǎn)、圖像變換，最后經(jīng)過圖像融合生成全景圖.

1.1 圖像采集

圖像采集分為三種方法：相機(jī)置于滑輪上平行拍攝，相機(jī)置于三腳上固定旋轉(zhuǎn)拍攝，手持相機(jī)拍攝.本文采用的是最常見且拍攝靈活的手持相機(jī)拍攝法，這種方法應(yīng)用普遍，具有實(shí)際的研究意義.手持相機(jī)采集的圖像拼接起來較困難，因?yàn)榕臄z過程中相機(jī)移動(dòng)較復(fù)雜，存在水平和垂直方向的偏移，相鄰圖像之間可能存在一定的曝光差異和小范圍內(nèi)的物體移動(dòng)，甚至存在一定角度的旋轉(zhuǎn)和小尺度（尺度即物體或特征的大?。┑目s放.采集圖像的各種物體或特征要在一個(gè)特定尺度范圍內(nèi)研究才有意義.

1.2 圖像投影處理

全景圖是對(duì)離散圖像處理成一個(gè)連續(xù)圖像的表示，為了不破壞圖像中各個(gè)對(duì)象之間的視覺一致性，維持實(shí)際場(chǎng)景中的空間約束關(guān)系，需要將采集的離散圖像投影到標(biāo)準(zhǔn)的坐標(biāo)上.全景圖依據(jù)其投影面的形式可分為球面、立方體面和柱面三種.因柱面投影圖像容易獲得，且圖像質(zhì)量均勻，細(xì)節(jié)真實(shí)程度高而被廣泛應(yīng)用.本文是采用柱面作為投影表面的圖像拼接算法.

柱面投影變換將原始圖像轉(zhuǎn)化柱面投影圖像，以保持拼接后視覺的一致[3].圖像柱面變換結(jié)果如圖1 所示.

Fig.1 The original （a）， and the cylindrical projection image （b）

1.3 圖像特征點(diǎn)提取

圖像進(jìn)行柱面投影后，需要進(jìn)行圖像匹配操作，即將相鄰的重疊區(qū)域的圖像進(jìn)行拼接融合.基于特征點(diǎn)的拼接方法通過描述特性，提取圖像特征位置.本文采用了一種帶尺度空間信息的Harris角點(diǎn)檢測(cè)特征點(diǎn)算法[45].

Harris算法主要是利用一階偏導(dǎo)來描述灰度的變化，采用在單尺度下基于圖像的二階矩陣M，矩陣特征值是自相關(guān)函數(shù)的一階曲率，當(dāng)圖像中某個(gè)點(diǎn)的M矩陣的特征值都為正值，且是這個(gè)點(diǎn)的評(píng)價(jià)函數(shù)R，是以這個(gè)點(diǎn)為中心的區(qū)域內(nèi)的最大值時(shí)，這個(gè)點(diǎn)作為特征點(diǎn)提取出來.原始的Harris算法是對(duì)單尺度下的二階矩陣進(jìn)行計(jì)算，因此相同的曲線經(jīng)過縮放后，角點(diǎn)檢測(cè)的位置會(huì)不同.對(duì)Harris算法中的二階矩陣M加入尺度信息，使得二階矩陣不受圖像縮放和分辨率變化的影響.加入尺度信息的評(píng)價(jià)函數(shù)R為[6]：

其中，Ix和Iy分別表示的是圖像灰度I（x，y）在點(diǎn)（x，y）處的梯度值； Iε表示對(duì)圖像灰度I進(jìn)行高斯平滑濾波；Ix=I（x，y）Fx，F(xiàn)x 為x方向梯度算子；Iy=I（x，y）Fy，F(xiàn)y為y方向梯度算子，表示卷積運(yùn)算；δI為積分尺度；δD為微分尺度；Ix（x，y，δD）和Iy（x，y，δD）是以尺度為δD的高斯核函數(shù).設(shè)定δI=s*δD，s為常數(shù)，通過改變微分尺度得到圖像在尺度空間中的Harris角點(diǎn)值，而角點(diǎn)值在尺度空間的極大值點(diǎn)定義了Harris角點(diǎn)的尺度不變性.即當(dāng)公式（1）計(jì)算出點(diǎn)（x，y）的評(píng)價(jià)函數(shù)R大于某一個(gè)閾值T時(shí)，這個(gè)點(diǎn)就是特征點(diǎn).通常來說k=0.04～0.06，T=0.01*max（R）.

Harris算法具有光照和旋轉(zhuǎn)不變性特點(diǎn)，加入尺度信息后，算法能在尺度空間內(nèi)較穩(wěn)定的提取出特征點(diǎn)，使得特征點(diǎn)不受圖像旋轉(zhuǎn)、灰度變化、尺度縮放和分辨率等復(fù)雜空間變化的影響.提取特征點(diǎn)的區(qū)域?yàn)閰⒖紙D像右側(cè)與目標(biāo)圖像左側(cè)區(qū)域，提取結(jié)果如圖2所示.

其中，w為以特征點(diǎn)為中心的窗口區(qū)域，Il（x，y）是參考圖像特征點(diǎn)像素，Ir（x，y）是目標(biāo)圖像中特征點(diǎn)像素，c為相關(guān)系數(shù)，越大表示這兩個(gè)相關(guān)窗口越相似，即表示相關(guān)窗口中的特征點(diǎn)越相似[6].對(duì)于參考圖像Il中的每個(gè)特征點(diǎn)，尋找目標(biāo)圖像Ir中相對(duì)應(yīng)的窗口區(qū)域內(nèi)與之相關(guān)系數(shù)C最大的特征點(diǎn)，得到參考圖像Il中的特征點(diǎn)匹配點(diǎn)集Sl.同理得到目標(biāo)圖像匹配點(diǎn)集Sr.最后在匹配點(diǎn)集Sl和組匹配點(diǎn)集Sr中尋找互相匹配的特征點(diǎn)對(duì)，完成對(duì)特征點(diǎn)的初始匹配.經(jīng)過了雙向匹配和迭代閾值T之后，大部分的誤匹配剔除掉了，為下一步計(jì)算變換矩陣提供了更精確的匹配點(diǎn)集.初匹配的特征點(diǎn)對(duì)為圖3，經(jīng)過剔除誤匹配的方法后，特征點(diǎn)匹配圖為圖4.

1.5 變換矩陣

變換矩陣計(jì)算是根據(jù)特征點(diǎn)匹配點(diǎn)集計(jì)算出兩幅待拼接圖像的空間幾何變換，本文采用的變換矩陣模型為八參數(shù)的投影變換模型[7]，模型描述了圖像的平移、旋轉(zhuǎn)、縮放和規(guī)則性的拉伸，還包含了不規(guī)則的拉伸，即平行線在變換之后不能保持平行，變換公式為：

13和h23為平移因子，h31和h32為仿射因子[8].投影變換模型包含了復(fù)雜空間的圖像運(yùn)動(dòng)，具有更廣泛的適應(yīng)性.符合平面目標(biāo)在不同視點(diǎn)、視角拍攝圖像之間的變換關(guān)系.確定了變換矩陣后，采用RANSAC算法與特征點(diǎn)匹配點(diǎn)集估算投影變換模型的參數(shù)，其中（x，y）為目標(biāo)圖像特征點(diǎn)坐標(biāo)，（x′，y′）為參考圖像特征點(diǎn)坐標(biāo)，最后根據(jù)RANSAC算法估算出的變換模型對(duì)圖像進(jìn)行投影變換處理.

RANSAC（random sampling consensus）算法[9]是一種參數(shù)估算方法，基本思想：針對(duì)不同問題，設(shè)計(jì)不同目標(biāo)函數(shù)，在原始數(shù)據(jù)集中隨機(jī)抽取M組抽樣，每一組抽樣的數(shù)據(jù)量根據(jù)目標(biāo)函數(shù)而定.用M組抽樣分別估算目標(biāo)函數(shù)參數(shù)初始值，再計(jì)算每一組的參數(shù)初始值所對(duì)應(yīng)的內(nèi)點(diǎn)（滿足這一組參數(shù)初始值的數(shù)據(jù)點(diǎn)）和外點(diǎn)（不滿足這一組參數(shù)初始值的數(shù)據(jù)點(diǎn)）.統(tǒng)計(jì)每一組參數(shù)初始值的內(nèi)點(diǎn)數(shù)，內(nèi)點(diǎn)數(shù)目越大，模型參數(shù)越好，最后根據(jù)一定的評(píng)選標(biāo)準(zhǔn)，找出最優(yōu)目標(biāo)函數(shù)的參數(shù)初始值.本文采用改進(jìn)的RANSAC算法[1011]，在特征點(diǎn)匹配過程中，將匹配點(diǎn)對(duì)按匹配點(diǎn)集的距離對(duì)值按順序排序，使可信度高的匹配點(diǎn)對(duì)排在前面，即對(duì)原始數(shù)據(jù)集進(jìn)行了排序，再從質(zhì)量高的數(shù)據(jù)開始抽取，減少抽樣次數(shù).

1.6 圖像融合

在圖像投影變換后，需要對(duì)圖像進(jìn)行融合處理，即將參考圖像和目標(biāo)圖像的坐標(biāo)融合一個(gè)坐標(biāo)中，直接拼接的圖像往往會(huì)存在灰度差異、鬼影等問題，這就需要對(duì)拼接后的圖像進(jìn)行灰度調(diào)整以及消除鬼影操作.

灰度差異主要是因相機(jī)曝光時(shí)間等拍攝參數(shù)不同，使參考圖像和目標(biāo)圖像存在較大灰度差異.針對(duì)存在的一定曝光差異的問題，本文采用直接平均灰度調(diào)整的方法[1213]，計(jì)算兩幅圖像匹配點(diǎn)的灰度平均值，實(shí)現(xiàn)過程如下：

（1）計(jì)算兩幅待拼接圖像Il和Ir的計(jì)算匹配的特征點(diǎn)之間的灰度差平均值.

avg_gray=1n∑ni=1（qi-pi） （6）

其中qi和pi分別為圖像Il，圖Ir上的第i個(gè)匹配點(diǎn)的灰度值，n為匹配點(diǎn)的數(shù)量.

（2）對(duì)圖像Il（或圖Ir）的灰度進(jìn)行修正，使兩圖灰度基本一致.

new_gray=f1_origin_gray+avg_gray（7）

其中new_gray為圖像Il調(diào)整后的灰度值，f1_origin_gray為調(diào)整前灰度值.

鬼影是圖像重疊處因物體產(chǎn)生位移造成的模糊圖像，通過在重疊處建立最佳縫合路線可以很好的消除圖像拼接中產(chǎn)生的鬼影.建立最佳縫合路線，采用Sobel算子對(duì)圖像重疊區(qū)域的像素點(diǎn)，進(jìn)行梯度計(jì)算[14].利用動(dòng)態(tài)規(guī)劃的思想建立n條（n為重疊區(qū)域像數(shù)點(diǎn)列的數(shù)量）縫合路線，從中選擇強(qiáng)度值最小的一條縫合路線作為最佳路線，縫合線周圍的十個(gè)像素點(diǎn)再采用Szeliski融合方法平滑過渡，公式如下：

其中E（x，y）為像素點(diǎn)的強(qiáng)度值，Egray（x，y）為重疊區(qū)域像素點(diǎn)的顏色之差，Egrad（x，y）為圖Il和圖Ir在x，y方向的梯度之差的乘積[15].

通過實(shí)驗(yàn)可以看出，融合后的圖像無灰度差異且平滑無縫[1617].

2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)采用的圖像是手持手機(jī)在室外光照下定點(diǎn)旋轉(zhuǎn)、平移等條件下采集的圖像，所采集的圖像重疊率20%左右.圖像采集后，先對(duì)圖像進(jìn)行柱面投影，利用尺度空間不變的Harris算法提取圖像特征點(diǎn)，通過雙向歸一化互相關(guān)法進(jìn)行匹配，迭代提取特征點(diǎn)除去誤匹配，利用RANSAC算法估算投影模型，最后采用Szeliski灰度融合方法.匹配點(diǎn)直接灰度平均以及最佳縫合線的方法完成全景圖的拼接處理.圖5為最終的拼接效果圖，拼接圖像質(zhì)量能達(dá)到TIP背景圖以及動(dòng)漫模型貼圖要求.

圖5 長沙師范學(xué)院北校區(qū)拼接圖

Fig.5 The mosaic image of north campus of Changsha Normal University

3 結(jié)論

由實(shí)驗(yàn)結(jié)果可見，圖像拼接技術(shù)制作的全景圖可以滿足動(dòng)漫模型貼圖以及漫游背景圖的質(zhì)量要求，并且圖像拼接算法具有靈活性，可根據(jù)不通的拍攝條件處理，選擇最佳成像效果.圖像中的曝光差異以及物體運(yùn)動(dòng)等情況處理效果自然，為實(shí)時(shí)漫游和復(fù)雜動(dòng)畫提供了更真實(shí)清晰的圖像.

參考文獻(xiàn)：

[1] 倪 奎.人臉器官拼接融合及其在人臉動(dòng)畫中的應(yīng)用[D].合肥：中國科學(xué)技術(shù)大學(xué)， 2009.

[2] 鄒瓊兵.基于圖像的虛擬場(chǎng)景漫游技術(shù)研究[D].長沙：國防科學(xué)技術(shù)大學(xué)， 2004.

[3] 李忠新，張登峰，茅耀斌，等.基于相位相關(guān)法的柱面全景圖拼接技術(shù)[J].南京理工大學(xué)學(xué)報(bào)， 2002，29（129）：4346.

[4] 黃 帥.基于Harris尺度不變特征的圖像匹配算法研究[D].合肥：合肥工業(yè)大學(xué)， 2010.

[5] DAVID G L. Disctinctive image features form scaleinvariant keypoints[J]. Computer Vison， 2004，60（2）：91110.

[6] 仵建寧，郭寶龍，馮宗哲.一種基于興趣點(diǎn)匹配的圖像拼接方法[J].計(jì)算機(jī)應(yīng)用， 2006，26（3）：610612.

[7] 曹紅杏，柳稼航，阮 萍.基于角點(diǎn)變換矩陣的圖像拼接[J].科學(xué)技術(shù)與工程， 2008，8（16）：45364539.

[8] RICHARD S. Video mosaics for virtual environment [J].IEEE Comput Graph Appl，1996，16（2）：2230.

[9] 周劍軍，歐陽寧，張 彤.基于RANSAC的圖像拼接方法[J].計(jì)算機(jī)工程與設(shè)計(jì)， 2009，30（24）：56925694.

[10] 劉湘濱，鄒北驥.一種基于RANSAC的柱面圖像配準(zhǔn)中的應(yīng)用[J].湖南大學(xué)學(xué)報(bào)：自然科學(xué)版， 2010，27（8）：7579.

[11] 曲天偉，安 波.改進(jìn)的RANSAC算法在圖像配準(zhǔn)中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用， 2010，30（7）：18501852.

[12] BARBARA Z， JAN F. Image registration methods： a survey[J]. Image and Vision Comput， 2003，21（11）：9771000.

[13] ANAT L， ASSAF Z. Seamless image stitching in the gradient domain[J]. Lecture Notes Comput Sci， 2004，30（4）：377389.

[14] 方賢勇.圖像拼接技術(shù)研究[D].寧波：浙江大學(xué)， 2005.

[15] 趙 輝，陳 輝.一種改進(jìn)的全景圖自動(dòng)拼接算法[J].中國圖像圖形學(xué)報(bào)， 2007，12（2）：336334.

[16] 朱云芳.基于圖像拼接的視頻編輯[D].寧波：浙江大學(xué)， 2006.

[17] 王宇琛.基于點(diǎn)特征的圖像配準(zhǔn)研究與系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)[D].重慶：重慶大學(xué)， 2009.

（編輯 CXM）