街景動態(tài)圖像虛擬拼接仿真方法研究

常奇志，王志瓊，蘭 華，翁小輝

(吉林大學，吉林 長春 130025)

1 引言

動態(tài)圖像虛擬拼接技術即把多幅存在重疊區(qū)域的動態(tài)圖像融合為一幅圖像。該技術最初被應用在衛(wèi)星照片的后期處理上，當前在醫(yī)學圖像分析、虛擬場景漫游、數(shù)字化風景展示等方面都得到了廣泛應用[1]。

動態(tài)圖像虛擬拼接是圖像后期處理中較為關鍵的一個環(huán)節(jié)[2]。目前技術較為成熟的動態(tài)圖像拼接方法分別是基于特征與基于區(qū)域的動態(tài)圖像虛擬拼接方法?；趨^(qū)域的圖像拼接方法是對比區(qū)域中所有的像素點，構建兩幅圖像的最佳轉(zhuǎn)換矩陣，進而完成圖像拼接。但是這種拼接方法是對兩幅圖像內(nèi)的所有像素點進行操作，導致其運算量較大，同時圖像收集條件存在一定的局限，圖像的旋轉(zhuǎn)、光照差異都會對基礎配準造成干擾。而基于特征的動態(tài)圖像拼接方法主要是搜索圖像之間的相應特征點，通過融合特征點來完成圖像拼接，雖然這種方法計算量較小，但很容易被圖像內(nèi)含有的噪聲所干擾，導致拼接后的圖像較為模糊。

街景動態(tài)圖像虛擬拼接受噪聲影響，特征點向量提取不準確，此次研究以解決上述問題為研究目標，采用鄰域平均法增加圖像的平滑效果，運用SIFT算法準確提取圖像特征點向量，最后利用特征點向量與基準圖像的匹配完成街景動態(tài)圖像的虛擬拼接。

2 街景動態(tài)圖像虛擬拼接

2.1 預處理與平滑去噪

街景動態(tài)圖像虛擬拼接預處理的主要目的是為了提高后續(xù)圖像配準的精準度，對初始圖像進行坐標轉(zhuǎn)換與折疊變化，搜索大致的重疊區(qū)域，減少匹配的范圍，提高后期的拼接速度。

擬定動態(tài)圖像受到高斯噪聲的干擾，設x(i，j)代表受到噪聲干擾的動態(tài)圖像，g(i，j)代表初始無噪聲動態(tài)圖像，n(i，j)代表高斯白噪聲，其與g(i，j)互相獨立。因此得到如下關系式

x(i，j)=g(i，j)+n(i，j)

(1)

設y(i，j)代表對噪聲干擾x(i，j)進行平滑之后輸出的動態(tài)圖像，Vi代表以點(i，j)為中心的鄰域，這個鄰域內(nèi)存在N種像點。平滑前鄰域為V，則動態(tài)圖像內(nèi)N種像點的灰度平均值m為

(2)

鄰域平均法對噪聲具有較強的平滑處理效果，但是會使圖像的邊緣出現(xiàn)模糊。為了改變該方法對圖像邊緣的影響，在鄰域灰度均值m的計算中添加一個修正項。修正項的尺寸會隨著動態(tài)圖像局部細節(jié)的變化而改變。如果沒有邊緣通過鄰域Vi，其值應趨近于0，進而提高鄰域平均法的平滑效果。

在鄰域Vi內(nèi)，還可以通過上偏差與下偏差來獲取動態(tài)圖像的局部信息。上偏差表示為mup，其定義是灰度級超過鄰域灰度平均值m的每種像點的灰度平均值與m的差值。假如分別以Ni，Nj，Nl表示鄰域中灰度級大于、等于或小于灰度平均值m的像點數(shù)，那么灰度的上偏差就可以表示為

(3)

灰度的下偏差以mdown來表示，其定義是鄰域灰度平均值m與灰度級小于m的各像點的灰度平均值的差，計算公式為

(4)

并有

Ni+Nj+Nl=N1

(5)

設αmup與αmdown代表修正項，其中α代表修正系數(shù)，取值的范圍是(0，1)之間。擬定影響動態(tài)圖像拼接的噪聲服從高斯分布[3]，因此在灰度平均值的區(qū)域中N近似等于Ni。假如存在一邊緣通過鄰域Vi，那么N和Ni之間的差值就會較大。因此，N與Ni的取值可以直接映射出Vi，則修正系數(shù)α的計算公式為

(6)

式中，y≥0代表指數(shù)。所以，修正的鄰域平均法可以通過下式計算出

(7)

把式(6)代入式(7)，可以得到

(8)

通過上述公式可以看出，在灰度平均值的區(qū)域中[4]，因為N和Ni之間相差較小，因此y(i，j)近似等于m。假如存在邊緣通過鄰域V[5]，那么式(8)就會表示為加權平均，因此就會存在mup-mdown

指數(shù)y可以評定修正值的尺寸。通過上式能夠看出，假如y=0，那么修正值是零，上式就簡化成簡單的鄰域平均法。假如y趨近于正無窮大，那么修正值是mup或是mdown。憑借像點的灰度級等于、大于或小于鄰域均值，把它們分為三部分。利用像點最多的那一部分的灰度平均值當做點(i，j)的灰度估計值。通過分析結果能夠看出：

1)無論y是何值，式(8)都不會讓動態(tài)圖像的平均灰度出現(xiàn)偏移。

2)y越小那么其對噪聲的平滑效果就越高。

3)式(8)可以銳化模糊的圖像邊緣，同時y越大，銳化的效果就越明顯[6]。

y=σs/σn

(9)

通過式(9)就可以根據(jù)不同的動態(tài)圖像與噪聲自行調(diào)整式(8)的銳化與平滑作用。把式(9)融入式(8)就能夠獲得修正的鄰域平均法的估算公式。

(10)

2.2 對數(shù)極坐標映射

根據(jù)上述完成平滑去噪處理后的動態(tài)圖像y(i，j)，通過極坐標(r，θ)來進行代替，完成圖像的對數(shù)極坐標映射。在圖像y(i，j)中選定坐標原點(x0，y0)，它們之間滿足下列關聯(lián)

r=(x1-x0)2+(y1-y0)2

(11)

這里取坐標原點(x0，y0)為(0，0)，其通過復數(shù)z可以表示為

z=r(cosθ+isinθ)reiθ

(12)

令ω=1nz=p(z)+iq(z)=1nr+iθ，那么笛卡爾坐標轉(zhuǎn)換成對數(shù)極坐標的映射方程為

p(r，θ)=1nr，q(r，θ)

(13)

通過上式可以看出，在笛卡爾空間內(nèi)動態(tài)圖像相對于坐標原點發(fā)生了旋轉(zhuǎn)與縮放的變化：動態(tài)圖像放大r0倍，旋轉(zhuǎn)θ0角度，即變化之后新的對應極坐標是(r0r，θ+θ0)，因此取對數(shù)極坐標映射之后存在

ω=1nz=1nr0rei(θ+θ0)

(14)

即：p(r，θ)=1nr+1nr0，q(r，θ)=θ+θ0。

2.3 特征點向量提取

在完成對數(shù)極坐標映射處理后，使用SIFT算法提取動態(tài)圖像特征點向量。SIFT算法是一種基于尺度空間的算法[9]，該方法使用廣泛，在動態(tài)圖像旋轉(zhuǎn)、平移、縮放等狀況下仍然能夠保持不變性。特征點向量的提取的流程如下所示：

1)構建動態(tài)圖像金字塔

多種尺度空間代表動態(tài)圖像存在多尺度特征，已有事實證明，高斯核即完成尺度轉(zhuǎn)換的唯一線性核[10]?；诖?，動態(tài)圖像的金字塔尺寸空間為

L(x1，y1，σ)=G(x1，y1，σ)*q(r，θ)

(15)

式中，G(x1，y1，σ)代表尺寸可變的高斯函數(shù)，σ代表尺寸。所以σ能夠評定動態(tài)圖像的細節(jié)清晰度，在其較大時，動態(tài)圖像的細節(jié)會出現(xiàn)模糊；反之，動態(tài)圖像的細節(jié)較為清晰。

2)檢測尺寸空間極值點

如果想獲取尺寸空間的極值點[11]，在DOG尺寸空間內(nèi)使用以下步驟：1種采樣點需要與27種點進行對比，隨后才可以獲得極值點。這28種點在同尺寸動態(tài)圖像中臨近點有9種，還有臨近尺寸上的臨近點19種。

3)確定極值點

這一步驟的重點在于通過三維二次函數(shù)的擬合方法，剔除低對比度點與不穩(wěn)定的邊緣點，同時確定關鍵點的尺寸與坐標。首先對空間尺寸函數(shù)進行求導，同時使其為零，計算出精準的坐標，隨后剔除不滿足要求的點。

4)確定關鍵點和方向

憑借與關鍵點(x1，y1)臨近的四種點尺寸L來確準梯度的方向，其能夠通過公式表示為

(16)

通過式(16)能夠得到關鍵點方向信息。

5)特征點向量提取

以關鍵點代表中心，分布4*4窗口，在窗口中估算9種方向的梯度信息，最后獲得129維的特征點向量。

2.4 圖像虛擬拼接

街景動態(tài)圖像的拼接流程如圖1所示。

圖1 動態(tài)圖像拼接流程

想要完成動態(tài)圖像拼接需要把預拼接的動態(tài)圖像轉(zhuǎn)換至與基準圖像相同的平面上，利用預拼接圖像在基準圖像平面上的映射圖像進行匹配[12]，使用映射轉(zhuǎn)換模型來完成動態(tài)圖像的空間轉(zhuǎn)換。

在進行空間轉(zhuǎn)換的過程中，使用對齊坐標以矩陣的形式對配準圖像和基準圖像之間的關聯(lián)進行表達，能夠用公式表示為

(17)

在矩陣轉(zhuǎn)換的過程內(nèi)，n2代表動態(tài)圖像的水平方向位移，n5代表垂直方向的位移，n0，n1，n3與n4代表水平與豎直方向的旋轉(zhuǎn)量與尺寸，n6與n7分別代表垂直方向與水平方向的變形量。

在完成動態(tài)圖像的空間轉(zhuǎn)換后，使用權重函數(shù)完成對動態(tài)圖像的融合。

擬定ω(x1，y1，k)代表權重分布函數(shù)，則有

(18)

式中，widthk與heightk分別代表第k種局部圖像的長與寬，通過權重分布函數(shù)采用加權平均算法，計算動態(tài)圖像拼接函數(shù)。擬定d(x1，y1)代表融合算法內(nèi)估算的尺寸映射，以塊尺寸與歐式距離作為依據(jù)，對到最近尺寸的映射點與邊進行估算，則得到圖像拼接函數(shù)為

(19)

其中，Ik(x1，y1)代表單調(diào)函數(shù)，代表第k幅動態(tài)圖像的光強函數(shù)。通過此函數(shù)完成動態(tài)街景圖像的拼接。

3 仿真研究

仿真環(huán)境為Intel Celeron Tulatin1GHz CPU和384MB SD內(nèi)存的硬件環(huán)境，MATLAB6.1的軟件環(huán)境。

3.1 修正效果

對分辨率是900*700的街景動態(tài)圖像進行拼接實驗，選取之前匹配點對的總量是241對，選取之后是201對。使用所提出的拼接方法，以圖像修正前后的效果進行對比，其結果如圖2所示。

圖2 街景動態(tài)圖像的拼接效果

通過圖2可以看出，在沒有進行修正之前，雖然特征點鄰近的區(qū)域拼接效果較好，但遠離重疊區(qū)域的誤差就會較大，而使用所提方法進行修正之后，整體的拼接效果較為理想，不會出現(xiàn)重疊區(qū)域細節(jié)信息丟失的現(xiàn)象。

3.2 拼接效果對比

為了能夠更進一步證明所提方法的拼接效果，隨機選取一幅街景圖像對其整體進行均分的分割，然后使用所提方法、基于特征的方法與基于區(qū)域的方法對分割后的圖像進行拼接，拼接的結果如圖3所示。

圖3 三種方法拼接圖像的效果

觀察圖3可以得出，使用所提方法對街景的圖像進行拼接后，街景動態(tài)圖像不會出現(xiàn)圖像陰影重疊和原圖像細節(jié)丟失的問題，而兩種對比方法存在明顯的拼接重疊現(xiàn)象。這就表明，提出拼接方法精準度較高，紋理細節(jié)處理較好。

3.3 拼接效率對比

為了驗證所提方法的拼接效率，選取30張動態(tài)街景圖片，對比三種拼接方法的時間消耗情況，對比結果如圖4所示。

圖4 拼接效率對比結果

分析圖4可知，所提方法的拼接耗時最低，在5次拼接時，所提方法出現(xiàn)最高用時為5.9s，而9次拼接后，所提方法的拼接用時一直穩(wěn)定在4s左右。所提方法的最高耗時與基于區(qū)域方法、基于特征方法相比，分別下降了46.36%、62.89%。因此，充分說明所提方法具有較高的拼接效率。

4 結束語

為了提高街景動態(tài)圖像的拼接精準度，提出一種新的街景動態(tài)圖像虛擬拼接方法，預處理街景動態(tài)圖像，保證圖像配準的精準度，同時提升后期拼接的效率。利用SIFT算法提取街景動態(tài)圖像的特征點向量，進而完成對街景動態(tài)圖像的虛擬拼接。仿真結果表明：

1)采用所提方法完成街景動態(tài)圖像拼接后，圖像清晰度較高。

2)所提方法的拼接圖像不存在拼接裂縫，具有較高的應用價值。

3)所提方法的拼接耗時基本保持在4s左右，具有較高的拼接效率。

上述實驗結果驗證了與傳統(tǒng)方法相比，所提方法的拼接圖像清晰度更高、拼接用時更短，可以實現(xiàn)街景動態(tài)圖像的精準拼接。