無(wú)規(guī)則圖像的拼接算法研究

包冬梅

(呼倫貝爾學(xué)院)

?

無(wú)規(guī)則圖像的拼接算法研究

包冬梅

(呼倫貝爾學(xué)院)

介紹了傳統(tǒng)的圖像拼接算法，總結(jié)其優(yōu)劣，并在其基礎(chǔ)上提出了不規(guī)則圖像的全局拼接算法，避免傳統(tǒng)圖像拼接算法存在的局限性，為實(shí)現(xiàn)圖像的高分辨率與全面性提供了一種方案.

圖像拼接；拼接算法；無(wú)規(guī)則圖片

0 引言

當(dāng)下無(wú)規(guī)則圖像拼接主要作用于軍事偵察和目標(biāo)跟蹤以及災(zāi)害監(jiān)控等領(lǐng)域，這些領(lǐng)域主要以空中航拍圖像為主要拼接對(duì)象.近年來(lái)航拍圖像得到了進(jìn)一步的推廣，人們對(duì)航拍圖像的要求隨之增加，在原有的單幀航拍圖像的基礎(chǔ)上逐漸衍生出分辨率較高且視野范圍廣泛的多幀圖像.但多幀圖像同樣需經(jīng)由飛機(jī)高空作業(yè)拍攝，利用飛機(jī)與地面的遠(yuǎn)距離視野將地面的高低起伏從視覺上縮小，獲得接近平面的圖片效果，飛機(jī)的遠(yuǎn)距離航拍更進(jìn)一步的使人類獲得更為全面的地面圖像.然如何對(duì)航拍圖像進(jìn)行精準(zhǔn)拼接實(shí)現(xiàn)地面全景重現(xiàn)仍然是各行業(yè)研究的重點(diǎn)與難題，基于該文對(duì)圖像拼接算法進(jìn)行分析研究，并分析傳統(tǒng)圖像拼接算法的優(yōu)劣從而對(duì)其進(jìn)行優(yōu)化具有現(xiàn)實(shí)意義.

1 圖像拼接算法概述

1.1 圖像拼接算法優(yōu)化的意義

傳統(tǒng)圖片拼接算法是對(duì)航拍圖像中重疊比例較大的區(qū)域進(jìn)行顏色相似度匹配拼接，即將圖像至于CMY顏色系統(tǒng)中，對(duì)該系統(tǒng)中的圖片重疊區(qū)域的顏色灰度級(jí)進(jìn)行提取，并以此灰度級(jí)為基準(zhǔn)，尋找圖像灰度級(jí)特征相似度高的圖像進(jìn)行拼接.然而并非所有圖像的重疊比例都高，遇到重疊比例較低時(shí)可供提取的灰度級(jí)特征不夠且容易受干擾產(chǎn)生偏差，因此以重疊區(qū)域灰度級(jí)作為拼接參照的方法準(zhǔn)確率較低，難以達(dá)到人們對(duì)航拍圖高質(zhì)量、高準(zhǔn)度的拼接要求.尋求更高效、便捷、準(zhǔn)確的圖形拼接計(jì)算方法成為當(dāng)務(wù)之急.

1.2 圖像拼接算法的局限性

一般情況下，很難得到分辨率高且范圍全面的圖像，因?yàn)榕臄z過程中分辨率隨拍攝距離的改變而改變，遠(yuǎn)距離拍攝隨刻獲得范圍較廣的圖像效果但其分辨率會(huì)明顯降低；近距離拍攝能保證較高的分辨率卻只能局限于較小的拍攝場(chǎng)景，那么該如何實(shí)現(xiàn)高分辨率與圖像完整的雙重標(biāo)準(zhǔn)呢？可以應(yīng)用圖像拼接技術(shù)對(duì)多張高分辨率的規(guī)則或不規(guī)則的圖像進(jìn)行無(wú)縫拼接來(lái)實(shí)現(xiàn).通常，一個(gè)完整的圖像拼接流程主要包括圖像配準(zhǔn)和圖像融合兩大方面，圖像拼接流程如圖1所示.其方式是根據(jù)圖像的幾何運(yùn)動(dòng)模型對(duì)圖像在同一個(gè)坐標(biāo)系中進(jìn)行配準(zhǔn)，在配準(zhǔn)成功后對(duì)圖像進(jìn)行像素結(jié)合即為圖像融合.成功的圖像融合其相鄰圖像像素間的過渡應(yīng)該是自然的，融合成的拼接圖像應(yīng)該是較為逼真的.當(dāng)下圖像融合技術(shù)發(fā)展已趨于成熟，其圖像融合算法也取得較大成功，在圖像拼接活動(dòng)中性能穩(wěn)定，對(duì)圖像拼接的質(zhì)量影響較小.而作為圖像拼接重中之重的圖像配準(zhǔn)技術(shù)還處在探索階段，圖像拼接的總體質(zhì)量與拼接效率都受圖像配準(zhǔn)技術(shù)的直接影響，因此圖像配準(zhǔn)算法是影響圖像拼接整體效果的關(guān)鍵，對(duì)圖像拼接質(zhì)量和效率的提高無(wú)疑需從圖像配準(zhǔn)算法的優(yōu)化入手.對(duì)配準(zhǔn)算法進(jìn)行優(yōu)化必須對(duì)圖像配準(zhǔn)的傳統(tǒng)算法進(jìn)行分析，在其基礎(chǔ)上進(jìn)行改進(jìn)或革新.

圖1 傳統(tǒng)圖像拼接基本流程

2 傳統(tǒng)圖像配準(zhǔn)算法分析

傳統(tǒng)圖像配準(zhǔn)算法主要是根據(jù)不規(guī)則圖像間重疊區(qū)域的灰度特征進(jìn)行相似度配準(zhǔn).兩幀圖像重疊區(qū)域灰度特征為：

T(i,j)=

(1)

兩幀不規(guī)則圖像的灰度特征絕對(duì)誤差的和為:

(2)

根據(jù)兩幀圖像的絕對(duì)誤差之和進(jìn)行圖像拼接，拼接準(zhǔn)則為:

(3)

該式中的x表示圖像水平方向的步長(zhǎng)；y表示圖像在垂直方向的步長(zhǎng)；λ則表示設(shè)定的閾值.通過式(3)可知傳統(tǒng)的基于圖像重合區(qū)域灰度特征而進(jìn)行的圖像拼接算法對(duì)重合率高的圖像較為適宜，然而重合率低的圖像可供提取的灰度特征有限，運(yùn)用該算法難以保證圖像拼接質(zhì)量與效率.基于此，提出了以圖像全局為基礎(chǔ)的圖像拼接算法.該算法第一步需要提取圖像的SIFT 點(diǎn)，第二步是對(duì)兩幅待拼接圖像的SIFT 特征點(diǎn)進(jìn)行匹配，第三部根據(jù)整體圖像優(yōu)化方法優(yōu)化不規(guī)則圖像拼接結(jié)果.根據(jù)這一方法能較好的提取全局圖像信息，進(jìn)一步提高圖像拼接的準(zhǔn)確度.

3 改進(jìn)之不規(guī)則圖像的全局拼接算法

與傳統(tǒng)的圖像拼接算法不同，基于全局圖像拼接算法更適宜于不規(guī)則圖像和重疊率不高圖像之間的拼接，這種基于全局的圖像拼接算法直接提取全局圖像信息，針對(duì)兩幅圖像的全局特征點(diǎn)準(zhǔn)確進(jìn)行拼接，在避免傳統(tǒng)圖像拼接算法局限性的同時(shí)提高了大圖像與不規(guī)則圖像拼接的質(zhì)量和效率.

3.1 圖像SIFT 特征點(diǎn)的提取

該SIFT特征提取的基本原理如圖2所示.

圖2 SIFT特征提取原理

提取圖像SIFT 特征點(diǎn)并預(yù)處理圖像，得到一組二維高斯函數(shù)，函數(shù)為:

(4)

卷積兩幅圖像的灰度特征函數(shù)為f( x，y)和二維高斯函數(shù)，可知待拼接圖像的特征模型為：

(5)

該式中G( x，y，σ)為模型高斯核，其中σ影響著高斯濾波器的尺度； 兩圖像間尺度比例因子的尺度空間差則用k表示；可知相鄰兩幅圖像間的空間差為：

D(x,y,σ)=G(x,y,kσ)-L(x,y,σ)

(6)

緊接著還需要對(duì)圖像的全部特征點(diǎn)優(yōu)化選取，刪除不合格的特征點(diǎn)，留取合格的特征點(diǎn).根據(jù)式(7)設(shè)某一點(diǎn)為：(x0，y0，σ)可得公式：

(7)

待該步驟完成后即可通過角點(diǎn)的向量主方向確定圖像特征點(diǎn)的方向組成前面所說(shuō)的圖像ISFT 特征，其公式為：

θ(x,y)=tan-1(f(i+1,j)-f(i-1,j))/(f(i,j+1)-f(i,j-1)).

(8)

由于圖像ISFT 特征在尺度上所處的位置有明顯差異性，對(duì)圖像拼接算法的準(zhǔn)確性形成了保障.

3.2 圖像配準(zhǔn)與對(duì)齊

該文圖像配準(zhǔn)根據(jù)前面所得的ISFT 特征點(diǎn)進(jìn)行，在保證圖像拼接的質(zhì)量與準(zhǔn)確度的同時(shí)還需保證其最低的位置誤差.根據(jù)前面所得的ISFT特征點(diǎn)T( x，y )得出待拼接圖像的誤差計(jì)算公式：

(9)

該式中S為總均方誤差；m、n分別為前一幀和后一幀圖像中所提取的ISFT特征點(diǎn)數(shù)目；T( i，j)為ISFT 特征點(diǎn)信息，x為圖像水平方向移動(dòng)步長(zhǎng)；y為圖像豎直方向移動(dòng)步長(zhǎng).根據(jù)該式中所得的誤差得到的歸一化函數(shù)為：

(10)

對(duì)圖像進(jìn)行最小誤差配準(zhǔn)需確保位置誤差的最小化，其計(jì)算公式如下：

(11)

該式中X、Y分別表示圖像ISFT 特征的均值和方差.在結(jié)合位置誤差公式可知位置誤差值最小點(diǎn)即為最高質(zhì)量配準(zhǔn)點(diǎn).

3.3 圖像融合與平滑

圖像處理行至圖像配準(zhǔn)步驟雖已完成兩幅圖像的基本拼接，但圖像接縫處由于融合性不高尚處于不自然狀態(tài)，要增加圖像接縫處清晰度與自然過渡感還必須對(duì)圖像進(jìn)行最后的融合，其根本為處理圖像接縫處的圓滑感，第一步，要平滑圖像.平滑圖像首先要得出圖像的平滑因子，計(jì)算公式為：

f (x,y)=k1×fA(x,y)+k2×fB(x,y)

(12)

該式中( x，y) ∈( FA∩FB) 、FB( x，y) 分別表示圖像配準(zhǔn)前幀和后幀像素點(diǎn)信息；k1、k2皆表示圖像平滑因子；設(shè)前一幀圖像與后一幀圖像重疊區(qū)域水平、豎直方向的最大值分別為xmax和ymax，可知平滑因子計(jì)算公式：

(13)

在平滑過程中，平滑因子k1，2取值范圍為1至0，平滑因子從1到0逐個(gè)取值后，圖像拼接平滑處理即完成，圖像的無(wú)縫拼接效果即實(shí)現(xiàn).

4 實(shí)驗(yàn)結(jié)果與分析

基于全局拼接的圖像拼接算法的流程圖如圖3所示.

圖3 基于全局圖像拼接流程

為對(duì)該文提出的全局圖片拼接計(jì)算法的效果進(jìn)行分析與取證，筆者選取了我國(guó)某一南方城市的航拍圖分別采用了傳統(tǒng)局域圖像拼接算法和全局圖像拼接算法進(jìn)行拼接實(shí)驗(yàn)，對(duì)實(shí)驗(yàn)中兩種算法的耗時(shí)、準(zhǔn)確度進(jìn)行了記錄與對(duì)比.兩種圖片拼接算法的準(zhǔn)確度根據(jù)公式 (14)得出，實(shí)驗(yàn)數(shù)據(jù)在表1中可查.

(14)

由實(shí)驗(yàn)數(shù)據(jù)可知傳統(tǒng)的基于局域的圖像拼接算法耗時(shí)較多，為0.7 s；而基于全局的圖像拼接法其耗時(shí)較于局域拼接算法節(jié)省了一倍多，為0.3 s；從兩者拼接準(zhǔn)確度來(lái)看，傳統(tǒng)基于局域的拼接算法準(zhǔn)確率僅為74%，而基于全局的拼接算法其準(zhǔn)確率高達(dá)98%.該文圖像拼接實(shí)驗(yàn)進(jìn)程如圖3所示.圖3較直觀的說(shuō)明了傳統(tǒng)基于局域的圖像拼接算法在面臨重疊度較低的兩幅圖像時(shí)，其提取的灰度特征較少，即使提取到的灰度特征也容易受外界干擾而產(chǎn)生誤差，導(dǎo)致圖像拼接失準(zhǔn).基于全局的圖像拼接算法在提取重疊區(qū)域灰度特征的基礎(chǔ)上對(duì)圖像全局信息進(jìn)行了統(tǒng)籌，當(dāng)一個(gè)條件不滿足配準(zhǔn)的情況下還可通過其他特征進(jìn)行配準(zhǔn)，大大增加了圖像拼接的準(zhǔn)確性和清晰度.通過上述實(shí)驗(yàn)結(jié)果與分析可得出結(jié)論見表1，傳統(tǒng)基于局域的圖像拼接算法耗時(shí)多，準(zhǔn)確率也相對(duì)較低，而基于全局的圖像拼接算法耗時(shí)短，準(zhǔn)確率高，拼接后的圖像質(zhì)量同樣較高，更貼進(jìn)人們對(duì)于圖像拼接高分辨率、完整度高的需求，值得關(guān)注.

5 結(jié)束語(yǔ)

面對(duì)實(shí)際應(yīng)用中圖像的無(wú)規(guī)則性和拍攝環(huán)境的差異性，文章提出了無(wú)規(guī)則圖處理的全局拼接算法，以SIFT算法對(duì)待拼接圖像進(jìn)行SIFT特征點(diǎn)提取，通過整體最優(yōu)化方法最大限度的優(yōu)化圖像拼接結(jié)果，并從圖像配準(zhǔn)、圖像融合全方位優(yōu)化圖像拼接效果，提高圖像拼接質(zhì)量的同時(shí)實(shí)現(xiàn)了圖像的高分辨率與完整性并存的要求，規(guī)避了傳統(tǒng)圖像拼接算法的局限性與失準(zhǔn)率，對(duì)各領(lǐng)域的圖像拼接事業(yè)產(chǎn)生積極影響，使用價(jià)值較高，具有顯著的現(xiàn)實(shí)意義.

[1] 蘇昭,王慈,王濤. 一種具視差魯棒性的圖像拼接算法[J]. 電視技術(shù),2014,15:29-32.

[2] 黃薇,許勇,劉淑影. 基于像素點(diǎn)的碎片圖像拼接技術(shù)[J]. 計(jì)算機(jī)應(yīng)用,2014(S2):269-270，290.

[3] 狄穎辰,陳云坪,陳瑩瑩,等. 無(wú)人機(jī)圖像拼接算法綜述[J]. 計(jì)算機(jī)應(yīng)用,2011(1):170-174.

[4] 江鐵,朱桂斌,孫奧. 全景圖像拼接技術(shù)研究現(xiàn)狀綜述[J]. 重慶工商大學(xué)學(xué)報(bào)：自然科學(xué)版,2012(12):60-65，71.

(責(zé)任編輯：李家云)

Research on the Stitching Algorithm in Irregular Images

Bao Dongmei

(Hulunbuir University)

In this paper, the traditional image stitching algorithm is introduced, its advantages and disadvantages are summarized, and the global image stitching algorithm in irregular images is proposed, which can avoid the limitations of traditional image stitching algorithm and provide a solution to realize images’ high-resolution and comprehensiveness .

Image stitching; Stitching algorithm; Irregular images

2015-11-11

TP31

A

1000-5617(2016)02-0053-04