基于局部投影的視差圖像拼接平滑優(yōu)化

劉 杰，游品鴻，田 明，劉金鳳

（1. 哈爾濱理工大學(xué)測(cè)控技術(shù)與通信工程學(xué)院，黑龍江哈爾濱 150080；2. 中國(guó)電信黑龍江省分公司，黑龍江哈爾濱 150080）

1 引言

圖像拼接是將多幅圖像的重合部分合并成具有較寬視野的大場(chǎng)景圖像的過(guò)程. 它被廣泛地應(yīng)用在無(wú)人機(jī)［1，2］、圖像遙感［3］、3D 重建［4］和VR［5］圖像等重要的領(lǐng)域，因此以高效的方式生成高質(zhì)量的拼接圖像是至關(guān)重要的.

傳統(tǒng)的拼接算法是基于尺度不變特征（Scale In?variable Feature Transform，SIFT）［6］對(duì)圖像進(jìn)行全局變換的. Brown 等人［7］提出的AutoStitch 基于SIFT 算法進(jìn)行圖像的特征點(diǎn)提取，通過(guò)兩幅圖像之間的單應(yīng)性矩陣對(duì)圖像進(jìn)行對(duì)齊，但該方法對(duì)具有視差的圖像會(huì)出現(xiàn)偽影的情況. 為了獲得更高的拼接質(zhì)量，全局變換已不能滿足環(huán)境比較復(fù)雜的場(chǎng)合的需求. 徐弘禎等人［8］通過(guò)RANSAC（RANdom SAmple Consensus）與LM（Levenberg-Marquardt）算法相結(jié)合的方式進(jìn)行誤匹配點(diǎn)的剔除，提高了圖像拼接的質(zhì)量，缺點(diǎn)是不能多角度地獲取圖像數(shù)據(jù)和局部誤匹配異常值的去除，因此該算法受到的約束較多.Zaragoza 等人［9］提出的逼近投影變換（As-Projective-As-Possible warp，APAP）在重合區(qū)域使用局部投影變形的同時(shí)，引入了局部線性變換方法消除圖像之間的不正確數(shù)據(jù)匹配，提高重合部分匹配的準(zhǔn)確率，但是APAP 算法采用局部投影結(jié)合全局投影進(jìn)行對(duì)齊，這樣的結(jié)果會(huì)導(dǎo)致非重合區(qū)域的變形，即拼接圖像的一部分會(huì)出現(xiàn)不均勻的拉伸. 趙春暉等人［10］采用歸一化互相關(guān)函數(shù)在網(wǎng)格的框架下對(duì)匹配點(diǎn)位置進(jìn)行約束求解，其結(jié)果提高了匹配的準(zhǔn)確率，但沒(méi)有考慮非重合區(qū)域可能出現(xiàn)的失真或扭曲的情況.

針對(duì)上述問(wèn)題導(dǎo)致圖像拼接出現(xiàn)局部的圖像扭曲的現(xiàn)象，本文提出了一種基于局部投影的視差圖像拼接的平滑優(yōu)化算法. 該算法通過(guò)局部保留結(jié)構(gòu)對(duì)提取的特征點(diǎn)進(jìn)行匹配，將匹配的特征點(diǎn)進(jìn)行投影矩陣計(jì)算和圖像拼接，對(duì)重合區(qū)域計(jì)算最優(yōu)投影矩陣，利用符合要求的投影矩陣進(jìn)行圖像拼接，在對(duì)齊拼接完成后，通過(guò)變形函數(shù)計(jì)算非重合區(qū)域的變形程度，對(duì)失真圖像進(jìn)行平滑過(guò)渡，從而提高圖像的質(zhì)量.

2 算法說(shuō)明

2.1 算法結(jié)構(gòu)框圖

本文算法的框架如圖1 所示. 圖像拼接的第一步是將獲取的圖像分為參考圖像和待拼接的圖像，通過(guò)SIFT 算法對(duì)獲取的圖像進(jìn)行特征點(diǎn)檢測(cè)；第二步是將獲取的特征點(diǎn)通過(guò)圖像配準(zhǔn)進(jìn)行特征點(diǎn)匹配，利用配準(zhǔn)之后的匹配點(diǎn)進(jìn)行投影矩陣的計(jì)算；第三步是根據(jù)第二步的投影矩陣進(jìn)行最優(yōu)投影矩陣的計(jì)算，通過(guò)歸一化距離的計(jì)算結(jié)果與設(shè)定的閾值進(jìn)行大小判定，當(dāng)計(jì)算結(jié)果小于設(shè)定的閾值時(shí)，投影矩陣保留并進(jìn)行圖像拼接，否則，選取其他投影矩陣重新進(jìn)行閾值的判定；第四步是在拼接完成后，通過(guò)變形函數(shù)計(jì)算非重合區(qū)域的扭曲程度，采用平滑的方式對(duì)局部的圖像扭曲進(jìn)行平滑過(guò)渡.

圖1 算法流程圖

2.2 圖像配準(zhǔn)

本文基于局部保留結(jié)構(gòu)方法對(duì)圖像進(jìn)行特征點(diǎn)匹配，通過(guò)成本函數(shù)對(duì)特征點(diǎn)的距離進(jìn)行成本計(jì)算，對(duì)給定的兩幅圖像的特征點(diǎn)，取S={(xi,yi)},i?{1,2,…,n}為一組作為n個(gè)特征對(duì)應(yīng)關(guān)系集合［11］. 其誤匹配點(diǎn)濾除的點(diǎn)集解為

其中，設(shè)定Pi?{0,1}，匹配對(duì)是否匹配正確由Pi表示，當(dāng)Pi=1時(shí)表示第i個(gè)對(duì)應(yīng)項(xiàng)為匹配正確項(xiàng)，當(dāng)Pi=0時(shí)表示第i個(gè)對(duì)應(yīng)項(xiàng)為匹配錯(cuò)誤項(xiàng). 對(duì)成本函數(shù)進(jìn)行計(jì)算，其具體滿足如下條件：

其中，d是距離度量；Nx表示對(duì)應(yīng)的特征點(diǎn)x在歐幾里得距離下的領(lǐng)域，在相應(yīng)的領(lǐng)域中，每個(gè)特征點(diǎn)搜索4個(gè)領(lǐng)點(diǎn)；將p定義為集合S與n×1 個(gè)二元向量關(guān)聯(lián)；ci是成本函數(shù)中衡量第i個(gè)匹配項(xiàng)(xi,yi)是否滿足局部保留結(jié)構(gòu)的幾何約束成本，正確的匹配會(huì)帶來(lái)零約束成本或少量約束成本，而錯(cuò)誤的匹配會(huì)增加約束成本.Pi的取值與ci和λ之間的比值有關(guān)，而λ是用來(lái)衡量圖像變形的加權(quán)參數(shù)，本文將入設(shè)為0.9，即

2.3 圖像投影

通過(guò)2.1節(jié)的方法對(duì)圖像進(jìn)行配準(zhǔn)和圖像拼接，其結(jié)果不管是在主觀感受還是客觀的質(zhì)量評(píng)價(jià)上都不理想. 因此，為了進(jìn)一步提高圖像拼接的匹配精度，本文在第一次投影拼接的基礎(chǔ)上，對(duì)拼接之后的圖像進(jìn)行再次投影矩陣計(jì)算，選取最優(yōu)投影矩陣進(jìn)行二次投影.首先，將局部保留算法得到的匹配點(diǎn)進(jìn)行投影矩陣的計(jì)算并投影拼接；然后圖像拼接完成后，通過(guò)重合區(qū)域邊界點(diǎn)與投影矩陣之間的關(guān)系進(jìn)行最優(yōu)矩陣的尋找.具體公式如下：

圖2 所示為RANSAC 算法與本文算法進(jìn)行匹配點(diǎn)剔除比較. 圖2（a）為RANSAC 算法剔除的結(jié)果，由圖可知紅色的線條為局部異常值沒(méi)有剔除掉的結(jié)果；圖2（b）為本文算進(jìn)行匹配點(diǎn)剔除的結(jié)果，由圖可知沒(méi)有出現(xiàn)局部異常值；圖2（c）為采用RANSAC 進(jìn)行誤匹配點(diǎn)剔除后拼接的結(jié)果，其結(jié)果出現(xiàn)明顯的重影；圖2（d）為本文算法進(jìn)行圖像拼接的結(jié)果，其結(jié)果無(wú)明顯的重影.

圖2 圖像拼接對(duì)比

2.4 局部投影的平滑過(guò)渡

采用全局變換對(duì)視差圖像進(jìn)行拼接，優(yōu)點(diǎn)是圖像在非重合區(qū)域不會(huì)出現(xiàn)局部扭曲的問(wèn)題，其缺點(diǎn)是拼接結(jié)果在重合區(qū)域會(huì)出現(xiàn)對(duì)齊不準(zhǔn)的現(xiàn)象；采用彈性翹曲模型對(duì)圖像進(jìn)行拼接，其結(jié)果在重合區(qū)域能有效提高對(duì)齊精度，但不足是在非重合區(qū)域拼接結(jié)果會(huì)出現(xiàn)局部的圖像扭曲. 因此，為了提高圖像拼接的質(zhì)量，利用全局投影和局部投影的點(diǎn)坐標(biāo)進(jìn)行偏差計(jì)算，將結(jié)果進(jìn)行平滑優(yōu)化. 本文采用徑向基函數(shù)（Radial Ba?sis Function，RBF）［12，13］的薄板樣條（Thin-Plate Spline，TPS）［14～16］計(jì)算圖像的變形函數(shù)，變形函數(shù)的扭曲模型如圖3 所示，其中g(shù)(x,y)與h(x,y)分別為x和y方向上發(fā)生的變形.

圖3 變形函數(shù)

由于全局投影矩陣對(duì)目標(biāo)圖像的非重合區(qū)域具有良好的保留效果，不會(huì)導(dǎo)致局部的投影扭曲，因此為了消除局部投影帶來(lái)的負(fù)面影響，計(jì)算wi的權(quán)重將局部投影平滑過(guò)渡到全局圖像. 假設(shè)在x與y的方向上重合部分的邊界為[xl,xh]與[yl,yh]，在非重合部分出現(xiàn)的局部變形時(shí)，權(quán)重wi的具體表達(dá)形式如下：

在這里K是一個(gè)比例參數(shù). 將上述各個(gè)函數(shù)代入得到的結(jié)果進(jìn)行圖像的平滑優(yōu)化，成像結(jié)果能夠很好地保留非重合區(qū)域的整體投影.

3 實(shí)驗(yàn)與結(jié)果分析

本文對(duì)多個(gè)場(chǎng)景進(jìn)行圖像拼接算法驗(yàn)證，實(shí)驗(yàn)平臺(tái)采用的CPU 型號(hào)為Inter i7 處理器，內(nèi)存為8G，操作系統(tǒng)為Windows7.

3.1 主觀評(píng)價(jià)

在主觀評(píng)價(jià)中，本文通過(guò)視差圖像進(jìn)行實(shí)驗(yàn)結(jié)果說(shuō)明. 如圖4所示，圖中標(biāo)號(hào)1的白色燈桿為重合區(qū)域，圖中標(biāo)號(hào)2 的攝像頭欄桿為非重合區(qū)域. 圖4（a）采用全局投影進(jìn)行圖像的拼接，其優(yōu)點(diǎn)是能夠較好地保留拼接之后圖像的整體性，使得拼接圖像看起來(lái)更加自然；但缺點(diǎn)是如果圖像拍攝的角度不在同一平面，采用全局投影就不能準(zhǔn)確地對(duì)齊重合部分，如圖4（a）中的標(biāo)號(hào)1 所示，白色燈桿由于視差原因造成圖像出現(xiàn)重影. 圖4（b）采用APAP 算法進(jìn)行局部投影，可以看到白色燈桿的重影與全局投影相比，其結(jié)果有所改善，但還是有一小部分重影，同時(shí)攝像頭的欄桿出現(xiàn)局部的扭曲，如圖4（b）中的標(biāo)號(hào)2 所示. 圖4（c）采用本文算法進(jìn)行局部投影，在重合部分，兩幅圖像匹配點(diǎn)基本對(duì)齊，沒(méi)有出現(xiàn)重影的問(wèn)題；在非重合部分，攝像頭欄桿部分的扭曲有著明顯的優(yōu)化，使得整體看起來(lái)更加自然.

圖4 算法比對(duì)結(jié)果圖

采用文獻(xiàn)［7］算法、APAP 算法和AANAP 算法［17］與本文算法對(duì)輸入的圖像數(shù)據(jù)進(jìn)行拼接實(shí)驗(yàn)，通過(guò)以下幾組數(shù)據(jù)對(duì)這些算法進(jìn)行實(shí)驗(yàn)對(duì)比，其結(jié)果如圖5所示.

在圖5（a）中，輸入圖像是以上下傾斜的視差角度進(jìn)行拍攝. 采用文獻(xiàn)［7］算法對(duì)圖像進(jìn)行拼接：由于使用全局投影進(jìn)行圖像拼接，非重合區(qū)域圖像的整體性有良好的表現(xiàn)，其結(jié)果如文獻(xiàn)［7］算法中的標(biāo)號(hào)2所示；但是在重合區(qū)域，樹(shù)木和路面地磚的紋路均出現(xiàn)了不同程度的重影，其結(jié)果如文獻(xiàn)［7］算法中的標(biāo)號(hào)1 和3所示. 采用APAP 對(duì)圖像進(jìn)行拼接：在重合區(qū)域，由于使用了局部投影進(jìn)行圖像的對(duì)齊，拼接之后沒(méi)有出現(xiàn)重影，其結(jié)果如APAP 算法中的標(biāo)號(hào)1和3所示；但是由于采用了局部投影，像素點(diǎn)的對(duì)齊導(dǎo)致非重合區(qū)域的圖形發(fā)生扭曲，其結(jié)果如APAP 中的標(biāo)號(hào)2 所示. 采用AANAP 算法對(duì)圖像進(jìn)行拼接：重合部分的拼接結(jié)果表現(xiàn)良好，無(wú)重影現(xiàn)象；在非重合區(qū)域，如AANAP 中的標(biāo)號(hào)2 所示，路面出現(xiàn)扭曲的現(xiàn)象. 采用本文算法對(duì)圖像進(jìn)行拼接：在重合區(qū)域，圖像拼接結(jié)果無(wú)重影現(xiàn)象，實(shí)驗(yàn)結(jié)果如本文算法中的標(biāo)號(hào)1 和3 所示；在非重合區(qū)域，通過(guò)變形函數(shù)將圖像扭曲的部分平滑過(guò)渡到全局變換，其結(jié)果如本文算法中的標(biāo)號(hào)2 所示，拼接的圖像整體性更好.

在圖5（b）中，輸入圖像是以同一水平面不同視差角度進(jìn)行拍攝，該圖像數(shù)據(jù)的重合部分占90%以上. 采用文獻(xiàn)［7］算法：如標(biāo)號(hào)1 和2 所示，由于采用了全局投影變換對(duì)齊圖像，重合部分的圖像出現(xiàn)局部的重影和錯(cuò)位的問(wèn)題. 采用APAP 算法：如像標(biāo)號(hào)1所示，在重合部分，雖然優(yōu)化了圖像的重影，但是出現(xiàn)了和標(biāo)號(hào)2 一樣的錯(cuò)位結(jié)果. 采用AANAP 算法：由于采用了局部的自適應(yīng)變換，該算法提高了圖像的對(duì)齊精度，其結(jié)果如標(biāo)號(hào)2 所示，但還是會(huì)出現(xiàn)如標(biāo)號(hào)1 的錯(cuò)位問(wèn)題. 采用本文算法：通過(guò)本文算法進(jìn)行圖像的拼接，提高了圖像對(duì)齊的精度，解決了兩幅圖像拼接錯(cuò)位的問(wèn)題，其結(jié)果如標(biāo)號(hào)1和2所示.

實(shí)驗(yàn)結(jié)果表明，對(duì)于重合部分大于90%以上的源圖像，拼接算法造成非重合區(qū)域的扭曲現(xiàn)象不是很明顯，其結(jié)果如圖5（b）中各個(gè)算法的標(biāo)號(hào)3所示.

圖5 圖像結(jié)果比對(duì)

3.2 客觀評(píng)價(jià)

為了更加客觀地對(duì)拼接之后的圖像質(zhì)量進(jìn)行評(píng)估，本文采用結(jié)構(gòu)相似性（Structural Similarity Index，SSIM）［18］對(duì)多組圖像結(jié)果進(jìn)行客觀評(píng)價(jià)，其評(píng)價(jià)指標(biāo)SSIM 的值越大，說(shuō)明圖像拼接之后的結(jié)果與目標(biāo)圖像越相似. 其中圖像數(shù)據(jù)庫(kù)包括文獻(xiàn)［9］以及本文自行拍攝采集的數(shù)據(jù)，表1 為對(duì)圖像數(shù)據(jù)進(jìn)行SSIM 的客觀評(píng)價(jià)結(jié)果. 關(guān)于SSIM 目標(biāo)源的選取，本文通過(guò)相機(jī)拍攝目標(biāo)物體的重合部分，將拍攝的重合圖像與拼接結(jié)果的重合部分進(jìn)行SSIM的算法比較.

本文對(duì)客觀的SSIM圖像數(shù)據(jù)評(píng)價(jià)結(jié)果和上述的主觀評(píng)價(jià)結(jié)果進(jìn)行了分析. 從表1 可以看出，有6 組的數(shù)據(jù)在4種圖像拼接算法的得分呈逐級(jí)遞增，其中第五組數(shù)據(jù)中，由于圖像重合部分超過(guò)90%及拍攝的視差角度相對(duì)較小，因此AANAP 算法與本文算法得分相近.綜上所述，本文算法的總得分要高于其他算法. 因此，本文算法的拼接結(jié)果要優(yōu)于其他算法，本文算法能夠有效地將圖像進(jìn)行對(duì)齊以及優(yōu)化圖像的局部扭曲，提高圖像拼接的質(zhì)量，有效地滿足實(shí)際工程實(shí)踐的應(yīng)用需求.

表1 SSIM的圖像數(shù)據(jù)評(píng)價(jià)

4 結(jié)論

針對(duì)圖像拼接的局部投影存在對(duì)齊不準(zhǔn)及非重合區(qū)域存在失真和扭曲的問(wèn)題，本文提出了一種基于局部投影的視差圖像拼接的平滑優(yōu)化算法，并從主觀評(píng)價(jià)和客觀評(píng)價(jià)2 個(gè)方面驗(yàn)證該算法. 在主觀評(píng)價(jià)中：本文算法通過(guò)SIFT 進(jìn)行特征提取，由局部保留結(jié)構(gòu)對(duì)圖像進(jìn)行特征點(diǎn)匹配，通過(guò)投影矩陣進(jìn)行閾值判定，將符合條件的矩陣進(jìn)行圖像拼接；在非重合部分，結(jié)合TPS對(duì)圖像進(jìn)行變形函數(shù)模型的建立，通過(guò)平滑優(yōu)化非重合區(qū)域，逐漸將局部投影造成的圖像變形進(jìn)行平滑過(guò)渡，所得結(jié)果不僅提高了圖像的對(duì)齊率，還避免了圖像的局部失真和扭曲問(wèn)題. 在客觀評(píng)價(jià)中：通過(guò)SSIM 評(píng)價(jià)指標(biāo)對(duì)文獻(xiàn)［7］算法、APAP 算法、AANAP 算法和本文算法進(jìn)行評(píng)價(jià)對(duì)比，結(jié)果顯示本文算法的評(píng)價(jià)結(jié)果要優(yōu)于其他3種算法.