大規(guī)模壁畫拼接：使用moving DLT的新嘗試

陳子豪++王志成++趙衛(wèi)東++江之洋

摘要：大部分圖像拼接工具采用的算法，需要待拼接圖像滿足較為嚴(yán)格的單應(yīng)性假設(shè)，例如圖像間的視點(diǎn)僅相差一次旋轉(zhuǎn)，或者被攝場景接近于平面。如果待拼接圖像不滿足這些假設(shè)，可能會使拼接結(jié)果模糊或存在重影；當(dāng)圖像增多時，拼接結(jié)果還會產(chǎn)生畸變。為了解決由于單應(yīng)性模型的不足所帶來的問題，該文提出一種圖像拼接的新方法。首先利用structure from motion方法，得到被攝物體結(jié)構(gòu)的極大似然估計(jì)；之后使用moving DLT技術(shù)和修改過的Bundle Adjustment，對圖像進(jìn)行對齊。實(shí)驗(yàn)結(jié)果證明，該方法能夠快速并正確的處理大量不滿足單應(yīng)性模型的圖像的拼接工作。

關(guān)鍵詞： 圖像拼接；壁畫保護(hù)；三維重建；圖像配準(zhǔn)；單應(yīng)投射

中圖分類號：TP18 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）07-0203-04

Large Scale Mural Stitching： A Novel Approach Using Moving DLT

CHEN Zi-hao， WANG Zhi-cheng， ZHAO Wei-dong， JIANG Zhi-yang

（Tongji University， Shanghai 200092， China）

Abstract： Algorithms adopted by most image stitching tools usually require input images satisfying some fairly restrictive assumptions， including images correspond to views that differ purely by rotation， or that the imaged scene is effectively planar. They are homography assumptions. Violating them may yield artifacts and ghosting in the result. When stitching plenty of non-ideal images， result panorama also suffers from serious distortion. To solve problems caused by inadequacy of homography-based model， this paper proposes a novel approach. First， it estimates most likely structure of the subject using structure from motion method. Then it aligns images by moving DLT and modified Bundle Adjustment. Experiments show this can effectively stitch bunch of non-ideal images and give convincing results.

Key words：image stitching； mural protection； 3-d reconstruction； image alignment； homography

圖像拼接通常被認(rèn)為是研究成熟的問題。盡管市場上有許多商業(yè)拼接工具，然而事實(shí)上，只有當(dāng)待拼接圖像是平面的時候，才能使用被長期研究的拼接技術(shù)。上述假設(shè)被稱為單應(yīng)性假設(shè)[1]，違背了這些假設(shè)會產(chǎn)生模糊和重影，而并不滿足單應(yīng)性假設(shè)的相片普遍存在。

在我們的可體重，研究將超過50張的圖像拼接成一張全景圖像。在拍攝壁畫的實(shí)踐中，相機(jī)靠近壁畫進(jìn)行拍攝，并在拍攝的間隔時進(jìn)行移動，才能獲得清晰的壁畫。同時壁畫也不會附著在完全平整的墻面上，因此使用單應(yīng)性的算法并不合適。

拼接少于十張壁畫圖片，基于單應(yīng)性的工具會產(chǎn)生重影，此時需要應(yīng)用后處理算法來改善圖像質(zhì)量[2， 3]。進(jìn)一步增加拼接圖像，結(jié)果將會呈現(xiàn)出無法修復(fù)的畸變。

對于拼接及數(shù)字保護(hù)壁畫遺跡，拼接精度是十分重要的。盡管當(dāng)前的商業(yè)軟件往往評價RMSE（root mean square error， 均方誤差）為2的拼接結(jié)果為優(yōu)秀，我們希望能夠得到低至0.5RMSE的結(jié)果，即達(dá)到亞像素精度。

1 相關(guān)工作

如何拼接大量圖像并生成全景已經(jīng)研究了很長時間。[4]嘗試增量配準(zhǔn)，并且將圖像融合至一個參考平面。但是增量拼接在配準(zhǔn)時，其副作用傳遞并放大了配準(zhǔn)誤差。解決這一問題的一種方法是使用一個最小二乘框架，對所有圖像同時進(jìn)行配準(zhǔn)，以便均勻地分布產(chǎn)生的匹配誤差。這一方法就是 bundle adjustment[5]。這一技術(shù)被廣泛地運(yùn)用于各軟件、開源項(xiàng)目之中，試圖最小化單應(yīng)性假設(shè)下的配準(zhǔn)誤差。

Bundle adjustment 是一種對于魯棒的非線性最優(yōu)化方法，能夠被用于解決大規(guī)模圖像拼接問題，同時也被用于恢復(fù)相片中特征點(diǎn)的三維坐標(biāo)。這一過程需要同時計(jì)算特征點(diǎn)的三維結(jié)構(gòu) （structure） 及相機(jī)的姿態(tài) （motion），其通常被稱作 structure from motion （SfM）[6]。SfM在重建問題中具有重要的地位，同時國內(nèi)外也有研究試圖利用SfM輸出高質(zhì)量的全景圖像。Aseem Agarwala 等[7] 在SfM的幫助下，將107張使用手持相機(jī)拍攝的長街相片生成了一副全景圖像。

圖像拼接的研究進(jìn)行時，越來越的研究人員認(rèn)為單應(yīng)性模型的描述力正在成為圖像拼接中的瓶頸。Gao等[8] 提出了使用雙單應(yīng)性模型的圖像拼接方法，提高了單應(yīng)性模型的自由度。Julio等[9] 在 Gao的基礎(chǔ)上提出了稱為moving DTL 的直接線性變換計(jì)算方法，以及圖像配準(zhǔn)方法as-projective-as-possible （APAP） warps。Moving DLT是加權(quán)版本的直接線性變換（DLT）算法，而APAP則是根據(jù)位置計(jì)算圖像變換和投影矩陣的算法，這兩種方法增加了經(jīng)典單應(yīng)性模型的描述力，使得其在少量的圖像拼接中能夠生成更好的全景。之后Julio提出了在bundle adjustment中使用APAP，但是當(dāng)待拼接圖像并不適用于單應(yīng)性拼接時時，bundle adjustment APAP 同樣會產(chǎn)生大量的畸變。

2 我們的算法

2.1 擬合參考平面

首先使用SfM算法，獲取關(guān)于被攝物體的特征點(diǎn)點(diǎn)云。其產(chǎn)生一組三維點(diǎn)云包含被攝體的所有特征點(diǎn)，記和為輸入圖像與生成點(diǎn)云間的一對匹配點(diǎn)對，用下述公式擬合參考平面

表示將第j張圖像投射直第k張圖像。是一個等于或稍大于目標(biāo)進(jìn)度的變量，在我們的例子中，。 最后對每張圖像應(yīng)用計(jì)算得到的相似性矩陣，便生成最終的全景圖像。

3 實(shí)驗(yàn)及結(jié)果

我們采用了兩組敦煌研究院提供的實(shí)際壁畫集進(jìn)行實(shí)驗(yàn)。此兩組壁畫集中分別包含56幅敦煌壁畫相片，部分實(shí)驗(yàn)數(shù)據(jù)在圖1中展示。

圖1 112幅敦煌壁畫攝影作為輸入圖像（在此展示56幅）

當(dāng)使用我們的算法進(jìn)行拼接時，我們?nèi)?shù)， ， ，前兩者為Julio于[9]中建議的默認(rèn)參數(shù)，為本實(shí)驗(yàn)的目標(biāo)精度。由于展示的重點(diǎn)在于改進(jìn)過的圖像配準(zhǔn)流程對于圖像拼接結(jié)果的效果，本文的試驗(yàn)中將不使用類似multi-band blending的復(fù)雜融合。

由于Adobe Photoshop在處理56張圖像時會崩潰，我們不在此提供有關(guān)Photoshop的定性或者定量分析。

3.1 定量分析

我們將RMS Error分為兩部分：SfM RMS和重投影RMS，分別代表SfM步驟后的配準(zhǔn)誤差以及最終投影后的配準(zhǔn)誤差。由于我們的方法經(jīng)歷上述兩個步驟，為了清晰起見我們展示全部兩種RMS?？梢钥吹絊fM RMS往往顯著的低于重投影RMS，這是由于SfM步驟不需要符合單應(yīng)性模型，因此具有更高的自由度。

在兩組實(shí)驗(yàn)中，PhotoScan均生成了RMSE極低的結(jié)果，同時損失了部分內(nèi)容。我們的算法在SfM步驟同樣具有極低的RMSE，以此為基礎(chǔ)，對于每幅全景圖像，本文以以RMSE ～0.3像素的代價，從大約為1萬個特征點(diǎn)中恢復(fù)出完整的全景圖像。其最終的重投影RMSE優(yōu)于使用簡單單應(yīng)性投射的AutoPano。

3.2 定性分析

圖2與圖3以AutoPano Giga， Photosynth， PhotoScan以及我們的方法，這一順序分別展示使用兩組壁畫集進(jìn)行圖像拼接的結(jié)果。

四組結(jié)果中，AutoPano與我們的結(jié)果僅經(jīng)過了線性融合。

3.2.1 第一組實(shí)驗(yàn)

圖2的最左的一欄展示了第一組拼接結(jié)果的全景。Photosynth未能恢復(fù)被攝物體的正確結(jié)構(gòu)。AutoPano Giga生成了長寬比最不正確的最終結(jié)果。PhotoScan與我們的方法均、正確的對齊了圖像，然而PhotoScan的生成了左右反轉(zhuǎn)的結(jié)果。這是由于SfM生成的原始數(shù)據(jù)并不關(guān)心圖像的方向，而PhotoScan完全依照這一數(shù)據(jù)構(gòu)造全景。我們的方法同樣使用SfM方法，并使用式（2～5）修正了這一問題。

右側(cè)兩欄展示了更多細(xì)節(jié)，在原圖中粉色及紅色線框標(biāo)示。AutoPano的結(jié)果存在模糊和形變。由于外部推測的不足，PhotoScan損失了所有在邊緣的圖像信息。

3.2.2 第二組實(shí)驗(yàn)

圖3的最左一欄展示了第二組拼接結(jié)果的全景。由于被攝體結(jié)構(gòu)及紋理簡單，四種拼接方法均正確的恢復(fù)了被攝物體的結(jié)構(gòu)。由于式（1），我們方法產(chǎn)生的全景將單應(yīng)性失真維持在最小，而其余三種方法產(chǎn)生的結(jié)果均在不同程度上存在單應(yīng)性失真，直觀地體現(xiàn)于拼接結(jié)果無法填滿長方形的畫幅。

右欄展示拼接結(jié)果中佛像的眼部細(xì)節(jié)。AutoPano Giga使用線性融合得到的結(jié)果中具有多處模糊，這是單應(yīng)性模型描述力不足帶來的。運(yùn)用了復(fù)雜融合方法的Microsoft Photosynth在這一實(shí)驗(yàn)數(shù)據(jù)集中成功得到了非常銳利的全景圖像。PhotoScan的結(jié)果上下翻轉(zhuǎn)了。可以看到PhotoScan通過一些外部性假設(shè)，試圖補(bǔ)全了圖像中損失的部分，然而其拼接所得全景圖的大小僅為4096 x 3250像素（作為對比，我們輸出的全景圖大小為21019 x 15892像素），觀察其結(jié)果的眼部細(xì)節(jié)，甚至可以清晰的看到像素顆粒，這使得所得全景圖像不再具有意義。我們的方法則在保證圖像不經(jīng)歷旋轉(zhuǎn)或反轉(zhuǎn)的情況下，不需使用任何復(fù)雜的融合方法，得到了與Microsoft Photosynth同樣銳利的全景圖像。

4 結(jié)論

我們提出了一種簡單而魯棒的方法以拼接大幅面的壁畫圖像。壁畫圖像實(shí)際是不符合單應(yīng)性假設(shè)的而又大致為平面的圖像。我們的方法能夠同時處理數(shù)十張輸入圖像，同時保持輸出結(jié)果準(zhǔn)確，完整，以及視覺上優(yōu)秀。

參考文獻(xiàn)：

[1] Szeliski R. Image alignment and stitching： A tutorial， Journal Article[J]. Foundations and Trends? in Computer Graphics and Vision， 2006，2（1）：1-104.

[2] Burt P J. Adelson E H， A multiresolution spline with application to image mosaics， Journal Article[J]. ACM Transactions on Graphics （TOG）， 1983， 2（4）： 217-236.

[3] Perez P， Gangnet M， Blake A. Poisson image editing， Conference Proceedings[C]. ACM Transactions on Graphics （TOG）. 2003. ACM.

[4] Szeliski R. Shum H Y. Creating full view panoramic image mosaics and environment maps， Conference Proceedings[C]. Proceedings of the 24th annual conference on Computer graphics and interactive techniques， ACM Press/Addison-Wesley Publishing Co，1997.

[5] Triggs B.Bundle adjustment—a modern synthesis， Book Section[C]. Vision algorithms： theory and practice. 2000：298-372.

[6] Ullman S. The interpretation of structure from motion， Journal Article[C]. Proceedings of the Royal Society of London. Series B. Biological Sciences， 1979，203（1153）：405-426.

[7] Agarwala A.. Photographing long scenes with multi-viewpoint panoramas[C]. Conference Proceedings. in ACM Transactions on Graphics （TOG）. ACM， 2006.

[8] Gao J， Kim S J， Brown M S. Constructing image panoramas using dual-homography warping[C].Conference Proceedings. in Computer Vision and Pattern Recognition （CVPR）， 2011 IEEE Conference on. 2011.

[9] Zaragoza J. As-projective-as-possible image stitching with moving DLT[C].Conference Proceedings. in Computer Vision and Pattern Recognition （CVPR）， 2013 IEEE Conference on. IEEE，2013.