基于優(yōu)化三維重建技術(shù)的快速影像拼接

陳銳 陳志 張佳煜 鄭博文

摘 要：以無(wú)人機(jī)代替衛(wèi)星遙感實(shí)現(xiàn)三維重建技術(shù)的影像拼接是一種成本低、靈活度高的實(shí)現(xiàn)方式。室外無(wú)人機(jī)影像拼接通常存在深度相機(jī)對(duì)環(huán)境光照條件十分敏感等問(wèn)題，以運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SFM）和多視角立體（MVS）技術(shù)結(jié)合構(gòu)建拍攝區(qū)域的密集點(diǎn)云，再通過(guò)密集點(diǎn)云實(shí)現(xiàn)影像拼接的方法能夠解決上述問(wèn)題，但存在計(jì)算量較大和實(shí)時(shí)性較差的缺點(diǎn)。采用SURF特征描述子和最近鄰匹配方法降低計(jì)算量，優(yōu)化算法實(shí)時(shí)性能，同時(shí)提出一種增量式SFM流程中最優(yōu)圖像添加策略，提高光束平差法效率，并降低誤差。實(shí)驗(yàn)結(jié)果表明，該方法能夠在較短時(shí)間內(nèi)獲得較高精度的拼接影像，具有良好實(shí)時(shí)性。

關(guān)鍵詞：三維重建;無(wú)人機(jī)圖像拼接;運(yùn)動(dòng)恢復(fù)結(jié)構(gòu);多視角立體;算法優(yōu)化

DOI：10. 11907/rjdk. 201473 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類(lèi)號(hào)：TP317.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）007-0219-04

Rapid Image Splice Based on Optimized 3D Reconstruction Technique

CHEN Rui1， CHEN Zhi2， ZHANG Jia-yu3， ZHENG Bo-wen1

（1. Bell Honors School， Nanjing University of Posts and Telecommunications;2. College of Computer， Nanjing University of Posts and Telecommunications;3. College of Overseas Education， Nanjing University of Posts and Telecommunications， Nanjing 210003，China）

Abstract： Replacing satellite remote sensing with drones to realize the image stitching of 3D reconstruction technology is a kind of implementation with low cost and high flexibility. The technology of image stitching with drones in outdoor areas usually has the problem that the depth camera is very sensitive to ambient lighting conditions. This problem can be solved by using Structure from Motion （SFM） and multi-view stereo （MVS） to construct dense point clouds in the shooting area and using the dense point clouds to realize image stitching. Nevertheless， it has drawbacks of large calculations and poor real-time performances. The method of SURF feature descriptor and nearest neighbor matching is used to reduce the computation and optimize the real-time performance of the algorithm. At the same time， an optimal image addition strategy in the process of incremental SFM is proposed， which improves the efficiency of the bundle adjustment method and reduces the possibility of errors. Results of the experiments show that the method proposed in this paper can obtain high-precision stitched images in a short time， and has good real-time performance.

Key Words： 3D reconstruction; rapid image splice; structure from motion; multi-view stereo; algorithm optimization

0 引言

傳統(tǒng)載人航空遙感技術(shù)和衛(wèi)星遙感都受限于天氣和時(shí)間等因素，無(wú)法及時(shí)獲得遙感信息，文獻(xiàn)[1]指出無(wú)人機(jī)具有成本低、靈活性高、風(fēng)險(xiǎn)低等優(yōu)點(diǎn)，可以很好地彌補(bǔ)其在對(duì)地觀測(cè)精度、時(shí)效和頻度上的不足。如何快速實(shí)現(xiàn)無(wú)人機(jī)影像的校正、拼接、融合、分析是無(wú)人機(jī)領(lǐng)域發(fā)展的方向。常規(guī)無(wú)人機(jī)影像拼接方法利用數(shù)字高程模型對(duì)影像進(jìn)行正射校正，再根據(jù)影像地理信息完成拼接[2]，并通過(guò)多項(xiàng)式擬合參考影像與待配準(zhǔn)影像之間的幾何變換關(guān)系[3]。這兩種方法都需要人工干預(yù)，且前者需要布設(shè)高精度控制點(diǎn)，后者需要輔助影像，都不適用于實(shí)時(shí)性要求較高的領(lǐng)域。目前，有學(xué)者[4]將基于圖像的三維重建技術(shù)用于全自動(dòng)重建拍攝區(qū)域，在更短時(shí)間內(nèi)獲得精度不低于前兩種方法的拼接影像。

目前，基于圖像的三維重建技術(shù)包括：①基于單幅圖像的幾何投影和深度學(xué)習(xí)進(jìn)行三維重建[5]，其受圖像中幾何和光照條件影響較大，不適合在大型戶(hù)外場(chǎng)景中使用，一般多用于單個(gè)物體的三維重建過(guò)程[6];②基于RGB-D深度相機(jī)的同時(shí)定位和映射（SLAM）、運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（Structure From Motion，SFM）[7]和多視角立體（Multi-view Stereo，MVS）算法[8]，如ORB-SLAM2[9]，可以在短時(shí)間內(nèi)以較高精度重建受光照影響不大的室內(nèi)場(chǎng)景，由于深度相機(jī)本身對(duì)于環(huán)境光照非常敏感，這種方法不適用于戶(hù)外無(wú)人機(jī)航拍。

本文著重分析基于多幅圖像的SFM技術(shù)重建拍攝區(qū)域的稀疏點(diǎn)云，通過(guò)MVS技術(shù)構(gòu)建密集點(diǎn)云并實(shí)現(xiàn)影像拼接。分析此方法缺點(diǎn)，并提出合適的改進(jìn)方案。

1 基于三維重建的影像拼接流程

基于三維重建的影像拼接流程如圖1所示。

由于單通道可反映影像姿態(tài)參數(shù)，本文提取輸入圖像的灰度圖作為SFM的輸入，通過(guò)單通道影像的姿態(tài)、幾何信息恢復(fù)出拍攝地區(qū)的結(jié)構(gòu)后，再利用這些結(jié)構(gòu)信息拼接多通道的彩色圖像。

在SFM流程中，首先對(duì)每幅圖片提取圖像特征，由于拍攝區(qū)域的復(fù)雜性，要求使用魯棒性較強(qiáng)的描述子。緊接著，通過(guò)匹配兩幅圖片的特征點(diǎn)，找到特征點(diǎn)匹配個(gè)數(shù)達(dá)到要求的圖像對(duì)。為了降低誤匹配率，需要用幾何約束[10]加以檢測(cè)，再通過(guò)RANSAC[11]（隨機(jī)抽樣一致性）算法進(jìn)行濾波。由于無(wú)人機(jī)圖像數(shù)據(jù)的無(wú)序性，需要所有圖像兩兩匹配，最后將多幅圖像中出現(xiàn)的匹配點(diǎn)連接起來(lái)，形成運(yùn)動(dòng)軌跡。有了運(yùn)動(dòng)軌跡，即三維空間中的點(diǎn)在不同視角下的二維投影位置，就可以恢復(fù)出三維結(jié)構(gòu)。由于存在噪聲，可以采用光束平差法[12]（Bundle Adjustment）消除投影誤差。最終輸出重建的三維稀疏點(diǎn)云。

MVS算法用于將稀疏點(diǎn)云細(xì)化，產(chǎn)生密集重構(gòu)。通過(guò)SFM輸出每個(gè)圖像的相機(jī)參數(shù)，在二維特征上未正確檢測(cè)區(qū)域上計(jì)算三維頂點(diǎn)或進(jìn)行匹配。通過(guò)MVS產(chǎn)生的三維密集點(diǎn)云，可以生成多邊形網(wǎng)格表面，并通過(guò)后續(xù)紋理處理，最終實(shí)現(xiàn)影像拼接。

2 問(wèn)題分析

SFM+MVS的三維重建方法可以不借助其它輔助條件，較高精度地重建出拍攝地區(qū)的三維圖像。但其本身還存在一定缺點(diǎn)，主要表現(xiàn)在如下方面：

（1）圖像特征提取能力。SIFT（尺度不變特征變換）[13]是一種對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化等均保持良好不變性的特征描述子。但是，SIFT算子的特征向量高達(dá)128維，其計(jì)算復(fù)雜度很高。同時(shí)，SIFT算子對(duì)于邊緣光滑目標(biāo)的特征點(diǎn)提取能力較弱[14]。目前，有學(xué)者[15]提出通過(guò)GPU對(duì)SIFT特征點(diǎn)的提取算法進(jìn)行加速。但是這種方法不僅需付出較大硬件成本，還需要專(zhuān)用圖像處理器配合。

（2）數(shù)據(jù)特征匹配效率。在處理大區(qū)域無(wú)人機(jī)影像序列問(wèn)題中，影像之間的相互位置關(guān)系未知，每一對(duì)影像都需要兩兩匹配。由于特征向量的高維特點(diǎn)，采用暴力匹配策略往往效率不高。

（3）光速平差法初值及下一個(gè)最佳視圖選擇。光束平差法是一個(gè)高維非線(xiàn)性?xún)?yōu)化問(wèn)題，往往采用迭代方法求解，因此需要一個(gè)合適的初值。一旦被賦予錯(cuò)誤初值，將會(huì)陷入局部最優(yōu)。同時(shí)，在初值選定后，圖像添加順序也十分重要，選擇的差錯(cuò)會(huì)帶來(lái)巨大的時(shí)間代價(jià)，并導(dǎo)致迭代無(wú)法收斂。

3 優(yōu)化方法

3.1 圖像特征點(diǎn)提取高效性?xún)?yōu)化

鑒于SIFT具有維數(shù)高、計(jì)算復(fù)雜度高等特點(diǎn)，本文采用SURF代替SIFT。SURF（Speeded Up Robust Features）[16]是對(duì)SIFT的一種改進(jìn)算法，不僅保留了SIFT特征描述子在旋轉(zhuǎn)、尺度縮放、亮度變換等方面的不變特性，其特征向量也降低至64維，使得其計(jì)算速度大大提高。對(duì)比其它特征描述子，如BRISK[17]、ORB、FREAK，SURF在無(wú)人機(jī)圖像處理中具有更好的魯棒性[18]。

3.2 圖像特征匹配高效性?xún)?yōu)化

為了解決暴力特征匹配效率不理想的缺點(diǎn)，本文采用一種最近鄰搜索[19]方式。

用[F（I）]表示圖像[I]上的特征點(diǎn)，對(duì)于每一個(gè)圖像[I]和[J]，考慮其每一個(gè)特征[f∈F（I）]，需要找到最近鄰特征[fnn∈F（J）]。

其中，采用歐式距離，當(dāng)最近鄰與次近鄰距離之比小于一個(gè)閾值時(shí)，可以判定其為可接受的匹配對(duì)，閾值一般取經(jīng)驗(yàn)值0.6。這種方案會(huì)導(dǎo)致特征點(diǎn)中存在較多誤匹配，可以通過(guò)兩種約束條件進(jìn)行剔除。

（1）圖像[I]中的特征點(diǎn)在圖像[J]中至多匹配一個(gè)特征點(diǎn)，需滿(mǎn)足一一對(duì)應(yīng)條件。

（2）計(jì)算對(duì)極幾何后滿(mǎn)足幾何約束，即：

其中[，E]為本質(zhì)矩陣，僅依賴(lài)于兩張圖像之間的相對(duì)位姿，[pl]與[pr]分別是左像點(diǎn)和右像點(diǎn)。

3.3 光束平差法初始值選定及下一最佳視圖選擇優(yōu)化

光束平差法是為了減少在增量式SFM[20]過(guò)程中的誤差積累。在理想情況下，一個(gè)物體在不同視角下應(yīng)對(duì)應(yīng)相同的點(diǎn)，但是在三維重建實(shí)際過(guò)程中，可能會(huì)產(chǎn)生錯(cuò)誤匹配。

描述攝像機(jī)的外參數(shù)為[3*3]的旋轉(zhuǎn)矩陣[R]和[1*3]的平移向量（或者攝像機(jī)中心坐標(biāo)向量），攝像機(jī)的內(nèi)參數(shù)用一個(gè)焦距[f]和兩個(gè)徑向畸變參數(shù)[k1]、[k2]描述。幾何場(chǎng)景提供軌跡中的每個(gè)3D點(diǎn)[Xj]，通過(guò)投影方程，一個(gè)3D點(diǎn)[Xj]被投影到攝像機(jī)的2D圖像平面上。投影誤差就是投影點(diǎn)和圖像上真實(shí)點(diǎn)之間的距離，如圖2所示。

對(duì)于[n]個(gè)視角和[m]個(gè)軌跡，投影誤差的目標(biāo)優(yōu)化方程可以寫(xiě)為：

當(dāng)相機(jī)[i]觀察到軌跡[j]時(shí)，[wij]取1，否則取0，由于場(chǎng)景中特征點(diǎn)較多，這是一個(gè)巨大的高維非線(xiàn)性?xún)?yōu)化問(wèn)題。目前，常采用LM算法解決這類(lèi)非線(xiàn)性最小二乘問(wèn)題。

通過(guò)迭代方法求解時(shí)需要給算法賦予合適初始值。有兩點(diǎn)要求：一是足夠多的匹配點(diǎn)，二是足夠遠(yuǎn)的相機(jī)中心。為了尋找合適的初始圖像對(duì)，在特征匹配階段，可以采用RANSAC算法四點(diǎn)法計(jì)算單應(yīng)矩陣，滿(mǎn)足單應(yīng)矩陣的匹配點(diǎn)稱(chēng)為內(nèi)點(diǎn)，不滿(mǎn)足單應(yīng)矩陣的稱(chēng)為外點(diǎn)，滿(mǎn)足擁有足夠匹配內(nèi)點(diǎn)數(shù)量，同時(shí)內(nèi)點(diǎn)占比最小的像對(duì)就是初始化像對(duì)，一般閾值為多于100個(gè)匹配內(nèi)點(diǎn)。在初始化完成后，如何選擇圖像添加順序也是一個(gè)重要問(wèn)題。錯(cuò)誤的決定可能導(dǎo)致相機(jī)配準(zhǔn)錯(cuò)誤和點(diǎn)云生成錯(cuò)誤，因此視圖選擇會(huì)極大影響姿態(tài)估計(jì)質(zhì)量和三維點(diǎn)云的完整性和準(zhǔn)確性。本文選用一個(gè)未被添加且能觀測(cè)到最多三維點(diǎn)的視圖作為下一個(gè)最佳視圖，可有效提升無(wú)人機(jī)影像無(wú)序情況下的點(diǎn)云生成準(zhǔn)確性。