基于SFM算法的機載應(yīng)急偵測視頻三維場景重建方法研究

李朝亮，于海洋，江一帆，周春元,2

(1.河南理工大學(xué) 自然資源部礦山時空信息與生態(tài)修復(fù)重點實驗室，河南 焦作 454000；2.同濟大學(xué) 測繪與地理信息學(xué)院，上海 200092)

近年來，機載光電偵測技術(shù)快速發(fā)展，為災(zāi)害的應(yīng)急救援和評估提供了一種快速的數(shù)據(jù)獲取方式，其在森林防火偵察、地質(zhì)災(zāi)害調(diào)查、災(zāi)害應(yīng)急指揮救援等公共安全領(lǐng)域的應(yīng)用需求不斷提高，其獲取的偵測視頻數(shù)據(jù)能夠通過衛(wèi)星通信設(shè)備實時傳回地面指揮中心，用于災(zāi)害應(yīng)急分析，但是缺乏有效的數(shù)據(jù)快速處理方法。當(dāng)前，廣泛使用的區(qū)域網(wǎng)平差方法對于影像數(shù)據(jù)采集有著嚴格的要求：攝像機事先要進行幾何校準(zhǔn)，地面必須具有一定數(shù)量的合理分布的控制點[1-3]。由于地形和區(qū)域的限制，很難滿足上述條件，常規(guī)的光束法區(qū)域網(wǎng)平差方法不能完全適用于機載偵測視頻影像數(shù)據(jù)的快速處理。如何快速處理機載偵測視頻數(shù)據(jù)、實現(xiàn)視頻影像的三維場景重建與高精度定位以及及時獲取應(yīng)急災(zāi)情信息是目前亟須解決的關(guān)鍵問題。

在計算機視覺領(lǐng)域，利用運動恢復(fù)結(jié)構(gòu)[4](Sructure From Motinon,SFM)的算法處理視頻影像數(shù)據(jù)能夠快速恢復(fù)三維場景，該方法主要利用一系列重疊的圖像通過特征提取和匹配來恢復(fù)相機的姿態(tài)參數(shù)及三維幾何信息，該算法對圖像采集的要求低，自動化程度高，通用性好，在無人機影像處理[5-6]、無序照片集地形重建[7]、傾斜影像重建、近景攝影測量[8]等領(lǐng)域得到了大量應(yīng)用。盡管目前SFM發(fā)展迅速，但是大多數(shù)采用無人機搭載光學(xué)傳感器用于災(zāi)害監(jiān)測和災(zāi)害調(diào)查，而采用機載視頻影像用于災(zāi)害應(yīng)急測量及災(zāi)場三維重建方面鮮有研究。因此，本文以機載偵測系統(tǒng)獲取的視頻影像為數(shù)據(jù)源，利用SFM算法對研究區(qū)進行三維重建并對定位精度開展研究。

利用機載偵測系統(tǒng)進行視頻數(shù)據(jù)獲取，基于SFM點云重建的方法，建立了一種機載偵測視頻三維重建的方法，具體技術(shù)流程如圖1所示。

1 機載偵測視頻系統(tǒng)及數(shù)據(jù)預(yù)處理

1.1 機載視頻偵測系統(tǒng)

實驗所用機載視頻影像偵測系統(tǒng)以運輸飛機為飛行平臺，搭載MOES-350HD 載人飛行器兩軸伺服穩(wěn)定吊艙，能夠低空獲取大區(qū)域、高分辨率可見光視頻影像。系統(tǒng)主要有機載平臺及吊艙系統(tǒng)、機載衛(wèi)星通訊系統(tǒng)、音頻傳輸及實時系統(tǒng)、VPN數(shù)據(jù)傳輸系統(tǒng)、地面成圖分析系統(tǒng)5部分組成，系統(tǒng)工作原理如圖2所示。

圖2 系統(tǒng)工作原理圖

1.2 數(shù)據(jù)預(yù)處理

關(guān)鍵幀提取是處理視頻影像的一個重要步驟，如何快速獲取關(guān)鍵幀是實現(xiàn)機載視頻影像快速三維重建的關(guān)鍵問題之一。根據(jù)機載吊艙的航向、航高、飛行速度和攝像機參數(shù)等先驗知識，在參考航向重疊度，通過計算相鄰關(guān)鍵幀的時間間隔，按時間間隔實時提取關(guān)鍵幀，計算公式見式(1)：

(1)

式中：t為所求得時間間隔；p為航向重疊度；fps為攝像機幀率；H為飛行航高；W、uw分別是視頻幀航向像素點個數(shù)和像素物理尺；f為攝像機的焦距；v為攝像機像對與拍攝物體的速度；Integer()為向下取整數(shù)。

2 基于SFM算法的多視圖三維重建

2.1 基本原理

SFM是計算機視覺中多視圖三維重建的核心技術(shù)，通過多幅不同視角的序列圖像來匹配特征點，并根據(jù)匹配點計算出相對應(yīng)的三維點位置和解算相機參數(shù)的過程[9]。

按照姿態(tài)和初始位置的計算方式，SFM分為增量式SFM和全局式SFM。增量式SFM是一個影像與三維點數(shù)量逐漸增長的過程。首先需要獲取所有影像的匹配信息，利用匹配信息從所有待重建影像中選取兩張合適的影像作為“種子”，求解“種子”影像相對位姿并恢復(fù)匹配點的三維坐標(biāo)作為初始的三維點云，然后迭代式增加一幅或多幅影像，并計算其相機絕對位姿以及新的三維點坐標(biāo)。在每次新加入影像并重建完成后都需要進行一次光束平差以減少誤差累積，增加SFM的魯棒性[10]。全局式SFM不需要迭代優(yōu)化重建框架，只需一次優(yōu)化即可完成三維重建，即利用約束條件一次性求解影像的旋轉(zhuǎn)和平移。全局式 SFM 處理效率相對于增量式 SFM 大大提高，但這種方法對外點尤其敏感，有時一個外點可能導(dǎo)致解算失敗[11]，因此全局SFM具有一定的局限性。

2.2 增量式SFM主要步驟

2.2.1 特征點檢測

利用特征點檢測算法檢測影像中的特征點，通過在圖像中尋找局部極大值點，提取這些極值特征點的相關(guān)信息作為描述子，對提取的特征點進行描述，以備后續(xù)的匹配。特征的描述信息應(yīng)當(dāng)具有旋轉(zhuǎn)、縮放以及平移保持不變性，以減少影像視角、光照變化對匹配的干擾并提高匹配的魯棒性。常用的特征檢測算法以SIFT算法和其改進的算法最具有代表性[12]。

2.2.2 特征匹配

特征匹配是為了求得物方點在不同影像上對應(yīng)的特征點，通過在兩張或者是多張影像上提取特征點并進行匹配。在攝影測量中采用增量式SFM進行重建時，大多數(shù)算法常常采用窮舉的搜索方法進行匹配，這種方法計算效率較低。許志華、郭復(fù)勝等[11,13]利用SFM方法處理無人機數(shù)據(jù)時，利用已知的影像位置和姿態(tài)進行匹配，有效地提高了匹配的效率。完成匹配以后，為了提高模型參數(shù)的魯棒性，采用RANSAC(random sample and consensus,RANSAC)算法[14]剔除掉最近鄰匹配(nearest neighbor,NN)產(chǎn)生的誤匹配。通過特征匹配獲得影像間在空間中的相對關(guān)系和影像的同名特征點，這對后續(xù)的迭代求解具有重要的意義。

2.2.3 迭代求解

影像的姿態(tài)和位置通過迭代增加求解，主要過程如下：

(1)選擇影像之間的匹配點最多的作為初始化像對即求出影像間的本質(zhì)矩陣，通過本質(zhì)矩陣可以分解求得位置信息(旋轉(zhuǎn)矩陣R和平移向量T)，根據(jù)同名光線相交求得物方的空間初始化模型。

(2)根據(jù)影像的已知信息，將特征匹配的點添加到求得的初始化模型中，然后計算新添加影像的平移向量T和旋轉(zhuǎn)矩陣R，得到新的模型點，并重新優(yōu)化影像的位置和姿態(tài)。

(3)通過不斷增加新的影像并迭代優(yōu)化模型點坐標(biāo)以及內(nèi)部和外部相機參數(shù)，所有影像添加完之后再統(tǒng)一進行優(yōu)化平差，獲得所有影像內(nèi)外參數(shù)和模型點經(jīng)過優(yōu)化后的3D坐標(biāo)。

3 實驗區(qū)數(shù)據(jù)處理及結(jié)果分析

3.1 研究區(qū)概況及實驗數(shù)據(jù)獲取

研究區(qū)由兩部分組成：研究區(qū)一位于河南省焦作市博愛縣，該區(qū)域地形起伏較大，屬于山地丘陵地區(qū)；研究區(qū)二地處河南省鄭州市上街區(qū)，地勢平坦，屬于平原地區(qū)。實驗采用MOES-350HD載人飛行器兩軸伺服穩(wěn)定吊艙進行采集，該吊艙的視場角35.1°～1.1°，搭載識別距離為5 km的可見光攝像機。采用山區(qū)和平原兩個不同地形的實驗區(qū)以及不同飛行高度的機載視頻影像數(shù)據(jù)進行實驗，山區(qū)飛行高度為2 500 m(研究區(qū)一)，獲取面積為3.08 km2，平原飛行高度為500 m(研究區(qū)二)，獲取面積為1.47 km2。實驗利用機載衛(wèi)星鏈路將獲取的視頻影像進行實時傳輸，影像獲取時間為2018年12月25日，天氣晴朗，風(fēng)力2級左右。

選用徠卡GS14型RTK進行檢查點數(shù)據(jù)的采集。為保證精度，以水平方向和垂直方向20 mm為收斂閾值，兩個實驗區(qū)分別采集10個檢查點。

3.2 實驗數(shù)據(jù)處理

實驗平臺為臺式計算機，處理器為Intel Core i9-9900k，GPU為NVIDIA RTX2080，運行環(huán)境為Window10系統(tǒng)。在本次實驗中，為提高后期特征點匹配與三維重建效率，設(shè)定提取幀之間的影像重疊度為95%，滿足視圖重建的需求，研究區(qū)一和研究區(qū)二分別提取了37張、100張關(guān)鍵幀影像。對視頻影像進行處理得到部分關(guān)鍵幀的數(shù)據(jù)(如圖3所示)。實驗中分別采用SFM方法，通過對視頻影像進行特征提取與匹配、迭代求解，完成兩個研究區(qū)的場景重建。

圖3 研究區(qū)部分關(guān)鍵幀數(shù)據(jù)

3.3 實驗結(jié)果分析

3.3.1 研究區(qū)一精度分析

研究區(qū)一處理總耗時為6 min 56 s，完成場景重建(如圖4所示)，其中特征提取與匹配時間31 s，光束法平差6 min 4 s，生成模型21 s。檢查點點位誤差如表1所示，無地面控制點條件下，在y方向上誤差高達752.49 m。當(dāng)添加1個控制點后，模型誤差顯著降低(如圖5所示)。通過適當(dāng)增加控制點的數(shù)量，檢查點的平面中誤差明顯減少。當(dāng)選取控制點數(shù)量為7個時，平面中誤差為0.92 m。

表1 檢查點點位中誤差表

圖4 研究區(qū)一場景重建

圖5 控制點數(shù)與誤差變化趨勢圖

3.3.2 研究區(qū)二精度分析

研究區(qū)二進行場景重建總耗時4 min 35 s(如圖6所示)，其中特征提取與匹配時間1 min 30 s，光束法平差時間2 min 35 s，生成模型30 s。無地面控制點的情況下，檢查點的點位中誤差(如表2所示)在y方向上誤差最大為29.72 m，平面中誤差為35.71 m。

表2 檢查點點位中誤差表

圖6 研究區(qū)二場景重建

控制點數(shù)與誤差變化趨勢如圖7所示，通過圖7的對比效果能夠直觀地發(fā)現(xiàn)，隨著控制點數(shù)量的增加，各個指標(biāo)的誤差整體上呈現(xiàn)減小趨勢。在加入5個控制點后，各指標(biāo)誤差趨于平穩(wěn)，檢查點的x、y坐標(biāo)中誤差分別為0.71 m、0.67 m，平面中誤差為0.98 m。

圖7 研究區(qū)二控制點數(shù)與誤差變化趨勢圖

3.3.3 實驗結(jié)論分析

通過研究區(qū)一與研究區(qū)二的實驗結(jié)果對比分析可以得出：

(1)無控制點輔助下，研究區(qū)一的定位精度誤差較大(如圖8(a)所示)，生成DOM與高精度地圖匹配效果較差，在x方向上誤差為557.28 m，在y方向上誤差高達752.49 m，平面中誤差為936.38 m；研究區(qū)二在無控制點的情況，在x方向上誤差為19.79 m，在y方向上誤差為29.72 m，平面中誤差為35.71 m。這是由于研究區(qū)一飛機飛行高度較高、地形起伏較大造成的。

(2)研究區(qū)一的地形起伏較大(如圖9(a)所示)，最大起伏差達到450 m，在添加控制點的數(shù)量為7個時(如圖8(b)所示)，生成DOM與高精度地圖匹配效果基本一致，檢查點的平面中誤差為0.92 m；研究區(qū)二的地形起伏較小(如圖9(b)所示)，地形最大起伏差為145 m，在布設(shè)5個控制點時(如圖8(d)所示)，生成的DOM與高精度地圖匹配一致，此時檢查點的平面中誤差為0.98 m。采用SFM方法處理機載視頻影像數(shù)據(jù)生成的DOM，在不同地形條件的區(qū)域，通過布設(shè)較少的控制點，定位精度均優(yōu)于1 m，參考《低空數(shù)字航空攝影測量內(nèi)業(yè)規(guī)范》和《數(shù)字航空攝影測量空中三角測量規(guī)范》中12 000成圖精度要求[16-17]，該定位精度遠優(yōu)于規(guī)范要求，可滿足應(yīng)急定位的需求。

圖8 正射影像圖與谷歌地圖匹配效果圖

圖9 研究區(qū)DEM數(shù)據(jù)

4 結(jié)論

以SFM算法為基礎(chǔ)，建立了機載視頻影像的三維重建與定位的技術(shù)流程，分別選取不同飛行高度的平原和山區(qū)兩種地形實驗區(qū)，分析了在無控制點和添加少量控制點情況下的定位精度。在應(yīng)急定位精度要求不高的情況下，控制點可通過已有地形圖獲取平面坐標(biāo)和高程坐標(biāo)，實現(xiàn)控制點數(shù)據(jù)的快速獲取與添加。結(jié)果表明：利用機載視頻影像通過SFM算法，重建研究區(qū)的三維模型，在時間效率上有明顯優(yōu)勢，通過添加少量控制點，其定位精度能夠滿足應(yīng)急偵測的需要。