基于PhotoScan的徑流小區(qū)三維重建參數(shù)優(yōu)化

張興義 甄懷才 JAMES R Mike 楊 薇 張晟旻 李 浩

(1.東北農(nóng)業(yè)大學(xué)資源與環(huán)境學(xué)院， 哈爾濱 150030；2.中國科學(xué)院東北地理與農(nóng)業(yè)生態(tài)研究所黑土區(qū)農(nóng)業(yè)生態(tài)重點(diǎn)實(shí)驗(yàn)室， 哈爾濱 150081；3.蘭卡斯特大學(xué)環(huán)境中心， 蘭開夏郡 LA1 4YQ； 4.黑龍江省水利科學(xué)研究院， 哈爾濱 150081；5.中國科學(xué)院大學(xué)， 北京 100049)

0 引言

近年來，應(yīng)用基于運(yùn)動恢復(fù)結(jié)構(gòu)和多視圖立體視覺技術(shù)(Structure-from-motion with muti-view-stereo，SfM-MVS)的三維重建軟件，從地面或無人機(jī)系統(tǒng)獲取的高分辨率影像及衍生品已應(yīng)用于與地表過程有關(guān)的環(huán)境科學(xué)[1-2]。典型的處理過程是從多時段的影像中獲取數(shù)字高程模型(Digital elevation model，DEM)，進(jìn)而得到地表變化[3-5]。相比其他數(shù)字測量方法，SfM-MVS具有成本低、易于野外采集、能夠生成全三維數(shù)據(jù)、精度高等特點(diǎn)[6]。

盡管SfM-MVS方法易于使用，但實(shí)際應(yīng)用中的精度差異較大。其主要原因是軟件參數(shù)設(shè)置不當(dāng)或直接采用默認(rèn)參數(shù)，也可能與采用的誤差評價方式有關(guān)[7]。目前已有研究多在理論方面使用具有復(fù)雜參數(shù)的開源SfM-MVS程序，以評估處理參數(shù)的優(yōu)化對DEM精度的影響。而應(yīng)用型研究主要使用參數(shù)較少的商業(yè)SfM-MVS軟件及默認(rèn)參數(shù)，直接生成DEM[8-9]，缺乏評估商業(yè)SfM-MVS軟件中處理參數(shù)對點(diǎn)云精度影響的研究。大部分實(shí)際應(yīng)用以后者為實(shí)施方案，因此需要評估商業(yè)SfM-MVS處理參數(shù)對數(shù)據(jù)誤差的影響，評估結(jié)果亦有助于通過優(yōu)化處理參數(shù)提高DEM精度。

坡面是土壤侵蝕發(fā)生的基本單元[10-11]，坡面土壤侵蝕過程主要包括細(xì)溝間和細(xì)溝侵蝕[12]。徑流小區(qū)是監(jiān)測坡面侵蝕的常規(guī)方法[13]，該方法僅能通過徑流桶收集產(chǎn)流確定產(chǎn)沙總量，而不能區(qū)分細(xì)溝間與細(xì)溝侵蝕的貢獻(xiàn)。目前應(yīng)用SfM-MVS技術(shù)獲取侵蝕坡面的細(xì)溝體積及侵蝕量尚處于起步階段[14-16]，對處理過程優(yōu)化的研究較少。

本文以三維重建軟件Agisoft PhotoScan為例，研究商業(yè)SfM-MVS軟件的參數(shù)設(shè)置對坡面徑流小區(qū)三維重建精度的影響，并通過參數(shù)優(yōu)化，評估優(yōu)化后的DEM精度。

1 原理

1.1 理論基礎(chǔ)

SfM-MVS方法主要采用尺度不變特征變換(Scale-invariant feature transform，SIFT)[17]，在一系列不同的圖像中檢測和匹配特征點(diǎn)，并結(jié)合隨機(jī)采樣一致性算法(Random sample and consensus，RANSAC)[18]剔除誤匹配的特征點(diǎn)。采用基于最小二乘網(wǎng)絡(luò)優(yōu)化的光束平差法(Bundle adjustment)處理，生成特征點(diǎn)的三維坐標(biāo)及相機(jī)參數(shù)[19]。在僅有圖像時光束平差過程對點(diǎn)云賦予局部坐標(biāo)系，無法量測三維點(diǎn)之間的絕對距離。當(dāng)提供了外部控制信息時，光束平差將三維點(diǎn)云向外部控制信息做擬合匹配，并轉(zhuǎn)換為世界坐標(biāo)系。但如果對外部控制信息精度考慮不當(dāng)，添加外部控制信息的過程也可能引入新的誤差[20-21]。

添加控制信息的過程會影響匹配點(diǎn)與控制信息間的相對權(quán)重，以及相機(jī)模型的選擇，進(jìn)而影響DEM精度。點(diǎn)云中每個點(diǎn)是對多幅圖像中的特征點(diǎn)做匹配處理生成的，具有多余觀測，因此點(diǎn)云有自身的精度估計。同時外部控制信息也有精度估計。當(dāng)使用地面點(diǎn)為控制信息時，其精度包括控制點(diǎn)在圖像中的刺點(diǎn)精度和控制點(diǎn)的地面實(shí)測精度。如果控制點(diǎn)精度被高估，三維點(diǎn)云形狀可能因?qū)刂泣c(diǎn)過度擬合而產(chǎn)生畸變，降低總體精度。相反地，控制點(diǎn)精度被低估會降低其在光束平差過程中的權(quán)重，弱化控制點(diǎn)在降低三維點(diǎn)誤差中的作用，同樣會影響DEM的總體精度。此外，不恰當(dāng)?shù)木仍O(shè)置同時會對相機(jī)參數(shù)產(chǎn)生影響，進(jìn)而影響DEM精度。因此，對匹配點(diǎn)、控制點(diǎn)及相機(jī)參數(shù)賦予恰當(dāng)?shù)臄?shù)值，對得到合適的DEM精度十分重要。

傳統(tǒng)立體攝影測量軟件的光束平差過程能夠自動調(diào)整匹配點(diǎn)和控制點(diǎn)間的相對權(quán)重，并選擇最優(yōu)的相機(jī)模型，從而確保生成的DEM精度最佳[22]。盡管目前商業(yè)化SfM-MVS軟件能夠在項(xiàng)目執(zhí)行結(jié)束后的輸出報告中得到上述參數(shù)的實(shí)際值，但多數(shù)僅能使用參數(shù)初始值執(zhí)行光束平差，而不具備重新賦值的過程。因此，使用SfM-MVS輸出報告中的實(shí)際參數(shù)，對軟件的初始設(shè)置進(jìn)行調(diào)整并重做三維重建過程，有可能改善DEM精度。

1.2 優(yōu)化指標(biāo)

控制點(diǎn)誤差是配準(zhǔn)誤差，而驗(yàn)證點(diǎn)誤差代表精度，驗(yàn)證點(diǎn)誤差是通用的DEM精度評價方法。同時驗(yàn)證點(diǎn)與控制點(diǎn)誤差比能夠體現(xiàn)自動連接點(diǎn)與控制信息二者各自對DEM形態(tài)的控制性。誤差比越低，表明DEM形態(tài)向自動連接點(diǎn)與控制點(diǎn)的擬合趨近平衡。因此選用的指標(biāo)為：驗(yàn)證點(diǎn)誤差和驗(yàn)證點(diǎn)與控制點(diǎn)誤差比。

2 試驗(yàn)布設(shè)與優(yōu)化過程

2.1 試驗(yàn)布設(shè)

試驗(yàn)選在位于黑龍江省海倫市的中國科學(xué)院海倫水土保持監(jiān)測研究站的裸地徑流小區(qū)(126°50′1.42″ E，47°21′12.61″ N)進(jìn)行。徑流小區(qū)長20.0 m，寬4.5 m。于2019年4月春季翻耕前開展試驗(yàn)。

2.2 數(shù)據(jù)獲取

首先在徑流小區(qū)內(nèi)外均勻布設(shè)37個地面點(diǎn)(圖1)。其中外部7個地面點(diǎn)，包括頂部一個，小區(qū)每側(cè)各3個。徑流小區(qū)內(nèi)部均勻布設(shè)30個地面點(diǎn)。使用南方測繪公司銀河6的差分GPS(±(8 mm+1×10-6D)，D表示以GPS為中心的方圓直徑)獲取每個地面點(diǎn)的三維坐標(biāo)，建立獨(dú)立坐標(biāo)系。應(yīng)用大疆公司的精靈4 Pro無人機(jī)(1英寸2 000萬像素CMOS)航拍獲取小區(qū)圖像。飛行高度3.5 m，拍攝時確保圖像的寬度方向能夠覆蓋小區(qū)的短邊及外部地面點(diǎn)，并手動依次沿小區(qū)長邊移動無人機(jī)拍攝，相鄰圖像的覆蓋度約85%。共拍攝圖像42幅。

圖1 試驗(yàn)小區(qū)及拍攝方案Fig.1 Overview of research plot with image distributions and ground point locations

2.3 三維重建基本流程

本文應(yīng)用Agisoft PhotoScan Professional (V1.2.6)執(zhí)行SfM-MVS流程。使用Matlab相機(jī)標(biāo)定工具箱(Camera Calibration Toolbox for Matlab)[24]檢測相機(jī)鏡頭畸變，以明確相機(jī)個體誤差對三維重建結(jié)果的影響。在PhotoScan中運(yùn)行蒙特卡洛Python腳本[20]，以執(zhí)行不同參數(shù)設(shè)置對DEM精度影響的批處理。使用ArcGIS V10.2對DEM做剪切、相減等柵格處理。

2.4 優(yōu)化流程

PhotoScan默認(rèn)設(shè)置中，自動連接點(diǎn)刺點(diǎn)精度(Tie point accuracy)、地面點(diǎn)刺點(diǎn)精度(Projection accuracy)以及地面點(diǎn)精度(Marker accuracy)分別為1.0像素、0.1像素及5 mm。而相機(jī)模型的參數(shù)較多，如表1所示。

表1 相機(jī)模型與參數(shù)Tab.1 Camera models and their parameters

優(yōu)化過程1確定自動連接點(diǎn)與地面點(diǎn)二者的實(shí)際刺點(diǎn)精度。首先使用PhotoScan將圖像自動匹配定向(使用‘Align images’功能，參數(shù)設(shè)置為‘High’精度，‘Generic pair’圖像對，單張圖像關(guān)鍵點(diǎn)和連接點(diǎn)分別限制為40 000和1 000)，以生成稀疏點(diǎn)云。然后將所有地面點(diǎn)在潛在圖像中刺出，即刺點(diǎn)。之后執(zhí)行“Optimization”，即光束平差。此時PhotoScan的“Reference”界面能夠獲取自動連接點(diǎn)與地面點(diǎn)二者的實(shí)際刺點(diǎn)精度，即優(yōu)化后的刺點(diǎn)精度。將其輸入到“Reference setting”中，重新運(yùn)行光束平差。

優(yōu)化過程2確定相機(jī)模型和參數(shù)以及地面點(diǎn)的實(shí)測精度。相機(jī)模型有4種(表1)。地面點(diǎn)的實(shí)測精度測試范圍設(shè)置為1、2、5、10、20、50、100、200、500、1 000、2 000 mm。每次執(zhí)行時隨機(jī)選擇一半數(shù)目的地面點(diǎn)為控制點(diǎn)，另一半為驗(yàn)證點(diǎn)，以評估相機(jī)模型和地面實(shí)測精度的每種組合下驗(yàn)證點(diǎn)和控制點(diǎn)的誤差，以及二者的比值。判斷標(biāo)準(zhǔn)是前兩者能夠顯著降低，或二者的比值降低。確定了相機(jī)模型和地面點(diǎn)實(shí)測精度組合后，將所有地面點(diǎn)作為控制點(diǎn)，確定此種相機(jī)模型的各個參數(shù)值。

在確定優(yōu)化過程1和2中的參數(shù)后，生成DEM。在PhotoScan中使用“High”質(zhì)量和“Aggressive”深度過濾生成密集點(diǎn)云。使用“High”面數(shù)生成網(wǎng)格，并生成2 mm分辨率DEM。

2.5 誤差評估

首先使用軟件的默認(rèn)設(shè)置(圖2)，以及小區(qū)外圍地面點(diǎn)為控制點(diǎn)、內(nèi)部地面點(diǎn)為驗(yàn)證點(diǎn)生成DEM1；然后采用優(yōu)化后的參數(shù)設(shè)置，以及全部地面點(diǎn)為控制點(diǎn)生成DEM2；采用優(yōu)化后的參數(shù)設(shè)置，以及小區(qū)外圍地面點(diǎn)為控制點(diǎn)、內(nèi)部地面點(diǎn)為驗(yàn)證點(diǎn)生成DEM3。將DEM2與DEM1做柵格相減生成DoD1(DEMs of difference，DoD)，DEM3與DEM2做柵格相減生成DoD2。通過對比驗(yàn)證點(diǎn)誤差，以及DoD1與DoD2的差異評估優(yōu)化過程對DEM精度的影響。

圖2 SfM-MVS優(yōu)化流程圖Fig.2 SfM-MVS optimization workflow

3 結(jié)果與分析

3.1 相機(jī)標(biāo)定

圖3 相機(jī)標(biāo)定及標(biāo)定結(jié)果Fig.3 Carema calibration photo and results

基于Matlab相機(jī)標(biāo)定工具箱的傳統(tǒng)標(biāo)定方法表明，精靈4 Pro無人機(jī)鏡頭的畸變較小。本實(shí)例共拍攝了28幅校正圖像(圖3a)。圖3b表明幾乎所有的標(biāo)志點(diǎn)在X、Y方向的重投影誤差均小于1像素，平均值分別為0.29、0.25像素(表2)，且在每個方向上的分布密度均相似。此外，焦距、焦點(diǎn)、斜率與畸變系數(shù)的變異系數(shù)均小于3%，因此本試驗(yàn)采用的精靈4 Pro鏡頭的畸變系數(shù)較小，排除相機(jī)個體差異。

表2 相機(jī)參數(shù)Tab.2 Camera parameters

3.2 刺點(diǎn)精度參數(shù)優(yōu)化

為了明晰DEM誤差對軟件精度設(shè)置的敏感度，首先檢驗(yàn)了自動連接點(diǎn)和地面點(diǎn)的刺點(diǎn)精度以及地面點(diǎn)的實(shí)測精度對驗(yàn)證點(diǎn)/控制點(diǎn)誤差的影響。設(shè)置如下：自動連接點(diǎn)刺點(diǎn)精度為0.1～4.0像素，地面點(diǎn)刺點(diǎn)精度為0.1～1.0像素，地面點(diǎn)實(shí)測精度為1～50 mm。每次執(zhí)行光束平差時，隨機(jī)選擇一半數(shù)目的地面點(diǎn)為控制點(diǎn)，另一半為驗(yàn)證點(diǎn)，以消除特定地面點(diǎn)誤差的影響。

以地面點(diǎn)實(shí)測精度為基礎(chǔ)，軟件精度設(shè)置對驗(yàn)證點(diǎn)與控制點(diǎn)的影響如表3所示。軟件的精度設(shè)置對控制點(diǎn)影響較大(11～26 mm)，對驗(yàn)證點(diǎn)誤差影響較小(24～26 mm)，表明軟件參數(shù)設(shè)置對控制信息擬合程度影響的差異較大。當(dāng)?shù)孛纥c(diǎn)精度為1 mm時，不同的自動連接點(diǎn)和地面點(diǎn)刺點(diǎn)精度組合下，控制點(diǎn)誤差為11～26 mm；而當(dāng)?shù)孛纥c(diǎn)精度為50 mm，控制點(diǎn)誤差減小為22～23 mm。

表3 軟件精度設(shè)置對控制點(diǎn)和驗(yàn)證點(diǎn)誤差的影響Tab.3 PhotoScan settings effect on control and check points error mm

圖4 設(shè)置參數(shù)對驗(yàn)證點(diǎn)與控制點(diǎn)誤差比的綜合影響Fig.4 Effect of varying projection accuracy, tie-point accuracy and marker accuracy on check to control point error ratio

設(shè)置參數(shù)時對驗(yàn)證點(diǎn)與控制點(diǎn)誤差比的綜合影響如圖4所示。由圖4可知，驗(yàn)證點(diǎn)與控制點(diǎn)誤差比范圍較大(1.0～2.4)，同時在默認(rèn)參數(shù)設(shè)置下，即自動連接點(diǎn)刺點(diǎn)精度1.0像素、地面點(diǎn)實(shí)測精度0.1像素，誤差比為1.95。PhotoScan給出的二者精度分別為0.33、0.26像素，并應(yīng)用其重新運(yùn)行光束平差后，驗(yàn)證點(diǎn)與控制點(diǎn)誤差比為1.26，即優(yōu)化后誤差比降低了35%。

圖5 不同相機(jī)模型的控制點(diǎn)與驗(yàn)證點(diǎn)誤差Fig.5 RMSE of control and check points by using different camera models

3.3 相機(jī)模型選擇

不同相機(jī)模型下的誤差特征差異如圖5所示。地面點(diǎn)實(shí)測精度對垂直方向誤差有較大影響，而對水平方向誤差影響較弱。當(dāng)相機(jī)模型僅包含焦距信息(相機(jī)模型A)時，地面點(diǎn)實(shí)測精度變化對誤差幾乎無影響。當(dāng)相機(jī)模型包含像主點(diǎn)、徑向畸變、切向畸變及縱橫比和扭曲度參數(shù)時，隨著參數(shù)的增加，驗(yàn)證點(diǎn)誤差以及驗(yàn)證點(diǎn)與控制點(diǎn)誤差比隨地面點(diǎn)實(shí)測精度的變化趨勢與取值均類似(圖6)。相對于相機(jī)模型B，相機(jī)模型C的控制點(diǎn)和驗(yàn)證點(diǎn)的RMSE稍低。然而相對于相機(jī)模型C，更復(fù)雜的相機(jī)模型D并沒有表現(xiàn)出明顯的優(yōu)勢，控制點(diǎn)和驗(yàn)證點(diǎn)的RMSE以及驗(yàn)證點(diǎn)與控制點(diǎn)誤差比均類似?？紤]到復(fù)雜的相機(jī)模型需更長的處理時間，因此選擇包含焦距、像主點(diǎn)、徑向畸變、切向畸變參數(shù)的相機(jī)模型C作為相機(jī)模型。

圖6 不同相機(jī)模型驗(yàn)證點(diǎn)與控制點(diǎn)誤差曲線Fig.6 Effect of varying camera models on error ratios of check to control point

4 誤差分析

4.1 DEM表面形態(tài)差異

圖7a為優(yōu)化前后的DEM表面形態(tài)。從DEM表面形態(tài)上難以看出優(yōu)化過程對DEM形態(tài)的影響。在DEM表面繪制剖面參考線(圖7b)，結(jié)果表明優(yōu)化前后DEM表面形態(tài)有變化，不同DEM間高程差異小于10 mm。

圖7 優(yōu)化前后DEM形態(tài)及剖面Fig.7 DEM surfaces and corresponding profiles

4.2 DEM誤差

SfM-MVS獲取的DEM誤差通常隨控制點(diǎn)數(shù)量或布設(shè)均勻度增加而降低[20]。對于徑流小區(qū)，控制點(diǎn)只能布設(shè)在小區(qū)外圍，而難以布設(shè)在小區(qū)內(nèi)部。因此理論上應(yīng)用全部地面點(diǎn)為控制點(diǎn)且采用優(yōu)化流程后生成的DEM的誤差最小。在僅使用外圍地面點(diǎn)的情形下，采用了優(yōu)化流程，生成的DEM也存在一定的誤差。因此本文以使用全部地面點(diǎn)作為控制點(diǎn)、采用優(yōu)化流程后的DEM作為基準(zhǔn)，評估在僅應(yīng)用外圍地面點(diǎn)為控制點(diǎn)時，優(yōu)化流程前后DEM誤差的變化，優(yōu)化前后DEM誤差如表4所示。

表4 優(yōu)化前后DEM誤差Tab.4 DEM error before and after optimization mm

由表4可知，優(yōu)化過程降低了DEM誤差。驗(yàn)證點(diǎn)誤差為基于單點(diǎn)位置的DEM驗(yàn)證方法，而平均絕對誤差(Mean absolute error，MAE)、均方根誤差(Root mean squard error，RMSE)及標(biāo)準(zhǔn)差(Standard deviation，SD)為基于點(diǎn)云的DEM驗(yàn)證方法[25]。優(yōu)化后驗(yàn)證點(diǎn)誤差從20.0 mm降低至11.0 mm，精度提高了45%，DEM誤差范圍從(-40，40) mm降低到(-20，20) mm。平均絕對誤差從4.8 mm降低至2.8 mm，均方根誤差從5.4 mm降低至3.7 mm，均降低約40%。標(biāo)準(zhǔn)差反映誤差的離散程度。優(yōu)化前后誤差離散程度從4.4 mm降低至3.7 mm。由于優(yōu)化后的驗(yàn)證點(diǎn)誤差(11 mm)與細(xì)溝侵蝕深度標(biāo)準(zhǔn)相當(dāng)[26](溝深大于等于10 mm)，因此優(yōu)化后的徑流小區(qū)三維重建過程更適宜于細(xì)溝侵蝕過程的三維表達(dá)。

圖8 優(yōu)化前后DEM誤差空間分布Fig.8 DEM error spatial distribution before and after optimization

從誤差空間分布看(圖8)，優(yōu)化前后誤差正負(fù)值呈現(xiàn)出一定的“碗”狀分布。優(yōu)化前正值誤差集中于研究區(qū)域的右上部，負(fù)值誤差分散于左下部；優(yōu)化后該“碗”狀被加強(qiáng)，正值誤差集中于研究區(qū)域的中上部，負(fù)值誤差分布于兩側(cè)。表明優(yōu)化過程并沒有降低“碗”狀效應(yīng)。這可能與圖像拍攝方向均垂直于地表有關(guān)。已有研究指出當(dāng)所有拍攝方向均平行時易于出現(xiàn)“碗效應(yīng)”[21]，應(yīng)增加不同拍攝角度圖像最小化“碗效應(yīng)”的影響，從而產(chǎn)生收斂的成像效果。此外，相對于PhotoScan，MicMac具有包含5個徑向失真系數(shù)的布朗畸變模型(Brown’s distortion model)，有可能消除“碗效應(yīng)”產(chǎn)生的系統(tǒng)誤差[27]。

5 結(jié)論

(1)商業(yè)SfM-MVS三維重建軟件能夠通過優(yōu)化參數(shù)，提高DEM精度。

(2)PhotoScan的精度參數(shù)和相機(jī)模型設(shè)置對DEM誤差有較大影響。默認(rèn)設(shè)置下生成的徑流小區(qū)DEM趨于對地面控制點(diǎn)的過度擬合，而弱化了自動連接點(diǎn)的準(zhǔn)確性在DEM誤差控制中的作用?？梢允褂肞hotoScan輸出報告給出的自動連接點(diǎn)與地面點(diǎn)刺點(diǎn)精度代替軟件默認(rèn)值，并使用相機(jī)模型C，執(zhí)行優(yōu)化過程，以改善徑流小區(qū)DEM對地面控制點(diǎn)的過度擬合。

(3)實(shí)施優(yōu)化過程后，驗(yàn)證點(diǎn)與控制點(diǎn)誤差比降低了35%?；趩吸c(diǎn)和點(diǎn)云二者的驗(yàn)證誤差降低約40%。驗(yàn)證點(diǎn)誤差從20.0 mm降至11.0 mm，MAE和RMSE分別從4.8 mm與5.4 mm降至2.8 mm與3.7 mm，SD從4.4 mm降至3.7 mm。

(4)優(yōu)化后的驗(yàn)證點(diǎn)誤差(11 mm)與細(xì)溝侵蝕深度標(biāo)準(zhǔn)相當(dāng)(溝深大于等于10 mm)，因此經(jīng)過優(yōu)化后的徑流小區(qū)三維重建過程更適宜于細(xì)溝侵蝕過程的三維表達(dá)。