三維攝影條件下視差角光束法平差模型的適用性研究

左正康 晏磊 孫巖標 趙紅穎 張瑞華 孫嘉玉 劉思遠 王強 孫逸淵

北京大學學報(自然科學版) 第59卷 第3期 2023年5月

Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 59, No. 3 (May 2023)

10.13209/j.0479-8023.2023.033

2022–01–20;

2023–02–07

三維攝影條件下視差角光束法平差模型的適用性研究

左正康1,2,3晏磊1,2,?孫巖標4趙紅穎5張瑞華5孫嘉玉5劉思遠5王強6孫逸淵5

1.廣西高校無人機遙測重點實驗室, 桂林航天工業(yè)學院, 桂林 541004; 2.空間信息集成與 3S 工程應用北京市重點實驗室, 北京大學, 北京 100871; 3.大勢智慧科技有限公司, 武漢 430000; 4.天津大學精密儀器與光電子工程學院, 天津 300072; 5.地球觀測與導航教育部工程研究中心, 北京大學, 北京 100871; 6.天津師范大學地理與環(huán)境科學學院, 天津 300387; ?通信作者, E-mail: lyan@pku.edu.cn

為了論證視差角光束法平差模型在短基線攝影條件下的適用性, 將視差角光束法平差(PBA)模型中基于二維假設的數(shù)學證明擴展到三維, 研究視差角參數(shù)對觀測噪聲的敏感性、法方程奇異性以及線性化程度, 并基于 2.11×10?8～2.11×10?12弧度的小交會角的短基線攝影條件進行仿真和真實實驗。理論分析和實驗結(jié)果表明, 目前的PBA模型僅適用于二維攝影, 不能解決三維攝影條件下短基線的平差問題。

短基線; 視差角光束法平差; 三維攝影條件; 數(shù)學證明

攝影測量指基于圖像重建三維場景[1]。目前, 商業(yè)軟件或開源庫中有許多典型的攝影測量軟件, 例如 Metashape[2], Pix4D[3], DPGrid[4]和 TOPGrid[5]是攝影測量界的主流商業(yè)軟件。此外, VisualSF-M[6], OSM Bundler[7–10], Microsoft Photosynth[11], Photosynth Toolkit (Photosynth+CMVS/PMV-S2), Autodest 123D Catch[12], SFMToolKit[13], CMP-MVS[14], ARC 3D Webservice[15], Meshroom[16]以及3Dflow[17]是研究人員廣泛使用的開源庫或 Web 服務。還有許多公開可用的獨立光束法平差包, 如SBA[18], sSBA[19]和 g2o[20], 它們被認為是攝影測量軟件的核心模塊, 用于估計特征點的位置和相機姿態(tài)。

在光束法平差的模型實現(xiàn)過程中, 這些攝影測量軟件都采用空間直角坐標()來參數(shù)化特征點(XYZBA)。趙亮等[21–22]和孫巖標等[23–25]認為 XYZ-BA 無法解算短基線攝影條件下的平差網(wǎng)。2012 年, 趙亮等[21–22]提出視差角光束法平差(parallax bundle adjustment, PBA)模型, 用 3 個角度(方位角、高度角和視差角)替代坐標, 對特征點進行參數(shù)化, 并在二維攝影條件下完成視差角參數(shù)對觀測噪聲的敏感性數(shù)學證明, 得到“PBA 中的視差角參數(shù)不受觀測值初始誤差影響”的結(jié)論。2015 年, 孫巖標 等[23–25]在二維的攝影條件下, 對 PBA 模型的法方程奇異性進行數(shù)學證明, 得到“PBA 模型的法方程系數(shù)矩陣的行列式為 1, 法方程永遠正定”的結(jié)論。

眾所周知, 真實的攝影條件是三維的, 趙亮 等[21–22]和孫巖標等[23–25]在二維攝影條件下的數(shù)學證明需要在三維條件下進行進一步論證。本文聚焦于三維攝影條件下視差角參數(shù)對觀測噪聲的敏感性、法方程奇異性和線性化程度等的數(shù)學證明, 并在 2.11×10?8～2.11×10?12弧度的小交會角的短基線攝影條件下進行實驗驗證。

1 PBA 模型

PBA 模型[21–22]用 3 個角度(方位角、高度角和視差角)來參數(shù)化三維目標點的地理位置, 即F=(α,β, γ), 如圖 1 所示。

三維目標點F= [α β γ]到二維像點 [,]之間的投影關(guān)系的觀測方程為

其中,為內(nèi)參矩陣;m與分別為主相機與相機的旋轉(zhuǎn)矩陣;t為縮放因子;m為相機m到達目標點F的單位向量:

為相機t到達特征點F的向量:

2 數(shù)學證明

本文在三維攝影條件下, 分別從理論上證明PBA 模型中視差角參數(shù)對觀測噪聲的敏感性、PBA模型的法方程奇異性和線性化程度。

2.1 視差角參數(shù)對觀測噪聲的敏感性

2.1.1 二維攝影條件

因此,

圖2 二維攝影條件[21–22]

Fig. 2 Two-dimensional photography condition[21–22]

因此, 趙亮等[21–22]認為 PBA 模型中的視差角參數(shù)不受觀測值初始誤差的影響。

2.1.2 三維攝影條件

圖3 三維攝影條件

可以發(fā)現(xiàn), 當={0, π}時, 視差角在三維攝影條件下的參數(shù)化形式與二維攝影條件相同,可由其他角度線性表達。然而, 當≠{0, π}時, 視差角在三維攝影條件下的參數(shù)化形式變?yōu)榉蔷€性表達式。

視差角的計算值為

2.2 法方程奇異性

孫巖標[23]關(guān)于 PBA 和 XYZBA 法方程奇異性的數(shù)學分析是基于二維攝影條件, 本文認為他得出的結(jié)論“PBA 模型的法方程系數(shù)矩陣的行列式為 1, 法方程永遠正定”無法擴展到三維攝影條件。

2.2.1 二維攝影條件

在圖 2 的二維攝影條件下, 兩個相機在全局坐標系的方向角為α和α。選取第一個相機為目標點的主錨點, 則目標點用視差角可表示為

= (,) , (11)

其中,表示視差角;表示目標點在全局坐標系下的方向角, 等價于

孫巖標[23]將β和β作為光束法平差模型的觀測量, 將和作為變量, 其最小二乘優(yōu)化問題可表示為

(,) = [1(,) ?β]2+ [2(,) ?β]2,(13)

其中,1(,)和2(,)分別為目標點在兩個相機上的觀測方程:

1(,) =? α, (14)

2(,) =+–α。 (15)

兩個觀測方程對變量和的一階導數(shù)組成 Jacobi矩陣:

其法方程為

因此, 行列式為 1, 法方程永遠正定。

2.2.2 三維攝影條件

在三維攝影條件下, PBA 模型的第一類未知數(shù)是相機的 6 個外方位元素, 第二類未知數(shù)是目標點的 3 個角度參數(shù)化坐標, 即= (α, β, γ)。其目標函數(shù)為

可以發(fā)現(xiàn), 在三維攝影條件下, PBA 模型的觀測方程不再如式(14)和(15)一樣呈線性, 而是變成了非線性方程。我們進一步計算三維攝影條件下 PBA模型的法方程系數(shù)矩陣:

可以看出, 三維攝影條件下 PBA 模型的法方程系數(shù)矩陣的行列式 det (T) 不等于 1, 也難以永遠正定, 孫巖標[23]在二維攝影條件下的證明結(jié)論在三維攝影條件下并不適用。

2.3 線性化程度

由線性代數(shù)理論可知, 若系數(shù)矩陣可逆, 則非齊次線性方程組=的封閉解為=?1。因此, 如果待求解的方程組為線性方程組, 則可以直接求得其封閉解, 無需從近似的初始解0出發(fā), 迭代求解。這意味著線性方程組的解算不依賴于初始值。

在 PBA 中, 單根光線的觀測方程為3×1=3×3·3×1, 其中3×1= [1]T為像點的齊次坐標,3×1= [?c?c?c]T為平移向量,3×3=3×3·3×3為內(nèi)參矩陣與旋轉(zhuǎn)矩陣的乘積。

在內(nèi)參矩陣3×3和旋轉(zhuǎn)矩陣3×3已知的“非自由網(wǎng)平差”條件下, 其觀測方程3×1=3×3·3×1呈非齊次線性形式, 我們可以直接求得封閉解3×1=?13×3·3×1。

1)在XYZBA 中, 未知的線元素為6×1= [ccc]T, 求得封閉解3×1=?13×3·3×1之后,3×1是一個“秩虧”的線性方程組, 表達式為

[3×3?3×3]3×66×1=3×1。(21)

若≥ 3 (+), 則系數(shù)矩陣“滿秩”, 可求得的封閉解:

無需從近似的初始解0出發(fā), 迭代求解。

2)在 PBA 中, 未知數(shù)為6×1= [α β γ x y z]T, 求得封閉解3×1=?13×3·3×1之后,3×1是一個非線性方程組, 表達式為

sin·3×1=·sin (+)·[cossincoscossin]T

? sin·[ccc]T, (24)

需從近似的初始解0出發(fā), 迭代求解。

3 仿真實驗證明

本文考慮一種兩光線交會角很小的最簡化情況, 即 1 個特征點被兩個相機觀測到。仿真場景見圖5, 實驗參數(shù)描述見表 1。

圖4 匹配點文件結(jié)構(gòu)

3.1 觀測值噪聲的影響

表 2 和 3 以及圖 6 為短基線攝影條件(=2.11×10?8rads)下, 平差模型在不同的像點觀測值噪聲下對特征點坐標的預測結(jié)果。

圖5 短基線仿真場景

表1 仿真實驗細節(jié)描述

將均值=0, 方差=0.33, 1, 10, 20 和 50 像素的高斯噪聲分別添加到理想的像點坐標上, 分別用PBA 和 XYZBA 預測特征點的坐標, 并計算預測 誤差。

表2 PBA對特征點的預測誤差受像點噪聲的影響

說明: PBA 中特征點坐標的初值=真值+白噪聲(=0.1 rads)。

表3 XYZBA對特征點的預測誤差受像點噪聲的影響

說明: XYZBA 中特征點坐標的初值=真值+白噪聲(=1×107m)。

圖6 PBA 和 XYZBA 對特征點的預測誤差受像點噪聲的影響

例如, 在=0.33 像素的像點噪聲下, 視差角的真值t=2.11×10?8rads, PBA 預測的視差角p=7.2× 10?5rads, 雖然預測誤差p?t僅為 7.19789×10?5rads, 但將該誤差換算成深度值p?t約為 1.96×104m。最后, 在 PBA 中,方向誤差還會傳遞到和方向的預測中。

從表 3 可以發(fā)現(xiàn), 在短基線攝影條件下, XY-ZBA 預測的坐標不僅誤差很大, 對像點噪聲也很敏感, 但和方向的預測誤差很小, 且?guī)缀醪皇芟顸c噪聲的影響。實驗結(jié)果與文獻[21–23]中的數(shù)學證明矛盾, 與 2.1 節(jié)視差角參數(shù)對觀測噪聲的敏感性的數(shù)學證明結(jié)果一致。

3.2 迭代初始值的影響

表 4 和 5 以及圖 7 為短基線攝影條件(=2.11× 10?8rads)下, 平差模型在不同質(zhì)量的迭代初始值下對特征點坐標的預測結(jié)果。

將均值=0, 方差=0.01, 0.1, 1, 2 和 3.14 弧度的高斯噪聲分別添加到視差角參數(shù)化的特征點真值上, 用 PBA 預測特征點的 3 個角度坐標, 并計算預測誤差。將均值=0, 方差=1×104, 1×105, 1×106, 1×107和 1×108m 的高斯噪聲分別添加到XYZ 參數(shù)化的特征點真值上, 用 XYZBA 預測特征點的 3 個直角坐標, 并計算預測誤差。

從圖 7 可以發(fā)現(xiàn), PBA 對特征點的預測誤差受迭代初始值的影響較大, 但 XYZBA 完全不受初始值的影響, 說明 PBA 對特征點的預測是一個非線性優(yōu)化過程, XYZBA 對特征點的預測是一個線性優(yōu)化過程, 與 2.3 節(jié)線性化程度的數(shù)學證明結(jié)果一致。

3.3 短基線條件的影響

圖 8 為在不同的短基線攝影條件下, 平差模型在迭代過程中的法方程奇異性變化。分別模擬 2.11 ×10?8, 2.11×10?9, 2.11×10?10, 2.11×10?11和 2.11× 10?12rads 交會角的短基線攝影條件, 然后記錄平差模型在迭代過程中的法方程海森矩陣的行列式 det (), 若 det()=0, 則法方程奇異。

從圖 8 可以發(fā)現(xiàn), PBA 和 XYZBA 在所有的短基線攝影條件下都沒有出現(xiàn)法方程奇異的結(jié)果, 與文獻[21–23]中的數(shù)學證明結(jié)果矛盾, 與 2.2 節(jié)法方程奇異性的數(shù)學證明結(jié)果一致。

4 短基線場景下的真實實驗

4.1 實驗數(shù)據(jù)

本文選取兩組在短基線幾何條件下拍攝的影像, 如圖 9 和 10 所示。這些影像的特點是在不同時刻, 相機幾乎在一條直線上對目標進行拍攝, 如此獲取的數(shù)據(jù)視差非常小。圖 9 為 3 張室內(nèi)辦公場景影像, 由本文作者拍攝。選取 24 張室外街景影像(限于篇幅, 只展示 3 張, 見圖 10), 由車載攝像機獲取, 來源于 KITTI Odometry 數(shù)據(jù)集(https://www.cv libs.net/datasets/kitti/eval_odo metry.php)。

表4 PBA對特征點的預測誤差受迭代初始值的影響

說明: PBA 中像點的模擬匹配誤差為 0.33 像素。

表5 XYZBA對特征點的預測誤差受迭代初始值的影響

說明: XYZBA 中像點的模擬匹配誤差為 0.33 像素。

圖7 PBA 和 XYZBA 對特征點的預測誤差受迭代初始值的影響

4.2 開源框架介紹

OpenMVG 的全稱為 Open Multiple View Geo-metry, 是國際上知名的 SfM (structure from motion) C++開源框架(https://github.com/openMVG)。本文選取 OpenMVG 作為 XYZBA 和 PBA 實現(xiàn)的基礎框架, 并利用 Open Multiple View Stereo (OpenMVS)開源框架(https://github.com/cdcseacave/openMVS)進行最終的三維重建。

4.3 實驗結(jié)果與討論

表 6 為 XYZBA 和 PBA 在數(shù)據(jù)集 1 和數(shù)據(jù)集 2 上的平差結(jié)果?？梢钥吹? 在數(shù)據(jù)集 1 中, 在 5 個評價指標上, XYZBA 模型的平差性能都優(yōu)于 PBA 模型。在數(shù)據(jù)集 2 中, 雖然 PBA 模型的字面平差精度和效率優(yōu)于 XYZBA 模型, 但 PBA 模型的入網(wǎng)率過低, 導致重建的稀疏點云過于稀疏, 無法重建出可靠的三維模型。

圖 11 和 12 分別展示 XYZBA 和 PBA 重建數(shù)據(jù)集 1 和數(shù)據(jù)集 2 的稀疏點云、密集點云和 Mesh 模型?？梢郧宄乜吹? 在兩個數(shù)據(jù)集上, PBA 的平差精度、效率、入網(wǎng)率和重建細節(jié)的能力都劣于XYZBA。因此, 真實實驗和仿真實驗結(jié)果一致證明本文中推導的合理性, 即 PBA 模型在短基線攝影條件下的平差優(yōu)勢有待進一步從理論和實驗層面進行驗證。

圖8 PBA和XYZBA的法方程奇異性受短基線攝影條件的影響

圖9 數(shù)據(jù)集 1 (室內(nèi)辦公場景)

圖10 數(shù)據(jù)集 2 (室外街景場景)

表6 XYZBA和PBA在兩個數(shù)據(jù)集上的平差結(jié)果對比

說明: px = pixel; # = number。

圖11 XYZBA和PBA在數(shù)據(jù)集1上的重建結(jié)果對比

圖12 XYZBA和PBA在數(shù)據(jù)集2上的重建結(jié)果對比

5 結(jié)論

視差角光束法平差(PBA)是一種新的光束法平差模型, 其解決短基線平差難題的數(shù)學證明局限于二維的攝影條件。對于真實的三維攝影條件, 相關(guān)數(shù)學證明需進一步論證。本文聚焦于三維攝影條件下 PBA 模型中視差角參數(shù)對觀測噪聲的敏感性、法方程奇異性和線性化程度等數(shù)學證明, 并在短基線攝影條件下對數(shù)學分析進行仿真和真實實驗驗證。理論分析和實驗結(jié)果表明, 當前版本的 PBA 模型尚無法解決三維攝影條件下短基線的平差問題。

[1] Atkinson K B. Close range photogrammetry and ma-chine vision. Caithness: Whittles Publishing, 1996

[2] Metashape [EB/OL]. (2022) [2023–03–31]. http://www. agisoft.com/

[3] Pix4D [EB/OL]. (2023) [2023–03–31]. http://www.Pix 4d.com

[4] Zhang Zuxun. From digital photogrammetry worksta-tion (DPW) to digital photogrammetry grid (DPGrid). Geomatics and Information Science of Wuhan Univer-sity, 2007, 32(7): 565–571

[5] TOPGrid [EB/OL]. (2018)[2023–03–31]. http://www. chinatoprs.com/cpyfw

[6] Wu Changchang. VisualSFM Ver. 0.5.22 [EB/OL]. (2013) [2023–03–31]. http://homes.cs.washington.edu/～ccwu/ vsfm/

[7] Furukawa Y, Curless B, Seitz S M, et al. Towards internet-scale multi-view stereo // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, 2010: 1434–1441

[8] Furukawa Y, Ponce J. Accurate, dense, and robust multiview stereopsis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 32(8): 1362–1376

[9] Furukawa Y, Ponce J. Accurate camera calibration from multi-view stereo and bundle adjustment. Inter-national Journal of Computer Vision, 2009, 84(3): 257–268

[10] Snavely N. Bundler [EB/OL]. (2012) [2023–03–31]. http://phototour.cs.washington.edu/bundler/#S3

[11] Microsoft. Photosynth [EB/OL]. (2012) [2023–03–31]. http://photosynth.net

[12] Autodesk 123D Catch [EB/OL]. (2012) [2023–03–31]. http://www.123dapp.com/catch

[13] SFMToolkit [EB/OL]. (2011) [2023–03–31]. http:// www.visual-experiments.com/demos/sfmtoolkit

[14] Jancosek M, Pajdla T. Multi-view reconstruction pre-serving weakly-supported surfaces // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Colorado Springs, 2011: 3121–3128

[15] Nilsson D, Pletinckx D, Van G L, et al. The ARC 3D webservice [EB/OL]. (2007) [2023–03–31]. http://me dia.digitalheritage.se/2010/07/ARC_3D_TII.pdf

[16] Meshroom [EB/OL]. (2023)[2023–03–31]. https://git hub.com/alicevision/Meshroom

[17] 3Dflow [EB/OL]. (2023) [2023–03–31]. https://www. 3dflow.net

[18] Lourakis M I, Argyros A A. SBA: a software package for generic sparse bundle adjustment. ACM Transac-tions on Mathematical Software (TOMS), 2009, 36 (1): 1–30

[19] Konolige K, Garage W. Sparse sparse bundle ad-justment // BMVC 2010. Aberystwyth, 2010: 102.1–102.11

[20] Kümmerle R, Grisetti G, Strasdat H, et al. G2O: a general framework for graph optimization // IEEE International Conference on Robotics and Automa-tion. Shanghai, 2011: 3607–3613

[21] Zhao Liang, Huang Shoudong, Sun Yanbiao, et al. ParallaxBA: bundle adjustment using parallax angle feature parametrization. The International Journal of Robotics Research, 2015, 34(4/5): 493–516

[22] 趙亮. MonoSLAM: 參數(shù)化、光束法平差與子圖融合模型理論[D]. 北京: 北京大學, 2012

[23] 孫巖標. 極坐標光束法平差模型收斂性和收斂速度研究[D]. 北京: 北京大學, 2015

[24] Sun Yanbiao, Zhao Liang, Huang Shoudong, et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 91: 1–16

[25] Sun Yanbiao, Sun Huabao, Yan Lei, et al. RBA: re-duced bundle adjustment for oblique aerial photo-grammetry. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 121: 128–142

Applicability Study on Parallax Bundle Adjustment in 3D-Photography

ZUO Zhengkang1,2,3, YANLei1,2,?, SUNYanbiao4, ZHAOHongying5, ZHANGRuihua5, SUNJiayu5, LIUSiyuan5, WANGQiang6, SUNYiyuan5

1. Guangxi Key Laboratory of Remote Measuring System, Guilin University of Aerospace Technology, Guilin 541004; 2. Beijing Key Laboratory of Space Information Integration and 3S Application, Peking University, Beijing 100871; 3. Dashi Intelligent Technology Co Ltd, Wuhan 430000; 4. School of Precision Instrument and Opto-Electronics Engineering, Tianjin University, Tianjin 300072; 5. Engineering Research Center of Earth Observation and Navigation, Peking University, Beijing 100871; 6. School of Geographic and Environmental Sciences, Tianjin Normal University, Tianjin 300387; ? Corresponding author, E-mail: lyan@pku.edu.cn

In order to study the applicability of the Parallax Bundle Adjustment (PBA) in the 3D-photography, the authors extend the mathematical proof of the PBA model which is based on the two-dimensional hypothesis, to three dimensions with respect to the sensitivity of parallax angle to observation noise, the singularity of the normal equation, and the degree of linearization. Furthermore, with a set of narrow intersection-angles (2.11×10?8to 2.11×10?12rads), the 3D-scenes in short-baseline photography are simulated, and employed to verify the proof. Theoretical analysis and experimental results demenstrate that the current version of PBA is only suitable for the 2D-photography, but not suitable to solve the short-baseline problem in the 3D-photography.

short-baseline; parallax bundle adjustment (PBA); three-dimensional photography condition; mathe-matical proof