基于LM優(yōu)化的車載全景影像絕對(duì)測量方法

曹君 葉辰萌 劉正華

摘 要：【目的】為解決車載全景影像在智慧城市、智慧城管、智慧交通等領(lǐng)域中應(yīng)用不足的問題，提出了一種基于LM優(yōu)化的車載序列全景影像絕對(duì)測量的方法。【方法】首先，對(duì)待測目標(biāo)點(diǎn)在全景影像上的成像過程進(jìn)行分析，詳細(xì)推導(dǎo)了目標(biāo)點(diǎn)絕對(duì)坐標(biāo)測量的理論模型。其次，為解決該理論模型的優(yōu)化求解問題，引入了對(duì)初值不敏感且收斂速度較快的LM算法，并對(duì)LM算法中的初值獲取、函數(shù)構(gòu)建、參數(shù)設(shè)置等問題進(jìn)行了設(shè)計(jì)。最后，結(jié)合實(shí)際車載全景影像和目標(biāo)點(diǎn)位實(shí)測數(shù)據(jù)，對(duì)所提的方法進(jìn)行驗(yàn)證?！窘Y(jié)果】該方法獲得的目標(biāo)點(diǎn)絕對(duì)坐標(biāo)平面中誤差和高程中誤差分別為0.123 m和0.118 m，符合《城市測量規(guī)范》（CJJ/T 8—2011）中的相關(guān)要求?！窘Y(jié)論】該方法能夠有效獲取全景影像范圍內(nèi)待測目標(biāo)點(diǎn)的絕對(duì)坐標(biāo)，從而為全景影像在城市部件普查、交通基礎(chǔ)設(shè)施測量等領(lǐng)域的應(yīng)用提供了可能。

關(guān)鍵詞：LM優(yōu)化；車載；全景影像；絕對(duì)測量

中圖分類號(hào)：TP3? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? 文章編號(hào)：1003-5168（2024）07-0005-05

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.07.001

Absolute Measurement Method Of Vehicle Panoramic Image Based On LM Optimization

CAO Jun1 YE Chenmeng1 LIU Zhenghua2

（1. Wuhan City Polytechnic， Wuhan 430064， China;

2. Institute of Seismology， China Earthquake Administration， Wuhan 430071， China）

Abstract： [Purposes] Aiming at the problem of insufficient application of vehicle panoramic images in the fields of smart city， smart city management， smart transportation， etc.， a method of absolute measurement of vehicle sequence panoramic images based on LM optimization is proposed. [Methods] Firstly，by analyzing the imaging process of the target point to be measured on the panoramic image， the theoretical model of the absolute coordinate measurement of the target point was deduced in detail. Secondly， in order to solve the optimization problem of the theoretical model， the LM algorithm， which is insensitive to the initial value and has a fast convergence speed， is introduced， and the initial value acquisition， function construction and parameter setting in the LM algorithm are designed. Finally， the proposed method is verified by combining the actual vehicle panoramic image and the measured data of the target point. [Findings] The results show that the mean square errors of the plane and elevation coordinates of the target points obtained by this method are 0.123 m and 0.118 m， respectively， which meet the relevant requirements in the'Urban Surveying Specification （CJJ/T 8—2011）'. [Conclusions] This method can effectively obtain the absolute coordinates of the target points to be measured in the range of panoramic images， thus providing the possibility for the application of panoramic images in the fields of urban component survey and transportation infrastructure measurement.

Keywords： LM optimization; vehicle; panoramic images; absolute measurement

0 引言

隨著計(jì)算機(jī)技術(shù)、通信技術(shù)、傳感器技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，利用多視點(diǎn)組合式相機(jī)獲取后再經(jīng)過圖像拼接處理而形成的序列360°全景影像，以其全方位、沉浸式、高分辨率、場景真實(shí)等優(yōu)點(diǎn)，被廣泛應(yīng)用于街景地圖、公安應(yīng)急、城市管理等領(lǐng)域［1-7］。

盡管現(xiàn)在擁有360°全方位景觀表現(xiàn)能力，但是目前的全景影像卻往往只有漫游、查詢功能，不具備測量分析能力，極大地限制了其在城管部件普查、交通基礎(chǔ)設(shè)施測量等領(lǐng)域的應(yīng)用。近年來，基于全景影像的三維重建、位置獲取、幾何量測等問題研究逐漸興起［8-17］。這些研究的原理大多數(shù)是共線條件方程、核線約束、光束法平差等傳統(tǒng)攝影測量方法的推導(dǎo)與沿用，主要用于在局部坐標(biāo)系下進(jìn)行距離、面積、體積、變形監(jiān)測等的相對(duì)測量，無法滿足智慧城市、智慧城管、智慧交通等領(lǐng)域中獲取目標(biāo)絕對(duì)位置的需要。

因此本研究提出一種基于LM優(yōu)化的車載序列全景影像絕對(duì)測量方法。該方法首先估計(jì)目標(biāo)初始位置，并計(jì)算其在多張序列全景影像上的坐標(biāo)；其次以計(jì)算坐標(biāo)和實(shí)際坐標(biāo)的差值構(gòu)建目標(biāo)函數(shù)；最后利用LM算法迭代優(yōu)化，求解目標(biāo)的最優(yōu)點(diǎn)位。通過實(shí)驗(yàn)分析，證明了基于LM優(yōu)化的全景影像絕對(duì)測量方法可以獲取目標(biāo)點(diǎn)在大地坐標(biāo)系下的絕對(duì)坐標(biāo)，滿足城市測量的精度要求。

1 全景影像絕對(duì)測量模型

為快速獲取連續(xù)序列全景影像數(shù)據(jù)，在數(shù)據(jù)采集過程中，通常需要將全景采集設(shè)備、定位定姿系統(tǒng)（Position and Orientation System，POS）、同步器等傳感器集成安裝在車輛等移動(dòng)載體上，組成車載全景采集系統(tǒng)。在車輛行駛過程中，該系統(tǒng)連續(xù)采集全景影像數(shù)據(jù)，并同步記錄各全景影像采集時(shí)車體的位置和姿態(tài)信息。

對(duì)上述序列全景影像成像范圍內(nèi)的目標(biāo)點(diǎn)[A]，設(shè)其在大地坐標(biāo)系下的絕對(duì)坐標(biāo)為[（XMA，YMA，ZMA）]。為計(jì)算其在第[i]張序列全景影像上對(duì)應(yīng)的像素坐標(biāo)[a（uci，vci）]，需要經(jīng)過一系列坐標(biāo)轉(zhuǎn)換：大地坐標(biāo)系（M系）[→]à載體坐標(biāo)系（B系）[→]à全景球體坐標(biāo)系（S系）[→]à全景像素坐標(biāo)系（P系），如圖1所示。

目標(biāo)點(diǎn)[A（XMA，YMA，ZMA）]在第[i]張序列全景影像對(duì)應(yīng)像素坐標(biāo)的計(jì)算過程，以如下兩步完成。

1.1 計(jì)算全景球在大地坐標(biāo)系M中的坐標(biāo)和姿態(tài)

1.1.1 計(jì)算全景球體中心S在大地坐標(biāo)系M中的位置，見式（1）。

[XMSYMSZMS=XMgYMgZMg+RMBXBSYBSZBS]? ? ?（1）

式中：[[XMgYMgZMg]] 為車載POS系統(tǒng)記錄的成像瞬間車體在大地坐標(biāo)系中的坐標(biāo)值；[RMB]為載體坐標(biāo)系B到大地坐標(biāo)系M的旋轉(zhuǎn)矩陣（可通過車載POS系統(tǒng)記錄的成像瞬間車體姿態(tài)角獲得）；[[XBSYBSZBS]]為全景球成像中心S在載體坐標(biāo)系B中的坐標(biāo)（可通過事先高精度檢校獲得）。

1.1.2? 計(jì)算大地坐標(biāo)系M到全景球體坐標(biāo)系S的旋轉(zhuǎn)矩陣，見式（2）。

[RSM=RBM×RSB]? （2）

式中：[RBM]為大地坐標(biāo)系M到載體坐標(biāo)系B的旋轉(zhuǎn)矩陣（可通過車載POS記錄的成像瞬間車體姿態(tài)角獲得）；[RSB]為載體坐標(biāo)系B到全景球體坐標(biāo)系S的旋轉(zhuǎn)矩陣（可通過事先高精度檢校獲得）。

1.2 計(jì)算點(diǎn)A在全景影像上的對(duì)應(yīng)點(diǎn)a的像素坐標(biāo)

1.2.1 計(jì)算點(diǎn)A在全景球體坐標(biāo)系S中的坐標(biāo)。對(duì)大地坐標(biāo)系下的目標(biāo)點(diǎn)[A（XMA，YMA，ZMA）]，其在全景球體坐標(biāo)系中的位置及成像關(guān)系，如圖2所示。

目標(biāo)點(diǎn)[A（XMA，YMA，ZMA）]在以全景成像中心S為原點(diǎn)的空間直角坐標(biāo)系中的坐標(biāo)，見式（3）。

[XSAYSAZSA=RSM×（XMAYMAZMA-XMSYMSZMS）]? （3）

式中：[[XMAYMAZMA]]為點(diǎn)A在大地坐標(biāo)系下的坐標(biāo)值；[[XMSYMSZMS]]為全景球中心S在大地坐標(biāo)系M中的位置；[RSM]為大地坐標(biāo)系M到全景球體坐標(biāo)系S的旋轉(zhuǎn)矩陣。

獲得點(diǎn)A在全景空間直角坐標(biāo)系中的坐標(biāo)后，需將點(diǎn)A投影至單位全景球面上，其對(duì)應(yīng)的投影點(diǎn)A'的位置可以通過與X軸的夾角[φ]、與XSY平面的夾角[θ]來表示，見式（4）。

[φ=arccosXSA（XSA）2+（YSA）2θ=arcsinZSA（XSA）2+（YSA）2+（ZSA）2]? （4）

式中：[[XSAYSAZSA]]為目標(biāo)點(diǎn)A在以全景成像中心S為原點(diǎn)的空間直角坐標(biāo)系中的坐標(biāo)。

1.2.2 計(jì)算點(diǎn)A在全景像素坐標(biāo)系P中的坐標(biāo)。由于全景球?yàn)橐粋€(gè)三維球面，無法以圖片的形式直接存儲(chǔ)在計(jì)算機(jī)中，在實(shí)際存儲(chǔ)過程中，需要對(duì)其進(jìn)行降維處理，轉(zhuǎn)化成便于存儲(chǔ)的二維圖片［18-19］，如圖3所示。

全景球上的任一點(diǎn)A'，其在全景圖像中對(duì)應(yīng)的像素坐標(biāo)，見式（5）。

[uc=imgW2+φ×imgW2πvc=imgH2-θ×imgHπ] （5）

式中：[imgW]、[imgH]分別表示全景影像寬度、高度；[φ]、[θ]表示A'在全景球體坐標(biāo)系S中的位置。

2 目標(biāo)絕對(duì)位置優(yōu)化求解

2.1 目標(biāo)初始位置估計(jì)

車輛行駛過程中連續(xù)采集的全景影像，通常各相鄰影像間具有較大重疊度，即對(duì)于某觀測目標(biāo)點(diǎn)A，可在多張連續(xù)序列全景影像上被觀測到。設(shè)點(diǎn)A在N張序列全景影像上可清晰成像，通過POS系統(tǒng)記錄的各全景影像拍攝瞬間車體位置分別為[（X1 Y1 Z1）、（X2 Y2 Z2）…（XN YN ZN）]，則點(diǎn)A在大地坐標(biāo)系中的初始位置[A（XMA，YMA，ZMA）]可通過將各個(gè)成像瞬間的車體位置取平均值的方式粗略估計(jì)，見式（6）。

[XMAYMAZMA=（X1+X2+…+XN）/N（Y1+Y2+…+YN）/N（Z1+Z2+…+ZN）/N] （6）

2.2 LM優(yōu)化算法

由POS系統(tǒng)記錄的車體位置按照公式（6）求出目標(biāo)絕對(duì)位置的初值后，再利用公式（5）計(jì)算其分別在N張序列全景影像上的像素坐標(biāo)，以在N張影像上計(jì)算得到的像素坐標(biāo)與實(shí)際像素坐標(biāo)之間差值的平方和最小來構(gòu)建目標(biāo)函數(shù)，見式（7）。

[F（X）=f（XMA，YMA，ZMA）=i=1N（uci-ui）2+（vci-vi）2] （7）

式中：[（uci，vci）]為第[i]張影像上目標(biāo)點(diǎn)A的計(jì)算像素坐標(biāo)，可通過公式（5）表達(dá)為關(guān)于點(diǎn)A在大地坐標(biāo)系下的坐標(biāo)值[（XMA，YMA，ZMA）]的函數(shù)；[（ui，vi）]分別為第[i]張影像上目標(biāo)點(diǎn)A的實(shí)際像素坐標(biāo)。

針對(duì)這一非線性目標(biāo)函數(shù)的尋優(yōu)問題，采用對(duì)初值不敏感且收斂速度較快的非線性優(yōu)化算法（Levenberg-Marquardt，LM）。該算法集成了高斯牛頓法和梯度下降法兩種算法的優(yōu)點(diǎn)，通過控制改變阻尼因子變量的值，調(diào)節(jié)每次算法迭代的步長，從而有效提升迭代優(yōu)化效率，實(shí)現(xiàn)對(duì)目標(biāo)函數(shù)最小二乘法的優(yōu)化。設(shè)[Xk]為第[k]次迭代求得的點(diǎn)A坐標(biāo)，則對(duì)式（7）LM算法的步長，見式（8）。

[dk=-[J（Xk）TJ（Xk）+λkI]-1J（Xk）TF（Xk）]? （8）

式中：[J（Xk）]為目標(biāo)函數(shù)的雅可比矩陣；[F（Xk）]為目標(biāo)函數(shù)的值；[I]為單位矩陣；[λk]為阻尼因子。

將式（6）獲得的點(diǎn)A粗略坐標(biāo)作為初值，利用LM算法進(jìn)行迭代計(jì)算，算法步驟［20］如下。

①輸入初值[X0]，初始阻尼因子[λk=0.01]，初始迭代次數(shù)[k=0]，終止誤差[ε=1×10-8]；

②計(jì)算[F（Xk）]、[J（Xk）]；

③計(jì)算步長[dk]，求解[Xk+1=Xk+dk]、[F（Xk+1）]、[J（Xk+1）]；

④若[F（Xk+1）≥F（Xk）]，則令[k=k+1]，[λk=10λk]，轉(zhuǎn)入步驟③；

⑤若[F（Xk+1）

⑥若[F（Xk+1）

3 實(shí)驗(yàn)分析

為驗(yàn)證上述方法的有效性，本研究以一臺(tái)經(jīng)過系統(tǒng)檢校的車載全景測量采集系統(tǒng)為數(shù)據(jù)獲取平臺(tái)，采集了一組外業(yè)全景影像數(shù)據(jù)及各影像采集瞬間的車體位置、姿態(tài)數(shù)據(jù)。在整個(gè)行車路線范圍內(nèi)選取了5組序列影像，每組4張連續(xù)全景影像，相鄰影像間采集間隔約10 m。

在每組序列影像拍攝范圍內(nèi)分別選取一個(gè)目標(biāo)點(diǎn)，按本研究的方法，依次進(jìn)行初值獲取、坐標(biāo)轉(zhuǎn)換和迭代優(yōu)化，獲取其大地坐標(biāo)計(jì)算結(jié)果，并將計(jì)算結(jié)果與目標(biāo)點(diǎn)的GNSS實(shí)地量測結(jié)果進(jìn)行對(duì)比，結(jié)果見表1、表2。

4 結(jié)論

從上述結(jié)果可知，基于車載序列全景影像獲取目標(biāo)的絕對(duì)位置，其結(jié)果與GNSS實(shí)測結(jié)果相比，平面平均點(diǎn)位誤差（絕對(duì)值）為0.111 m，平面中誤差為0.123 m，高程平均誤差（絕對(duì)值）為0.116 m，高程中誤差為0.118 m，符合《城市測量規(guī)范》（CJJ/T 8—2011）中的相關(guān)要求。上述結(jié)果證實(shí)了本研究提出的方法能夠有效獲得全景影像范圍內(nèi)待測目標(biāo)點(diǎn)的絕對(duì)坐標(biāo)，從而為全景影像在城市部件普查、基礎(chǔ)交通設(shè)施測量等領(lǐng)域的應(yīng)用提供了可能。

參考文獻(xiàn)：

［1］曹君，劉正華，洪勇，等.車載魚眼圖像的全景圖拼接誤差分析［J］.測繪科學(xué)，2016，41（7）：202-204，172.

［2］LI L，YAO J，XIE R P，et al.A unified framework for street-view panorama stitching［J］.Sensors，2016，17（1）：1-1.

［3］王志豪，侯輝嬌子，田震.實(shí)景測量在智慧城管三維可視化中的應(yīng)用［J］.測繪通報(bào)，2020（S1）：268-270.

［4］成功.IP-S2車載移動(dòng)測量系統(tǒng)在數(shù)字城管信息系統(tǒng)中的應(yīng)用［J］.測繪與空間地理信息，2017，40（9）：109-113.

［5］張偉朋，姚佩超，李文博.車載移動(dòng)測量系統(tǒng)在城市街道整治中的應(yīng)用［J］.測繪通報(bào)，2021（S2）：264-266.

［6］LIU Y Z，CHEN M X，WANG M H，et al.An interpretable machine learning framework for measuring urban perceptions from panoramic street view images［J］.iScience，2023，26（3）：106132-106132.

［7］周長江，杜洪濤，李欣，等.車載移動(dòng)測量系統(tǒng)在智慧城市建設(shè)中的應(yīng)用研究［J］.城市勘測，2023（2）：80-84.

［8］施并招，呂威.智慧城市街區(qū)虛擬全景影像三維快速重建研究［J］.計(jì)算機(jī)仿真，2021，38（7）：350-354.

［9］葛朋祥，王歡慶，朱奕磊，等.基于平面鏡成像的單相機(jī)數(shù)字圖像相關(guān)三維全景測量［J］.中國激光，2022，49（9）：92-100.

［10］凌家曜，鐘平，吳靖，等.全景相機(jī)與PTZ相機(jī)聯(lián)動(dòng)監(jiān)控系統(tǒng)及位置關(guān)聯(lián)模型［J］.計(jì)算機(jī)應(yīng)用與軟件，2021，38（3）：202-209.

［11］劉昱謙.基于雙目魚眼鏡頭的全景成像及三維測量算法研究［D］.成都：電子科技大學(xué)，2021.

［12］郭偉青.基于鏡面成像技術(shù)的單目全景立體感知三維重構(gòu)技術(shù)研究［D］.杭州：浙江工業(yè)大學(xué)，2019.

［13］王啟超，張維光，任永平.基于全景相機(jī)的3D坐標(biāo)測量方法［J］.電子測量技術(shù)，2017，40（12）：203-208.

［14］梅文勝，胡帥朋，李謀思，等.基于普通數(shù)碼相機(jī)的旋轉(zhuǎn)全景攝影測量方法［J］.武漢大學(xué)學(xué)報(bào)（信息科學(xué)版），2017，42（2）：243-249.

［15］LI Y R，ZHAO D，MA X Y，et al.Panoramic digital image correlation for 360-deg full-field displacement measurement［J］.Applied Sciences，2023，13（3）：2019-2019.

［16］ZHU K Y，PAN B.Panoramic/dual-surface digital image correlation measurement using a single camera［J］.Sensors，2022，22（9）：3266-3266.

［17］JIANG S，WANG Y J，ZHANG J，et al.Full-field deformation measurement of structural nodes based on panoramic camera and deep learning-based tracking method［J］.Computers in Industry，2023，146.

［18］曹君，洪勇.車載魚眼相機(jī)的間接法全景影像拼接［J］.地理空間信息，2016，14（10）：73-74，77，5.

［19］何林飛，朱煜，林家駿，等.基于球面空間匹配的雙目魚眼全景圖像生成［J］.計(jì)算機(jī)應(yīng)用與軟件，2020，37（2）：166-170，239.

［20］李國民，宿夢瑤，朱代先.光束平差法中的一種改進(jìn)LM算法［J］.西安科技大學(xué)學(xué)報(bào)，2022，42（1）：152-159.

收稿日期：2023-09-14

基金項(xiàng)目：湖北省教育廳科學(xué)研究計(jì)劃項(xiàng)目（B2020425）；武漢市知識(shí)創(chuàng)新專項(xiàng)曙光計(jì)劃項(xiàng)目（2023020201020480）。

作者簡介：曹君（1987—），女，碩士，講師，研究方向：地理信息分析與應(yīng)用。