一種空間目標(biāo)三維激光點(diǎn)云與可見(jiàn)光圖像重建點(diǎn)云融合方法

蘇 宇，張澤旭，袁萌萌，徐田來(lái)，鄧涵之，王 靜

（1. 哈爾濱工業(yè)大學(xué) 航天學(xué)院, 哈爾濱 150001；2. 濟(jì)南大學(xué) 自動(dòng)化與電氣工程學(xué)院, 濟(jì)南 250022；3. 光輻射國(guó)防重點(diǎn)實(shí)驗(yàn)室, 北京 100085）

引 言

空間在軌服務(wù)中獲取目標(biāo)的三維結(jié)構(gòu)與尺寸信息對(duì)后續(xù)的對(duì)接、維護(hù)與抓捕等任務(wù)具有重要的意義。目標(biāo)三維結(jié)構(gòu)的獲取方法通常有3種途徑：一是利用導(dǎo)航相機(jī)采集的可見(jiàn)光圖像序列進(jìn)行點(diǎn)云三維重建，點(diǎn)云重建密度和精度較高，但易受到空間環(huán)境光照的影響；二是利用激光雷達(dá)對(duì)目標(biāo)進(jìn)行掃描，將不同角度的掃描點(diǎn)云拼接重建，雖然空間光照對(duì)重建點(diǎn)云影響較小，但受到激光雷達(dá)功率與掃描約束，點(diǎn)云的分辨率較低，同時(shí)空間目標(biāo)的運(yùn)動(dòng)會(huì)帶來(lái)很大的誤差；三是利用可見(jiàn)光導(dǎo)航相機(jī)的重建點(diǎn)云與激光雷達(dá)的掃描點(diǎn)云進(jìn)行深度融合，充分結(jié)合兩種傳感器的優(yōu)勢(shì)，這種方法越來(lái)越得到學(xué)術(shù)界關(guān)注[1-2]。本文探索一種高精度的三維激光點(diǎn)云與可見(jiàn)光圖像重建點(diǎn)云融合方法。

文獻(xiàn)[3]利用可見(jiàn)光圖像進(jìn)行三維重建，通過(guò)使用連續(xù)幀之間的光流來(lái)跟蹤Harris圖像點(diǎn)，并基于雙目立體視覺(jué)模型生成三維點(diǎn)云，然后將成功跟蹤的三維點(diǎn)云利用ICP算法實(shí)現(xiàn)目標(biāo)模型的三維重建。此方法的準(zhǔn)確性非常依賴(lài)光照條件與圖像拍攝效果。

文獻(xiàn)[4]利用一個(gè)激光傳感器和一個(gè)線(xiàn)陣CCD同步掃描進(jìn)行三維重建，通過(guò)使每一行激光采樣點(diǎn)對(duì)應(yīng)一行可見(jiàn)光采樣點(diǎn)，直接實(shí)現(xiàn)了激光與可見(jiàn)光采樣點(diǎn)的行配準(zhǔn)，此方法雖然配準(zhǔn)精度較高，但需要目標(biāo)保持靜止，且功耗較高，對(duì)追蹤航天器提出較高要求，難以應(yīng)用于空間目標(biāo)探測(cè)。

在點(diǎn)云融合算法方面，大多數(shù)研究圍繞著對(duì)ICP算法進(jìn)行改進(jìn)，文獻(xiàn)[5-6]提出了一種遺傳算法與最小二乘法結(jié)合的配準(zhǔn)方法。此配準(zhǔn)方法收斂性較好，但當(dāng)點(diǎn)云數(shù)據(jù)的數(shù)據(jù)量較大時(shí)，其配準(zhǔn)精度較差。

文獻(xiàn)[7]采用徑向基函數(shù)[8]的方法首先對(duì)模型進(jìn)行變形，減弱局部大變形對(duì)匹配結(jié)果的影響，實(shí)現(xiàn)形狀最佳匹配，此方法較為依賴(lài)于經(jīng)驗(yàn)選擇基函數(shù)的參數(shù)。

除ICP配準(zhǔn)算法外，文獻(xiàn)[9]提出了運(yùn)用曲面的特性進(jìn)行幾何曲面匹配的算法，該算法通過(guò)計(jì)算兩個(gè)感興趣表面之間的距離尋找它們之間的最小非剛性變換。

本文首先給出了量綱不同的兩組點(diǎn)云的配準(zhǔn)融合步驟，給出目標(biāo)函數(shù)表達(dá)式，然后提出了一種基于形心的平移矩陣初值確定方法和基于序列圖像三維重建反演相機(jī)姿態(tài)的旋轉(zhuǎn)矩陣初值確定方法，在配準(zhǔn)過(guò)程中，利用歐式距離判斷方法去除邊緣雜點(diǎn)，使得融合后的點(diǎn)云更加完整，準(zhǔn)確性更高，具體過(guò)程如圖1所示。

圖1 激光點(diǎn)云與可見(jiàn)光圖像重建點(diǎn)云ICP融合Fig. 1 Laser point cloud and visible light image reconstruction point cloud ICP fusion

將式（2）作為目標(biāo)函數(shù)，此時(shí)只需要先將兩組點(diǎn)云放到同一坐標(biāo)系下（坐標(biāo)不變），并控制目標(biāo)函數(shù)[10]最小即可。

具體配準(zhǔn)步驟[11-12]如下：

2）利用最小二乘法重復(fù)選擇對(duì)應(yīng)點(diǎn)對(duì)，并計(jì)算最優(yōu)剛體變換將不同坐標(biāo)系下點(diǎn)云數(shù)據(jù)合并到同一坐標(biāo)系中，求得使上述對(duì)應(yīng)點(diǎn)對(duì)平均距離最小的剛體變換，得到新的和。

4）如果新的變換點(diǎn)集與參考點(diǎn)集滿(mǎn)足式（3）要求，即兩點(diǎn)集的平均距離小于某一給定閾值，則停止迭代計(jì)算，否則新的變換點(diǎn)集作為新的點(diǎn)集繼續(xù)迭代。

1 配準(zhǔn)初值確定方法

ICP算法對(duì)運(yùn)算初值的選取要求嚴(yán)格，初值準(zhǔn)確可大大減少迭代次數(shù)，提升配準(zhǔn)精度，若初值選擇不合適，就會(huì)使迭代不能收斂到全局最優(yōu)配準(zhǔn)結(jié)果，造成匹配失敗[13]。

對(duì)此，本文選擇通過(guò)對(duì)點(diǎn)云特性及其來(lái)源分析，確定配準(zhǔn)初值。

1.1 平移矩陣初值確定

對(duì)于平移矩陣初值的選取，本文選擇針對(duì)兩種重建點(diǎn)云求取形心的方式獲得，具體方式如下。

利用兩組點(diǎn)云的坐標(biāo)差作為平移矩陣初值應(yīng)用于點(diǎn)云配準(zhǔn)

1.2 旋轉(zhuǎn)矩陣初值確定

對(duì)于坐標(biāo)系不同的兩組點(diǎn)云，本文在確定旋轉(zhuǎn)矩陣初值時(shí)，利用序列圖像三維重建過(guò)程中的基礎(chǔ)矩陣的求解進(jìn)行反演相機(jī)相機(jī)姿態(tài)的計(jì)算[14-15]，其確定方法如圖2所示。

圖2 旋轉(zhuǎn)初值確定方法Fig. 2 A method to determine the initial value of rotation

得到對(duì)應(yīng)點(diǎn)如下

將上述方程展開(kāi)可得到

向量構(gòu)造：

矩陣構(gòu)造：

由于空間非合作目標(biāo)序列圖像重建中，可見(jiàn)光相機(jī)都是事先標(biāo)定好的，且已知相機(jī)內(nèi)參矩陣為，可利用

2 基于歐氏距離的融合點(diǎn)云優(yōu)化

通過(guò)上述點(diǎn)云配準(zhǔn)過(guò)程，可獲得兩組點(diǎn)云間的最優(yōu)轉(zhuǎn)換關(guān)系。

由于可見(jiàn)光圖像三維重建點(diǎn)云解算誤差及稠密化過(guò)程，導(dǎo)致邊緣雜點(diǎn)較多，此時(shí)可利用激光雷達(dá)掃描點(diǎn)云的點(diǎn)云分布均勻且邊緣特性較好的優(yōu)勢(shì)，刪除可見(jiàn)光圖像三維重建點(diǎn)云中的雜點(diǎn)與錯(cuò)誤點(diǎn)，具體方法如下。設(shè)配準(zhǔn)后的對(duì)應(yīng)點(diǎn)集和Q ，對(duì)中的一個(gè)點(diǎn)，搜索

3 仿真實(shí)驗(yàn)與分析

為驗(yàn)證多模數(shù)據(jù)融合的空間非合作目標(biāo)三維重建方法，本文利用3Dmax仿真模型進(jìn)行序列圖像的渲染，其獲取圖像如圖3所示。

圖3 仿真序列可見(jiàn)光圖像Fig. 3 Simulation sequence visible light images

利用SFM原理進(jìn)行稀疏點(diǎn)云三維重建[21]，并利用CMVS進(jìn)行點(diǎn)云稠密化[22]，獲得可見(jiàn)光圖像的三維重建點(diǎn)云數(shù)據(jù)，如圖4所示。

圖4 可見(jiàn)光圖像三維重建點(diǎn)云Fig. 4 Visible light image 3D reconstruction point cloud

激光仿真數(shù)據(jù)選擇利用blender進(jìn)行激光掃描點(diǎn)云仿真，仿真參數(shù)如表1所示。

表1 激光掃描點(diǎn)云參數(shù)Table 1 Laser scanning point cloud parameters

本文選擇在5角度（0°，72°，144°，216°，288°）進(jìn)行掃描，由于仿真時(shí)已知5角度激光雷達(dá)的相對(duì)位姿及坐標(biāo)系，可直接將5組點(diǎn)云按對(duì)應(yīng)的轉(zhuǎn)換關(guān)系轉(zhuǎn)換到同一坐標(biāo)系下，結(jié)果如圖5所示。

圖5 激光掃描三維點(diǎn)云重建結(jié)果Fig. 5 Laser scanning 3D point cloud reconstruction results

利用第3部分所述方法進(jìn)行改進(jìn)的ICP點(diǎn)云數(shù)據(jù)融合并剔除邊緣雜點(diǎn)，對(duì)配準(zhǔn)過(guò)程中的迭代次數(shù)及其對(duì)應(yīng)誤差進(jìn)行記錄，獲得的最終融合點(diǎn)云如圖6和圖7所示。

圖6 融合后三維點(diǎn)云Fig. 6 3D point cloud after fusion

圖7 局部漏洞填補(bǔ)情況Fig. 7 Partial loophole filling result

下面利用融合前后的目標(biāo)三維點(diǎn)云分別計(jì)算目標(biāo)的尺寸信息，并與實(shí)際模型尺寸比較得到的主體尺寸誤差率、點(diǎn)云均方差、點(diǎn)云密度（仿真模型總表面積約為21.4 m2），如表2所示。

表2 融合前后各參數(shù)對(duì)比Table 2 Comparison of parameters before and after fusion

除合成的模型外，本文使用了某衛(wèi)星模型進(jìn)行了圖像與激光點(diǎn)云仿真，仿真結(jié)果如圖8所示，分別對(duì)圖像與激光點(diǎn)云進(jìn)行重建與點(diǎn)云配準(zhǔn)實(shí)驗(yàn)，最終獲得的合成點(diǎn)云如圖9所示。

圖8 仿真圖像與激光點(diǎn)云Fig. 8 Simulation image and the laser point cloud

圖9 點(diǎn)云融合結(jié)果Fig. 9 Point cloud fusion result

通過(guò)表3和表4中的數(shù)據(jù)對(duì)比可以發(fā)現(xiàn)融合點(diǎn)云具有更好的完整性，且精度在融合前后較為穩(wěn)定，融合效率較高，可為后續(xù)任務(wù)提供更加可靠的融合點(diǎn)云。

表3 融合前后各參數(shù)對(duì)比Table 3 Comparison of parameters before and after fusion

表4 優(yōu)化前后配準(zhǔn)對(duì)比Table 4 Registration comparison before and after optimization

4 結(jié) 論

基于可見(jiàn)光圖像序列的三維重構(gòu)方法能夠得到較為稠密的點(diǎn)云，但是受光照條件影響，點(diǎn)云模型存在較多空洞或缺損，點(diǎn)云重構(gòu)誤差較大，基于激光雷達(dá)的重構(gòu)出的點(diǎn)云較完整，而且點(diǎn)云具有真實(shí)尺度信息，但考慮到空間平臺(tái)的供電因素，載荷激光雷達(dá)無(wú)法長(zhǎng)時(shí)間連續(xù)工作，點(diǎn)云模型較稀疏。本文的融合方法對(duì)上述兩種點(diǎn)云進(jìn)行融合，融合初值較準(zhǔn)確，迭代次數(shù)少，效率較高；比較發(fā)現(xiàn)，融合點(diǎn)云密度有很大的提升，誤差小于可見(jiàn)光圖像三維重建點(diǎn)云，與激光雷達(dá)點(diǎn)云誤差相近，且融合后點(diǎn)云的缺損部分也得到了補(bǔ)充，保留了目標(biāo)的紋理特性，點(diǎn)云完整性得到很大的提升。