核相關(guān)神經(jīng)網(wǎng)絡(luò)點云自動配準(zhǔn)算法

李 健，黃碩文，馮 凱，朱 琦，崔 昊

（1.鄭州大學(xué)地球科學(xué)與技術(shù)學(xué)院，河南 鄭州 450001；2.鄭州大學(xué)水利科學(xué)與工程學(xué)院，河南 鄭州 450001；3.河南省測繪工程院，河南 鄭州 450003）

隨著三維激光掃描技術(shù)的發(fā)展，點云數(shù)據(jù)被廣泛應(yīng)用于三維重建、自動駕駛、智能機器人等領(lǐng)域。然而由于被測物體幾何形狀、位置、結(jié)構(gòu)及角度的限制，傳感器難以一次獲取完整的點云數(shù)據(jù)，因此需要將得到的多站具有不同坐標(biāo)系的點云統(tǒng)一到同一參考坐標(biāo)系下，這個過程稱為點云配準(zhǔn)［1-2］。點云配準(zhǔn)是完成點云后續(xù)處理的前提和關(guān)鍵步驟，配準(zhǔn)的精度將直接影響三維建模成果的好壞。

目前傳統(tǒng)的點云自動配準(zhǔn)算法大致可以分為三類：（1）迭代最近鄰點算法（iterative closest point，ICP）［3］及其變種。經(jīng)典的ICP算法以最近歐式距離建立點對間的對應(yīng)關(guān)系，并通過迭代方式優(yōu)化目標(biāo)函數(shù)來獲得最終的配準(zhǔn)結(jié)果。經(jīng)典ICP雖然簡單實用，但需要配準(zhǔn)的兩組點云之間具有良好的初始位姿，否則容易陷入到局部最優(yōu)解。為了解決該方法的局限性，國內(nèi)外學(xué)者提出了眾多改進方法，主要集中在匹配點對選擇［4］、配準(zhǔn)初值的計算［5］、目標(biāo)函數(shù)的設(shè)計與優(yōu)化［6］等方面。（2）基于同名特征的方法。此類方法首先從掃描點云中提取關(guān)鍵點［7］、線［8］、面［9］等要素，對這些關(guān)鍵要素設(shè)計特征描述子進行特征描述，然后基于特征相似性匹配建立同名對應(yīng)關(guān)系，進而優(yōu)化目標(biāo)函數(shù)求解出位姿變換參數(shù)。此類方法無需提供初始值，但在兩個點云分布不一致的情況下容易配準(zhǔn)失敗。（3）基于數(shù)學(xué)統(tǒng)計的方法。如正態(tài)分布變換算法（normal distribution transform，NDT）［10］、高斯混合模型算法（gaussian mixture models，GMM）［11］等，通過對點云建立概率模型來描述其分布特性，使得配準(zhǔn)后的兩個點云之間的似然函數(shù)達到最大，從而解出對應(yīng)的變換矩陣?；诮y(tǒng)計的配準(zhǔn)方法對于點云的噪聲以及缺失值具有較強的魯棒性，但對復(fù)雜點云進行精確的數(shù)學(xué)描述計算量過大，算法效率較低。

近年來，隨著計算機的硬件性能提升，深度學(xué)習(xí)技術(shù)在三維點云數(shù)據(jù)處理領(lǐng)域中得到了快速發(fā)展［12］。在點云配準(zhǔn)應(yīng)用中，Zeng等［13］將三維點云劃分為體素柵格，使用三維卷積神經(jīng)網(wǎng)絡(luò)來訓(xùn)練點云的特征描述子，基于特征完成同名點匹配以及配準(zhǔn)參數(shù)求解；Gojcjc等［14］把點云用體素化平均密度值表示，通過全卷積層學(xué)習(xí)具有旋轉(zhuǎn)不變性的三維點云描述子；Choy等［15］采用稀疏卷積代替?zhèn)鹘y(tǒng)卷積，然后使用類似UNet結(jié)構(gòu)的網(wǎng)絡(luò)對輸入點云中每個點的特征描述進行訓(xùn)練。這些方法雖然在配準(zhǔn)任務(wù)中取得了不俗的表現(xiàn)，但基于特征匹配搜索同名點的方式較為耗時，且網(wǎng)絡(luò)訓(xùn)練出來的特征描述子通常只適用于特定場景點云配準(zhǔn)。為提升配準(zhǔn)的效率，一些學(xué)者通過神經(jīng)網(wǎng)絡(luò)直接端到端地輸出點云配準(zhǔn)結(jié)果，如舒程珣等［16］提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的點云配準(zhǔn)方法，將源點云以及目標(biāo)點云從多個視角投影為深度圖，使用卷積層來提取深度圖中的高維特征，然后通過全連接層進行配準(zhǔn)參數(shù)的回歸；Aoki等［17］使用多層感知機網(wǎng)絡(luò)將原始點云維度映射到高維空間，在特征域中引入光流估計法對點云變換位姿進行迭代求解；Sarode等［18］通過多層感知機和最大池化層獲取點云的全局特征，把源點云和目標(biāo)點云全局特征向量進行拼接后輸入全連接網(wǎng)絡(luò)對點云配準(zhǔn)參數(shù)進行回歸，然后以迭代的方式優(yōu)化配準(zhǔn)結(jié)果。

總的來說，目前工程中常用的基于標(biāo)靶布設(shè)的點云配準(zhǔn)方法耗時耗力，而傳統(tǒng)的點云自動配準(zhǔn)方法則效率較低，基于深度學(xué)習(xí)的端到端點云配準(zhǔn)雖然在效率上有所提升，但使用多層感知機的特征編碼方式未考慮到點云的局部鄰域信息，且缺乏對同名對應(yīng)點關(guān)系的顯示構(gòu)建，因而魯棒性性較差。針對以上問題，本文提出一種基于核相關(guān)神經(jīng)網(wǎng)絡(luò)的點云自動配準(zhǔn)算法（kernel correlation registration，KCR），首先通過構(gòu)建點云核計算核相關(guān)度來獲取點的局部鄰域信息，然后使用多層感知機對源點云以及目標(biāo)點云進行特征編碼。為提升配準(zhǔn)效率，通過對應(yīng)關(guān)系估計層建立兩個點云間的同名點對應(yīng)關(guān)系，使用奇異值分解法（singular value decomposition，SVD）求解點云變換參數(shù)，最后以迭代的方式來減小配準(zhǔn)誤差直至符合精度要求。

1 算法原理

1.1 算法整體架構(gòu)

KCR算法的網(wǎng)絡(luò)結(jié)構(gòu)主要包含特征提取層、對應(yīng)關(guān)系估計層、SVD位姿求解層三個關(guān)鍵模塊，具體步驟如下：

步驟1：輸入待配準(zhǔn)的源點云以及目標(biāo)點云。

步驟2：使用八叉樹算法對無序點云數(shù)據(jù)進行空間拓?fù)鋭澐?，對每個目標(biāo)點建立K鄰域索引。

步驟3：建立不同形狀的點云核，計算源點云以及目標(biāo)點云中每個點與所建立點云核之間的相關(guān)性，再通過多層感知機（multi-layer perception，MLP）將點云中每個點的特征維度映射到高維空間對點云進行特征編碼。

步驟4：基于兩個點云的特征編碼使用多層感知機來估計源點云在目標(biāo)點云中的對應(yīng)點，然后根據(jù)點對間對應(yīng)關(guān)系使用SVD法求解變換矩陣。

步驟5：計算本次迭代所求得的Ti與Ti-1之差，若小于閾值或達到最大迭代次數(shù)n，則輸出變換矩陣否則將變換后的點云輸入網(wǎng)絡(luò)得到下一次迭代的變換矩陣。

如圖1所示，對于輸入的源點云和目標(biāo)點云，網(wǎng)絡(luò)首先通過特征提取層對點云進行特征提取，然后基于兩個點云提取的特征通過對應(yīng)關(guān)系估計層得到源點云在目標(biāo)點云中的對應(yīng)點，最后使用SVD位姿求解層求解配準(zhǔn)結(jié)果并以迭代方式優(yōu)化，實現(xiàn)從源點云到目標(biāo)點云的自動配準(zhǔn)。下面對網(wǎng)絡(luò)所使用的各個關(guān)鍵模塊進行介紹。圖中，N為輸入點云數(shù)目，MLP為多層感知機網(wǎng)絡(luò)，R和t分別為對應(yīng)的旋轉(zhuǎn)以及平移矩陣。

圖1 KCR算法的網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure of KCR algorithm

1.2 特征提取層

在點云特征編碼中，考慮每個點的鄰域信息有助于提升后續(xù)任務(wù)的精度。類似于2D圖像中卷積神經(jīng)網(wǎng)絡(luò)使用卷積核提取圖像的鄰域信息，本文首先使用核相關(guān)［19-20］的方式對點云的局部幾何信息進行編碼，通過構(gòu)建多個點云核并計算點云中每個點與所構(gòu)建點云核之間的相關(guān)度，以此來獲取點云的局部鄰域結(jié)構(gòu)信息。點云核的函數(shù)表達形式如下：

式中：Kσ(·)為高斯函數(shù)；δ為均值；σ為方差，函數(shù)的值隨兩點之間距離的增加呈指數(shù)衰減。

原始輸入的點云是散亂無序的，為查詢每個點的鄰域點，首先使用八叉樹算法對待配準(zhǔn)的點云數(shù)據(jù)建立鄰接拓?fù)潢P(guān)系，然后通過式（2）計算待配準(zhǔn)點云中的點與所建立點云卷積核之間的相關(guān)性：

式中：κ為點云核；xi為待配準(zhǔn)點云中一點；xn為其鄰域中一點；κm為點云核中的第m個點；|N(i)|為待配準(zhǔn)點云中第i個點的KNN鄰域；Kσ(·)為核函數(shù)；rKC為點與點云核之間相關(guān)度，可對兩個點云之間的幾何相似性進行描述，值越大代表點云之間的相關(guān)性越強。

在對輸入點云中每個點進行核相關(guān)性計算后，為使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到點云的高維度特征，使用多個多層感知機網(wǎng)絡(luò)將點的特征維度映射到1 024維的高維空間，完成對原始點云的特征編碼。

1.3 對應(yīng)關(guān)系估計層

在點云配準(zhǔn)任務(wù)中，基于特征相似性匹配進行同名對應(yīng)點搜索的方式較為耗時。因而本文通過神經(jīng)網(wǎng)絡(luò)直接估計源點云在目標(biāo)點云中的對應(yīng)點云，以提升匹配的效率。首先對編碼后的目標(biāo)點云進行最大池化提取到全局特征，將其擴展至與源點云點數(shù)量相同的維度，然后與源點云的64維特征以及1 024維特征進行拼接，最后通過多個多層感知機輸出對應(yīng)點云，如式（3）所示：

式中；Qi為源點云中點在目標(biāo)點云中的對應(yīng)點；Pis和Pik分別為源點云的64維特征和1 024維特征；Qkj為目標(biāo)點云經(jīng)最大池化后的全局特征；MLP為多層感知機網(wǎng)絡(luò)。

1.4 SVD位姿求解層

對于給定的兩個待配準(zhǔn)點云P和Q，其中P為源點云，Q為源點云經(jīng)過變換后的目標(biāo)點云，三維點云配準(zhǔn)任務(wù)為尋找合適的變換參數(shù)即旋轉(zhuǎn)矩陣R和平移向量t，使得配準(zhǔn)后的點云在同一坐標(biāo)系下對齊。在確定點云之間的對應(yīng)關(guān)系后，變換參數(shù)可以通過優(yōu)化以下目標(biāo)函數(shù)來求得：

式中；N為點云中點的數(shù)量；Pi和Qi為估計的同名點。

SVD是求解式（4）的經(jīng)典方法，由最小二乘推導(dǎo)而來，速度快且穩(wěn)定性高。使用SVD求解配準(zhǔn)變換參數(shù)的計算步驟如下：

首先通過式（5）和（6）分別計算源點云和目標(biāo)點云的質(zhì)心，即求取點云中點的均值：

解算出初始變換矩陣后，將其應(yīng)用于源點云得到初始配準(zhǔn)結(jié)果。由于點云位姿變換的復(fù)雜性，神經(jīng)網(wǎng)絡(luò)難以一次性地對配準(zhǔn)參數(shù)進行精確的估計，因此通過一個迭代過程將變換后的源點云與目標(biāo)點云重新輸入網(wǎng)絡(luò)計算，使得配準(zhǔn)誤差不斷減小，直到達到最大迭代次數(shù)或兩次產(chǎn)生的矩陣之差小于閾值，完成點云精細(xì)配準(zhǔn)過程。其中最大迭代次數(shù)和矩陣差閾值本文分別設(shè)置為10和0.2，在保證效率的前提下能達到較好配準(zhǔn)效果，具體數(shù)值設(shè)置可根據(jù)應(yīng)用進行微調(diào)。

1.5 損失函數(shù)設(shè)計

通常神經(jīng)網(wǎng)絡(luò)需要根據(jù)不同的任務(wù)設(shè)計損失函數(shù)進行反向傳播以達到優(yōu)化網(wǎng)絡(luò)參數(shù)的目的。對于點云配準(zhǔn)任務(wù)，所設(shè)計的損失函數(shù)目標(biāo)為使預(yù)測配準(zhǔn)參數(shù)與真實配準(zhǔn)參數(shù)之間誤差最小，定義如（11）所示：

式中；Test為網(wǎng)絡(luò)估計的變換矩陣；Tgt為真實變換矩陣，當(dāng)兩者相等時乘積為單位陣I4。

2 實驗結(jié)果及分析

2.1 實驗設(shè)置

實驗采用ModelNet40［21］作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集，數(shù)據(jù)集中總共包含12 311個點云樣本，分為40個類別，每個點云中包含4 096個點。訓(xùn)練過程中以ModelNet40中的原始點云作為源點云，對其進行隨機旋轉(zhuǎn)以及平移產(chǎn)生目標(biāo)點云，記錄其變換矩陣作為真值標(biāo)簽。網(wǎng)絡(luò)訓(xùn)練使用Adam損失函數(shù)優(yōu)化器，學(xué)習(xí)率為0.001，共訓(xùn)練300個epoch。訓(xùn)練完成后，在斯坦福大學(xué)3d掃描模型庫中的Bunny、Dragon、Happy、Elephant、Horse模型進行仿真測試。將本文算法與ICP［4］、相干點漂移算法(coherent point drift,CPD）［22］、GMM［17］、支持向量機算法（support vector registration，SVR）［23］進行精度以及效率對比，其中ICP算法以最近歐式距離建立點對間的對應(yīng)關(guān)系，并通過迭代方式優(yōu)化目標(biāo)函數(shù)來獲得最終的配準(zhǔn)結(jié)果；CPD算法將兩個待配準(zhǔn)點集分別視為高斯混合模型的質(zhì)心和數(shù)據(jù)，利用EM（expectation maximization）算法進行最大似然估計，從而得到質(zhì)心點集到數(shù)據(jù)點集的變換關(guān)系；GMM算法將源點云和目標(biāo)點云視為兩個高斯模型分布，通過最小化兩個分布間的歐式距離求解變換參數(shù)；SVR算法通過訓(xùn)練支持向量機模型來最小化兩個點云模型之間的距離實現(xiàn)配準(zhǔn)。文中使用均方根誤差（root mean square error，RMSE）來定量評價各算法配準(zhǔn)精度，其定義如下：

式中；RRMSE表示均方根誤差；N為點云個數(shù)；Q和P分別代表源點云和目標(biāo)點云。

所有實驗在一臺配置Intel Xeon W-2145@3.70GHz處理器，64G內(nèi)存和NVIDIA TITAN X顯卡的工作站上進行，系統(tǒng)為Ubuntun16.04，使用的編程語言為Python。

2.2 各算法配準(zhǔn)精度及效率對比

實 驗 中 用 于 測 試 的Bunny、Dragon、Happy、Elephant、Horse點云的初始位姿如圖2所示。

圖2 點云初始狀態(tài)Fig.2 Initial state of point cloud

各算法在測試點云上的配準(zhǔn)效果如由圖3所示。

由圖3可以看出，CPD、SVR以及本文提出的KCR算法均可以實現(xiàn)不同物體點云的配準(zhǔn)，其中ICP算法在Bunny、Dragon、Happy點云上有較好的配準(zhǔn)效果，而在Elephant和Horse點云上配準(zhǔn)效果較差；GMM算法在各個點云上的配準(zhǔn)結(jié)果均不理想，容易陷入到局部最優(yōu)解，受初始位置影響較大；CPD算法配準(zhǔn)后的點云形態(tài)發(fā)生了改變，有輕微失真現(xiàn)象；經(jīng)SVR算法配準(zhǔn)后Bunny源點云與目標(biāo)點云仍有偏差，仍需進一步的精細(xì)配準(zhǔn)；PCRNet在Dragon和Happy點云上配準(zhǔn)效果良好，但在其他點云模型配準(zhǔn)中誤差較大；KCR算法在各個模型上均取得了不錯的配準(zhǔn)效果，經(jīng)變換后的源點云基本與目標(biāo)點云重合。

圖3 各算法配準(zhǔn)效果Fig.3 Registration effect of each algorithm

在配準(zhǔn)誤差的定量對比上，由表1可以得知KCR算法在各個物體上的配準(zhǔn)精度優(yōu)于所對比算法，PCRNet算法配準(zhǔn)精度受輸入點云形態(tài)的影響較大，SVR與CPD算法的配準(zhǔn)精度相當(dāng)，ICP次之，GMM算法的配準(zhǔn)精度最差。由表2得知，在配準(zhǔn)時間上，PCRNet算法用時最短，KCR算法略次之，CPD算法用時最長，SVR算法耗時略優(yōu)于ICP算法。相比傳統(tǒng)算法，基于深度神經(jīng)網(wǎng)絡(luò)的配準(zhǔn)方法可直接根據(jù)輸入的兩個待配準(zhǔn)點云端到端地輸出變換矩陣，在效率上有良好表現(xiàn)，KCR算法由于引入了核相關(guān)度計算和對應(yīng)關(guān)系估計層等模塊以提升配準(zhǔn)參數(shù)求解的精度和魯棒性，因此在運行效率上略低于直接通過全連接層輸出配準(zhǔn)結(jié)果的PCRNet算法。

表1 各算法配準(zhǔn)誤差Tab.1 Registration error of each algorithm

表2 各算法配準(zhǔn)時間Tab.2 Registration time of each algorithm

2.3 噪聲點云配準(zhǔn)

由于掃描過程中點云傳感器、環(huán)境以及人為因素的影響，所獲取的點云不可避免地會出現(xiàn)噪聲影響。為驗證各個算法的抗噪能力，在Elephant點云上施加均值為0，方差為0.05的高斯分布噪聲，對比各個算法在噪聲環(huán)境下的配準(zhǔn)精度與效率。

由圖4和表3可知，除ICP和PCRNet算法外，其余算法均對噪聲具有良好的魯棒性。由于ICP算法基于最鄰近搜索來建立同名點對應(yīng)關(guān)系，而噪聲的存在會造成大量錯誤的對應(yīng)關(guān)系，不利于后續(xù)配準(zhǔn)參數(shù)求解的過程；CPD、GMM算法均通過建立概率分布模型來實現(xiàn)點云間的配準(zhǔn)，因而有良好的抗噪能力；PCRNet通過全局特征向量進行配準(zhǔn)參數(shù)回歸求解，而噪聲的存在干擾了全局特征向量對于點云的表達能力，從而影響配準(zhǔn)結(jié)果；KCR考慮了核相關(guān)信息對點云特征進行編碼，在大樣本數(shù)據(jù)集訓(xùn)練下對于噪聲并不敏感。精度對比上，KCR算法略優(yōu)于其他算法，對比無噪聲情況下的點云配準(zhǔn)精度有所下降。時間效率上，高斯噪聲對于所測試算法用時影響較小。

圖4 各算法在噪聲點云下的配準(zhǔn)效果Fig.4 Registration effect of each algorithm in noisy point cloud

表3 各算法在噪聲點云下的配準(zhǔn)配準(zhǔn)誤差和時間Tab.3 Registration error and time of each algorithm in noisy point cloud

2.4 不同密度點云配準(zhǔn)

由設(shè)備獲取的點云數(shù)據(jù)會出現(xiàn)遠(yuǎn)處點云密度高而近處密度低的情況，且在實際點云拼接中兩個點云的密度通常也不一樣，因此進行不同密度下的點云配準(zhǔn)實驗。對待配準(zhǔn)的Elephant點云進行50 %的數(shù)據(jù)隨機丟失，目標(biāo)點云保持不變，進行算法精度以及效率評價。

各個算法的配準(zhǔn)效果與精度如圖5和表4所示，可知在對不同密度點云的配準(zhǔn)實驗中，ICP、GMM、SVR和PCRNet算法均配準(zhǔn)失敗，CPD以及KCR算法能實現(xiàn)良好的配準(zhǔn)效果。由于兩組點的密度不一樣，ICP算法缺乏足夠的對應(yīng)點對來用于求解變換參數(shù)，而KCR算法通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來估計對應(yīng)同名點，其間考慮了目標(biāo)點云的局部和全局特征信息，因此即便待配準(zhǔn)的兩組點云密度不同，依然能夠根據(jù)估計的現(xiàn)有點對關(guān)系來計算出點云位姿。

圖5 各算法在不同密度點云下的配準(zhǔn)效果Fig.5 Registration effect of each algorithm at different densities of point cloud

表4 各算法在不同密度點云下的配準(zhǔn)誤差和時間Tab.4 Registration error and time of each algorithm at different densities of point cloud

總結(jié)以上實驗，可以發(fā)現(xiàn)ICP算法完成點云配準(zhǔn)對點云的初始位置要求較高，且對點噪聲以及缺失較為敏感；CPD和GMM算法均是基于概率模型的點云配準(zhǔn)算法，此類算法的魯棒性較好，但計算量大，效率較低；SVR算法將機器學(xué)習(xí)中經(jīng)典的支持向量機算法與高斯混合模型相結(jié)合，在不同點云配準(zhǔn)任務(wù)上表現(xiàn)良好，但在密度不同的點云上配準(zhǔn)結(jié)果較差；PCRNet算法雖然效率較高，但配準(zhǔn)精度受輸入點云的位姿和形態(tài)影響，且基于全局特征向量求解配準(zhǔn)參數(shù)的方式魯棒性較差；KCR算法通過構(gòu)建直接作用于點云上的迭代神經(jīng)網(wǎng)絡(luò)來完成點云配準(zhǔn)任務(wù)，能夠?qū)崿F(xiàn)在不同場景下點云的精確配準(zhǔn)。

3 結(jié)論

本文提出了一種基于核相關(guān)神經(jīng)網(wǎng)絡(luò)的點云自動配準(zhǔn)算法，對輸入的兩組點云使用深度神經(jīng)網(wǎng)絡(luò)進行編碼，通過對應(yīng)關(guān)系估計層來匹配同名點并進行變換參數(shù)求解，最后以迭代方式對配準(zhǔn)結(jié)果進行優(yōu)化。通過實驗表明，本文算法能夠在各個物體點云上實現(xiàn)端到端的精確配準(zhǔn)，效率較傳統(tǒng)點云配準(zhǔn)算法有明顯提升，且在點云數(shù)據(jù)存在噪聲和密度不一致的情況下仍具有良好的穩(wěn)定性和精度，基本解決了現(xiàn)有點云配準(zhǔn)算法效率低、魯棒性差的問題。

但由于網(wǎng)絡(luò)容量的限制，本文算法僅在小場景點云配準(zhǔn)任務(wù)上進行實驗，對于大場景的點云配準(zhǔn)任務(wù)仍需對網(wǎng)絡(luò)結(jié)構(gòu)進行進一步的優(yōu)化。

作者貢獻聲明：

李?。禾岢鱿敕?，論文撰寫。

黃碩文：論文撰寫，神經(jīng)網(wǎng)絡(luò)設(shè)計。

馮凱：神經(jīng)網(wǎng)絡(luò)算法程序設(shè)計。

朱琦：點云配準(zhǔn)數(shù)據(jù)收集。

崔昊：點云配準(zhǔn)實驗分析。