基于殘差注意力機(jī)制的點(diǎn)云配準(zhǔn)算法

秦庭威，趙鵬程，秦品樂(lè)*，曾建朝，柴銳，黃永琦

基于殘差注意力機(jī)制的點(diǎn)云配準(zhǔn)算法

秦庭威1，2，趙鵬程1，2，秦品樂(lè)1，2*，曾建朝1，2，柴銳1，2，黃永琦1，2

（1.山西省醫(yī)學(xué)影像人工智能工程技術(shù)研究中心（中北大學(xué)），太原 030051； 2.中北大學(xué) 大數(shù)據(jù)學(xué)院，太原 030051）（ ? 通信作者電子郵箱qpl@nuc.edu.cn）

針對(duì)傳統(tǒng)點(diǎn)云配準(zhǔn)算法精度低、魯棒性差以及放療前后癌癥患者無(wú)法實(shí)現(xiàn)精確放療的問(wèn)題，提出一種基于殘差注意力機(jī)制的點(diǎn)云配準(zhǔn)算法（ADGCNNLK）。首先，在動(dòng)態(tài)圖深度卷積網(wǎng)絡(luò)（DGCNN）中添加殘差注意力機(jī)制來(lái)有效地利用點(diǎn)云的空間信息，并減少信息損失；然后，利用添加殘差注意力機(jī)制的DGCNN提取點(diǎn)云特征，這樣做不僅可以在保持點(diǎn)云置換不變性的同時(shí)捕捉點(diǎn)云的局部幾何特征，也可以在語(yǔ)義上將信息聚合起來(lái)，從而提高配準(zhǔn)效率；最后，將提取到的特征點(diǎn)映射到高維空間中并使用經(jīng)典的圖像迭代配準(zhǔn)算法LK進(jìn)行配準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，所提算法與迭代最近點(diǎn)算法（ICP）、全局優(yōu)化的ICP算法（Go-ICP）和PointNetLK相比，在無(wú)噪、有噪的情況下配準(zhǔn)效果均最好。其中，在無(wú)噪情況下，與PointNetLK相比，所提算法的旋轉(zhuǎn)均方誤差降低了74.61%，平移均方誤差降低了47.50%；在有噪聲的情況下，與PointNetLK相比，所提算法的旋轉(zhuǎn)均方誤差降低了73.13%，平移均方誤差降低了44.18%，說(shuō)明所提算法與PointNetLK相比魯棒性更強(qiáng)。將所提算法應(yīng)用于放療前后癌癥患者人體點(diǎn)云模型的配準(zhǔn)，從而輔助醫(yī)生治療，并實(shí)現(xiàn)了精確放療。

點(diǎn)云配準(zhǔn)；特征提取；殘差注意力機(jī)制；深度學(xué)習(xí)；放療

0 引言

點(diǎn)云配準(zhǔn)是計(jì)算機(jī)視覺(jué)應(yīng)用于機(jī)器人、醫(yī)學(xué)成像等領(lǐng)域的關(guān)鍵問(wèn)題。剛性點(diǎn)云配準(zhǔn)是指尋找兩個(gè)給定點(diǎn)云與未知點(diǎn)云對(duì)應(yīng)的剛性變換問(wèn)題，其中，迭代最近點(diǎn)（Iterative Closest Point， ICP）算法［1］已被廣泛應(yīng)用于剛性點(diǎn)云配準(zhǔn)，它主要分兩步迭代求解剛性點(diǎn)云配準(zhǔn)問(wèn)題：1）將參考點(diǎn)云中的每個(gè)點(diǎn)分配到離源點(diǎn)云中空間最近的點(diǎn)；2）計(jì)算對(duì)應(yīng)點(diǎn)之間的最小二乘剛性變化。但基于空間距離的最近點(diǎn)對(duì)應(yīng)的硬賦值對(duì)初始剛性變化和離群點(diǎn)敏感，這往往導(dǎo)致ICP收斂到錯(cuò)誤的局部最小值。近些年來(lái)，ICP的一些變體［2-5］也被提出，這些ICP的變體使用了不同的優(yōu)化器，對(duì)異常值也具有魯棒性，但是，也存在著復(fù)雜度高、對(duì)初始化敏感、無(wú)法集成到深度學(xué)習(xí)框架中等問(wèn)題。

由于點(diǎn)云是一種無(wú)結(jié)構(gòu)的數(shù)據(jù)，這種無(wú)結(jié)構(gòu)的數(shù)據(jù)導(dǎo)致點(diǎn)云不同于二維圖像等結(jié)構(gòu)化數(shù)據(jù)那樣可以直接被卷積神經(jīng)網(wǎng)絡(luò)所處理。斯坦福大學(xué)于2017年提出的PointNet［6］解決了點(diǎn)云的旋轉(zhuǎn)不變性和無(wú)序性等問(wèn)題，使得點(diǎn)云數(shù)據(jù)可以直接被深度神經(jīng)網(wǎng)絡(luò)所處理。之后基于這一創(chuàng)新提出的網(wǎng)絡(luò)結(jié)構(gòu)在點(diǎn)云分類和分割領(lǐng)域上處于領(lǐng)先水平。但是PointNet對(duì)每個(gè)點(diǎn)提取特征的時(shí)候只關(guān)注了該點(diǎn)的特征，并沒(méi)有關(guān)注局部上下文信息，這使得提取出的點(diǎn)云特征在局部細(xì)節(jié)方面不盡人意，動(dòng)態(tài)圖深度卷積網(wǎng)絡(luò)（Dynamic Graph Convolutional Neural Network， DGCNN）［7］在PointNet的基礎(chǔ)上進(jìn)行改進(jìn)，提出了一種新的神經(jīng)網(wǎng)絡(luò)模塊邊卷積（EdgeConv），EdgeConv模塊不僅可以在保持點(diǎn)云置換不變性的同時(shí)捕捉到點(diǎn)云的局部幾何特征，也可以在語(yǔ)義上將點(diǎn)之間的信息進(jìn)行聚合，且可以很好地集成在已經(jīng)存在的點(diǎn)云處理框架中。

近兩年來(lái)，基于學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法被廣泛提出。Aoki 等［8］用PointNet將提取出來(lái)的特征點(diǎn)映射到高維空間，在高維空間中將得到的多維特征向量看成一幅圖像，然后再使用經(jīng)典的圖像配準(zhǔn)算法LK（Lucas-Kanade）［9］進(jìn)行點(diǎn)云配準(zhǔn)。Sarode等［10］針對(duì)PointNetLK［8］點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)，使用深度網(wǎng)絡(luò)代替LK算法來(lái)提高點(diǎn)云配準(zhǔn)的抗噪性和魯棒性。Wang等［11］通過(guò)提取待配準(zhǔn)點(diǎn)云的特征，利用改進(jìn)的transformer網(wǎng)絡(luò)來(lái)合并點(diǎn)云間的信息，計(jì)算點(diǎn)云之間的軟匹配，然后使用可微的奇異值分解模塊提取剛體變化進(jìn)行點(diǎn)云配準(zhǔn)。Wang等［12］結(jié)合了關(guān)鍵點(diǎn)檢測(cè)解決了配準(zhǔn)的非凸性和局部配準(zhǔn)問(wèn)題。Yew等［13］從點(diǎn)云混合特征中得到點(diǎn)對(duì)應(yīng)的軟賦值學(xué)習(xí)空間坐標(biāo)和局部幾何信息，并引入二次網(wǎng)絡(luò)來(lái)預(yù)測(cè)最優(yōu)退火參數(shù)進(jìn)一步提高了配準(zhǔn)性能。

受深度點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)PointNetLK和DGCNN的啟發(fā)，本文提出一種基于殘差注意力機(jī)制的點(diǎn)云配準(zhǔn)算法（Attention Dynamic Graph Convolutional Neural Network Lucas-Kanade， ADGCNNLK）。相較于傳統(tǒng)的點(diǎn)云配準(zhǔn)算法和PointNetLK算法，ADGCNNLK大大提高了點(diǎn)云配準(zhǔn)的精度和魯棒性。本文的主要工作有以下幾點(diǎn)：

1）相比PointNetLK點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)中使用PointNet提取點(diǎn)云特征，本文使用DGCNN［13］網(wǎng)絡(luò)代替PointNet提取輸入點(diǎn)云特征，既可以獲取點(diǎn)云拓?fù)湫畔?，也可以在保持點(diǎn)云置換不變性的同時(shí)更好地捕獲點(diǎn)云的局部幾何特征，豐富點(diǎn)云的表示能力。

2）在特征提取網(wǎng)絡(luò)DGCNN上添加殘差注意力模塊，利用點(diǎn)對(duì)之間的相對(duì)位置關(guān)系構(gòu)建點(diǎn)的局部鄰域圖，有效地利用了點(diǎn)云數(shù)據(jù)的空間信息，提高配準(zhǔn)效率。

3）將ADGCNNLK配準(zhǔn)算法應(yīng)用于參數(shù)化人體模型（Skinned Multi-Person Linear model， SMPL）［14］生成的放療前后癌癥患者人體點(diǎn)云模型的配準(zhǔn)，實(shí)現(xiàn)精確放療，對(duì)醫(yī)生輔助診斷治療具有重要意義。

1 相關(guān)工作

1.1　點(diǎn)云特征提取

PointNet作為點(diǎn)云深度學(xué)習(xí)的開(kāi)山之作，是第一個(gè)處理無(wú)序無(wú)規(guī)則點(diǎn)云的網(wǎng)絡(luò)。PointNet用原始點(diǎn)云作為輸入，將點(diǎn)云中的每個(gè)點(diǎn)都看做成一個(gè)獨(dú)立的處理單元，使用多層感知機(jī)（Multi-Layer Perceptron， MLP）嵌入到高層空間，并使用對(duì)稱函數(shù)聚合特征實(shí)現(xiàn)了點(diǎn)云的置換不變性，在物體的分類和分割上實(shí)現(xiàn)了不錯(cuò)的效果；但PointNet對(duì)每個(gè)點(diǎn)提取特征的時(shí)候只關(guān)注了該點(diǎn)的特征，并沒(méi)有關(guān)注局部上下文信息，特別在復(fù)雜的場(chǎng)景下會(huì)導(dǎo)致模型的泛化能力有限。隨后，PointNet++［15］對(duì)PointNet進(jìn)行了改進(jìn)，但PointNet++在采樣過(guò)程中仍使用PointNet作為區(qū)域特征提取器逐層提取并整合局部特征至全局特征，這也意味著在采樣的區(qū)域內(nèi)，點(diǎn)的特征仍是單獨(dú)提取的，同樣忽視了點(diǎn)云之間的幾何信息和局部特征。

DGCNN受卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的啟發(fā)，提出了一種新的神經(jīng)網(wǎng)絡(luò)模塊EdgeConv，EdgeConv不僅可以恢復(fù)點(diǎn)云的拓?fù)湫畔?，豐富點(diǎn)云的表示能力，在保持點(diǎn)云置換不變性的同時(shí)更好地捕捉點(diǎn)云的局部幾何特征，也可以在動(dòng)態(tài)更新圖的同時(shí)，在語(yǔ)義上將點(diǎn)的信息聚合起來(lái)。

本文使用DGCNN代替PointNet提取輸入點(diǎn)云特征，旨在獲取全局特征的同時(shí)獲取點(diǎn)云局部結(jié)構(gòu)信息，提取更豐富的點(diǎn)云特征用于配準(zhǔn)。

1.2　注意力機(jī)制

注意力機(jī)制（Attention Mechanism）是人們?cè)跈C(jī)器學(xué)習(xí)模型中嵌入的一種特殊結(jié)構(gòu)，用來(lái)自動(dòng)學(xué)習(xí)和計(jì)算輸入數(shù)據(jù)對(duì)輸出數(shù)據(jù)的貢獻(xiàn)大小。注意力機(jī)制主要分為通道注意力（Channel Attention， CA）和空間注意力（Spatial Attention， SA），分別在通道維度和空間維度上強(qiáng)調(diào)對(duì)任務(wù)有用的圖像特征信息［16］。SE-Net［17］中提出的SE（Squeeze and Excitation）模塊主要考慮了特征通道之間的關(guān)系，顯式地把通道之間的相互關(guān)系建模在神經(jīng)網(wǎng)絡(luò)的模塊中，具有SE模塊的網(wǎng)絡(luò)使圖片分類的準(zhǔn)確率得到了大幅度提升，SE模塊如圖1所示。SE模塊先通過(guò)對(duì)每一個(gè)輸出通道進(jìn)行全局平均池化（Global Average Pooling，GPA）操作，對(duì)輸入維度為××的特征信息進(jìn)行壓縮，獲取維度為1×1×的特征信息；然后依次通過(guò)全連接層、激活函數(shù)、全連接層、sigmoid得到個(gè)0～1的標(biāo)量作為每個(gè)通道的權(quán)重；最后將輸入通道的特征與權(quán)重分別相乘，得到重新加權(quán)后的特征。然而具有SE模塊的網(wǎng)絡(luò)只是從通道維度上進(jìn)行操作，忽略了空間維度的重要性。

圖1　SE模塊結(jié)構(gòu)

Woo等［18］進(jìn)一步考慮了空間維度對(duì)特征的影響，提出了卷積塊注意力模塊（Convolutional Block Attention Module，CBAM）。即給定一個(gè)中間特征圖，沿著空間和通道兩個(gè)維度依次推斷注意力權(quán)重，然后與原特征相乘對(duì)特征進(jìn)行自適應(yīng)調(diào)整。CBAM的空間模塊如圖2所示。將××的特征信息分別進(jìn)行通道維度的平均池化和最大池化得到兩個(gè)××1 的特征通道描述，將這兩個(gè)特征通道描述按照通道拼接在一起；然后經(jīng)過(guò)一個(gè)卷積層和sigmoid激活函數(shù)得到權(quán)重系數(shù)；最后，用權(quán)重系數(shù)和輸入特征相乘得到縮放后的新特征。實(shí)驗(yàn)［18］證明，集成CBAM的模型在不同的分類和檢測(cè)數(shù)據(jù)集上結(jié)果都得到了很大提升。

本文結(jié)合通道注意力與空間注意力設(shè)計(jì)了通道-空間注意力模塊，在DGCNN特征提取中添加該注意力模塊，旨在提取豐富的高層語(yǔ)義信息用于配準(zhǔn)，提高配準(zhǔn)效率。

圖2　CBAM的空間注意力模塊

2 ADGCNNLK算法

2.1　算法架構(gòu)

ADGCNNLK點(diǎn)云配準(zhǔn)算法結(jié)構(gòu)如圖3所示。

圖3　ADGCNNLK算法結(jié)構(gòu)

借鑒LK算法逆合成（Inverse Compositional， IC）公式的思想［15］，對(duì)模板點(diǎn)云進(jìn)行逆變化得到源點(diǎn)云，用公式表示為：

雅可比矩陣表示為：

相較于傳統(tǒng)LK算法需要對(duì)所有原始圖像計(jì)算雅可比矩陣，這種逆變換的形式使整個(gè)配準(zhǔn)過(guò)程中只需要對(duì)模板圖片計(jì)算一次雅可比矩陣，大大減少了計(jì)算量。

通過(guò)對(duì)變化矩陣的修改，每一次可對(duì)源點(diǎn)云進(jìn)行一個(gè)修改：

即

損失函數(shù)定義為如下Frobenius范數(shù)：

2.2　DGCNN結(jié)構(gòu)

與傳統(tǒng)二維圖像卷積利用卷積核的尺寸來(lái)定義像素的局部區(qū)域不同，DGCNN中的網(wǎng)絡(luò)模塊EdgeConv作用于網(wǎng)絡(luò)中每一層動(dòng)態(tài)計(jì)算的圖，使用近鄰（NN）圖的方式構(gòu)建局域并進(jìn)行卷積操作，實(shí)現(xiàn)對(duì)點(diǎn)云中節(jié)點(diǎn)特征的更新操作。相較于PointNet提取特征時(shí)只考慮當(dāng)前點(diǎn)的特征而不考慮其他點(diǎn)特征，EdgeConv在計(jì)算（更新）每個(gè)點(diǎn)的特征時(shí)，不僅考慮了該點(diǎn)當(dāng)前的特征，還考慮了在當(dāng)前的特征空間內(nèi)，與當(dāng)前該點(diǎn)距離最近的個(gè)點(diǎn)的特征。在特征空間內(nèi)與目標(biāo)點(diǎn)鄰近的個(gè)點(diǎn)可以在小范圍內(nèi)構(gòu)成一個(gè)部圖，從中計(jì)算出來(lái)的信息可以認(rèn)為是一種局部特征，從而讓全局特征和局部特征共同來(lái)影響每個(gè)點(diǎn)特征的更新，會(huì)取得更好的結(jié)果。

2.3　殘差注意力模塊

受CBAM的啟示，為了更好地提取點(diǎn)云特征，提高點(diǎn)云配準(zhǔn)效率，本文在DGCNN特征提取上添加了殘差注意力機(jī)制模塊ADGCNN（Attention Dynamic Graph Convolutional Neural Network），如圖3（a）所示。殘差學(xué)習(xí)源于殘差網(wǎng)絡(luò)［19］，主要用于解決深度學(xué)習(xí)中因增加網(wǎng)絡(luò)深度帶來(lái)的梯度消失引起網(wǎng)絡(luò)性能下降的問(wèn)題，由于點(diǎn)云數(shù)據(jù)具有無(wú)序，無(wú)規(guī)則的特點(diǎn)，而殘差學(xué)習(xí)的網(wǎng)絡(luò)可以通過(guò)顯式地學(xué)習(xí)多個(gè)堆疊的殘差映射，有利于擴(kuò)大網(wǎng)絡(luò)的容量，提高網(wǎng)絡(luò)對(duì)數(shù)據(jù)的擬合能力［20］。在以點(diǎn)云為輸入的網(wǎng)絡(luò)中，信息點(diǎn)的特征是在自下而上的步驟中學(xué)習(xí)的，在淺層網(wǎng)絡(luò)中進(jìn)行曲率、法向量等幾何結(jié)構(gòu)信息的提取，在網(wǎng)絡(luò)深層可以提取到語(yǔ)義等復(fù)雜的高層信息，但越復(fù)雜的特征越能體現(xiàn)目標(biāo)特征［7］。而本文的思想是將得到的點(diǎn)云特征映射到高維空間，看成對(duì)兩幅圖像進(jìn)行配準(zhǔn)，因此在DGCNN中最后兩個(gè)EdgeConv層后添加殘差注意力模塊，注意力模塊采用空間-通道相結(jié)合的方式，如圖3（b）所示。即利用點(diǎn)對(duì)之間的相對(duì)位置關(guān)系構(gòu)建點(diǎn)的局部鄰域圖，有效地利用了點(diǎn)云數(shù)據(jù)的空間信息，添加注意力模塊后動(dòng)態(tài)更新點(diǎn)云的局部鄰域圖，提取信息量最大的點(diǎn)用于配準(zhǔn)。實(shí)驗(yàn)結(jié)果表明，使用ADGCNN結(jié)構(gòu)實(shí)現(xiàn)點(diǎn)云配準(zhǔn)結(jié)果會(huì)更好。

3 實(shí)驗(yàn)與結(jié)果分析

3.1　實(shí)驗(yàn)參數(shù)

本文預(yù)訓(xùn)練數(shù)據(jù)集采用公開(kāi)數(shù)據(jù)集ModelNet40，ModelNet40是一個(gè)具有12 311個(gè)CAD模型且包含40個(gè)對(duì)象類別的數(shù)據(jù)集。本文從中選取9 843個(gè)模型用作訓(xùn)練，2 468個(gè)模型用作測(cè)試。在整體訓(xùn)練時(shí)分成兩部分進(jìn)行訓(xùn)練，先訓(xùn)練ADGCNN分類網(wǎng)絡(luò)，再訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)。在整個(gè)訓(xùn)練過(guò)程中均采用ADAM優(yōu)化器和mini-batch訓(xùn)練策略，均不使用Dropout。在訓(xùn)練分類網(wǎng)絡(luò)時(shí)，使用均勻采樣在每個(gè)模型的外表面采取1 024個(gè)點(diǎn)，batch的尺度設(shè)為32；在訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)時(shí)，batch的尺度設(shè)為8。軟件采用PyTorch V0.4.1框架，在1臺(tái)NVIDIV P100 圖形處理器（Graphic Processing Unit， GPU）上訓(xùn)練共計(jì)45 h。

3.2　方法對(duì)比實(shí)驗(yàn)

3.2.1使用ModelNet40所有數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試

實(shí)驗(yàn)參數(shù)設(shè)置：ICP和Go-ICP采用Open3D［21］默認(rèn)參數(shù)。PointNetLK在訓(xùn)練過(guò)程中與3.1節(jié)中ADGCNNLK提及的訓(xùn)練方式相似，分為PointNet分類網(wǎng)絡(luò)和配準(zhǔn)網(wǎng)絡(luò)兩個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，采用ADAM優(yōu)化器和mini-batch訓(xùn)練策略，均不使用Dropout。在訓(xùn)練分類網(wǎng)絡(luò)時(shí)，在每個(gè)模型的外表面均勻采樣1 024個(gè)點(diǎn)，batch的尺度設(shè)為32；在訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)時(shí)，batch的尺度設(shè)為8，訓(xùn)練共計(jì)41 h。

表1給出了實(shí)驗(yàn)結(jié)果，可以看到ADGCNN的配準(zhǔn)誤差明顯低于ICP、Go-ICP和PointNetLK。

表1　使用ModelNet40所有數(shù)據(jù)的訓(xùn)練和測(cè)試

ADGCNNLK在ModelNet40中一些物體上的配準(zhǔn)結(jié)果如圖4。

圖4　ADGCNNLK配準(zhǔn)結(jié)果

3.2.2在未知對(duì)象類別的數(shù)據(jù)上測(cè)試

將ModelNet40根據(jù)對(duì)象類別劃分訓(xùn)練集和測(cè)試集，選取其中20個(gè)對(duì)象類別分別使用ADGCNNLK模型和PointNetLK模型進(jìn)行訓(xùn)練，在沒(méi)有訓(xùn)練的20個(gè)對(duì)象類別上進(jìn)行測(cè)試。ICP和Go-ICP是在沒(méi)有進(jìn)行訓(xùn)練的20個(gè)對(duì)象類別上直接進(jìn)行測(cè)試。表2給出了實(shí)驗(yàn)結(jié)果，結(jié)果發(fā)現(xiàn)ADGCNNLK相比ICP、Go-ICP和PointNetLK對(duì)未訓(xùn)練過(guò)的點(diǎn)云數(shù)據(jù)具有較高的配準(zhǔn)精度，說(shuō)明本文算法具有良好的通用性。

表2　在 ModelNet40未知對(duì)象類別的數(shù)據(jù)上測(cè)試

3.2.3測(cè)試ADGCNNLK對(duì)噪聲的魯棒性

實(shí)驗(yàn)在測(cè)試時(shí)對(duì)輸入點(diǎn)云的每個(gè)點(diǎn)添加噪聲，噪聲從N（0，0.01）進(jìn)行獨(dú)立采樣并劃分在［-0.05，0.05］。本次實(shí)驗(yàn)采用3.2.1節(jié)的實(shí)驗(yàn)?zāi)Ｐ停撃Ｐ褪窃谒蠱odelNet40的無(wú)噪聲數(shù)據(jù)上進(jìn)行訓(xùn)練的。表3給出了實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果表明，ICP通常會(huì)收斂到一個(gè)較遠(yuǎn)的固定點(diǎn)，而Go-ICP和PointNetLK對(duì)噪聲具有一定魯棒性，ADGCNNLK則對(duì)噪聲具有較強(qiáng)魯棒性。

表3　在ModelNet40添加高斯噪聲的數(shù)據(jù)上進(jìn)行測(cè)試

3.2.4不同特征提取模塊比較

本實(shí)驗(yàn)將PointNet、添加注意力機(jī)制的PointNet（Attention PointNet， APointNet）、DGCNN和添加注意力機(jī)制的ADGCNN這3個(gè)特征提取模塊進(jìn)行比較。正如1.2節(jié)所述，PointNet提取點(diǎn)云特征時(shí)可以學(xué)習(xí)到點(diǎn)云的全局特征，DGCNN通過(guò)構(gòu)造NN圖在學(xué)習(xí)到點(diǎn)云的全局特征的同時(shí)也可以獲取點(diǎn)云局部幾何特征，而ADGCNN可以利用點(diǎn)云空間位置信息進(jìn)一步獲取更豐富的語(yǔ)義特征。將PointNetLK、添加殘差注意力機(jī)制的PointNetLK（Attention PointNet Lucas-Kanade，APointNetLK）、DGCNNLK和ADGCNNLK最終配準(zhǔn)結(jié)果進(jìn)行比較。表4給出了實(shí)驗(yàn)結(jié)果，結(jié)果表明使用ADGCNN特征提取模塊最終配準(zhǔn)精度更高。

表4　APointNet、DGCNN和ADGCNN特征學(xué)習(xí)比較

3.3　ADGCNNLK在放療前后癌癥患者人體點(diǎn)云上的應(yīng)用

3.3.1SMPL模擬生成放療前后患者人體點(diǎn)云

本文使用SMPL模擬放療前后患者人體點(diǎn)云，如圖5和圖6所示。圖5（a）為放療前的人體點(diǎn)云；圖5（b）為放療后的人體點(diǎn)云，相對(duì)于放療前的人體，放療后的人體會(huì)偏瘦；將放療前后的人體點(diǎn)云進(jìn)行一定的旋轉(zhuǎn)平移模擬真實(shí)放療環(huán)境，如圖5（c）所示，其中左側(cè)人體點(diǎn)云代表放療前的人體點(diǎn)云，右側(cè)人體點(diǎn)云代表放療后的人體點(diǎn)云。

圖5　放療前、放療后和旋轉(zhuǎn)平移后的人體點(diǎn)云

3.3.2評(píng)判放療前后患者人體點(diǎn)云配準(zhǔn)精度

由于使用SMPL生成的人體點(diǎn)云模型在同一坐標(biāo)系下，生成的人體點(diǎn)云模型如圖6所示。所以本文以生成時(shí)的兩個(gè)人體模型間的距離作為最終配準(zhǔn)標(biāo)準(zhǔn)，分別使用ICP、Go-ICP、PointNetLK和ADGCNNLK配準(zhǔn)算法對(duì)放療前后患者的人體點(diǎn)云模型進(jìn)行配準(zhǔn)，然后將配準(zhǔn)好的人體點(diǎn)云間的距離與使用SMPL生成時(shí)人體點(diǎn)云間的距離進(jìn)行比較，本實(shí)驗(yàn)將距離閾值設(shè)為0.01，表5給出了實(shí)驗(yàn)結(jié)果，實(shí)驗(yàn)結(jié)果表明，在相同條件下使用ADGCNNLK對(duì)放療前患者的人體點(diǎn)云模型配準(zhǔn)效果最好，整體配準(zhǔn)精度可以達(dá)到85.28%。各個(gè)算法配準(zhǔn)結(jié)果如圖7所示，如果配準(zhǔn)誤差小于0.01，表示配準(zhǔn)結(jié)果較好；配準(zhǔn)誤差在0.01～0.015，表示配準(zhǔn)結(jié)果適中；配準(zhǔn)誤差大于0.015，表示配準(zhǔn)結(jié)果較差。

圖6　SMPL生成放療前后患者人體點(diǎn)云模型

表5放療前后人體點(diǎn)云模型配準(zhǔn)結(jié)果

Tab.5　Registration results of human body point cloud models before and after radiotherapy

圖7　放療前后人體點(diǎn)云模型的可視化配準(zhǔn)結(jié)果

3.3.3人體部位配準(zhǔn)

為了實(shí)現(xiàn)部位精準(zhǔn)放療，本文也將放療前后的人體點(diǎn)云分成頭、胸、腹、胳膊、腿5個(gè)部位，分別使用ICP、Go-ICP、PointNetLK和ADGCNNLK配準(zhǔn)算法對(duì)人體部位進(jìn)行配準(zhǔn)，配準(zhǔn)結(jié)果如表6所示。

實(shí)驗(yàn)結(jié)果表明，在相同條件下使用ADGCNNLK對(duì)放療前后患者的人體部位配準(zhǔn)效果也是最好。在該實(shí)驗(yàn)中，將距離閾值設(shè)置為0.006，如果距離誤差小于0.006說(shuō)明配準(zhǔn)效果較好；如果誤差大于0.010，說(shuō)明配準(zhǔn)結(jié)果較差。各個(gè)部位的配準(zhǔn)結(jié)果如圖8所示，如果誤差小于0.006，表示配準(zhǔn)結(jié)果較好；誤差在0.006～0.010，表示配準(zhǔn)結(jié)果適中；誤差大于0.010，表示配準(zhǔn)結(jié)果較差。

表6　放療前后人體部位配準(zhǔn)結(jié)果 單位：%

圖8　放療前后人體部位配準(zhǔn)結(jié)果

4 結(jié)語(yǔ)

本文在點(diǎn)云配準(zhǔn)網(wǎng)絡(luò)PointNetLK的基礎(chǔ)上進(jìn)行了改進(jìn)，用添加空間-通道注意力機(jī)制和殘差網(wǎng)絡(luò)的DGCNN代替PointNet提取點(diǎn)云特征，相比PointNet，ADGCNN不僅可以捕捉點(diǎn)云的局部幾何特征，也可以在動(dòng)態(tài)更新圖的同時(shí)，在語(yǔ)義層面將點(diǎn)的信息聚合起來(lái)，減少局部幾何特征信息的損失，提高網(wǎng)絡(luò)對(duì)數(shù)據(jù)的擬合能力。實(shí)驗(yàn)結(jié)果表明，本文算法與部分傳統(tǒng)算法和PointNetLK配準(zhǔn)網(wǎng)絡(luò)相比，具有配準(zhǔn)精度高、魯棒性強(qiáng)等特點(diǎn)，并應(yīng)用于放療前后癌癥患者人體點(diǎn)云模型配準(zhǔn)上，對(duì)輔助醫(yī)生實(shí)現(xiàn)精確放療提供幫助。此外，在未來(lái)的工作中，將繼續(xù)嘗試將更好的點(diǎn)云配準(zhǔn)算法應(yīng)用于真實(shí)放療前后癌癥患者人體點(diǎn)云的配準(zhǔn)中，以獲得更為廣泛的應(yīng)用。

[1] BESL P J， McKAY N D. A method for registration of 3-D shapes［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1992， 14（2）： 239-256.

[2] RUSINKIEWICZ S， LEVOY M. Efficient variants of the ICP algorithm ［C］// Proceedings of the 3rd International Conference on 3D Digital Imaging and Modeling. Piscataway： IEEE， 2001： 145-152.

[3] SEGAL A， HAEHNEL D， THRUN S. Generalized-ICP［EB/OL］. ［2021-05-13］. http：//www.roboticsproceedings.org/rss05/p21.pdf.

[4] BOUAZIZ S， TAGLIASACCHI A， PAULY M. Sparse iterative closest point［J］. Computer Graphics Forum， 2013， 32（5）： 113-123.

[5] POMERLEAU F， COLAS F， SIEGWART R. A review of point cloud registration algorithms for mobile robotics［J］. Foundations and Trends in Robotics， 2015， 4（1）： 1-104.

[6] QI C R， SU H， MO K C， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 77-85.

[7] WANG Y， SUN Y B， LIU Z W， et al. Dynamic graph CNN for learning on point clouds［J］. ACM Transactions on Graphics， 2019， 38（5）： No.146.

[8] AOKI Y， GOFORTH H， SRIVATSAN R A， et al. PointNetLK： robust & efficient point cloud registration using PointNet［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 7154-7165.

[9] LUCAS D D， KANADE T. An iterative image registration technique with an application to stereo vision［C］// Proceedings of the 1981 International Joint Conference on Artificial Intelligence. San Francisco： Morgan Kaufmann Publishers Inc.， 1981： 674-679.

[10] SARODE V， LI X Q， GOFORTH H， et al. PCRNet： point cloud registration network using pointnet encoding［EB/OL］. （2018-11-04） ［2021-05-13］.https：//arxiv.org/pdf/1908.07906.pdf.

[11] WANG Y， SOLOMON J. Deep closest point： learning representations for point cloud registration［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3522-3531.

[12] WANG Y， SOLOMON J. PRNet： self-supervised learning for partial-to-partial registration［C/OL］// Proceedings of the 33rd Conference on Neural Information Processing Systems. ［2021-05-13］.https：//proceedings.neurips.cc/paper/2019/file/ebad33b3c9fa1d10327bb55f9e79e2f3-Paper.pdf.

[13] YEW Z J， LEE G H. RPM-Net： robust point matching using learned features［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11821-11830.

[14] LOPER M， MAHMOOD N， ROMERO J， et al. SMPL： a skinned multi-person linear model［J］. ACM Transactions on Graphics， 2015， 34（6）： No.248.

[15] QI C R， YI L， SU H， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5105-5114.

[16] JADERBERG M， SIMONYAN K， ZISSERMAN A， et al. Spatial transformer networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 2017-2025.

[17] ZHOU B， KHOSLA A， LAPEDRIZA A， et al. Learning deep features for discriminative localization［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2921-2929.

[18] WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.

[19] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.

[20] 林欽壯，何昭水. 基于注意力機(jī)制的高效點(diǎn)云識(shí)別方法［J］. 計(jì)算機(jī)與現(xiàn)代化， 2020（8）：51-55.（LIN Q Z， HE Z S. Method of efficient point cloud recognition based on attention mechanism［J］. Computer and Modernization， 2020（8）：51-55.）

[21] ZHOU Q Y， PARK J， KOLTUN V. Open3D： modern library fora 3D data processing［EB/OL］. （2018-01-30） ［2021-05-13］.https：//arxiv.org/pdf/1801.09847.pdf.

QIN Tingwei，born in 1997， M. S. candidate. His research interests include point cloud registration， machine learning.

ZHAO Pengcheng，born in 1995， M. S. His research interests include 3D point cloud processing， computer vision.

QIN Pinle，born in 1978， Ph. D.， professor. His research interests include big data， machine vision.

ZENG Jianchao，born in 1963， Ph. D.， professor. His research interests include maintenance decision and health management of complex system.

CHAI Rui， born in 1985， Ph. D.， lecturer. His research interests include medical image processing.

HUANG Yongqi，born in 1997， M. S. candidate. His research interests include point cloud registration， computer vision.

Point cloud registration algorithm based on residual attention mechanism

QIN Tingwei1，2， ZHAO Pengcheng1，2， QIN Pinle1，2*， ZENG Jianchao1，2， CHAI Rui1，2， HUANG Yongqi1，2

（1（），030051，；2，，030051，）

Aiming at the problems of low accuracy and poor robustness of traditional point cloud registration algorithms and the inability of accurate radiotherapy for cancer patients before and after radiotherapy， an Attention Dynamic Graph Convolutional Neural Network Lucas-Kanade （ADGCNNLK） was proposed. Firstly， residual attention mechanism was added to Dynamic Graph Convolutional Neural Network （DGCNN） to effectively utilize spatial information of point cloud and reduce information loss. Then， the DGCNN added with residual attention mechanism was used to extract point cloud features， this process was not only able to capture the local geometric features of the point cloud while maintaining the invariance of the point cloud replacement， but also able to semantically aggregate the information， thereby improving the registration efficiency. Finally， the extracted feature points were mapped to a high-dimensional space， and the classic image iterative registration algorithm LK （Lucas-Kanade） was used for registration of the nodes. Experimental results show that compared with Iterative Closest Point （ICP）， Globally optimal ICP （Go-ICP） and PointNetLK， the proposed algorithm has the best registration effect with or without noise. Among them， in the case without noise， compared with PointNetLK， the proposed algorithm has the rotation mean squared error reduced by 74.61%， and the translation mean squared error reduced by 47.50%； in the case with noise， compared with PointNetLK， the proposed algorithm has the rotation mean squared error reduced by 73.13%， and the translational mean squared error reduced by 44.18%， indicating that the proposed algorithm is more robust than PointNetLK. And the proposed algorithm is applied to the registration of human point cloud models of cancer patients before and after radiotherapy， assisting doctors in treatment， and realizing precise radiotherapy.

point cloud registration; feature extraction; residual attention mechanism; deep learning; radiotherapy

This work is partially supported by Shanxi Provincial Key Research and Development Plan （201803D31212-1）， Construction Project of Engineering Technology Research Center of Shanxi Province （201805D121008）.

TP391.41

A

1001-9081（2022）07-2184-08

10.11772/j.issn.1001-9081.2021071319

2021?07?22；

2021?10?13；

2021?10?18。

山西省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（201803D31212-1）；山西省工程技術(shù)研究中心建設(shè)項(xiàng)目（201805D121008）。

秦庭威（1997—），男，陜西渭南人，碩士研究生，CCF會(huì)員，主要研究方向：點(diǎn)云配準(zhǔn)、機(jī)器學(xué)習(xí)； 趙鵬程（1995—），男，陜西渭南人，碩士，CCF會(huì)員，主要研究方向：三維點(diǎn)云處理、計(jì)算機(jī)視覺(jué)； 秦品樂(lè)（1978—），男，山西長(zhǎng)治人，教授，博士，CCF會(huì)員，主要研究方向：大數(shù)據(jù)、機(jī)器視覺(jué)； 曾建朝（1963—），男，山西太原人，教授，博士，CCF會(huì)員，主要研究方向：復(fù)雜系統(tǒng)的維護(hù)決策和健康管理； 柴銳（1985—），男，山西運(yùn)城人，講師，博士，CCF會(huì)員，主要研究方向：醫(yī)學(xué)影像處理； 黃永琦（1997—），男，山西太原人，碩士研究生，CCF會(huì)員，主要研究方向：點(diǎn)云配準(zhǔn)、計(jì)算機(jī)視覺(jué)。