基于局部注意力機(jī)制的三維牙齒模型分割網(wǎng)絡(luò)

張凌明，趙悅，李鵬程，劉洋，高陳強(qiáng)

1 引言

三維牙齒模型是利用口內(nèi)掃描儀對患者口腔內(nèi)軟硬組織進(jìn)行實(shí)時(shí)掃描和重建而得到的一種數(shù)字化三維模型，其本質(zhì)是由無序的三維點(diǎn)云或三維網(wǎng)格組成的非結(jié)構(gòu)化數(shù)據(jù). 三維牙齒模型的分割任務(wù)是指從模型中準(zhǔn)確分割出牙齒區(qū)域，其分割結(jié)果可以高效地協(xié)助醫(yī)生對患者牙齒進(jìn)行移動(dòng)、重排列等操作，以便可靠地模擬正畸治療后的效果. 同時(shí)，分割信息還可以為牙齒種植導(dǎo)板設(shè)計(jì)、3D生物打印種植體、以及患者后續(xù)治療計(jì)劃的制定提供重要參考信息. 因此，三維牙齒模型分割具有十分重要的意義.

然而，由于不同患者之間牙齒形狀存在巨大差異，三維牙齒模型的分割任務(wù)也存在許多難點(diǎn)，如圖1 所示. 圖1（a）所示的牙齒錯(cuò)位現(xiàn)象通常會(huì)導(dǎo)致不同類別牙齒在空間上距離更近甚至存在部分區(qū)域的重疊，而圖1（b）所示的牙齒缺失現(xiàn)象也會(huì)造成整個(gè)模型的牙齒排列呈現(xiàn)更大的差異性，這都給網(wǎng)絡(luò)對牙齒模型整體拓?fù)浣Y(jié)構(gòu)的學(xué)習(xí)造成較大困難.

圖1 三維牙齒模型中牙齒錯(cuò)位和缺牙示意圖

到目前為止，已經(jīng)提出了一些基于深度學(xué)習(xí)的三維牙齒模型分割方法［1，4］. 一種最直接的思路就是將三維牙齒模型當(dāng)成三維點(diǎn)云數(shù)據(jù)或者三維網(wǎng)格數(shù)據(jù)進(jìn)行處理，因此可將其分割任務(wù)進(jìn)一步細(xì)化為點(diǎn)云或網(wǎng)格的分割任務(wù). 例如，部分學(xué)者將三維牙齒模型中的點(diǎn)云或網(wǎng)格預(yù)處理為類似于圖像領(lǐng)域的結(jié)構(gòu)化數(shù)據(jù)形式，然后送入2D 或3D 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行牙齒分割［1，2］. 這類方法較好地解決了卷積神經(jīng)網(wǎng)絡(luò)由于三維數(shù)據(jù)的無序性而無法直接應(yīng)用于三維牙齒模型的問題. 其他學(xué)者則直接對現(xiàn)有的點(diǎn)云分割網(wǎng)絡(luò)進(jìn)行遷移或改進(jìn)［3，4］，例如，Lian 等人［4］先通過構(gòu)建鄰接矩陣對PointNet［5］特征提取方法進(jìn)行改進(jìn)，然后用于三維牙齒模型的分割任務(wù). 這類網(wǎng)絡(luò)的結(jié)構(gòu)往往可以很好地處理三維數(shù)據(jù)的無序性問題，因此可以避免額外的數(shù)據(jù)預(yù)處理操作.

雖然上述方法取得了一定的效果，但其中部分方法［1，2］對每個(gè)分割單位（點(diǎn)或網(wǎng)格）進(jìn)行相對獨(dú)立的特征提取，忽略了局部特征信息對牙齒分割的重要性. 其他方法［3，4］雖然對局部特征進(jìn)行了建模，但其提取過程沒有充分考慮局部空間內(nèi)分割單位的真實(shí)分布情況，因此在牙齒邊緣區(qū)域無法提取更細(xì)節(jié)的局部形狀特征，進(jìn)而導(dǎo)致這些區(qū)域出現(xiàn)較為嚴(yán)重的過分割或欠分割現(xiàn)象.

最近，學(xué)者們提出了一些基于局部空間分組的點(diǎn)云分割方法［6，7］，并且在一定程度上優(yōu)化了三維數(shù)據(jù)的局部特征提取問題. 然而，這些方法依舊采用相對簡單的局部特征提取方法，例如文獻(xiàn)［7］直接使用最大值池化（Max Pooling）對局部區(qū)域進(jìn)行特征聚合. 由于最大值池化僅能選擇性地保留部分局部特征信息，而忽略了各單位之間的深層關(guān)系（例如相對空間距離、特征相似度等）. 因此，這種方式仍然會(huì)丟失部分細(xì)節(jié)信息.

為提取三維牙齒模型中更細(xì)節(jié)的局部形狀特征，提高牙齒邊緣區(qū)域的特征辨別能力，本文提出了一種基于局部注意力機(jī)制的分割網(wǎng)絡(luò). 網(wǎng)絡(luò)首先以三維網(wǎng)格數(shù)據(jù)的形式對牙齒模型進(jìn)行多尺度局部空間區(qū)域構(gòu)建. 對于每一個(gè)局部區(qū)域，網(wǎng)絡(luò)先進(jìn)行空間信息增強(qiáng)以豐富網(wǎng)格數(shù)據(jù)的空間特征. 在此基礎(chǔ)上，再根據(jù)網(wǎng)格的空間分布和相對特征差異自動(dòng)學(xué)習(xí)注意力權(quán)重，并基于該權(quán)重進(jìn)行局部特征聚合. 這種基于注意力機(jī)制的局部特征提取方式能幫助網(wǎng)絡(luò)自適應(yīng)地去關(guān)注不同局部區(qū)域內(nèi)更具有表達(dá)性的網(wǎng)格特征，因此能在牙齒邊緣區(qū)域提取更細(xì)節(jié)的局部形狀特征，有效解決了現(xiàn)有方法無法準(zhǔn)確分割牙齒邊緣區(qū)域的問題. 本文網(wǎng)絡(luò)在臨床三維牙齒模型數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明：相對于現(xiàn)有的分割網(wǎng)絡(luò)，本文方法能更準(zhǔn)確地分割出牙齒邊緣等低特征識別度區(qū)域，且能較好克服數(shù)據(jù)中存在的缺牙、牙齒錯(cuò)位等分割難點(diǎn).

2 相關(guān)工作

2.1 傳統(tǒng)三維牙齒模型分割方法

傳統(tǒng)的三維牙齒模型分割方法通常利用預(yù)定義的空間幾何特征如曲率、法向量等作為牙齒分割的參考信息. 這些方法大致可分為：（1）基于曲率的方法（curva?ture-based method）［8，12］；（2）基于輪廓線的方法（contourline-based method）［13，14］；（3）基于諧波場的方法（harmon?ic-field-based method）［15］. 部分學(xué)者還將三維牙齒模型先映射為歐氏空間的2D 圖像進(jìn)行圖像分割［16，17］. 上述傳統(tǒng)方法雖然比較直觀，但由于不同人牙齒的形狀變化較大，導(dǎo)致這些基于幾何特征的方法魯棒性差，易出現(xiàn)分割結(jié)果不穩(wěn)定的情況. 同時(shí)部分傳統(tǒng)分割方法還需要一定的人工交互，無法實(shí)現(xiàn)全自動(dòng)的分割.

2.2 基于深度學(xué)習(xí)的方法

隨著深度學(xué)習(xí)技術(shù)在自然圖像和醫(yī)學(xué)圖像分割領(lǐng)域取得的巨大成功［18，19］，許多學(xué)者也將其應(yīng)用于三維牙齒模型的分割任務(wù)中.Xu 等人［1］先手動(dòng)提取三維牙齒模型中網(wǎng)格的幾何特征，然后將每個(gè)網(wǎng)格的特征向量以矩陣形式送入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行單個(gè)網(wǎng)格分類的分類任務(wù).Farhad等人［3］則將牙齒模型以點(diǎn)云數(shù)據(jù)的形式送入PointCNN［6］網(wǎng)絡(luò)進(jìn)行點(diǎn)云分割任務(wù)，并配合鑒別器網(wǎng)絡(luò)對分割結(jié)果進(jìn)行優(yōu)化. 上述方法雖然在總體上能取得較好的分割效果，但由于沒有充分考慮局部區(qū)域內(nèi)各單位之間的特征關(guān)聯(lián)性，因此無法有效提取牙齒的局部形狀信息. 而本文網(wǎng)絡(luò)能充分參考局部區(qū)域內(nèi)各單位的空間位置和特征信息進(jìn)行局部特征提取，以這種方式得到的特征信息能更好地反應(yīng)牙齒的真實(shí)形狀.

此外，為能將3D 卷積神經(jīng)網(wǎng)絡(luò)遷移至三維牙齒模型的分割任務(wù)中，Tian 等人［2］先利用稀疏八叉樹分區(qū)［20］的方式（sparse octree partitioning）將三維牙齒模型進(jìn)行體素化（voxelization），然后將其送入3D 卷積神經(jīng)網(wǎng)絡(luò)對牙齒進(jìn)行分割. 但該方法同時(shí)也增加了額外的計(jì)算開銷，且在體素化階段可能會(huì)引入量化誤差.

近年來，學(xué)者們針對點(diǎn)云分割任務(wù)做了大量研究，如基于多視角的點(diǎn)云分割方法［21，24］、基于體素化的點(diǎn)云分割方法［25，30］等. 這些方法也為三維牙齒模型的分割任務(wù)提供了重要參考. 其中Qi等人提出的PointNet［5］是第一個(gè)可以直接將無序的三維空間數(shù)據(jù)作為輸入的網(wǎng)絡(luò)，有效地解決了非結(jié)構(gòu)化數(shù)據(jù)的無序性問題. 鑒于PointNet［5］在點(diǎn)云處理上表現(xiàn)出的良好性能，Lian 等人［4］在此基礎(chǔ)上利用鄰接矩陣對PointNet［5］的特征提取過程進(jìn)行改進(jìn)，并提出了一種新的三維牙齒模型分割網(wǎng)絡(luò)MeshSegNet. 由于PointNet［5］無法提取三維數(shù)據(jù)的局部特征信息，Qi 等人又提出了PointNet++［7］. Point?Net++通過對三維空間數(shù)據(jù)進(jìn)行局部區(qū)域構(gòu)建的方式來提取局部特征信息，并在一定程度上提升了網(wǎng)絡(luò)的學(xué)習(xí)能力，但由于其僅簡單地使用最大值池化進(jìn)行局部特征聚合，依舊會(huì)丟失了其他細(xì)節(jié)信息. 近年來，隨著注意力機(jī)制在各領(lǐng)域取得的巨大成功［31，33］，本文也設(shè)計(jì)了一種基于注意力機(jī)制的局部特征聚合，相比于對使用最大值池化，這種方式能更好地保留局部區(qū)域內(nèi)細(xì)節(jié)形狀信息.

3 本文方法

本文網(wǎng)絡(luò)框架如圖2所示，整個(gè)網(wǎng)絡(luò)可分為局部特征提取階段和特征逆向傳播階段. 在局部特征提取階段，網(wǎng)絡(luò)首先對輸入的三維牙齒模型進(jìn)行網(wǎng)格下采樣以構(gòu)建局部空間區(qū)域，然后對每個(gè)局部空間區(qū)域進(jìn)行空間信息增強(qiáng)和基于局部空間注意力機(jī)制的特征聚合以提取局部特征信息. 提取的局部特征信息將作為下一層網(wǎng)絡(luò)的輸入進(jìn)行同樣的操作直至局部特征提取階段結(jié)束. 在特征逆向傳播階段，網(wǎng)絡(luò)以最后一次局部特征聚合模塊的輸出為起點(diǎn)，通過上采樣和特征逆向傳播將網(wǎng)格數(shù)量逐步恢復(fù)至原始牙齒模型具有的網(wǎng)格數(shù)量，并同時(shí)將兩個(gè)階段對應(yīng)的網(wǎng)格特征信息進(jìn)行融合學(xué)習(xí). 最后，網(wǎng)絡(luò)利用多層感知器（Multi-layer Percep?tron，MLP）進(jìn)行網(wǎng)格級別的牙齒分割預(yù)測.

圖2 本文網(wǎng)絡(luò)的整體結(jié)構(gòu)示意圖

3.1 數(shù)據(jù)預(yù)處理

本文網(wǎng)絡(luò)的初始輸入包含三維牙齒模型中N個(gè)網(wǎng)格的初始特征信息和空間位置信息兩部分. 由于每個(gè)網(wǎng)格初始特征信息僅含有網(wǎng)格三個(gè)頂點(diǎn)坐標(biāo)信息組成的向量V?R9. 若僅使用該信息作為輸入，并不利于網(wǎng)絡(luò)學(xué)習(xí)更細(xì)節(jié)的語義特征，且沒有充分利用三維網(wǎng)格具有局部拓?fù)溥B接這一優(yōu)勢. 因此本文在數(shù)據(jù)預(yù)處理部分對每個(gè)網(wǎng)格進(jìn)行額外的空間特征提取以豐富網(wǎng)格的初始特征信息. 定義三維牙齒模型中所有網(wǎng)格的集合為M={m1,m2,…,mN}，|M| =N. 對于網(wǎng)格mi?M，先獲取其網(wǎng)格的法向量信息Nmesh?R3和其三個(gè)頂點(diǎn)法向量信息Nvertex?R9，然后再將Nmesh、Nvertex和V共同拼接成網(wǎng)格mi的初始特征向量fi?R21. 而在定義每個(gè)網(wǎng)格的空間位置信息時(shí)，考慮到僅使用單個(gè)頂點(diǎn)坐標(biāo)作為網(wǎng)格的空間位置信息并不準(zhǔn)確，因此本文選擇網(wǎng)格的中心點(diǎn)坐標(biāo)作為每個(gè)網(wǎng)格的空間位置信息. 對于網(wǎng)格mi，其中心點(diǎn)pi?R3的坐標(biāo)為：

其中，xi，yi，zi分別表示網(wǎng)格mi的頂點(diǎn)坐標(biāo)值. 在完成N個(gè)網(wǎng)格的數(shù)據(jù)預(yù)處理操作后，將它們的初始特征信息和空間位置信息分別拼接成矩陣F=(f1,f2,…,fN)和P=(p1,p2,…,pN)，并作為網(wǎng)絡(luò)的初始輸入，其中F?RN×21，P?RN×3.

3.2 局部區(qū)域構(gòu)建

本文先對牙齒模型中的網(wǎng)格數(shù)據(jù)進(jìn)行局部區(qū)域的構(gòu)建，然后再進(jìn)行后續(xù)的特征學(xué)習(xí). 以第一次局部區(qū)域構(gòu)建為例，網(wǎng)絡(luò)先利用最遠(yuǎn)距離采樣（Farthest Point Sampling，F(xiàn)PS）從輸入的網(wǎng)格集合M中下采樣出N1(N1＜N)個(gè)網(wǎng)格，并將這些被采樣的網(wǎng)格定義為中心網(wǎng)格（如圖2 中紅色圓點(diǎn)示意）. 定義中心網(wǎng)格集合，對于任意中心網(wǎng)格網(wǎng)絡(luò)以其中心點(diǎn)坐標(biāo)作為參考，在整個(gè)數(shù)據(jù)空間內(nèi)選擇距離該點(diǎn)最近的k個(gè)其他網(wǎng)格組成mci的局部網(wǎng)格集合（如圖2 中藍(lán)色圓點(diǎn)示意）. 中心網(wǎng)格mci和其局部網(wǎng)格集合便組成了一個(gè)局部空間區(qū)域（如圖2中圓形虛線框示意）. 當(dāng)完成所有中心網(wǎng)格的局部區(qū)域構(gòu)建后，原始輸入的N個(gè)網(wǎng)格便被劃分為N1個(gè)局部空間區(qū)域（即N1個(gè)網(wǎng)格分組），這些局部空間區(qū)域?qū)?huì)被送入后續(xù)的局部特征聚合模塊進(jìn)行局部特征提取.

3.3 局部特征聚合模塊

局部信息聚合模塊整體框圖如圖3 所示. 以網(wǎng)絡(luò)第一個(gè)局部特征聚合模塊為例，其輸入為N1個(gè)網(wǎng)格分組，輸出為N1個(gè)局部特征信息. 模塊首先對所有局部網(wǎng)格集合進(jìn)行空間信息增強(qiáng)，并將增強(qiáng)結(jié)果與網(wǎng)格原始特征進(jìn)行融合學(xué)習(xí)以得到更豐富特征信息. 在此基礎(chǔ)上，模塊再根據(jù)中心網(wǎng)格和局部網(wǎng)格的真實(shí)空間分布和特征差異自動(dòng)學(xué)習(xí)出局部網(wǎng)格的注意力權(quán)重，并基于該權(quán)重進(jìn)行局部特征聚合.

圖3 局部特征聚合模塊框圖

3.3.1 局部特征聚合模塊

3.3.2 局部注意力機(jī)制

本文基于局部注意力機(jī)制對局部空間區(qū)域內(nèi)的網(wǎng)格特征信息進(jìn)行聚合. 對于局部網(wǎng)格mloj，其權(quán)重向量αj的學(xué)習(xí)方式為：

其中，GL表示局部空間區(qū)域L 聚合后的局部特征信息，⊙為哈達(dá)瑪乘積.

在完成N1個(gè)局部空間區(qū)域的特征聚合后，模塊會(huì)輸出N1個(gè)局部特征信息G1,G2,…,GN1，如圖3 所示. 這些局部特征信息將重新作為N1個(gè)中心網(wǎng)格的原始特征并進(jìn)行下一次的局部特征提取的，直到局部特征提取階段結(jié)束.

3.4 特征逆向傳播

特征逆向傳播階段是局部特征提取階段的逆過程，其通過上采樣和特征逆向傳播將下采樣后的網(wǎng)格數(shù)量逐步恢復(fù)至原始網(wǎng)格數(shù)量以做分割預(yù)測. 與PointNet++［7］類似，特征逆向傳播階段每一次上采樣會(huì)使網(wǎng)格集合從Ml恢復(fù) 至Ml-1，其中|Ml| =Nl，|Ml-1| =Nl-1（Nl＜Nl-1），如圖2所示. 對于網(wǎng)格ml-1i?Ml-1，其特征fl-1i是由集合Ml中距離ml-1i最近的3 個(gè)其他網(wǎng)格進(jìn)行特征加權(quán)而得，如式（6）所示：

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文所使用的實(shí)驗(yàn)數(shù)據(jù)包括40例由人工精標(biāo)注的數(shù)字化三維牙齒模型，數(shù)據(jù)來源均為口內(nèi)掃描儀對不同的患者進(jìn)行掃描而得. 由于每一例原始牙齒模型所包含的網(wǎng)格數(shù)量大約在10萬到30萬之間且互不相同.為減少數(shù)據(jù)的冗余以及保持網(wǎng)絡(luò)訓(xùn)練時(shí)的數(shù)據(jù)一致性，每一例牙齒模型在保證基本拓?fù)浣Y(jié)構(gòu)的基礎(chǔ)上被統(tǒng)一下采樣至16000個(gè)網(wǎng)格用于網(wǎng)絡(luò)的訓(xùn)練和測試（即N=16000）. 本文定義的牙齒分割類別種數(shù)C=8，包括由中切牙到第2磨牙的7種牙齒類別（左右對稱）和1種牙齦類別. 本文還對訓(xùn)練數(shù)據(jù)進(jìn)行如下數(shù)據(jù)增強(qiáng)操作：（1）隨機(jī)旋轉(zhuǎn)角度ε，ε?[-π/6,π/6]；（2）隨機(jī)坐標(biāo)平移，平移量γ?[-10,10]. 每一例訓(xùn)練數(shù)據(jù)都會(huì)進(jìn)行上述兩種數(shù)據(jù)增強(qiáng)操作以產(chǎn)生60例新的訓(xùn)練數(shù)據(jù)參與網(wǎng)絡(luò)訓(xùn)練. 本文所有實(shí)驗(yàn)均采用3折交叉驗(yàn)證.

4.2 實(shí)驗(yàn)環(huán)境與網(wǎng)絡(luò)參數(shù)設(shè)置

本文網(wǎng)絡(luò)是利用Pytorch 深度學(xué)習(xí)工具實(shí)現(xiàn)，GPU版本為NVIDIA GeForce GTX 1080，操作系統(tǒng)為Ubuntu 16.04 64bit. 訓(xùn)練時(shí)采用的優(yōu)化器為Adma，損失函數(shù)為交叉熵?fù)p失函數(shù)（Cross-Entropy loss），初始學(xué)習(xí)率為0.001，每訓(xùn)練20 輪進(jìn)行0.5 倍衰減，最低學(xué)習(xí)率為0.00001，訓(xùn)練過程中batch_size 設(shè)置為4. 網(wǎng)絡(luò)總訓(xùn)練輪數(shù)為200 epoch. 實(shí)際訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)包含4 次局部特征提取操作（局部區(qū)域構(gòu)建+局部特征聚合模塊）以及4次上采樣操作. 進(jìn)行局部區(qū)域構(gòu)建時(shí)的下采樣的中心網(wǎng)格個(gè)數(shù)和局部網(wǎng)格個(gè)數(shù)k隨著次數(shù)的增加分別為［4000，2000，1000，500］和［32，32，16，16］.

4.3 對比方法

在相同的實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)平臺下，本文網(wǎng)絡(luò)的分割性能與PointCNN［6］，PointNet［5］，PointNet++［7］以及Li?an［4］等人提出三維牙齒模型分割網(wǎng)絡(luò)MeshSegNet 進(jìn)行了對比. 所采用的評估指標(biāo)包括分割準(zhǔn)確率（Accura?cy）、平均交并比（mean Intersection-over-Union，mIOU）以及單個(gè)類別的交并比. 四種對比方法的相關(guān)實(shí)驗(yàn)細(xì)節(jié)描述如下.

（1）PointNet：本文所采用的PointNet 與文獻(xiàn)［5］中的網(wǎng)絡(luò)結(jié)構(gòu)一致. 同時(shí)，為保證對比的公平性，本文采用是N×21 的網(wǎng)格初始特征信息矩陣作為PointNet 的輸入，與本文網(wǎng)絡(luò)的輸入保持一致. 訓(xùn)練過程中參數(shù)batch_size 設(shè)置為4，總訓(xùn)練輪數(shù)為200 epoch，其他訓(xùn)練參數(shù)設(shè)置與3.2小節(jié)一致.

（2）PointNet++：本文所采用的PointNet++與文獻(xiàn)［7］中的網(wǎng)絡(luò)結(jié)構(gòu)的基本一致. 在進(jìn)行局部區(qū)域劃分時(shí)采用與本文方法一樣的k近鄰算法和相關(guān)參數(shù)設(shè)置.PointNet++的輸入包含N×21的網(wǎng)格初始特征信息矩陣和N×3 的網(wǎng)格空間位置信息矩陣兩部分，輸入和本文網(wǎng)絡(luò)保持一致. PointNet++訓(xùn)練時(shí)batch_size 設(shè)置為4，總訓(xùn)練輪數(shù)為200 epoch，其他訓(xùn)練參數(shù)設(shè)置與3.2小節(jié)一致.

（3）PointCNN：本文所采用的PointCNN 的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)內(nèi)部參數(shù)設(shè)置與文獻(xiàn)［6］中一致，訓(xùn)練時(shí)batch_size 設(shè)置為4，總訓(xùn)練輪數(shù)為200 epoch，其他訓(xùn)練參數(shù)與3.2小節(jié)一致.

（4）MeshSegNet：本文所采用的MeshSegNet 的網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)內(nèi)部參數(shù)設(shè)置與文獻(xiàn)［4］中一致，訓(xùn)練時(shí)batch_size 設(shè)置為4，總訓(xùn)練輪數(shù)為200 epoch，原文中MeshSegNet 的輸入為6000 個(gè)網(wǎng)格，為保證對比的公平性，本文對將其輸入擴(kuò)充至16000 個(gè)網(wǎng)格，以達(dá)到與本文方法的輸入保持一致.

4.4 實(shí)驗(yàn)結(jié)果分析

本文方法與現(xiàn)有四種分割網(wǎng)絡(luò)在3 折交叉驗(yàn)證下的分割準(zhǔn)確率指標(biāo)和分割交并比指標(biāo)對比分別如表1、表2所示. 表1中每一行數(shù)據(jù)表示不同分割網(wǎng)絡(luò)在測試集上的分割準(zhǔn)確率. 表2 中每一行數(shù)據(jù)表示不同分割網(wǎng)絡(luò)在單個(gè)分割類別上的分割交并比和平均交并比，其中T0 表示牙齦類別，T1~T7 分別表示的左右對稱的中切牙至第2 磨牙7 種類別. 從分割結(jié)果可以看出，由于PointNet［5］在特征學(xué)習(xí)時(shí)缺失對局部特征提取，因此在準(zhǔn)確率和mIoU 兩種指標(biāo)上都明顯低于其他方法，這說明局部形狀信息對牙齒模型的分割具有十分重要的作用.PointNet++［7］和PointCNN［6］在兩種分割指標(biāo)上相對于PointNet［4］有明顯提高，但由于它們的局部特征聚合方式相對簡單，分割準(zhǔn)確性無法進(jìn)一步提高. Mesh?SegNet［4］在四種對比方法中取得了最好的分割性能，但由于其本質(zhì)上是對局部區(qū)域內(nèi)網(wǎng)格分配相同的權(quán)重（鄰接矩陣中僅用0 和1 表示是否具有連接關(guān)系），忽略了真實(shí)的網(wǎng)格分布. 本文網(wǎng)絡(luò)根據(jù)局部網(wǎng)格和中心網(wǎng)格的內(nèi)在關(guān)系自動(dòng)學(xué)習(xí)出注意力權(quán)重并進(jìn)行特征聚合，這樣的局部特征提取方式能更好地學(xué)習(xí)牙齒的局部形狀信息，尤其是在牙齒邊緣或相鄰牙齒區(qū)域更具有優(yōu)勢. 所以從實(shí)驗(yàn)結(jié)果可以看出本文方法在準(zhǔn)確率和IoU上都明顯優(yōu)于另外四種對比方法.

表1 本文網(wǎng)絡(luò)與現(xiàn)有方法在3折交叉驗(yàn)證下的分割準(zhǔn)確率對比(均值±標(biāo)準(zhǔn)差)

本文網(wǎng)絡(luò)與其他方法的分割結(jié)果可視化對比如圖4 所示. 通過對比可知，本文方法的分割明顯優(yōu)于其他四種對比方法. 例如，在第一行所示牙齒模型在側(cè)切牙區(qū)域（紅色箭頭所指處）存在較為嚴(yán)重的牙齒錯(cuò)位，以及第二行所示牙齒模型兩側(cè)的尖牙區(qū)域（藍(lán)色箭頭所指）也存在明顯的缺牙現(xiàn)象. 其他四種分割網(wǎng)絡(luò)在上述的兩個(gè)區(qū)域都存在一定程度的過分割和欠分割現(xiàn)象.而本文網(wǎng)絡(luò)由于能在牙齒邊緣區(qū)域?qū)W習(xí)出更細(xì)節(jié)的特征差異，因此即使牙齒模型中存在上述分割難點(diǎn)，

表2 本文網(wǎng)絡(luò)與現(xiàn)有方法在3折交叉驗(yàn)證下的分割交并比對比

圖4 本文網(wǎng)絡(luò)與四種對比網(wǎng)絡(luò)的分割結(jié)果可視化對比

本文網(wǎng)絡(luò)仍然準(zhǔn)確地分割出較為完整的牙齒結(jié)構(gòu). 第三行展示的數(shù)據(jù)的牙齒形狀和其他模型相比具有較大的差異（紅色虛線所示），而本文網(wǎng)絡(luò)在此區(qū)域內(nèi)的分割結(jié)果也明顯優(yōu)于其他網(wǎng)絡(luò)，這也說明本文網(wǎng)絡(luò)具有較強(qiáng)的泛化能力. 由第四行和第五行展示的數(shù)據(jù)在牙齒邊界分割結(jié)果可知，PointNet［5］在邊界部分存在十分嚴(yán)重的欠分割問題，這進(jìn)一步證明了局部特征信息對于牙齒邊緣分割十分重要.PointCNN［6］和Point?Net++［7］雖然效果要優(yōu)于PointNet［5］，但依舊存在較為嚴(yán)重的牙齒多分現(xiàn)象.MeshSegNet［4］在整體上取得比較準(zhǔn)確的邊緣分割準(zhǔn)確率，但其在磨牙部分容易出現(xiàn)過分割現(xiàn)象（如第五行藍(lán)色虛線框所示），這說明該方法在相鄰牙齒區(qū)域的分割能力還存在不足. 本文利用基于局部注意力機(jī)制的特征聚合方式能幫助網(wǎng)絡(luò)能提取更細(xì)節(jié)的局部形狀信息，因此在牙齒邊緣區(qū)域分割效果明顯優(yōu)于其他四種方法.

4.5 消融實(shí)驗(yàn)

4.5.1 初始特征信息組合

本文所使用的初始特征信息除了三維牙齒模型中各網(wǎng)格頂點(diǎn)的坐標(biāo)V外，還增加了網(wǎng)格的法向量Nmesh和網(wǎng)格頂點(diǎn)的法向量Nvertex. 為驗(yàn)證這些額外的初始特征信息在提升網(wǎng)絡(luò)分割性能上的有效性，本文在保持其它條件不變的情況下，使用不同的初始特征信息組合作為輸入進(jìn)行網(wǎng)絡(luò)訓(xùn)練以及測試結(jié)果對比.

輸入的特征信息組合包括：（1）僅使用頂點(diǎn)坐標(biāo)；（2）頂點(diǎn)坐標(biāo)+網(wǎng)格法向量；（3）頂點(diǎn)坐標(biāo)+頂點(diǎn)法向量；（4）頂點(diǎn)坐標(biāo)+網(wǎng)格法向量+頂點(diǎn)法向量. 分割指標(biāo)對比在3 折交叉驗(yàn)證下如表3 所示. 由表3 可知，隨著初始特征信息逐漸豐富，網(wǎng)絡(luò)的分割準(zhǔn)確率和平均交并比也相應(yīng)提高. 當(dāng)輸入包含所有初始特征信息時(shí)，網(wǎng)絡(luò)達(dá)到最好的分割性能. 通過觀察可知，在頂點(diǎn)坐標(biāo)信息的基礎(chǔ)上增加頂點(diǎn)法向量相對于增加網(wǎng)格法向量，網(wǎng)絡(luò)分割性能提升得更為明顯. 一個(gè)可能的原因是網(wǎng)格法向量信息僅是針對單個(gè)網(wǎng)格計(jì)算而得，而每個(gè)頂點(diǎn)的法向量信息是包含該頂點(diǎn)的周圍所有網(wǎng)格的法向量信息，因此頂點(diǎn)法向量含有的空間特征更豐富.

四種輸入組合所訓(xùn)練的網(wǎng)絡(luò)的分割結(jié)果的可視化如圖5 所示. 由于空間相鄰網(wǎng)格的坐標(biāo)信息十分相似，所以當(dāng)輸入僅含有頂點(diǎn)坐標(biāo)信息時(shí)，網(wǎng)絡(luò)無法很好地學(xué)習(xí)出網(wǎng)格之間的特征差異，因此在牙齒邊緣等區(qū)域存在一定程度的過分割現(xiàn)象. 然而，位于牙齒邊緣區(qū)域的網(wǎng)格拓?fù)湫螤罹哂休^為明顯的變化，這使得網(wǎng)格在向量信息上具有很高的特征辨識度. 所以當(dāng)輸入的特征信息包含網(wǎng)格法向量和頂點(diǎn)法向量后，可以更好地輔助網(wǎng)絡(luò)學(xué)習(xí)出邊緣區(qū)域的網(wǎng)格特征差異，因此其分割結(jié)果在牙齒邊緣區(qū)域更加準(zhǔn)確光滑.

表3 本文網(wǎng)絡(luò)在不同輸入組合下的分割指標(biāo)

圖5 不同輸入組合的分割結(jié)果可視化對比

4.5.2 空間信息增強(qiáng)和局部注意力機(jī)制

為驗(yàn)證空間信息增強(qiáng)和局部注意力機(jī)制對提升網(wǎng)絡(luò)分割性能的有效性，本文分別對這兩個(gè)模型進(jìn)行了消融實(shí)驗(yàn). 實(shí)驗(yàn)設(shè)置如下：（1）僅使用空間信息增強(qiáng)，局部特征聚合方式采用最大值池化；（2）僅局部注意力機(jī)制；（3）本文完整網(wǎng)絡(luò)結(jié)構(gòu). 上述三種網(wǎng)絡(luò)結(jié)構(gòu)的分割指標(biāo)如表4 所示. 實(shí)驗(yàn)結(jié)果表明，若只使用空間信息增強(qiáng)或只使用局部注意力機(jī)制，網(wǎng)絡(luò)都無法達(dá)到最好的分割性能. 同時(shí)通過與完整網(wǎng)絡(luò)結(jié)構(gòu)的分割結(jié)果對比可知，在使用空間信息增強(qiáng)的基礎(chǔ)上增加局部注意力機(jī)制，網(wǎng)絡(luò)的分割準(zhǔn)確率可提升3.3%，反之在使用局部注意力機(jī)制的基礎(chǔ)上增加空間信息增強(qiáng)，網(wǎng)絡(luò)的分割準(zhǔn)確率可提升1.6%，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的空間信息增強(qiáng)和局部注意力機(jī)制都使得網(wǎng)絡(luò)的分割性能得到進(jìn)一步提升.分割結(jié)果的可視化對比如圖6所示，通過對比僅使用局部注意力機(jī)制和僅使用空間信息增強(qiáng)兩種情況下網(wǎng)絡(luò)的分割結(jié)果可知，前者在牙齒邊緣區(qū)域的分割準(zhǔn)確性明顯優(yōu)于后者，這也進(jìn)一步說明基于局部注意力機(jī)制的特征聚合相對于最大值池化能學(xué)習(xí)牙齒更多的細(xì)節(jié)形狀信息. 但僅使用局部注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)卻在牙齒區(qū)域出現(xiàn)了部分錯(cuò)誤分割的現(xiàn)象（紅色實(shí)線區(qū)域所示），其主要原因是該例牙齒模型右側(cè)缺少第二磨牙，從而導(dǎo)致左右部分牙齒分布不對稱. 而僅使用了空間信息增強(qiáng)的網(wǎng)絡(luò)結(jié)構(gòu)雖然在牙齒邊緣區(qū)域分割性能欠佳，但其同時(shí)參考了網(wǎng)格的絕對位置信息和相對位置信息，因此并沒有受到因牙齒分布不均勻帶來的影響. 本文完整網(wǎng)絡(luò)結(jié)構(gòu)同時(shí)具有上述兩個(gè)模塊的優(yōu)點(diǎn)，且從分割結(jié)果可知，空間信息增強(qiáng)對局部注意力機(jī)制具有一定的促進(jìn)作用.

圖6 本文網(wǎng)絡(luò)使用不同模塊的分割結(jié)果可視化對比

表4 本文網(wǎng)絡(luò)使用不同模塊的分割指標(biāo)

4.5.3 不同網(wǎng)格分辨率對網(wǎng)絡(luò)分割性能的影響

為討論網(wǎng)絡(luò)在輸入不同網(wǎng)格分辨率（即不同的輸入網(wǎng)格個(gè)數(shù)N）的牙齒模型時(shí)分割性能的變化，本文在網(wǎng)絡(luò)訓(xùn)練階段對牙齒模型中的網(wǎng)格數(shù)量進(jìn)一步隨機(jī)下采樣至N=12000、N=8000 和N=4000 進(jìn)行網(wǎng)絡(luò)訓(xùn)練，在網(wǎng)絡(luò)測試階段依舊保持N=16000進(jìn)行網(wǎng)絡(luò)分割性能測試. 分割指標(biāo)對比如表5 所示. 實(shí)驗(yàn)結(jié)果表明，隨著牙齒模型在局部區(qū)域的網(wǎng)格分辨率降低，網(wǎng)絡(luò)的分割指標(biāo)也相應(yīng)降低. 其中mIoU 的下降程度最大，其原因是當(dāng)三維牙齒模型所具有的網(wǎng)格數(shù)量越少，其局部區(qū)域所能提供的空間信息將更加粗糙，網(wǎng)絡(luò)難以學(xué)習(xí)出識別度高的特征用于分割預(yù)測. 然而，即使在N=12000 的網(wǎng)格分辨率下，本文網(wǎng)絡(luò)分割指標(biāo)依舊優(yōu)于其他對比方法在N=16000的網(wǎng)格分辨率下所取得的分割指標(biāo)，這也進(jìn)一步證明了本文網(wǎng)絡(luò)的魯棒性.

表5 本文網(wǎng)絡(luò)在不同網(wǎng)格分辨率下的分割指標(biāo)

5 結(jié)論

針對三維牙齒模型的分割任務(wù)，本文提出一種基于局部注意力機(jī)制的端到端分割網(wǎng)絡(luò). 網(wǎng)絡(luò)先通過對三維牙齒模型進(jìn)行多尺度的局部區(qū)域構(gòu)建，并利用空間信息增強(qiáng)模塊對三維網(wǎng)格進(jìn)行特征豐富. 在此基礎(chǔ)上，網(wǎng)絡(luò)再根據(jù)區(qū)域內(nèi)網(wǎng)格的真實(shí)空間分布和網(wǎng)格特征差異自動(dòng)學(xué)習(xí)注意力權(quán)重，并基于該權(quán)重進(jìn)行局部特征聚合以幫助網(wǎng)絡(luò)自適應(yīng)地去關(guān)注不同局部區(qū)域內(nèi)更具有表達(dá)性的網(wǎng)格特征，有效地解決了現(xiàn)有方法存在的局部特征提取問題. 通過在臨床數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文網(wǎng)絡(luò)相對于現(xiàn)有的部分方法在牙齒邊緣區(qū)域能取得更好的分割性能.