深度學(xué)習(xí)算法輔助數(shù)字化牙模三維牙齒分割的研究進(jìn)展

周郁蔥，譚煜雯，項翔，薛超然，徐暉

1.口腔疾病研究國家重點實驗室國家口腔疾病臨床醫(yī)學(xué)研究中心四川大學(xué)華西口腔醫(yī)院正畸科，四川 成都（610041）；2.華中科技大學(xué)，人工智能與自動化學(xué)院，圖像信息處理與智能控制教育部重點實驗室，湖北 武漢（430074）

數(shù)字化牙模是指利用口內(nèi)掃描儀、模型掃描儀等獲取的患者牙列數(shù)字化三維重建模型。與傳統(tǒng)石膏模型比較，數(shù)字化牙模具有臨床獲取容易、存儲傳輸便捷、瀏覽評測直觀等優(yōu)勢，且能夠直接用于口腔醫(yī)學(xué)多學(xué)科數(shù)字化診斷設(shè)計及制造加工［1-2］。三維牙齒分割任務(wù)，是指利用計算機(jī)算法在數(shù)字化牙模中將不同牙冠分離成獨立的3D 牙齒模型，該步驟是正畸數(shù)字化擁擠度診斷、排牙方案設(shè)計、牙齒移動監(jiān)測、無托槽隱形矯治器及個性化唇/舌固定矯治器制造的前置步驟，具有重要的臨床意義［3-5］。近年來，隨著人工智能技術(shù)與口腔醫(yī)學(xué)大數(shù)據(jù)的深度融合，利用深度學(xué)習(xí)算法輔助三維牙齒分割任務(wù)，逐漸成為主流［6-18］。與傳統(tǒng)機(jī)器學(xué)習(xí)算法［19-22］比較，深度學(xué)習(xí)算法在輔助三維牙齒分割方面具有更強(qiáng)的魯棒性，能夠處理特征更加復(fù)雜的數(shù)字化牙模。而在效率方面，根據(jù)在商用芯片上的研究結(jié)果，深度學(xué)習(xí)算法分割牙齒比人工要快至少1 個數(shù)量級以上［17］。此外，基于深度學(xué)習(xí)算法的三維牙齒分割還在流程自動化、臨床應(yīng)用廣泛性等方面具有優(yōu)勢［10-11］。

因此，為了解深度學(xué)習(xí)算法輔助三維牙齒分割任務(wù)的研究現(xiàn)狀，本文匯總了相關(guān)英文對照研究［6-18］。納入標(biāo)準(zhǔn)為以三維光學(xué)口腔模型為對象，使用深度學(xué)習(xí)算法完成單顆牙齒分割任務(wù)，并且包含必要的準(zhǔn)確度評價指標(biāo)。本文圍繞臨床需求，從數(shù)據(jù)集建立、深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計、算法性能、算法創(chuàng)新與優(yōu)勢、現(xiàn)有研究不足與展望5 個方面對該領(lǐng)域進(jìn)行回顧，以期為深度學(xué)習(xí)算法輔助三維牙齒分割任務(wù)的進(jìn)一步創(chuàng)新研究、臨床應(yīng)用及技術(shù)推廣提供借鑒。

1 數(shù)據(jù)集建立

優(yōu)質(zhì)數(shù)據(jù)是深度學(xué)習(xí)算法的重要驅(qū)動力。目前用于深度學(xué)習(xí)的數(shù)字化牙模按來源可分為?？漆t(yī)院、民營口腔診所以及正畸醫(yī)療服務(wù)企業(yè)。首先需要獲得原始數(shù)據(jù)，由專業(yè)人員使用口內(nèi)掃描儀進(jìn)行光學(xué)掃描得到。具體數(shù)據(jù)格式包括三角形網(wǎng)格與點云兩種。三角形網(wǎng)格是由具有不同屬性的頂點、面及邊組成，而點云是由點構(gòu)成的數(shù)據(jù)集，點由其三維坐標(biāo)表示，還可以包括顏色等其他屬性。盡管兩種數(shù)據(jù)特性有所不同，但相互之間可以進(jìn)行轉(zhuǎn)換，以點云作為輸入格式的數(shù)據(jù)常會在運算完成后被轉(zhuǎn)換成網(wǎng)格輸出，從而完成可視化［23］。

數(shù)據(jù)集建立還需要對于原始數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)簡化、數(shù)據(jù)標(biāo)記、特征提取、歸一化、去噪、映射等任務(wù)。數(shù)據(jù)簡化的目的是在減小數(shù)據(jù)量的同時保存特征信息，在運算量和準(zhǔn)確度之間取得平衡。簡化后的單頜模型包括6 000～40 000 個網(wǎng)格［7，9，12，16］。也有研究不進(jìn)行數(shù)據(jù)簡化［13］。給數(shù)據(jù)賦予標(biāo)簽這一任務(wù)主要是由專業(yè)口腔醫(yī)生完成的，在掃描之后，根據(jù)需要導(dǎo)出多邊形檔案（polygon file format，PLY）或立體光刻（stereolithography，STL）格式的數(shù)據(jù)，使用相關(guān)軟件在合適的分辨率下進(jìn)行單個牙齒邊界的標(biāo)記。完成預(yù)處理后的數(shù)據(jù)才可以輸入相應(yīng)的深度學(xué)習(xí)算法模型。

通常而言，深度學(xué)習(xí)算法的性能會隨數(shù)據(jù)量的增多而提升，但是，在輔助三維牙齒分割任務(wù)中，深度學(xué)習(xí)所需數(shù)據(jù)集卻與網(wǎng)絡(luò)設(shè)計密切相關(guān)。例如，Xu 等［7］認(rèn)為1 000 組的訓(xùn)練數(shù)據(jù)對于牙齒分割是足夠的，這可能因為其輸入數(shù)據(jù)中每個三角形網(wǎng)格轉(zhuǎn)換出的特征向量為600 個，遠(yuǎn)多于其他研究的30 個以內(nèi)的向量。Zhang 等［10］巧妙地將3D 數(shù)據(jù)投影到2D 平面上進(jìn)行分割，僅納入100 組訓(xùn)練數(shù)據(jù)即達(dá)到一個較好的水平。

2 深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計

網(wǎng)格或點云數(shù)據(jù)被輸入后，深度學(xué)習(xí)網(wǎng)絡(luò)需要對每一個單位數(shù)據(jù)輸出類別標(biāo)簽，從而完成分割任務(wù)。

用于三維牙齒分割的深度學(xué)習(xí)網(wǎng)絡(luò)設(shè)計包括處理網(wǎng)格數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)（convolution neural network，CNN）與可以直接處理點云數(shù)據(jù)的網(wǎng)絡(luò)設(shè)計。CNN 的起源是Neocognitron 模型［24］，它將神經(jīng)生理學(xué)理論應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)，可以自動逐級提取數(shù)據(jù)越來越抽象的特征?；贑NN 的網(wǎng)絡(luò)設(shè)計可分為兩種，一種是將3D 數(shù)據(jù)投影到2D 空間，像圖片一樣用卷積神經(jīng)網(wǎng)絡(luò)處理，另一種是將3D數(shù)據(jù)轉(zhuǎn)換為規(guī)則3D 體素網(wǎng)格再用卷積網(wǎng)絡(luò)。CNN 在處理圖像方面表現(xiàn)優(yōu)異，因此它也被廣泛應(yīng)用于三維模型處理，其優(yōu)勢在于能夠在不影響結(jié)果的前提下有效減小數(shù)據(jù)量，并保留圖像特征。在CNN 的基礎(chǔ)上還發(fā)展出了處理拓?fù)鋱D數(shù)據(jù)的圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolution network，GCN）［25］。然而CNN 架構(gòu)不能用于直接處理具有不規(guī)則性和無序性的點云數(shù)據(jù)。PointNet 是第一個可以直接處理點云格式數(shù)據(jù)的深度學(xué)習(xí)架構(gòu)，但是它不能很好地提取局部精細(xì)的特征［26］。為了解決這個問題，PointNet++添加了分層次的結(jié)構(gòu)，進(jìn)而提取不同尺度下的特征，該架構(gòu)先對點云進(jìn)行采樣和劃分區(qū)域，繼而在各個小區(qū)域內(nèi)用基礎(chǔ)的PointNet 網(wǎng)絡(luò)進(jìn)行特征提取，不斷迭代［27］。PointCNN 架構(gòu)需要較少的訓(xùn)練參數(shù)就能達(dá)成同樣的效果［28］。Dynamic Graph CNN 則提出了一個EdgeConv 層來實現(xiàn)局部特征獲取，性能優(yōu)異［29］。研究者們可以根據(jù)這些深度學(xué)習(xí)架構(gòu)的優(yōu)勢與不足，結(jié)合牙齒分割或其他任務(wù)的具體需求，選擇合適的基本架構(gòu)。

此外，對于牙齒分割任務(wù)而言，研究者們還會對網(wǎng)絡(luò)預(yù)測得到的結(jié)果進(jìn)行后處理，如使用邊界感知簡化方法、條件隨機(jī)場模型、模糊聚類算法等進(jìn)行邊界平滑，以及將預(yù)測結(jié)果轉(zhuǎn)換為網(wǎng)格格式以可視化等，從而進(jìn)一步細(xì)化分割結(jié)果并提升算法分割牙齒的自動化程度。

3 算法性能

深度學(xué)習(xí)方法進(jìn)行牙齒分割的準(zhǔn)確度評估指標(biāo)包括正確標(biāo)記面積占總面積的百分比，正確標(biāo)記面數(shù)量占總數(shù)的百分比，均交并比（mean intersection over union，mIoU），Dice 相似系數(shù)（Dice similarity coefficient，DSC），F(xiàn)1 分?jǐn)?shù)（F1-score，F(xiàn)1），Hausdorff 距離（Hausdorff distance，HD）［30-31］。除HD外，這些評估指標(biāo)的數(shù)值范圍都是0 到1，越靠近1 表示準(zhǔn)確度越高。mIoU 是標(biāo)準(zhǔn)的準(zhǔn)確率度量方法。IoU 指真實結(jié)果和預(yù)測結(jié)果二者的交集與并集之比，mIoU 是所有類別的IoU 的平均值。DSC和F1 在牙齒分割模型評價中實際上計算是一樣的，評價了真實情況和預(yù)測情況的相似程度。HD是指度量空間中真實情況與預(yù)測情況兩個子集之間的距離，對分割出的邊界比較敏感。通過對整個牙列模型以及單顆牙齒準(zhǔn)確度指標(biāo)的分析，研究者們可以評估算法的分割效果。準(zhǔn)確度是分割模型最重要的評價指標(biāo)，主要取決于不同的網(wǎng)絡(luò)設(shè)計。大部分算法的準(zhǔn)確度在90%以上。例如，Cui 等［11］分別分析了組成表面和整個牙的點的DSC，其中又區(qū)分了切牙、尖牙、前磨牙和磨牙，DSC 數(shù)值均在95%以上。Zhang 等［10］的研究顯示標(biāo)記正確的網(wǎng)格所占比例為0.988 7。Xu 等［7］、Hao等［17］以及He 等［18］的研究顯示，上頜牙齒分割的準(zhǔn)確度比下頜稍高。

算法的運行時間也是重要評估的指標(biāo)，過長的運算時間會降低算法應(yīng)用價值。除受算法本身影響，運行時間還受硬件性能影響，在商用CPU 和GPU 芯片上得出的研究結(jié)果更具參考價值［31］。多數(shù)利用深度學(xué)習(xí)算法輔助三維牙齒分割任務(wù)的耗時都表現(xiàn)出優(yōu)異的性能，對于單頜牙列三維牙齒分割，Cui 等［11］需要0.8 s 算法運行時間，Zanjani等［13］需要14.6 s，在集成了后續(xù)處理模塊以增強(qiáng)準(zhǔn)確率的Hao 等［17］的研究也只需要24 s，而人類專家則需要超過10 min。

就魯棒性而言，現(xiàn)有算法主要在分割第三磨牙［9，11，17］、缺損或未完全萌出的牙齒［11］、牙列缺失［9，14］、擁擠牙列［10，17］等方面準(zhǔn)確率較低。以第三磨牙為例，該類型牙齒存在形態(tài)多變、萌出狀態(tài)不一、未萌牙牙冠可見面積小等特點，而口掃第三磨牙區(qū)采集難度大、數(shù)據(jù)質(zhì)量不一，由此可能導(dǎo)致相關(guān)訓(xùn)練量不足，影響算法性能［32］。值得注意的是，盡管對于第三磨牙的識別以及極少數(shù)復(fù)雜模型的分割存在問題是難以避免的，但如果這種情況發(fā)生的概率足夠低的話，仍是可以接受的，根據(jù)Hao等［17］的方法，需要返工進(jìn)行手動牙齒分割概率是0.2%。

4 算法創(chuàng)新及優(yōu)勢

除使用不同的網(wǎng)絡(luò)設(shè)計外，還可以通過優(yōu)化架構(gòu)流程提升算法性能，這是深度學(xué)習(xí)在三維牙齒分割任務(wù)中最常見的創(chuàng)新方式。在簡化數(shù)據(jù)方面，Xu 等［7］提出了邊界感知簡化方法，先區(qū)分出對于準(zhǔn)確性影響較大的牙齒之間的邊界以及牙齒牙齦邊界，再對各個區(qū)域賦以不同的簡化比率。相似的，Zanjani 等［8］也提出了進(jìn)行非均勻采樣的數(shù)據(jù)簡化方法。在具體架構(gòu)方面，對于網(wǎng)格數(shù)據(jù)，Tian等［6］先對模型上的各個牙位進(jìn)行識別，然后在此基礎(chǔ)上完成分割任務(wù)，但對于牙位識別的要求較高，魯棒性不足。Zhang 等［10］采用了將3D 模型同構(gòu)映射到2D 諧波參數(shù)空間，再將其轉(zhuǎn)換為圖像的方法，這大大降低了特征維度，能夠在降低數(shù)據(jù)量的同時保證準(zhǔn)確性。Zhang 等［14］將數(shù)據(jù)輸入兩個不同的分支，分別處理坐標(biāo)特征和幾何特征，增強(qiáng)了網(wǎng)絡(luò)對不同信息的特征提取能力。對于點云數(shù)據(jù)，Zanjani 等［13］通過預(yù)測其三維邊界框來定位每個牙齒實例，并同時分割屬于每個單獨的牙齒實例的點。Cui 等［11］則開發(fā)了一個距離感知牙齒質(zhì)心預(yù)測模塊，即在獲得準(zhǔn)確的牙齒質(zhì)心后，選取輸入點云數(shù)據(jù)中距離質(zhì)心最近的一定數(shù)目的點，以保證整個牙齒被包含在內(nèi)，分割效果較好。He等［18］先使用無標(biāo)記的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，只需要40%的訓(xùn)練數(shù)據(jù)帶有標(biāo)記，算法就能展現(xiàn)出比使用完全標(biāo)記數(shù)據(jù)訓(xùn)練更好的性能，這對于減少人工標(biāo)記工作量十分有意義。

另外，研究者們還開發(fā)了一些新的輔助模塊以提升算法性能。Xu 等［7］對于結(jié)果中相鄰牙齒粘連的情況，根據(jù)牙齒的平均近遠(yuǎn)中徑、頰舌徑數(shù)值進(jìn)行再次分割。Zhao 等［16］提出使用注意力模塊來豐富特征信息，這項算法在牙齒錯位區(qū)域，以及牙齒與牙齒相鄰的區(qū)域展現(xiàn)出了較好的性能。Hao等［17］將標(biāo)簽預(yù)測結(jié)果再輸入測試模塊，進(jìn)行置信度評估和自動校正，得到了更高的準(zhǔn)確度，并且增加的運算時間在可接受的范圍內(nèi)。

在三維牙齒分割任務(wù)的基礎(chǔ)上，進(jìn)一步開發(fā)數(shù)據(jù)的正畸應(yīng)用場景也十分有意義。例如，Ma等［33］提出了基于完成牙齒分割點云數(shù)據(jù)的自動牙位識別深度學(xué)習(xí)算法，得到了令人滿意的結(jié)果。Woodsend 等［34］開發(fā)了自動標(biāo)志點識別方法，通過參考正畸治療需求指數(shù)，在分割出的單個牙齒上識別牙齒的特征點。同樣，Wu 等［12］使用PointNet在分割出的牙齒上自動識別正畸相關(guān)標(biāo)志點，標(biāo)志點定位的平均絕對誤差為（0.597 ± 0.761）mm，這在臨床上是可以接受的。Deleat-Besson 等［35］和Qian 等［36］對于聯(lián)合錐形束CT（cone beam computerized tomography，CBCT）和口掃數(shù)據(jù)的牙齒分割任務(wù)進(jìn)行了探索，他們在完成CBCT 和口掃數(shù)據(jù)的牙齒分割后，使用口掃數(shù)據(jù)替代CBCT 數(shù)據(jù)上的牙冠部分。此外，也有研究探索了使用深度學(xué)習(xí)，自動完成CBCT 和口掃數(shù)據(jù)匹配的方法［37］。

5 現(xiàn)有研究不足與展望

目前研究尚存在問題如下。首先，數(shù)據(jù)質(zhì)量問題普遍存在。符合真實分布情況的海量優(yōu)質(zhì)數(shù)據(jù)對于開發(fā)有效的深度學(xué)習(xí)模型至關(guān)重要。數(shù)據(jù)量不足會影響算法魯棒性，導(dǎo)致難以處理非典型牙列、牙齒異常形態(tài)等問題［9，10，13］。此外，大部分研究都是使用單一中心的數(shù)據(jù)，這樣訓(xùn)練出來的算法往往在局域性數(shù)據(jù)庫中表現(xiàn)較好，而在其他數(shù)據(jù)庫中表現(xiàn)明顯下降［17，31］。同時，訓(xùn)練量不足將影響牙齒分割方法的最終表現(xiàn)，這限制了對于算法性能的評價。上述問題可能是導(dǎo)致現(xiàn)有算法對異常牙列和非正常牙齒分割的魯棒性不足、不適用于早期矯治等應(yīng)用場景的原因。

此外，高質(zhì)量的標(biāo)注對于保證算法性能意義重大［38］。目前，分割的參考標(biāo)準(zhǔn)主要由專業(yè)醫(yī)生完成，但是缺乏對于不同標(biāo)注者分割結(jié)果一致性的檢驗，還有許多研究未報導(dǎo)參考標(biāo)準(zhǔn)相關(guān)信息。此外，實驗數(shù)據(jù)記錄與指標(biāo)設(shè)置也有改進(jìn)的空間，部分研究未給出實驗數(shù)據(jù)人群構(gòu)成、不同牙位的準(zhǔn)確率、運行算法的硬件參數(shù)等。

不可否認(rèn)的是，使用深度學(xué)習(xí)完成全自動三維牙齒分割任務(wù)的算法已具有較高的臨床實用價值。但是，如何進(jìn)一步提升算法性能、真正實現(xiàn)算法的臨床應(yīng)用，還需以下方面改進(jìn)。第一，建立基于多中心的數(shù)據(jù)樣本庫，完善數(shù)據(jù)管理機(jī)制，在隱私保護(hù)和維護(hù)數(shù)據(jù)效用之間取得平衡［39］，以促進(jìn)數(shù)據(jù)的權(quán)威性、科學(xué)性、規(guī)范性、多樣性及動態(tài)性。第二，進(jìn)一步釋放數(shù)據(jù)紅利，進(jìn)一步開發(fā)數(shù)字化牙模數(shù)據(jù)以服務(wù)口腔臨床需求，并與關(guān)聯(lián)數(shù)據(jù)進(jìn)行有機(jī)整合，拓寬數(shù)據(jù)應(yīng)用的深度與廣度。第三，“減耗強(qiáng)芯”齊驅(qū)，即一方面優(yōu)化深度學(xué)習(xí)算法，減少矩陣運算、提升運行速度，另一方面推動計算機(jī)芯片等硬件設(shè)備研發(fā)，優(yōu)化硬件處理性能。相信隨著人工智能技術(shù)與口腔醫(yī)學(xué)的緊密融合，深度學(xué)習(xí)算法輔助三維牙齒分割任務(wù)將有更加廣闊的應(yīng)用前景。

【Author contributions】Zhou YC, Tan YW wrote the article.Xiang X, Xue CR, Xu H reviewed the article.All authors read and approved the final manuscript.