二維與三維頭影測量自動定點(diǎn)的研究進(jìn)展

劉力嘉 毛婧 龍歡 蒲亞龍 王軍

1.口腔疾病研究國家重點(diǎn)實(shí)驗(yàn)室 國家口腔疾病臨床醫(yī)學(xué)研究中心四川大學(xué)華西口腔醫(yī)學(xué)院 成都610041；2.口腔疾病研究國家重點(diǎn)實(shí)驗(yàn)室 國家口腔疾病臨床醫(yī)學(xué)研究中心四川大學(xué)華西口腔醫(yī)院正畸科 成都610041

頭影測量由Broadbent和Hofrath于1931年分別提出，逐漸成為檢查顱頜面軟硬組織生長發(fā)育和畸形的重要手段[1-2]。二維頭影測量經(jīng)歷了手工頭影測量、計(jì)算機(jī)輔助頭影測量的階段。自Cohen等[3]于1984年嘗試在X線片上進(jìn)行自動頭影測量以來，二維頭影測量逐漸向計(jì)算機(jī)自動頭影測量轉(zhuǎn)變，有部分二維自動定點(diǎn)的研究達(dá)到了較高的精確度，目前已經(jīng)開始在臨床上運(yùn)用。

醫(yī)學(xué)成像技術(shù)和計(jì)算機(jī)輔助技術(shù)的發(fā)展促進(jìn)了二維頭影測量向三維頭影測量的轉(zhuǎn)變。與二維頭影測量相比，三維頭影測量具有能精確識別解剖結(jié)構(gòu)、評估復(fù)雜的顱骨結(jié)構(gòu)、避免幾何結(jié)構(gòu)圖像失真等優(yōu)點(diǎn)[4]。近年來，有一些自動定點(diǎn)的研究取得了很好的結(jié)果，但仍缺乏可靠而精確的三維頭影測量自動定點(diǎn)方法。

本文對二維和三維頭影測量自動定點(diǎn)的研究進(jìn)展作一綜述，并探討不同定點(diǎn)方法所達(dá)到的精確度。

1 二維頭影測量自動定點(diǎn)

二維頭影測量即X線頭影測量，是對標(biāo)準(zhǔn)化定位的X線片進(jìn)行測量分析，它是了解患者顱頜面特征的重要方法。根據(jù)二維頭影測量自動定點(diǎn)所采用的技術(shù)或技術(shù)的組合，可以將二維頭影測量自動定點(diǎn)方法分為以下4類：1）圖像過濾與基于知識的標(biāo)志點(diǎn)搜索；2）基于模型的方法；3）基于學(xué)習(xí)的方法；4）混合方法[5-8]。目前，精確度較高的技術(shù)是混合方法和基于學(xué)習(xí)的方法[9-10]。

1.1 圖像過濾與基于知識的標(biāo)志點(diǎn)搜索

基于知識的方法是較早應(yīng)用于二維頭影X線影像自動定點(diǎn)測量的方法，通常是先對圖像進(jìn)行降噪、增強(qiáng)等預(yù)處理，然后采用濾波技術(shù)、小波分析等技術(shù)提取邊緣線，并基于先驗(yàn)知識對邊緣線進(jìn)行追蹤，最后根據(jù)標(biāo)志點(diǎn)的解剖特征確定標(biāo)志點(diǎn)的位置。1986年，Lévy-Mandel等[11]提出了一種采用預(yù)濾波、邊緣檢測器等方式對邊緣線進(jìn)行突出和檢測追蹤，用全局跟蹤算法提取特征邊緣線，最后計(jì)算標(biāo)志點(diǎn)位置的方法，成功定位了23個(gè)標(biāo)志點(diǎn)；與他們不同，1989年，Parthasarathy等[12]從一開始即采用多分辨率金字塔的形式提取特征線，最后通過計(jì)算定位了9個(gè)標(biāo)志點(diǎn)，平均誤差為2.06 mm；1994年，Davis等[13]提出了黑板系統(tǒng)，采用分割策略進(jìn)行計(jì)算測量，該方法對不同X線影像的適應(yīng)性更強(qiáng)；1996年，F(xiàn)orsyth等[14]提出了一種類似Lévy-Mandel等[11]提出的系統(tǒng)，該系統(tǒng)通過識別圖像灰度值的差異，對特征邊緣線進(jìn)行定位，從而識別標(biāo)志點(diǎn)，最終成功識別了19個(gè)標(biāo)志點(diǎn)，其中12個(gè)點(diǎn)的平均誤差＜1 mm。但由于基于知識的方法受到圖片質(zhì)量、強(qiáng)度的影響，且只能定位位于邊緣的標(biāo)志點(diǎn)，準(zhǔn)確性并未超過人工定點(diǎn)，具有較大的局限性，因此并沒有應(yīng)用于臨床。

1.2 基于模型的方法

自一些學(xué)者[15-16]提出主動形狀模型（active shape model，ASM）和主動外觀模型（active appearance model，AAM）以來，頭影測量的標(biāo)志點(diǎn)檢測自動化得到了很大的發(fā)展。從理論上來說，AAM系統(tǒng)可利用整個(gè)對象的所有灰度等級信息來進(jìn)行模型匹配，較ASM系統(tǒng)能更好地匹配圖像紋理，搜索匹配能力更強(qiáng)大。雖然ASM在臨床應(yīng)用中對標(biāo)志點(diǎn)識別的準(zhǔn)確性不高，但能為未來的研究提供一個(gè)模型[17]。因此，在基于模型的方法的基礎(chǔ)上，后來的許多研究者提出了不同的混合方案以修正模型。Rueda等[18]將AAM與數(shù)學(xué)方法結(jié)合，應(yīng)用頂帽變換來校正圖像亮度不均勻性，較ASM系統(tǒng)[17]的精度提高了4.25%。Vucini?等[19]提出基于AAM和多分辨率的方法，17個(gè)標(biāo)志點(diǎn)的平均誤差為1.68 mm，高于ASM（35%），但仍低于手動識別（87%）。這樣的精度在臨床上是不可接受的[6,14]。由于ASM或AAM系統(tǒng)的頭影測量技術(shù)的精確度易受圖像分辨率、標(biāo)志點(diǎn)的可變性、模型的初始形狀和模型參數(shù)等多因素影響[16-18,20-21]，較新的技術(shù)多采用混合方法來改善其精確度，優(yōu)化檢測結(jié)果[19]。

1.3 基于學(xué)習(xí)的方法

作為人工智能（artificial intelligence，AI）領(lǐng)域的熱點(diǎn)之一，機(jī)器學(xué)習(xí)在醫(yī)學(xué)影像分析方面具有突出的優(yōu)勢，尤其是其中的深度學(xué)習(xí)?；趯W(xué)習(xí)的方法通常采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）、隨機(jī)森林（random forest，RF）等計(jì)算方法，先設(shè)定訓(xùn)練集對AI系統(tǒng)進(jìn)行訓(xùn)練，通過調(diào)整算法逐步形成測量系統(tǒng)，達(dá)到全自動定點(diǎn)測量的目的。CNN的基本原理示意圖如圖1所示。Lindner等[10]采用RF回歸算法和約束局部模型框架成功定位了19個(gè)標(biāo)志點(diǎn)，且精度較高。Ar?k等[22]在2017年提出采用CNN研究自動頭影測量，不僅成功實(shí)現(xiàn)了CNN在全自動測量中的應(yīng)用，同時(shí)還證明了該系統(tǒng)具有較高的定位準(zhǔn)確性和分類精度。而Kunz等[23]也采用CNN研究了自動定點(diǎn)系統(tǒng)及其準(zhǔn)確性和可行性，以專家人工測量為金標(biāo)準(zhǔn)，評估了該方法對12個(gè)常用的正畸參數(shù)預(yù)測的精確度，也是成功將AI實(shí)施到牙科中的研究之一。在新的研究中，一些學(xué)者[24-25]分別比較了You-Only-Look-Once version 3（YOLOv3）與Single Shot Multibox Detector（SSD）和人工定點(diǎn)對于80個(gè)標(biāo)志點(diǎn)定位的準(zhǔn)確性，得出了YOLOv3優(yōu)于SSD以及與人工定點(diǎn)沒有較大差異的結(jié)論，且通過Park等[24]的不斷調(diào)整，YOLOv3是目前提出的基于深度學(xué)習(xí)方法中精度較高的人工智能系統(tǒng)。而Dai等[26]提出了一種通過構(gòu)造對抗性編解碼網(wǎng)絡(luò)來自動定點(diǎn)標(biāo)志點(diǎn)的新方法，該方法雖然對大部分標(biāo)志點(diǎn)的定位效果良好，但較之前提出的方法成功率較低?；趯W(xué)習(xí)的方法不受觀察者主觀性的影響，使得定位的速度和準(zhǔn)確性得到了大大提高。但其準(zhǔn)確性很大程度上取決于訓(xùn)練數(shù)據(jù)的數(shù)量與準(zhǔn)確性，如何增強(qiáng)數(shù)據(jù)的準(zhǔn)確性以及測量的準(zhǔn)確性仍是研究的重點(diǎn)。

圖1 二維頭影測量中CNN基本原理的示意圖Fig 1 Schematic diagram of the basic principle of CNN in 2D cephalometric measurement

CNN在卷積層中通常先將圖像劃分為若干個(gè)小區(qū)域，通過卷積核過濾這些區(qū)域，從而提取特征值。再通過池化層進(jìn)行降采樣，在不影響圖像質(zhì)量的情況下壓縮圖片，減少參數(shù)。通過任意次卷積、池化后，再通過全連接層將卷積層和池化層的圖像特征進(jìn)行整合，獲取圖像特征具有的高層含義，之后將其輸出給分類器用于圖像分類，最終得到自動定點(diǎn)結(jié)果。

1.4 混合方法

混合方法即混合以上3種方法，有研究[9-10]表明：目前，在二維頭影測量自動定點(diǎn)中，基于學(xué)習(xí)的混合方法的精度是最佳的。

Wang等[27]在生物醫(yī)學(xué)成像國際研討會（International Symposium on Biomedical Imaging，ISBI）的支持下做了一項(xiàng)對5組具有代表性的現(xiàn)有方法的挑戰(zhàn)比較，采用100張圖像作為訓(xùn)練集，結(jié)果表明：應(yīng)用博弈論概念并采用RF和形狀模型結(jié)合的方法對19個(gè)標(biāo)志點(diǎn)在2 mm精度范圍內(nèi)獲得了最優(yōu)結(jié)果。在ISBI的支持下，Wang等[28]又進(jìn)行了一次新的挑戰(zhàn)比較，采用150張圖像作為訓(xùn)練集，結(jié)果表明：隨機(jī)森林回歸投票方法（random forest regression-voting，RFRV）在2 mm的精度范圍實(shí)現(xiàn)了最高的成功檢測率74.84%，較之前挑戰(zhàn)中的最佳方法成功檢測率平均增加了約4.4%。而2018年，Vandaele等[9]提出了一種基于像素分類和機(jī)器學(xué)習(xí)技術(shù)的標(biāo)志點(diǎn)檢測算法，并與上述2次挑戰(zhàn)中最佳的算法進(jìn)行了比較，得出與RFRV差異較小的結(jié)論，但由于其算法具有適用于小數(shù)據(jù)集、無需附加手動標(biāo)志點(diǎn)注釋和細(xì)化的優(yōu)點(diǎn)，故他們的算法更具競爭力。

混合方法結(jié)合各類方法的優(yōu)點(diǎn)以提高算法的精確度，其優(yōu)缺點(diǎn)與基于學(xué)習(xí)的方法相似，優(yōu)點(diǎn)在于算法的客觀性以及處理大數(shù)據(jù)的便捷性，但準(zhǔn)確性仍依賴于訓(xùn)練集的數(shù)量與準(zhǔn)確性[27-28]。

二維頭影自動定點(diǎn)各類方法內(nèi)容摘要如表1所示。

表1 二維頭影測量自動定點(diǎn)收錄文章摘要Tab 1 Two-dimensional cephalometric measurement automatically fixed-point collection article abstract

總的來說，二維頭影測量自動定點(diǎn)方法在不斷地研究改進(jìn)下已趨于完善，尤其是基于學(xué)習(xí)的定點(diǎn)方法的提出，降低了觀測者的主觀影響，極大地提高了定點(diǎn)的準(zhǔn)確性。相關(guān)軟件如Dolphin、WinCeph、Uceph等已投入到臨床使用。但由于價(jià)格較為昂貴等問題，這些軟件多在大型醫(yī)院使用，并未得到充分推廣。同時(shí)，如何進(jìn)一步提高軟件測量的準(zhǔn)確性和穩(wěn)定性仍是值得研究的重點(diǎn)。

2 三維頭影測量自動定點(diǎn)

三維頭影測量是基于計(jì)算機(jī)斷層掃描（computed tomography，CT）或錐形束計(jì)算機(jī)斷層掃描（cone beam computed tomography，CBCT）的頭影測量分析。隨著三維頭影測量的普及，三維頭影測量自動定點(diǎn)技術(shù)已經(jīng)有了較好的發(fā)展?？梢詫⑷S頭影測量自動定點(diǎn)的方法分為以下3類：1）基于知識的方法；2）基于模型的方法；3）基于學(xué)習(xí)的方法。目前，精確度較高的方法是采用深度學(xué)習(xí)的方法，更準(zhǔn)確地說，是采用全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）和Unet架構(gòu)的方法[29]。

2.1 基于知識的方法

基于知識的方法是指根據(jù)預(yù)先確定的定義，使用數(shù)學(xué)描述（如峰值、最低點(diǎn)等）在圖像的解剖輪廓上定位坐標(biāo)[29]。Neelapu等[30]設(shè)計(jì)了一種基于顱骨對稱性特征的標(biāo)志點(diǎn)自動檢測算法，將正中矢狀面分為4個(gè)象限，在解剖輪廓上自動檢測出標(biāo)志點(diǎn)，20個(gè)標(biāo)志點(diǎn)的總平均誤差為1.88 mm。Gupta等[31]提出了一種基于知識的CBCT標(biāo)志點(diǎn)自動檢測算法，將相鄰的標(biāo)志點(diǎn)分成不同的組來檢測，20個(gè)標(biāo)志點(diǎn)的總平均誤差為2.01 mm。又進(jìn)一步采用基于知識的方法[32]在30幅CBCT圖像上自動測量了28個(gè)長度、16個(gè)角度和7個(gè)比值，這也是在自動三維頭影測量研究中少有的以自動定點(diǎn)為基礎(chǔ)自動測量角度和比值的研究。部分測量在二維射線片上是不可能完成的，例如從正中矢狀面標(biāo)志點(diǎn)到雙側(cè)結(jié)構(gòu)的角度；而這正是使用CBCT進(jìn)行三維測量的顯著優(yōu)勢。

2.2 基于模型的方法

基于模型的方法依賴于特征提取的參考模型系統(tǒng)，較早的三維自動定點(diǎn)研究較多的采用這種方式。Codari等[33]采用一種半自動的方法，手動確定下頜骨的最低點(diǎn)后，采用基于強(qiáng)度的圖像配準(zhǔn)，將21個(gè)標(biāo)志點(diǎn)從參考顱骨轉(zhuǎn)移到特定顱骨上完成自動定點(diǎn)。Shahidi等[34]采用結(jié)合了基于特征和基于體素相似性的圖像配準(zhǔn)方法，將測量圖像進(jìn)行縮放、旋轉(zhuǎn)和平移，縮放后，測量圖像矢量在各個(gè)方向都與參考圖像向量一樣長，再將標(biāo)志點(diǎn)轉(zhuǎn)移到測量圖像上完成自動定點(diǎn)。Montúfar等[35]結(jié)合了基于模型和基于學(xué)習(xí)的方法，使用ASM關(guān)聯(lián)CBCT的數(shù)字重建二維照片進(jìn)行自動三維頭影測量的統(tǒng)計(jì)形狀建模，用冠狀位和矢狀位投影訓(xùn)練了2個(gè)ASM，自動定點(diǎn)平均誤差為3.64 mm；這些學(xué)者[36]又進(jìn)一步提出了基于模型和知識方法的頭影測量自動定點(diǎn)的混合算法，改進(jìn)了Gupta等[31]基于知識的算法，實(shí)現(xiàn)了更高效的自動定點(diǎn)，標(biāo)志點(diǎn)的平均誤差降低到2.51 mm。盡管如此，由于不同患者顱面部結(jié)構(gòu)的形態(tài)學(xué)差異，基于模型的方法依舊很難精確地自動檢測標(biāo)志點(diǎn)，無法滿足臨床應(yīng)用的需求。

2.3 基于學(xué)習(xí)的方法

在三維頭影測量自動定點(diǎn)中，基于學(xué)習(xí)的方法通常先從CBCT圖像中提取影像特征信息，然后輸入分類器或回歸器進(jìn)行骨分割和自動定點(diǎn)[37]。常用的分類器或回歸器包括RF、回歸森林（regression forest）、神經(jīng)網(wǎng)絡(luò)（neural network）等。Zhang等[38]提出了一種分段引導(dǎo)的部分聯(lián)合回歸森林模型在CBCT上自動數(shù)字化顱面部標(biāo)志點(diǎn)，15個(gè)標(biāo)志點(diǎn)的平均誤差為1.44 mm。de Jong等[39]提出了一種利用2D-Gabor小波和集成學(xué)習(xí)自動定位頭骨解剖標(biāo)志點(diǎn)的新方法，33個(gè)標(biāo)志點(diǎn)中9個(gè)自動定點(diǎn)結(jié)果較穩(wěn)定，誤差小于2 mm。

深度學(xué)習(xí)作為目前機(jī)器學(xué)習(xí)的熱點(diǎn)，在醫(yī)學(xué)影像分析領(lǐng)域的各個(gè)方面廣泛應(yīng)用。在三維頭影測量定點(diǎn)中主要使用到的深度學(xué)習(xí)模型有神經(jīng)網(wǎng)絡(luò)、CNN、FCN、U-net等。O’Neil等[40]提出了一種FCN代替?zhèn)鹘y(tǒng)的決策森林（decision forest）自動定位CT掃描中的解剖標(biāo)志點(diǎn)，結(jié)果表明：FCN的性能明顯優(yōu)于決策森林方法。Lachinov等[41]證明了直接回歸與CNN、熱圖回歸和Softargmax回歸3種方法定位嚴(yán)重顱骨變形患者的4個(gè)標(biāo)志點(diǎn)和Frankfort平面的有效性。隨著二維頭影測量逐漸讓位給三維頭影測量，測量的數(shù)據(jù)量和幾何結(jié)構(gòu)復(fù)雜程度顯著增加。如果采用二維數(shù)據(jù)，就可以避免高維數(shù)據(jù)訓(xùn)練中的維數(shù)災(zāi)難問題，因此，Lee等[42]提出了基于二維陰影圖像的三維頭影測量自動定點(diǎn)方法，7個(gè)標(biāo)志點(diǎn)的平均誤差為1.8 mm。Yun等[4]在Lee等[42]的基礎(chǔ)上提出了一個(gè)多階段的深度學(xué)習(xí)框架，采用CNN、變分自編碼器（variational autoencoder，VAE）和非線性回歸進(jìn)行基于2D圖像的3D特征學(xué)習(xí)，93個(gè)標(biāo)志點(diǎn)的平均自動定點(diǎn)誤差為3.63 mm。

一些研究在現(xiàn)有深度學(xué)習(xí)算法的基礎(chǔ)上進(jìn)一步改進(jìn)，以探索精確度更高、更符合臨床需求的自動定點(diǎn)方法。在基于學(xué)習(xí)的方法中，特征提取和分類器/回歸器訓(xùn)練的步驟通常是相互獨(dú)立的，因此，所使用的特征和所學(xué)習(xí)的模型不一定相互協(xié)調(diào)。針對這個(gè)問題，Zhang等[43]采用2個(gè)U-net結(jié)構(gòu)的上下文引導(dǎo)的FCN進(jìn)行關(guān)節(jié)骨分割和標(biāo)志點(diǎn)數(shù)字化，又進(jìn)一步提出一種聯(lián)合骨分割和標(biāo)志點(diǎn)數(shù)字化的深度學(xué)習(xí)框架[37]，獲得了更精確的分割結(jié)果，15個(gè)標(biāo)志點(diǎn)的平均誤差僅為1.10 mm。此外，患者間不同的形態(tài)學(xué)差異也是三維頭影測量自動定點(diǎn)的一大挑戰(zhàn)。Torosdagli等[44]對于具有高度顱頜面變異性的患者提出了一個(gè)深度學(xué)習(xí)框架，設(shè)計(jì)一種新的CNN結(jié)構(gòu)自動分割下頜骨，使用改進(jìn)的U-net[43]算法和基于長短期記憶網(wǎng)絡(luò)的算法來識別標(biāo)志點(diǎn)。在高度顱頜面變異性患者的CBCT中自動測量9個(gè)標(biāo)志點(diǎn)，其中8個(gè)標(biāo)志點(diǎn)平均誤差小于0.5 mm。與二維頭影測量自動定點(diǎn)相同，上述2個(gè)目前精確度最高的三維頭影測量自動定點(diǎn)研究也采用了深度學(xué)習(xí)的方法[43-44]。然而，目前大多數(shù)機(jī)器學(xué)習(xí)的研究使用的CBCT圖像較少，且僅對局部或少量標(biāo)志點(diǎn)進(jìn)行檢測，無法進(jìn)行完整的三維頭影測量，這限制了它們的臨床應(yīng)用價(jià)值。

三維頭影自動定點(diǎn)各類方法內(nèi)容摘要如表2所示。

表2 三維頭影測量自動定點(diǎn)收錄文章摘要Tab 2 Three-dimensional cephalometric measurement automatic fixed-point collection of article abstracts

總的來說，在三維頭影測量自動定點(diǎn)已有的方法中，運(yùn)用基于知識的方法可達(dá)到與人工定位相似的準(zhǔn)確度；由于個(gè)體影像差異，基于模型的方法精確度不佳，但在二維測量基礎(chǔ)上有了進(jìn)一步的發(fā)展；基于深度學(xué)習(xí)的方法的誤差最小，有滿足臨床應(yīng)用的潛力。目前，三維頭影測量自動定點(diǎn)的研究尚處于起步階段，還未有投入臨床應(yīng)用的報(bào)道。

3 小結(jié)與展望

經(jīng)過幾十年的發(fā)展，目前二維頭影測量自動定點(diǎn)已趨于完善，大大減少了分析所需要的時(shí)間和因主觀性而導(dǎo)致的錯(cuò)誤，提高了標(biāo)志點(diǎn)識別的準(zhǔn)確性，已經(jīng)開始應(yīng)用于臨床。同時(shí)，三維頭影測量自動定點(diǎn)也有部分研究在精確度上報(bào)告了出色的結(jié)果。然而，目前三維頭影測量自動定點(diǎn)技術(shù)還存在許多問題：1）受倫理等因素的影響，多數(shù)研究使用的CBCT樣本數(shù)量有限，需要擴(kuò)大樣本量來減少測量誤差、驗(yàn)證方法的可行性；2）年齡、種族以及顱面部畸形等因素導(dǎo)致不同患者之間具有高度的顱頜面變異性，算法的穩(wěn)定性和精確度還需要在不同樣本下進(jìn)行測試；3）三維測量數(shù)據(jù)運(yùn)算量大、處理時(shí)間長，對計(jì)算機(jī)中央處理器（central processing unit，CPU）、內(nèi)存等要求較高；4）許多方法的誤差水平還不能滿足臨床需求，標(biāo)志點(diǎn)的測量誤差還需要進(jìn)一步減小，尤其是部分誤差較高的標(biāo)志點(diǎn)；5）缺乏相應(yīng)的誤差評估標(biāo)準(zhǔn)，自動定點(diǎn)在三維影像x、y、z軸上可接受的誤差極限尚無公認(rèn)的標(biāo)準(zhǔn)。盡管困難重重，但相信隨著未來機(jī)器學(xué)習(xí)的發(fā)展，各類深度學(xué)習(xí)算法將不斷改進(jìn)和完善，為頭影測量自動定點(diǎn)的發(fā)展指引新的方向。

利益沖突聲明：作者聲明本文無利益沖突。