深度學(xué)習(xí)算法在腭中縫成熟度分期中的應(yīng)用

陳宇彤 焦慶磊 朱 明 李青奕

牙弓及上頜骨的橫向發(fā)育不足是常見的口腔問題，上頜骨的橫向發(fā)育不足會(huì)導(dǎo)致反合、偏合等多種錯(cuò)頜畸形，進(jìn)而導(dǎo)致口腔功能失調(diào)，嚴(yán)重影響美觀。目前，上頜快速擴(kuò)弓器（rapid maxillary expansion， RME）常用于糾正上頜骨寬度不調(diào)，而且，在多數(shù)病例中，正畸醫(yī)生希望獲得更多的骨性擴(kuò)弓效應(yīng)并減少牙性擴(kuò)弓效應(yīng)，以避免牙齒的過度唇傾及并發(fā)癥的產(chǎn)生。

腭中縫的成熟過程實(shí)際上是個(gè)體在生長發(fā)育過程中所經(jīng)歷的骨縫逐漸鈣化融合過程中的一種。腭中縫兩側(cè)在鈣化初始階段出現(xiàn)骨針狀骨化，隨著骨針的增多及交叉融合，腭中縫逐漸從后向前鈣化[1]。然而，生理年齡并不能準(zhǔn)確對(duì)應(yīng)腭中縫鈣化的階段，僅以生理年齡也無法準(zhǔn)確判斷生長發(fā)育期。有文獻(xiàn)表明，腭中縫鈣化情況存在個(gè)體差異，甚至在40歲以上的病例中發(fā)現(xiàn)了仍未完全鈣化的腭中縫[1-2]。

Angelieri等[3]依據(jù)CBCT圖像提出了一種判斷腭中縫成熟度分期的方法，將腭中縫成熟度情況分為A、B、C、D、E期，認(rèn)為以C期為分界，腭中縫成熟度分期處于A、B、C期的患者可以通過傳統(tǒng)RME打開腭中縫，擴(kuò)大上頜牙弓，然而由于腭中縫分期處于D、E期的患者的腭中縫已經(jīng)融合，使用傳統(tǒng)RME難以獲得需要的骨性效應(yīng)，所以對(duì)于此類患者更推薦使用骨支持式或外科輔助RME。

準(zhǔn)確判斷患者的腭中縫成熟度分期成為制定正畸治療方案的關(guān)鍵。雖然依據(jù)CBCT圖像中的腭中縫形態(tài)判斷腭中縫成熟度已經(jīng)有了明確的分期標(biāo)準(zhǔn)，但在實(shí)際的臨床診斷中，CT圖像常具有多期特征，若完全依賴于醫(yī)生的判斷，有時(shí)會(huì)出現(xiàn)多次分期結(jié)果不一致的情況，對(duì)最終的診斷帶來一定的不確定性。而正畸醫(yī)生會(huì)傾向于使用骨支持式或外科輔助RME以獲得更多的骨性擴(kuò)弓效應(yīng)以保證療效。但是，這對(duì)于一些原本并不需要此類措施的患者來說，不僅增加了其經(jīng)濟(jì)負(fù)擔(dān)，更增加了其在正畸過程的不適甚至是痛苦體驗(yàn)。

為了能夠在臨床診斷工作中給醫(yī)生提供一致性的評(píng)估結(jié)果作為參考，本文改進(jìn)了一個(gè)深度學(xué)習(xí)模型，用于判斷腭中縫的成熟階段。該模型將CBCT截圖作為輸入，輸出所屬每個(gè)分期的得分，以及由梯度加權(quán)的類別激活映射（gradient class activation mappings， Grad-CAM）[4]方法得到的卷積特征可視化結(jié)果。該模型由Xception[5]網(wǎng)絡(luò)作為基礎(chǔ)模型，在此基礎(chǔ)上加入注意力機(jī)制，Grad-CAM計(jì)算得到的類別激活特征圖為神經(jīng)網(wǎng)絡(luò)提供了特征分布的位置信息，使模型能夠捕捉到腭中縫區(qū)域在不同分期下的細(xì)微區(qū)別。此外，深度學(xué)習(xí)模型將患者的年齡信息與圖像特征融合，綜合做出預(yù)測。

方 法

1.患者資料

回顧性分析南京醫(yī)科大學(xué)附屬口腔醫(yī)院正畸科2014年1月至2019年6月的729例病例數(shù)據(jù)。準(zhǔn)入標(biāo)準(zhǔn)為：在正畸治療前獲取的清晰的CBCT圖像；排除標(biāo)準(zhǔn)為：唇腭裂病史，全身系統(tǒng)性疾病史等。

2.CT掃描技術(shù)

CBCT設(shè)備為錐形束CT機(jī)（NewTom SG，意大利），受試者采取平臥位，采集過程中保持眶耳平面與地面垂直，焦點(diǎn)0.3mm，曝光時(shí)間18秒，層厚0.3mm，掃描角度360°。

3.腭中縫成熟度分期判斷方法

利 用 Dolphin imaging 軟 件 11.0（Dolphin Imaging & Management Solutions， Chatsworth，CA， USA），將患者的CBCT數(shù)據(jù)導(dǎo)入Dolphin軟件后，根據(jù)Angelieri等人提出的腭中縫成熟度分期方法，對(duì)腭中縫區(qū)域進(jìn)行截圖，典型分期截圖如圖1所示。對(duì)于腭平面彎曲的患者，同時(shí)需要腭平面前后兩個(gè)位置的截圖，如圖2所示。

4.數(shù)據(jù)集劃分

4.1 第一階段數(shù)據(jù)：選自南京醫(yī)科大學(xué)附屬口腔醫(yī)院正畸科2014年1月至2018年12月的病例數(shù)據(jù)。由3位正畸醫(yī)生對(duì)這些截圖進(jìn)行分期標(biāo)注，間隔2周之后，對(duì)這些數(shù)據(jù)進(jìn)行第二次標(biāo)注。其中，3位正畸醫(yī)生6次標(biāo)注結(jié)果全都一致的病例共631例，可以認(rèn)為，此631例樣本具有各個(gè)分期的顯著特征。另有38例病例樣本，雖然3位正畸醫(yī)生最初的分期結(jié)果不一致，但經(jīng)過共同討論后達(dá)成一致，可以認(rèn)為，此38例樣本為臨床工作中腭中縫成熟度分期較為困難的病例。

(1)驗(yàn)證集：在631例樣本中，從每個(gè)分期中挑選出4個(gè)典型分期樣本，此20例樣本為訓(xùn)練的驗(yàn)證集。

(2)訓(xùn)練集：631例樣本除去20例驗(yàn)證集樣本外，剩余611例樣本。對(duì)于彎曲腭平面，同時(shí)需要兩個(gè)位置的截圖，這樣的病例樣本共有50例，在訓(xùn)練時(shí)它們被視為兩個(gè)孤立的樣本，因此訓(xùn)練集共有661例樣本。

(3)測試集A（困難病例）：38例在臨床工作中判斷腭中縫成熟度分期較為困難的病例樣本。

4.2 第二階段數(shù)據(jù)：從南京醫(yī)科大學(xué)附屬口腔醫(yī)院正畸科2019年1月至2019年6月的病例中，隨機(jī)選出60例病例，由相同的正畸醫(yī)生利用與第一階段數(shù)據(jù)同樣的方法進(jìn)行標(biāo)注，對(duì)于分期結(jié)果不一致的病例，由醫(yī)生共同討論得出最終分期結(jié)果?？梢哉J(rèn)為，此60例病例代表了在臨床工作中判斷腭中縫成熟度分期的平均難度。

測試集B（平均難度病例）：60例在臨床工作中判斷腭中縫成熟度分期的平均難度樣本。

5.深度學(xué)習(xí)算法與圖像分析

5.1 實(shí)驗(yàn)數(shù)據(jù)處理：腭中縫成熟度情況有A、B、C、D、E共5個(gè)分期，對(duì)標(biāo)簽采用獨(dú)熱編碼，將醫(yī)生的標(biāo)注轉(zhuǎn)換成為五維的0/1向量作為每一例樣本的標(biāo)簽。另外，對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行擴(kuò)充：圖像經(jīng)過銳化之后，進(jìn)行隨機(jī)的平移、放大以及水平鏡像，然后從圖像中間裁剪出邊長為0.8×H大小的正方形區(qū)域，其中H為CBCT截圖的高度。最后將裁剪出的圖像縮放到512×512的像素大小。

5.2 網(wǎng)絡(luò)結(jié)構(gòu)：本文針對(duì)腭中縫成熟度分期問題，在圖像分類網(wǎng)絡(luò)Xcepiton 模型的基礎(chǔ)上，將圖像特征與結(jié)患者年齡屬性結(jié)合，并引入注意力機(jī)制輔助判斷。具體的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。腭中縫成熟度分期是一個(gè)多分類問題，輸出層使用softmax函數(shù)，使得5個(gè)分期的概率和為1。然后使用交叉熵?fù)p失函數(shù)量化模型輸出與標(biāo)簽之間的誤差。

5.3 特征可視化：Grad-CAM方法[4]為模型的預(yù)測生成一個(gè)簡單的熱圖。顏色越紅，表明模型在分類的時(shí)候越依賴此區(qū)域的圖像特征。

結(jié) 果

1.訓(xùn)練過程與結(jié)果

本文按照設(shè)計(jì)的先后順序訓(xùn)練了3個(gè)模型：模型1是現(xiàn)有Xception模型；模型2加入了注意力分支；模型3將圖像特征、個(gè)人信息和Grad-CAM評(píng)分結(jié)合，得到最終結(jié)果。

模型1時(shí)使用遷移學(xué)習(xí)的方法訓(xùn)練，將在ImageNet上訓(xùn)練的Xception模型作為初始權(quán)重。優(yōu)化器選用Adam梯度下降算法計(jì)算梯度并更新權(quán)重，初始學(xué)習(xí)率設(shè)為5e-5，學(xué)習(xí)率衰減因子為0.2，當(dāng)連續(xù)兩個(gè)周期驗(yàn)證集的損失不再減少時(shí)，學(xué)習(xí)率衰減?？偣灿?xùn)練30個(gè)周期，選擇驗(yàn)證集損失最小的模型作為最優(yōu)模型。

模型2的訓(xùn)練分為兩步，第一步首先用模型1的訓(xùn)練結(jié)果初始化，然后將Xception模型的所有參數(shù)固定，只訓(xùn)練Grad-CAM分支，在此初始學(xué)習(xí)率設(shè)為1e-3，訓(xùn)練5個(gè)周期。第二步取消固定Xception網(wǎng)絡(luò)參數(shù)，學(xué)習(xí)率為1e-4，學(xué)習(xí)率衰減機(jī)制同上，訓(xùn)練20個(gè)周期，從中選擇最優(yōu)模型。

模型3以訓(xùn)練完成的模型2作為訓(xùn)練的初始參數(shù)，然后將模型2部分的參數(shù)固定，初始學(xué)習(xí)率設(shè)為1e-3，同樣的學(xué)習(xí)率衰減機(jī)制，訓(xùn)練周期為20，從中選擇最優(yōu)模型。

3個(gè)模型在驗(yàn)證集上的表現(xiàn)見表1。

2.測試過程與結(jié)果

在測試時(shí)，對(duì)于腭中縫彎曲的病例，需要綜合考慮前后兩個(gè)位置的截圖，分別輸入模型，最后取模型輸出平均值作為此病例的最終判斷結(jié)果。

2.1 測試集A（困難病例）和測試集B（平均難度病例）測試結(jié)果：選取一例樣本展示可視化輸出與模型預(yù)測輸出（圖4）。這一例樣本的腭中縫成熟度正確分期為E期，模型輸出E期的概率為0.985。圖4中可以看出，E期對(duì)應(yīng)的特征映射熱圖的高亮區(qū)域也正是腭中縫的位置，解釋了模型的分期依據(jù)。在測試集A和測試集B上，各個(gè)模型的測試結(jié)果及醫(yī)生的平均準(zhǔn)確率見表2，其中，醫(yī)生的準(zhǔn)確率由3位正畸科醫(yī)生多次標(biāo)定的結(jié)果與最終討論結(jié)果對(duì)比產(chǎn)生。

表1 驗(yàn)證集結(jié)果

表2 測試集A和測試集B的測試結(jié)果

圖1 腭中縫成熟度典型分期。A.A期：腭中縫呈一條較直的高密度線，沒有或只有很少的彎曲；B.B期：腭中縫形狀不規(guī)則，呈一條鋸齒狀的高密度線，局部可能有兩條平行的高密度線，或低密度團(tuán)塊；C.C期：腭中縫呈兩條平行的，直的或鋸齒狀的高密度影像，局部可能被小的低密度團(tuán)塊分隔；D.D期：腭骨部分的腭中縫已不可見，上頜骨部分的腭中縫仍為兩條鋸齒狀高密度線；E.E期：腭橫縫以前的腭中縫已不可見，密度與周圍骨質(zhì)一致。

圖2 彎曲腭平面截圖。

圖3 網(wǎng)絡(luò)結(jié)構(gòu)圖。其中：第1部分表示基礎(chǔ)網(wǎng)絡(luò)，第2部分表示引入的注意力機(jī)制，第3部分表示綜合年齡信息輔助判斷，這里年齡除以100后，放縮到（0，1）區(qū)間內(nèi)。最后兩個(gè)分支的結(jié)果經(jīng)過平均后輸出。

討 論

在醫(yī)學(xué)領(lǐng)域，許多研究者已將圖像處理、傳統(tǒng)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等相關(guān)算法運(yùn)用到腫瘤預(yù)測以及臨床診斷等問題中[6-8]。腭中縫成熟度分期任務(wù)與一般的圖像分類任務(wù)不同，因?yàn)殡裰锌p區(qū)域在CBCT截圖中僅占小部分，切片中還會(huì)有牙齒、腔竇等組織結(jié)構(gòu)的成像，導(dǎo)致背景復(fù)雜多樣，傳統(tǒng)的圖像特征提取方法會(huì)因此受到干擾。卷積神經(jīng)網(wǎng)絡(luò)能自動(dòng)關(guān)注感興趣區(qū)域，篩選有用信息自動(dòng)建模，忽略不相干的背景信息。另外，Xception網(wǎng)絡(luò)使用深度可分離式卷積，不僅能提升模型性能，還能大幅減少模型參數(shù)量，降低計(jì)算量。

長期以來，神經(jīng)網(wǎng)絡(luò)經(jīng)常被視為黑盒模型，輸入數(shù)據(jù)然后得到結(jié)果，但難以獲得其中的依據(jù)。為了提升模型的可解釋性，本文采用Grad-CAM方法，為模型的預(yù)測生成定位熱圖，突出圖像中用于預(yù)測的重要區(qū)域，以解釋模型所做的決策依據(jù)。為了能夠讓模型對(duì)位置信息敏感，CAM熱圖也被作為分類依據(jù)加入卷積神經(jīng)網(wǎng)絡(luò)中。此外，年齡作為生長發(fā)育程度的一個(gè)重要信息，在模型決策時(shí)一并考慮，與圖像特征共同得到分期預(yù)測結(jié)果。

實(shí)驗(yàn)結(jié)果表明，不論是在測試集A還是測試集B上，深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)都優(yōu)于臨床醫(yī)生。這是因?yàn)榕R床醫(yī)生在處理具有多期性的病例截圖時(shí)主觀性較強(qiáng)。在這種情況下，深度學(xué)習(xí)算法顯現(xiàn)出優(yōu)勢。因?yàn)槟Ｐ陀删哂忻鞔_分期特征的樣本訓(xùn)練，對(duì)于多期性樣本，深度學(xué)習(xí)網(wǎng)絡(luò)能夠通過圖像特征和患者信息計(jì)算出屬于每個(gè)分期的得分，選取最高得分的分期作為分期結(jié)果，多次計(jì)算結(jié)果也不會(huì)改變。

此外，醫(yī)生在核查深度學(xué)習(xí)模型給出的結(jié)果時(shí)，能夠明確指出在個(gè)別病例的判斷上，模型給出了錯(cuò)誤

圖 4 模 型 可 視 化 輸 出。 模 型 輸 出 所 屬 各 分 期 概 率：Stage A=0.00317319，Stage B=0.00313581，Stage C=0.00167497，Stage D=0.00723078，Stage E=0.9847853。

分期。也就是說，深度學(xué)習(xí)模型在醫(yī)生的監(jiān)督下，能進(jìn)一步提高預(yù)測準(zhǔn)確率。對(duì)于困難的腭中縫成熟度分期情況，深度學(xué)習(xí)模型能給出概率值供醫(yī)生參考，大大提升了醫(yī)生的工作效率和診斷準(zhǔn)確率。因此，醫(yī)生可以將寶貴的時(shí)間放到對(duì)于病例的全面診斷與治療方案的制定中，而不必過多糾結(jié)于患者的生長發(fā)育期。