機(jī)器學(xué)習(xí)在口腔植入體無損測(cè)量中的應(yīng)用

李晨，張家偉，齊守良，王丹寧

1. 東北大學(xué) 醫(yī)學(xué)與生物信息工程學(xué)院，遼寧 沈陽 110819；2. 中國醫(yī)科大學(xué) 口腔醫(yī)學(xué)院，遼寧 沈陽 110122

引言

口腔健康是人類一直無法忽視的一個(gè)重要問題，口腔醫(yī)學(xué)應(yīng)運(yùn)而生并迅速發(fā)展[1]，口腔醫(yī)學(xué)理論與實(shí)踐也在不斷更替，其中口腔曲面計(jì)算機(jī)斷層掃描（Computed Tomography，CT）技術(shù)在口腔醫(yī)學(xué)的發(fā)展中起到了彌足珍貴的作用[2]。曲面CT使用計(jì)算機(jī)與CT機(jī)相結(jié)合的手段，將螺旋式的CT數(shù)據(jù)合并為一張曲面CT圖像[3]，有助于從三維角度對(duì)口腔組織情況進(jìn)行分析[4]。

自從上世紀(jì)60年代的Br-nemark教授研制并開發(fā)出了應(yīng)用鈦金屬的骨結(jié)核理論之后[5]，口腔植入技術(shù)開始在民間普及，隨之而來的口腔種植技術(shù)也飛速發(fā)展[6-8]。但是在醫(yī)院中就診的病人常常會(huì)遇到老舊病歷或者檔案丟失的問題，無法確定已經(jīng)植入的植入體規(guī)格，這種情況會(huì)對(duì)植入體的更換與維護(hù)造成較大的困難。在這種情況下醫(yī)生通常會(huì)使用肉眼粗略估測(cè)植入體規(guī)格，或使用計(jì)算機(jī)進(jìn)行半自動(dòng)測(cè)量，又或購買專業(yè)的硬件設(shè)備進(jìn)行測(cè)量[9]。醫(yī)學(xué)界暫未有將機(jī)器學(xué)習(xí)應(yīng)用于口腔植入體檢測(cè)領(lǐng)域的先例。因此，精準(zhǔn)地測(cè)量植入體規(guī)格對(duì)于檢測(cè)患者口腔內(nèi)骨骼的穩(wěn)定性以及提高植入手術(shù)的安全性起著重要作用。

相比以上方法，本文提出的口腔植入體無損測(cè)量方法具有以下特點(diǎn)：相比肉眼觀測(cè)的巨大誤差，使用本方法可使結(jié)果更加精準(zhǔn)；相比使用計(jì)算機(jī)軟件（如CliniView）進(jìn)行半自動(dòng)測(cè)量，本方法更加智能，也更加適應(yīng)大數(shù)據(jù)的發(fā)展趨勢(shì)下老舊病例的整理；相比使用專業(yè)的器材進(jìn)行測(cè)量，本方法節(jié)省了成本，只需要較低的投入就可以有可觀的成果。本文同時(shí)也為人體其余位置植入體（如骨釘、接骨板等）的檢測(cè)提供了新的思路與方法。

1 方法

1.1 方法的整體流程

圖1為本研究的研究技術(shù)路線，包括七個(gè)步驟。

圖1 項(xiàng)目流程示意圖

（1）從醫(yī)院獲取的大量數(shù)據(jù)作為原始數(shù)據(jù)。

（2）需要對(duì)其先進(jìn)行合理的篩選，本數(shù)據(jù)庫主要使用了手術(shù)后的、含有植入體的圖像。

（3）由于數(shù)據(jù)庫中的圖像的格式與尺寸等信息不盡相同，需要對(duì)其進(jìn)行預(yù)處理，包括統(tǒng)一格式與尺寸，方便后續(xù)的特征值提取。

（4）手動(dòng)截取了不同的口腔植入體為訓(xùn)練組，其中包括：單植入體，雙植入體和多植入體三種情況，每種情況各選取了200張作為positive訓(xùn)練集，截取了其他隨機(jī)區(qū)域作為negative訓(xùn)練集。

（5）通過訓(xùn)練集提取的紋理特征訓(xùn)練分類器，主要提取了灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）和方向梯度直方圖（Histogram of Oriented Gradient，HOG）作為分類特征。

（6）再用訓(xùn)練好的分類器對(duì)測(cè)試集進(jìn)行分類，得出分類結(jié)果并計(jì)算其準(zhǔn)確率。

（7）通過訓(xùn)練的模型提取圖像中植入體的位置，通過提取規(guī)格統(tǒng)一的鋼珠直徑作為標(biāo)準(zhǔn)，計(jì)算植入體實(shí)際大小并計(jì)算其誤差值。

1.2 紋理特征提取

1.2.1 GLCM

GLCM是一種經(jīng)典的圖像紋理特征，它通過測(cè)量兩個(gè)像素之間的空間位置信息來反映紋理特性。紋理特征指的是兩個(gè)像素之間的灰度關(guān)系：以一個(gè)像素為基準(zhǔn)，找到包裹著它的八個(gè)方向上的像素與基準(zhǔn)像素的對(duì)應(yīng)關(guān)系。而GLCM就是將空間上兩個(gè)像素之間的聯(lián)合共生矩陣集中起來而形成的一種紋理特征[10-13]。

1.2.2 HOG

HOG是運(yùn)用在圖像處理中識(shí)別圖內(nèi)物體與圖像紋理特征的一種經(jīng)典方法[14-15]。其原理為：選擇圖片邊緣區(qū)域的梯度并提取其密度分布系數(shù)。對(duì)于一張全局的圖像來說，先將其分為以像素為基準(zhǔn)的子圖，不同的子圖即為不同的單元。接著計(jì)算其方向梯度值并將其存入矩陣中，然后將所有的子圖按照原始圖像進(jìn)行整合，從而構(gòu)成HOG。由于本研究所使用的圖片尺度多樣性高，圖像中的內(nèi)容比較豐富，所以采集的HOG特征維度不同，因此需要將HOG特征歸一化為一個(gè)36維向量（4個(gè)區(qū)塊，每個(gè)區(qū)塊9個(gè)方向）。

1.3 徑向基核函數(shù)

徑向基（Radial Basis Function，RBF）核函數(shù)的本質(zhì)是高斯核，而SVM的主要核心之一就是RBF核函數(shù)。RBF核函數(shù)使用非線性變換將低維空間的隨機(jī)矢量映射到高位特征空間并在其中設(shè)計(jì)線性學(xué)習(xí)算法。當(dāng)用其訓(xùn)練SVM分類器，需要定義懲罰系數(shù)C和，較小的C會(huì)使決策表面更加平滑，而則定義了單一訓(xùn)練樣本的影響力[16-19]。

2 方法

2.1 口腔曲面CT圖像數(shù)據(jù)庫

本研究采用中國醫(yī)科大學(xué)口腔醫(yī)院提供的420張曲面CT圖片作為實(shí)驗(yàn)數(shù)據(jù)，并截取口腔內(nèi)包含植入體的區(qū)域作為Positive訓(xùn)練集，隨機(jī)截取其他區(qū)域作為Negative訓(xùn)練集。其中Positive訓(xùn)練集包括：單植入體，雙植入體與多植入體數(shù)據(jù)各200張，Negative訓(xùn)練集200張。訓(xùn)練集如圖2所示。

圖2 植入體訓(xùn)練集示意圖

2.2 實(shí)驗(yàn)數(shù)據(jù)與設(shè)置

2.2.1 分類器選擇

提取訓(xùn)練集的GLCM與HOG特征作為訓(xùn)練數(shù)據(jù)，然后分別使用不同的分類器對(duì)其進(jìn)行訓(xùn)練，并用十折交叉驗(yàn)證來評(píng)價(jià)其準(zhǔn)確率，結(jié)果如表1所示。

表1 不同分類器在十折交叉驗(yàn)證下的準(zhǔn)確率

通過表1中實(shí)驗(yàn)結(jié)果對(duì)比發(fā)現(xiàn)，RBFSVM是分類準(zhǔn)確率最高的分類器，所以本系統(tǒng)接下來將使用RBFSVM分類器作為識(shí)別口腔內(nèi)植入體區(qū)域的學(xué)習(xí)算法。

2.2.2 SVM訓(xùn)練

本實(shí)驗(yàn)對(duì)GLCM與HOG兩種特征的機(jī)器學(xué)習(xí)分類效果進(jìn)行比較，其最終分類結(jié)果如圖3所示。

圖3中藍(lán)色的點(diǎn)代表了Negative集的特征所在位置，紅色的則代表了Positive集的特征所在位置，紅色集與藍(lán)色集之間有比較明顯的區(qū)分。其中以GLCM特征訓(xùn)練的分類器準(zhǔn)確率和以HOG特征訓(xùn)練的分類器準(zhǔn)確率相差甚微，所以在本次項(xiàng)目中，將選擇若干分類器中準(zhǔn)確率最高的，即準(zhǔn)確率為96.7%的以GLCM特征訓(xùn)練的RBFSVM分類器。

圖3 SVM分類訓(xùn)練后的分類結(jié)果

2.2.3 準(zhǔn)確率評(píng)價(jià)

在機(jī)器學(xué)習(xí)中，準(zhǔn)確率評(píng)價(jià)是對(duì)于一個(gè)分類器性能最好的性能參考指標(biāo)。為了測(cè)試以GLCM為特征的分類器準(zhǔn)確率，準(zhǔn)備了200張隨機(jī)區(qū)域的圖片，其中100張包含植入體，100張不包含植入體。經(jīng)過測(cè)試后得出，100張含有植入體的圖像識(shí)別準(zhǔn)確率為97%，而不含植入體的圖像識(shí)別準(zhǔn)確率為90%。系統(tǒng)對(duì)于含有植入體的部分識(shí)別精準(zhǔn)度比較高，證明了RBFSVM分類器及GLCM特征的有效性。

2.2.4 接受者操作特征曲線

在案例實(shí)施過程中，教師的核心地位很重要，要求教師熟悉和理解案例，具有淵博的知識(shí)，縝密的邏輯分析能力，具有較強(qiáng)的控制和駕馭課堂的能力，通過案例教學(xué)可以考驗(yàn)教師的業(yè)務(wù)水平，提高教學(xué)水平和教學(xué)質(zhì)量，使教師認(rèn)識(shí)到自己的不足和短板，從而加強(qiáng)自身對(duì)理論知識(shí)和工程實(shí)踐的學(xué)習(xí)，將理論教學(xué)與實(shí)踐環(huán)節(jié)緊密結(jié)合起來，促進(jìn)知識(shí)與能力的有機(jī)結(jié)合，只有這樣才能使培養(yǎng)出的學(xué)生具有創(chuàng)新能力和工程實(shí)踐能力，成為應(yīng)用型高級(jí)紡織專業(yè)人才。

接受者操作特征（Receiver Operating Characteristic，ROC）曲線，在曲線上的各個(gè)點(diǎn)代表了一組信號(hào)發(fā)射入系統(tǒng)之后，對(duì)這個(gè)信號(hào)的感受性曲線[20]。在ROC曲線中，對(duì)角線代表了純機(jī)遇線，即不加任何訓(xùn)練，完全隨機(jī)分類的一條分界線，那么曲線離對(duì)角線越遠(yuǎn)，代表分類結(jié)果越準(zhǔn)確，本系統(tǒng)使用的RBFSVM分類器的ROC曲線如圖3所示。

觀測(cè)到RBFSVM分類器的ROC曲線越接近于正方形，其分類結(jié)果越準(zhǔn)確，大部分擊中點(diǎn)都可以落在遠(yuǎn)離純機(jī)遇線的位置。在圖4中，以不同判斷標(biāo)準(zhǔn)下的虛報(bào)概率為橫坐標(biāo)，以擊中概率為縱坐標(biāo)，得出此分類器的辨別能力比較強(qiáng)。

圖4 RBFSVM分類器ROC曲線示意圖

2.3 植入體檢測(cè)

由于口腔內(nèi)植入體具有單、雙、多等情況，所以本項(xiàng)目分別訓(xùn)練三種不同的分類器，然后分別進(jìn)行植入體的識(shí)別。經(jīng)過測(cè)量，在口腔曲面CT圖像中齒區(qū)的位置一般在圖像的橫坐標(biāo)的0.3～0.7倍之間，見圖5紅框內(nèi)容。

圖5 齒區(qū)在曲面CT中的范圍

為避免錯(cuò)誤識(shí)別，本系統(tǒng)將圖片掃描的范圍選取在以上所標(biāo)定的范圍之中。本系統(tǒng)為單、雙、多植入體分別設(shè)計(jì)了多尺度滑動(dòng)窗口，可以更加精準(zhǔn)地識(shí)別出植入體的所在區(qū)域。在多次對(duì)比實(shí)驗(yàn)中確定了準(zhǔn)確率最高的滑動(dòng)窗口尺度，其中，單植入體為50×80像素，雙植入體為100×100像素，多植入體為150×100像素。

匹配方案的核心思路如下述，RBFSVM可以量化每一塊區(qū)域接近Positive與接近Negative的程度，例如，對(duì)圖像進(jìn)行掃描的過程中截取到一張子圖，而且其中包含著植入體，那么它的Positive系數(shù)一般高于0.95，而其Negative系數(shù)則比較低。針對(duì)以上思路，本系統(tǒng)將掃描過程中所有截取到的子圖的Positive系數(shù)與Negative系數(shù)全部保存為一個(gè)矩陣，然后分別提取其最高值與最低值，那么最準(zhǔn)確的植入體截圖區(qū)域就是Positive系數(shù)最高的那個(gè)部分。單植入體、雙植入體與多植入體測(cè)試結(jié)果如圖6～8所示，黃框?yàn)樽詣?dòng)檢測(cè)的植入體位置。

圖6 單植入體測(cè)試結(jié)果

圖7 雙植入體測(cè)試結(jié)果

圖8 多植入體測(cè)試結(jié)果

接著，需要對(duì)三個(gè)分類器進(jìn)行協(xié)同使用。預(yù)期目標(biāo)為輸入一張口腔曲面CT作為測(cè)試圖像，無論其中有幾個(gè)植入體，也無論植入體存在于幾個(gè)不同位置，都可以準(zhǔn)確地將植入體識(shí)別出來。為了將兩個(gè)不同的位置都有植入體的圖像中的植入體全部識(shí)別出來，提出以下解決方案：由于兩個(gè)位置都有植入體，所以如果按照只有單個(gè)區(qū)域存在植入體的方法來識(shí)別，選取的位置只有Positive系數(shù)最高的區(qū)域，所以只能識(shí)別出兩塊區(qū)域中的其中一塊如圖9所示。

圖9 多植入體檢測(cè)缺失

因?yàn)橹氨Ａ暨^三種分類器的Positive系數(shù)，這個(gè)過程中需要將三個(gè)系數(shù)都保存起來并分別提取其Positive系數(shù)的最高值，這樣就可以在掃描圖片的過程中，找到三個(gè)值中最高的那個(gè)，代表此分類器的訓(xùn)練結(jié)果與掃描的區(qū)域相似度最高，將其標(biāo)記出來即可。

關(guān)于如何處理多位置植入體的問題，本系統(tǒng)采用了限制其相對(duì)位置的方法。在一張圖片中，含有植入體的子圖Positive系數(shù)必然很高，所以需要將上述的Positive系數(shù)進(jìn)行降序排序，提取其前一百位的位置信息，這樣一幅圖片中所有包含植入體的位置都可以被提取出來。但若將這些區(qū)域全部標(biāo)記出來，會(huì)標(biāo)記很多重復(fù)植入體的位置（圖10）。

圖10 標(biāo)記所有植入體

為了避免出現(xiàn)圖10的情況，本系統(tǒng)限制了兩塊區(qū)域的相對(duì)位置，因?yàn)槿绻峭粋€(gè)植入體的不同截圖被選取時(shí)，兩個(gè)子圖的相對(duì)位置都必然在100×100像素之內(nèi)，而如果兩個(gè)區(qū)域有不同的植入體，那么必然大于這個(gè)范圍。所以本系統(tǒng)在做每一次掃描的過程中，當(dāng)判斷到其中含有植入體時(shí)，都會(huì)記錄其位置信息，然后檢索Positive系數(shù)在前100位的位置信息，如果其位置信息與當(dāng)前已經(jīng)記錄的Positive系數(shù)最高值的位置的相對(duì)距離在100像素以內(nèi)的話，那么忽略這個(gè)區(qū)域，直到找到與系數(shù)最高的位置的相對(duì)距離大于100像素的子圖，截取這個(gè)區(qū)域并且測(cè)算其特征值。

最后的結(jié)果如下所述，先將圖片的齒區(qū)全部掃描三遍，用單、雙、多植入體的分類器對(duì)其進(jìn)行分類，分別記錄其Positive與Negative值，然后進(jìn)行排序，記錄其最高值。接著重新掃描圖像，當(dāng)選取到的位置的Positive系數(shù)與上述的Positive矩陣的最高值相同時(shí)，標(biāo)記這個(gè)區(qū)域并記錄其位置信息，然后接著掃描，若Positive系數(shù)在Positive矩陣的前100位，Negative系數(shù)在Negative矩陣的后100位并且位置與之前記錄的區(qū)域不相鄰時(shí)，標(biāo)記這個(gè)區(qū)域并記錄其位置。最后測(cè)試的圖像采集了隨機(jī)6張圖像，得出的結(jié)果如圖11所示。

圖11 隨機(jī)測(cè)試數(shù)據(jù)結(jié)果展示

2.4 植入體規(guī)格測(cè)量

在識(shí)別出植入體的范圍之后，需要測(cè)量植入體對(duì)應(yīng)的實(shí)際規(guī)格參數(shù)。先將植入體部分的區(qū)域截取出來并對(duì)其進(jìn)行二值化操作以避免灰度對(duì)于結(jié)果的影響，然后對(duì)其進(jìn)行一系列形態(tài)學(xué)處理，如去噪、腐蝕、膨脹等操作，最后提取的植入體為比較完整的植入體形狀。然后提取植入體的形狀特征，其中長軸與短軸分別用來計(jì)算植入體的長度和直徑，可用如下方法計(jì)算長軸、短軸的像素與植入體實(shí)際規(guī)格的比例系數(shù)。

如圖12所示，植入手術(shù)過程中會(huì)在患者口腔內(nèi)放置一枚直徑為5 mm的鋼珠，本實(shí)驗(yàn)采用此鋼珠作為參照物，用以計(jì)算植入體的實(shí)際規(guī)格。其中，黃色窗口標(biāo)記檢測(cè)到植入體的位置，藍(lán)色窗口標(biāo)記檢測(cè)到鋼球的位置。由于口腔曲面CT成像過程中對(duì)圖像產(chǎn)生一定形變，導(dǎo)致鋼球并不是理想的圓形，所以其直徑可以通過計(jì)算鋼球的長軸與短軸的平均值來獲得。

圖12 檢測(cè)鋼球以及植入體示意圖

提對(duì)植入體尺寸進(jìn)行測(cè)量如圖13所示。為了對(duì)植入體尺寸進(jìn)行測(cè)量，首先對(duì)植入體所在區(qū)域圖像進(jìn)行圖像分割?？梢钥闯鲩撝堤幚韺⒀例X和口腔內(nèi)骨骼等大部分都已經(jīng)去除，植入體的輪廓被很好地提取了出來。但是其中孔洞比較多且表面相對(duì)不規(guī)則，所以使用形態(tài)學(xué)操作對(duì)其進(jìn)行完善以便于尺寸測(cè)量。

圖13 口腔曲面CT植入體檢測(cè)示意圖

先用[0 1 0,1 1 1,0 1 0]的結(jié)構(gòu)元對(duì)圖像進(jìn)行膨脹操作來對(duì)植入體的邊緣進(jìn)行完善。看出膨脹后的圖像邊界更加圓潤，可以避免提取形狀特征時(shí)將一個(gè)植入體分為多個(gè)部分而影響測(cè)量準(zhǔn)確性的情況，但是其中還有一部分孔洞未填充，對(duì)其進(jìn)行孔洞填充操作并使其形成完整的植入體圖像，然后測(cè)量植入體圖像的長軸與短軸。如圖14所示，結(jié)果為長度為15.36 mm，直徑為4.00 mm。

圖14 植入體測(cè)量示意圖

3 結(jié)果

由表2可得，本文提出的全自動(dòng)方法與醫(yī)院實(shí)際使用的半自動(dòng)CliniView軟件的測(cè)量結(jié)果只存在極小的差別，絕大多數(shù)差距都在2%以下，充分證明了該方法的有效性與潛在的應(yīng)用可行性。

表2 本文方法與CliniVIew結(jié)果對(duì)比

將得到的結(jié)果與CliniView測(cè)量出來的結(jié)果作比較，每一張圖片經(jīng)由三次測(cè)量，取其平均值。

4 討論

本項(xiàng)目針對(duì)口腔曲面CT圖像使用分段閾值、形態(tài)學(xué)處理等方法完成預(yù)處理，通過對(duì)比多種分類器與紋理特征，確定了基于GLCM的RBFSVM分類器作為植入體檢測(cè)方法，并通過近似計(jì)算方法達(dá)成全自動(dòng)無損測(cè)量植入體規(guī)格的目標(biāo)，獲得了與醫(yī)院使用的半自動(dòng)CliniView軟件高度接近的結(jié)果。

本文的口腔植入體無損檢測(cè)系統(tǒng)不僅具有高度的識(shí)別與計(jì)算精度，還能應(yīng)用于計(jì)算人體中其余無法取出測(cè)量的植入體的規(guī)格，如骨釘、接骨板等。

本文提出的方法也需要做出一定的改進(jìn)：① 在識(shí)別的過程中仍然有錯(cuò)誤識(shí)別的問題，下一步需要對(duì)算法進(jìn)行優(yōu)化；② 本項(xiàng)目雖然比較了很多分類器，但卻只比較了兩種特征，還有很多其余紋理特征沒被用到，下一步將融合更多特征用于分類器的訓(xùn)練；③ 在最終測(cè)算植入體長度與植入體直徑的過程中，對(duì)閾值處理過的圖像進(jìn)行長短軸檢測(cè)的時(shí)候也會(huì)存在一些誤差，還不夠精準(zhǔn)，下一步將改進(jìn)閾值處理算法，提升檢測(cè)精度。后續(xù)可以繼續(xù)使用特征融合與深度學(xué)習(xí)進(jìn)行研究。