骨齡自動化評估的研究進(jìn)展

占夢軍，張世杰，陳虎，寧剛，鄧振華

（1.四川大學(xué)華西基礎(chǔ)醫(yī)學(xué)與法醫(yī)學(xué)院，四川 成都 610041；2.四川大學(xué)視覺合成圖形圖像技術(shù)國防重點(diǎn)學(xué)科實驗室，四川 成都 610065；3.四川大學(xué)計算機(jī)學(xué)院，四川 成都 610065；4.四川大學(xué)華西第二醫(yī)院放射科，四川 成都 610041）

骨齡評估是通過對骨骼的發(fā)育特征進(jìn)行識別，從而獲得對骨骼發(fā)育程度的定量評估。骨齡指標(biāo)在預(yù)防醫(yī)學(xué)、臨床醫(yī)學(xué)、體育科學(xué)等領(lǐng)域有著廣泛的應(yīng)用價值[1]。此外，骨齡鑒定作為確定刑事責(zé)任年齡的證據(jù)之一，能夠較真實地反映犯罪嫌疑人的生物學(xué)年齡，在司法審判中亦具有重大意義[2]。

傳統(tǒng)的骨齡評估均是由專家根據(jù)標(biāo)準(zhǔn)對待測X線片進(jìn)行評定，由于不同專家的認(rèn)識程度不一，應(yīng)用這些方法評估骨齡的主觀性較強(qiáng)，容易受人為主觀因素的影響。目前，人工評定骨齡的缺點(diǎn)主要有以下幾點(diǎn)[3-8]：（1）可重復(fù)性差。不同專家對同一張X線片的判定結(jié)果會產(chǎn)生一定的差異，同一位專家在不同時期對同一張X線片的判定結(jié)果亦可能不同。因此，該方法不利于骨齡的客觀評估。（2）難以普及。人工評定骨齡需要評定人員具有較強(qiáng)的專業(yè)知識，往往需要經(jīng)過長期的培訓(xùn)以及經(jīng)驗的積累才能較為準(zhǔn)確地判斷骨齡。（3）耗時費(fèi)力。由于要對手腕部多塊骨骼進(jìn)行評估，人工處理所需要的時間較長。上述諸多因素決定了將計算機(jī)視覺、數(shù)字圖像處理、模式識別等與骨齡評估相結(jié)合，實現(xiàn)骨齡自動化評估，使評估的過程和結(jié)果更加客觀和真實、效率更高成為一種現(xiàn)實需要。

因此，研究出新的骨齡評估方法，尤其是實現(xiàn)骨齡的自動化評估，使得骨齡評定達(dá)到簡單、快速、準(zhǔn)確、可重復(fù)性強(qiáng)的要求，也就成了國內(nèi)外眾多同行的研究熱點(diǎn)。當(dāng)前，骨齡評估方法已經(jīng)過專家人工評估、計算機(jī)輔助評估以及傳統(tǒng)機(jī)器學(xué)習(xí)評估3個階段的發(fā)展，正朝著結(jié)合計算機(jī)視覺、數(shù)字圖像處理、模式識別以及人工智能的方向發(fā)展[3-8]。本文綜述了近年來國內(nèi)外在骨齡自動化評估方面的相關(guān)研究與進(jìn)展，以期為相關(guān)研究人員提供參考與思路，為骨齡自動化評估指明研究方向。

1 傳統(tǒng)人工骨齡評估方法

在身體的各個部位中，由于手腕部對全身骨發(fā)育的代表性最高，手腕部有眾多不同類型的骨化中心，易于拍攝，且所需照射劑量小。因此，在骨齡評估中，手腕部骨發(fā)育成熟度評估方法的應(yīng)用更為廣泛[9-10]。

目前，國內(nèi)外傳統(tǒng)人工評定骨齡的方法主要有兩種。（1）圖譜法。1937年由TODD首創(chuàng)，后美國學(xué)者GREULICH和PYLE在TODD制定的手腕部圖譜的基礎(chǔ)上，于1950年依據(jù)美國30年代中上社會階層白人兒童研制出手腕部骨骼成熟系列性X線圖譜，并于1959年進(jìn)行修改，該圖譜即為G-P圖譜，在國際上具有較高的權(quán)威性。圖譜法評定骨齡較為簡便、直觀，且易于掌握。因此，目前各國應(yīng)用較廣泛，但其易受到觀察者內(nèi)部和觀察者間變異性的影響。有研究[11]結(jié)果顯示，應(yīng)用該方法評估骨齡，觀察者間的差異范圍為0.07～1.25歲，觀察者內(nèi)的差異為0.11～0.89歲。（2）計分法。TANNER和WHITEHOUSE于1962年以50年代英國倫敦中產(chǎn)階層兒童2 700人（其中一次性橫向觀察2 200人，縱橫結(jié)合觀察500人）為研究對象，研制出了判定骨齡的TW1計分方法，后于1975年修改成TW2標(biāo)準(zhǔn)，又于2000年進(jìn)一步修改成TW3標(biāo)準(zhǔn)[12]。1988年，國家體育運(yùn)動委員會委托河北省體育科學(xué)研究所，根據(jù)我國兒童骨骼發(fā)育的特點(diǎn)，在TW2標(biāo)準(zhǔn)的基礎(chǔ)上修訂了適合我國青少年兒童骨骼發(fā)育的骨齡評估標(biāo)準(zhǔn)——《中國人手腕骨發(fā)育標(biāo)準(zhǔn)（CHN法）》（TY/T 001—1992），該方法同屬計分法。為適應(yīng)新時代我國青少年兒童生長發(fā)育的需要，又于2002年重新修訂上述標(biāo)準(zhǔn)，并于2005年初步完成骨齡標(biāo)準(zhǔn)的修訂，該骨齡評估標(biāo)準(zhǔn)即為2006年開始實施發(fā)布的《中國青少年兒童手腕骨成熟度及評價方法》（TY/T 3001—2006）[13]。計分法通過選定一組特定的感興趣區(qū)域（region of interest，ROI），將這些ROI分為骨骺/干骺端 ROI（epiphysis/metaphysis ROI，EMROI）和腕骨ROI（carpal ROI，CROI），并分析每個具體區(qū)域的發(fā)育程度，根據(jù)每個ROI的發(fā)育將其分為不同的發(fā)育階段，每個階段都有對應(yīng)于種族和性別而變化的數(shù)值得分。通過計算所有ROI的總得分，查表獲得骨成熟度總得分對應(yīng)的骨齡值。該方法具有明確的量化概念，評定骨齡的結(jié)果較為精確，但此方法比較繁瑣，且評定人員需要經(jīng)過專門的培訓(xùn)才可進(jìn)行較準(zhǔn)確的評定。

為更好地適應(yīng)我國法醫(yī)學(xué)骨齡鑒定的需要，21世紀(jì)初，公安部物證鑒定中心和司法鑒定科學(xué)研究院先后對當(dāng)代中國漢族青少年骨發(fā)育情況進(jìn)行了廣泛系統(tǒng)的研究，重點(diǎn)研究了肢體六大關(guān)節(jié)、鎖骨胸骨端、骨盆等全身多部位骨骺閉合程度與年齡之間的相關(guān)性，并先后建立了骨齡鑒定的“數(shù)學(xué)模型推導(dǎo)法”[14]和“青少年骨發(fā)育標(biāo)準(zhǔn)圖譜法”[15]。這種骨發(fā)育程度的評估是建立在當(dāng)代中國青少年骨關(guān)節(jié)骨骺出現(xiàn)及骨骺閉合分級的基礎(chǔ)之上，因而能夠較為精確地反映我國當(dāng)代青少年不同年齡骨發(fā)育的變化特征。

2 基于計算機(jī)輔助的骨齡評估方法

1992年，TANNER和GIBBONS設(shè)計了一種基于手腕部TW-RUS法的計算機(jī)輔助骨齡評分（computer assisted skeletal age scores，CASAS）系統(tǒng)[16]。操作者將每個骨骺依次置于攝像機(jī)下方，通過系統(tǒng)將X線片傳至計算機(jī)，在計算機(jī)屏幕上查看待測骨骼圖像，通過與屏幕上顯示的TW階段的標(biāo)準(zhǔn)骨骼模板匹配來校正X線片的位置，并對骨骼的發(fā)育等級進(jìn)行評定。這個過程由計算機(jī)自動完成，不需要人工操作。圖像隨后被數(shù)字化，并由大量的數(shù)學(xué)系數(shù)表示。然后將這些系數(shù)與由TW標(biāo)準(zhǔn)每個階段生成的系數(shù)進(jìn)行比較，找到匹配最接近的。由于是定量的比較，所以該系統(tǒng)產(chǎn)生的發(fā)育階段評分是連續(xù)的，從而代替了以往方法中按A、B、C、D等離散的評分方法。因此，在縱向研究中，隨著年齡的增長，骨骼成熟度評分的進(jìn)展更平穩(wěn)。此外，該研究表明，評估者對骨齡重復(fù)評估的差異平均約為0.25個等級，CASAS系統(tǒng)的可靠性明顯高于通常的人工方法。但該方法仍需人工幫助操作，尚未達(dá)到完全自動化評估。

1999年，SATO等[17]根據(jù)對第三指骨的分析，為日本兒童提出了一種計算機(jī)輔助骨骼成熟度評估系統(tǒng)（computer-aided skeletal maturity assessment system，CASMAS）。該方法根據(jù)第三指的近側(cè)、中間和遠(yuǎn)側(cè)骨骺至干骺端的距離以及骨骺相對于干骺端的寬度進(jìn)行骨齡評估，當(dāng)所有骨骺完全閉合時對橈骨骨骺進(jìn)行評估。該系統(tǒng)骨齡評估的結(jié)果在2～15歲較準(zhǔn)確，但對于非常小的兒童以及15歲以上的青少年，結(jié)果并不那么準(zhǔn)確。這是因為骨骺在幼兒中還沒有開始發(fā)育，在年齡較大的青少年中已經(jīng)閉合，這個問題在一定程度上限制了該系統(tǒng)的應(yīng)用。

1998—1999年，第四軍醫(yī)大學(xué)[18]和上海第二醫(yī)科大學(xué)[4]相繼研制出了計算機(jī)輔助骨齡評估系統(tǒng)。該系統(tǒng)通過將X線片傳輸?shù)接嬎銠C(jī)，醫(yī)生可以在電腦端很快將待測X線片與標(biāo)準(zhǔn)X線片進(jìn)行比較，并判斷發(fā)育等級，計算機(jī)根據(jù)醫(yī)生評估的發(fā)育等級，能夠?qū)崿F(xiàn)自動查表給出骨骼發(fā)育的總體得分。雖然這些工作并沒有完全替代人工骨齡評估實現(xiàn)骨齡的自動化評估，僅僅是提供了一種自動查表和計算的功能，但避免了繁瑣的人工查表過程以及因疲勞而引起的計算錯誤等，大大提高了骨齡評估的速度和準(zhǔn)確性。

3 基于傳統(tǒng)機(jī)器學(xué)習(xí)的骨齡自動化評估方法

3.1 基于腕骨的神經(jīng)網(wǎng)絡(luò)系統(tǒng)

評估手腕骨骨齡的常用方法是先勾勒出骨邊緣輪廓，然后從輪廓中提取特征。對于腕骨，由于邊緣對比度低、X線圖像存在噪聲或軟組織重疊，導(dǎo)致很難發(fā)現(xiàn)骨邊界。1995年，RUCCI等[19]通過使用一個訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)提取圖像的特征從而克服了這個問題。該方法在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中使用了一個注意力聚焦器和一個骨分類器。注意力聚焦器實現(xiàn)像素處理，在像素處理過程中鏈接了一個隱藏的神經(jīng)網(wǎng)絡(luò)以創(chuàng)建一個輸出，該輸出是與圖像骨骼質(zhì)心相關(guān)的X值和Y值。該研究用56張低質(zhì)量的X線圖像和16張額外的圖像對該方法進(jìn)行了測試。結(jié)果表明，準(zhǔn)確度分別為65%和97%，標(biāo)準(zhǔn)差為0.85歲。該方法將神經(jīng)網(wǎng)絡(luò)作為一種強(qiáng)有力的技術(shù)引入圖像處理中，結(jié)果顯示神經(jīng)網(wǎng)絡(luò)是一種有用的分類技術(shù)。然而，神經(jīng)網(wǎng)絡(luò)系統(tǒng)最主要的缺點(diǎn)是其“黑盒子”性質(zhì)（即不知道神經(jīng)網(wǎng)絡(luò)是如何以及為什么會產(chǎn)生某種輸出結(jié)果）。

2001年，中國臺灣國立“清華大學(xué)”[20]開發(fā)出的骨齡自動化評估系統(tǒng)，相對于計算機(jī)輔助骨齡評估系統(tǒng)來說，已經(jīng)有了較大的突破。他們首先尋找腕骨的ROI，基本定位出所有骨塊的大概位置，再根據(jù)腕骨各骨塊之間的灰度直方圖信息，得到腕骨各骨塊之間的粗略分割線。然后在原圖像上進(jìn)行閾值化，通過圖像的灰度信息得到實際的骨塊邊緣，從而提取需要分析的骨塊。再對分割出來的每個骨塊計算相應(yīng)參數(shù)并與數(shù)據(jù)庫中已有的信息進(jìn)行匹配，得到各骨塊的相應(yīng)發(fā)育等級。最后他們分別通過最小距離、貝葉斯分類器和神經(jīng)網(wǎng)絡(luò)3種方法對各骨塊的發(fā)育等級進(jìn)行分類，均取得了不錯的效果。但該系統(tǒng)使用的算法要求各腕骨骨塊間不能緊密相連，否則難以分割開各骨塊，因此該骨齡評估系統(tǒng)僅適用于7～8歲以下的兒童。

3.2 基于主動形狀模型的骨齡評估系統(tǒng)

2002年，NIEMEIJER[21]基于TW2方法開發(fā)了一個利用主動形狀模型（active shape model，ASM）對第三指中節(jié)指骨進(jìn)行分類的自動化系統(tǒng)。該模型使用均值對象、變異模式描述和協(xié)方差矩陣進(jìn)行統(tǒng)計測量。在這種方法中，由放射科醫(yī)生對第三指骨進(jìn)行指定，計算機(jī)通過使用主動形狀模型分割骨骼。通過將待測骨骼的ROI像素大小與標(biāo)準(zhǔn)樣本圖像的像素大小進(jìn)行匹配，將相似性最高的圖像所對應(yīng)的骨齡作為待測圖像的骨齡值。與人工骨齡評估相比，該骨齡評估系統(tǒng)的準(zhǔn)確率是73%～80%。但該系統(tǒng)主要有兩個方面的缺陷：（1）僅適用于TW方法中的E-I階段；（2）僅適合對年齡范圍在9～17歲的人群進(jìn)行年齡評估。

2003年，王珂等[22]基于中國人手腕骨發(fā)育標(biāo)準(zhǔn)CHN法研制了一種骨齡自動化評估方法，該方法包括對手腕骨X線圖像中骨骼邊緣的自動提取和骨骼成熟度的自動分級。該研究應(yīng)用主動形狀模型，結(jié)合了特定的先驗知識，提出多模板多訓(xùn)練集的方案，改善了邊緣檢測的效果。通過考察一系列形狀幾何信息并結(jié)合灰度信息，將CHN標(biāo)準(zhǔn)中有關(guān)的文字描述轉(zhuǎn)化為數(shù)字特征，采取多層次分步驟的方法用于最終的骨齡自動評估，結(jié)果表明骨齡評估的正確率和穩(wěn)定性均有所提高。

3.3 基于粒子群算法的人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)

2008年，LIU等[23]基于橈骨、尺骨和短指骨（radius，ulna and short finger bones，RUS）和腕骨的兩個幾何特征，利用人工神經(jīng)網(wǎng)絡(luò)開發(fā)了一個骨齡評估的計算機(jī)系統(tǒng)。該系統(tǒng)使用一個巨大的樣本數(shù)據(jù)庫，并將粒子群算法應(yīng)用于骨骼分割。該方法使用兩個分類器進(jìn)行骨齡估計：第一個分類器用于RUS，第二個分類器用于9歲以下樣本的腕骨。將該系統(tǒng)與人工評估結(jié)果進(jìn)行比較，發(fā)現(xiàn)該系統(tǒng)具有較小的標(biāo)準(zhǔn)差。與以往的系統(tǒng)相比，該系統(tǒng)的優(yōu)點(diǎn)在于其降低了腕骨系統(tǒng)的可變性。

3.4 BoneXpert系統(tǒng)

BoneXpert系統(tǒng)是2009年提出并在歐洲開始商業(yè)化應(yīng)用的一種骨齡自動化評估軟件[24]。該系統(tǒng)基于形狀驅(qū)動的主動外觀模型（active appearance model，AAM）和TW RUS法進(jìn)行骨齡評估。形狀和強(qiáng)度特征使得主動外觀模型具有很好的魯棒性。該系統(tǒng)采用Gobar濾波器，對一組超過3000個骨輪廓的圖像進(jìn)行旋轉(zhuǎn)和縮放，然后使用線性回歸技術(shù)選擇圖像特征的30個系數(shù)，將其反饋送入主動外觀模型。雖然該系統(tǒng)的可用性仍在進(jìn)一步的評估中，但初步測試表明性能是合理的，使用G-P圖譜法的誤差為0.42歲，使用TW2法的誤差為0.80歲。對于質(zhì)量較差的圖像，該系統(tǒng)的拒絕率為1%左右，但在某些情況下，對橈骨和尺骨的拒絕率增加到18%。該方法的特點(diǎn)在于其利用X線圖像與線性生長之間的關(guān)系進(jìn)行骨齡評估。利用BoneXpert系統(tǒng)進(jìn)行骨齡評估的標(biāo)準(zhǔn)偏差為0.50歲，表明骨齡自動化評估的可重復(fù)性已發(fā)生了巨大的飛躍。

3.5 基于支持向量機(jī)的骨齡評估系統(tǒng)

2010年，北京航空航天大學(xué)董娜等[25]依據(jù)我國常用的骨齡評估方法CHN法，提取手部X線圖像的骨骺特征作為骨齡特征參數(shù)，運(yùn)用支持向量機(jī)（support vector machine，SVM）進(jìn)行骨齡識別，提出了一個基于手部X線圖像骨齡自動評估算法，并設(shè)計和實現(xiàn)了一個骨齡自動評估系統(tǒng)。該評估系統(tǒng)僅采用從地壇醫(yī)院和兒童醫(yī)院收集的1～16歲的X線手部圖像64幅，每歲3幅圖像，對分類算法進(jìn)行測試，其中訓(xùn)練集48幅，驗證集16幅，但利用該X線數(shù)據(jù)庫建立的SVM分類器效果仍然欠理想。雖然驗證結(jié)果顯示91%的圖像識別結(jié)果與專家識別結(jié)果相一致，但其余的圖像由于年齡較小、圖像噪聲較大等原因仍存在一定的誤差，需經(jīng)人工調(diào)整特征點(diǎn)后才能夠準(zhǔn)確分類。

2014年，王亞輝等[5]通過收集我國140例11～19周歲青少年左側(cè)腕關(guān)節(jié)X線正位片，將尺、橈骨遠(yuǎn)端骨骺分為5個發(fā)育等級，并運(yùn)用SVM實現(xiàn)尺、橈骨遠(yuǎn)端骨骺發(fā)育分級的自動化評估，建立了尺、橈骨遠(yuǎn)端骨骺5個發(fā)育分級的SVM分類模型。該研究利用核函數(shù)處理骨骺圖像特征與所對應(yīng)的骨骺發(fā)育分級的非線性關(guān)系問題，使得該模型在骨齡自動化識別中有較高的準(zhǔn)確性。SVM是一種在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展起來的機(jī)器學(xué)習(xí)方法，具有適用于小樣本量的數(shù)據(jù)挖掘且訓(xùn)練速度高等優(yōu)點(diǎn)，但在準(zhǔn)確率上一直存在難以突破的瓶頸，對于要求準(zhǔn)確率高的任務(wù)，難以達(dá)到任務(wù)要求[26]。其次，對于小樣本量的骨骼影像圖片，SVM難以更深入地挖掘其深部的有效特征。

3.6 基于直方圖的自動化網(wǎng)絡(luò)系統(tǒng)

2012年，MANSOURVAR等[27]基于直方圖技術(shù)開發(fā)了一種全自動化骨齡評估系統(tǒng)。該系統(tǒng)使用基于內(nèi)容的圖像檢索（content-based image retrieval，CBIR）方法進(jìn)行圖像處理，并利用圖像庫和相似性度量進(jìn)行骨齡評估。這種方法提供了一種新的圖像處理技術(shù)來評估骨齡，認(rèn)為骨骼的每張X線圖像是唯一的，并且也具有唯一對應(yīng)的圖像直方圖。在進(jìn)行骨齡評估時，創(chuàng)建X線片的相應(yīng)圖像直方圖，并將其與存儲在數(shù)據(jù)庫中的標(biāo)準(zhǔn)圖像的直方圖進(jìn)行比較。該方法通過將待測圖像的直方圖與標(biāo)準(zhǔn)圖像的直方圖進(jìn)行比較，匹配最相似的圖像來估計骨骼的年齡，克服了以往研究的分割問題。該系統(tǒng)骨齡評估的誤差為0.17歲，表明該方法是一種可靠的骨齡評估方法。但是，該系統(tǒng)對質(zhì)量差或骨結(jié)構(gòu)異常的圖像評估結(jié)果不可靠。

4 基于深度學(xué)習(xí)的骨齡自動化評估方法

實際上，上述研究方法基本都是通過先人工提取特征再使用傳統(tǒng)分類器進(jìn)行分類，并不能算是真正實現(xiàn)了骨齡的完全自動化評估。2016年，意大利卡塔尼亞大學(xué)SPAMPINATO等[6]首次將深度學(xué)習(xí)算法應(yīng)用到骨齡自動評估領(lǐng)域，同時利用遷移學(xué)習(xí)的方法創(chuàng)建了3種基于ImageNet上預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型和一種基于從零開始訓(xùn)練專門針對手部X線片的特定卷積神經(jīng)網(wǎng)絡(luò)（BoNet）用于骨齡自動化評估。通過將預(yù)處理的圖像用于網(wǎng)絡(luò)模型訓(xùn)練，經(jīng)深度學(xué)習(xí)網(wǎng)絡(luò)自動學(xué)習(xí)并進(jìn)行特征提取，最終實現(xiàn)自動化輸出骨齡值。研究結(jié)果顯示，BoNet模型的輸出骨齡值與人工讀片之間的平均絕對誤差（mean absolute error，MAE）僅0.79歲。雖然遷移學(xué)習(xí)同樣能達(dá)到較高的準(zhǔn)確性（微調(diào)GoogLeNet骨齡評估的MAE為0.82歲），但以骨齡預(yù)測為目的的從零訓(xùn)練算法效果更優(yōu)。該研究首次在公共數(shù)據(jù)集上測試了深度學(xué)習(xí)在骨齡自動化評估中的性能，并將其源代碼公開發(fā)布，為今后類似的研究提供了一個有價值的參考基準(zhǔn)。

2017年，哈佛大學(xué)醫(yī)學(xué)院LEE等[7]同樣基于遷移學(xué)習(xí)的方法，研發(fā)出了一套全自動的深度學(xué)習(xí)骨齡評估系統(tǒng)，包含興趣區(qū)域的分離，影像圖片的標(biāo)準(zhǔn)化及預(yù)處理，骨齡自動評估以及一鍵生成結(jié)構(gòu)化放射學(xué)報告。該研究使用的數(shù)據(jù)集包含5～18歲的X線片共8 325張，其中女性4 278張，男性4 047張。利用GoogLeNet作為分類卷積神經(jīng)網(wǎng)絡(luò)的框架進(jìn)行微調(diào)學(xué)習(xí)，微調(diào)卷積神經(jīng)網(wǎng)絡(luò)在測試集圖像中的結(jié)果顯示，女性的準(zhǔn)確率為57.32%，男性的準(zhǔn)確率為61.40%。利用女性X線片估計骨齡，1歲誤差范圍內(nèi)的準(zhǔn)確率可以達(dá)到90.39%，2歲誤差范圍內(nèi)的準(zhǔn)確率可以達(dá)到98.11%；利用男性X線片估計骨齡，1歲誤差范圍內(nèi)的準(zhǔn)確率可以達(dá)到94.18%，2歲誤差范圍內(nèi)的準(zhǔn)確率可以達(dá)到99.00%。女性的均方根誤差（root mean squared error，RMSE）為0.93歲，男性為0.82歲。作者進(jìn)一步使用遮擋的方法創(chuàng)建注意力熱圖，揭示訓(xùn)練模型使用哪些特征來進(jìn)行骨齡估計，研究系統(tǒng)對手部骨骼的哪些區(qū)域更為敏感。研究結(jié)果發(fā)現(xiàn)，這些熱點(diǎn)區(qū)域與人類專家人工評估骨齡時的關(guān)注區(qū)域基本一致。雖然該系統(tǒng)極大地提高了工作流程和骨齡評估的速度，但也有其局限性。該研究由于0～4歲的圖片樣本較少，因此未將0～4歲的兒童考慮到該系統(tǒng)，限制了該自動化骨齡評估系統(tǒng)的廣泛適用。后期通過向數(shù)據(jù)庫中逐漸添加更多的影像圖片，有望使該系統(tǒng)的應(yīng)用覆蓋所有年齡段的人群。

2018年，斯坦福大學(xué)放射科LARSON等[8]基于G-P圖譜法通過使用一個深度殘差網(wǎng)絡(luò)結(jié)構(gòu)建立了一個骨齡自動化識別的深度學(xué)習(xí)模型，并采集帕卡德兒童醫(yī)院和科羅拉多州兒童醫(yī)院共14 036張左手X線片用于模型訓(xùn)練和驗證。該研究通過一個200張圖像的測試集比較模型估計值與參考標(biāo)準(zhǔn)骨齡之間的RMSE和MAE，以評估該模型相對于人類評估者的性能。利用公開可用的Digital Hand Atlas數(shù)據(jù)集中的1377張片子組成的第二個測試集與既往自動化模型報告的性能進(jìn)行比較。結(jié)果表明，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型和專家的骨齡估計值之間的平均差異為0歲，平均RMSE和MAE分別為0.63歲和0.50歲。該深度學(xué)習(xí)模型在Digital Hand Atlas數(shù)據(jù)集中測試的RMSE為0.73歲，既往模型報告的RMSE為0.61歲。他們認(rèn)為，基于卷積神經(jīng)網(wǎng)絡(luò)的骨齡自動化評估模型具有類似于當(dāng)前使用特征提取技術(shù)獲得最先進(jìn)的自動化模型的精確度。但該模型不能有效預(yù)測2歲以下幼兒的骨齡，這可能與該年齡組相對較少的訓(xùn)練集圖像以及G-P圖譜法對這個年齡組進(jìn)行骨齡評估并不那么準(zhǔn)確有關(guān)[28]。

2018年，司法鑒定科學(xué)研究院王亞輝團(tuán)隊[3]將深度學(xué)習(xí)運(yùn)用于維吾爾族青少年左手腕關(guān)節(jié)數(shù)字化X線圖像識別中，探索該方法在法醫(yī)學(xué)骨齡鑒定中的應(yīng)用價值，初步實現(xiàn)了骨齡的自動化評估。該研究在我囯新疆維吾爾自治區(qū)采集13.0～19.0歲維吾爾族男性青少年245例、女性青少年227例的左手腕關(guān)節(jié)DR圖像，將預(yù)處理后的圖像作為研究對象，并應(yīng)用遷移學(xué)習(xí)的方法，將AlexNet作為圖像識別的回歸模型。該模型的試驗結(jié)果表明，誤差范圍在±1.0歲及±0.7歲以內(nèi)的訓(xùn)練集準(zhǔn)確率，女性分別為80.5%和74.8%，男性分別為81.4%和75.6%。誤差范圍在±1.0歲及±0.7歲以內(nèi)的測試集準(zhǔn)確率，女性分別為79.4%和66.2%，男性分別為79.5%和71.2%。該研究的局限性是樣本量相對有限，不利于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)有效地學(xué)習(xí)圖像的深層圖像特征，導(dǎo)致該模型的泛化能力較低、穩(wěn)定性較差，因此，骨齡評估的準(zhǔn)確率還有進(jìn)一步提升的空間，如果后期繼續(xù)增加樣本量以及改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)算法，有望進(jìn)一步提高骨齡評估的準(zhǔn)確率。

從計算機(jī)輔助骨齡評估，到傳統(tǒng)機(jī)器學(xué)習(xí)評估，再到當(dāng)前的深度學(xué)習(xí)運(yùn)用，雖然骨齡自動化評估的方法發(fā)生了巨大變化，骨齡自動化評估的精度也得到了極大的提高，但從文獻(xiàn)的回顧可以看出，近20余年國內(nèi)外骨齡自動化評估幾乎均是基于左手腕關(guān)節(jié)的系列研究。直到2018年11月，四川大學(xué)LI等[29]首次通過回顧性收集1 875例10～25歲人群的骨盆X線片，將深度學(xué)習(xí)運(yùn)用于骨盆X線片進(jìn)行骨齡自動化評估。通過將深度學(xué)習(xí)自動化評估骨齡的結(jié)果與直接使用骨化分期方法進(jìn)行骨齡評估的三次回歸模型結(jié)果進(jìn)行比較，并計算兩種模型的骨齡估計值與實際年齡間的MAE和RMSE，從而評估深度學(xué)習(xí)模型的性能。結(jié)果顯示，所有測試樣本（10～25歲）使用深度學(xué)習(xí)模型自動估計的骨齡值與實際年齡之間的MAE和RMSE分別為0.94和1.30歲。此外，采用同樣的測試樣本對深度學(xué)習(xí)模型與現(xiàn)有的三次回歸模型進(jìn)行測試，深度學(xué)習(xí)模型的MAE和RMSE分別為0.89和1.21歲，而現(xiàn)有三次回歸模型的MAE和RMSE分別為1.05和1.61歲。該研究結(jié)果表明，利用深度學(xué)習(xí)對骨盆X線片進(jìn)行自動化骨齡評估的性能已達(dá)到人工采用骨化分級進(jìn)行骨齡評估的方法，并進(jìn)一步為青少年骨盆發(fā)育與人工智能技術(shù)相結(jié)合的研究提供了新思路。

5 深度學(xué)習(xí)在骨齡自動化評估中的應(yīng)用前景

隨著社會的不斷發(fā)展，對骨齡評估的需求也呈現(xiàn)出極大的增長。由于傳統(tǒng)骨齡評估方法的諸多局限性，必將促使骨齡評估逐步向自動化轉(zhuǎn)變。通過對當(dāng)前骨齡自動化評估研究的回顧可以看出，傳統(tǒng)機(jī)器學(xué)習(xí)都集中在改善ROI提取上。ROI提取的目的是將X線片按照某一特征分為不同的階段，以更好地適應(yīng)分類器進(jìn)行分類，從而自動化輸出骨齡值。不同方法中使用的ROI不同，如腕骨、掌指骨、橈骨和尺骨骨骺均可以作為ROI。這就是為什么多種手腕部算法都存在X線圖像特殊區(qū)域的分割問題，ROI的提取階段顯示，當(dāng)前自動化系統(tǒng)的主要挑戰(zhàn)是圖像分割。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種重要技術(shù)手段，該算法模擬了大腦的神經(jīng)連接結(jié)構(gòu)，通常包含多個連接層，各層之間在數(shù)學(xué)上相互關(guān)聯(lián)。全自動骨齡評估多年來一直是計算機(jī)視覺和放射學(xué)研究的目標(biāo)，現(xiàn)有的大多數(shù)自動化評估方法都是基于人工提取手腕部ROI，再采用不同的計算機(jī)算法分割特定的骨骼，最后用傳統(tǒng)的分類器進(jìn)行分類或回歸。而深度學(xué)習(xí)則是將圖像作為一個整體進(jìn)行處理，不需要任何預(yù)處理來提取特定的ROI，能夠自動從ROI提取重要特征，很好地克服了以往研究中圖像分割的問題。

深度學(xué)習(xí)已在骨齡評估領(lǐng)域成功應(yīng)用，其研究結(jié)果已達(dá)到人工閱片評估同樣的水平，甚至優(yōu)于人工，提示利用深度學(xué)習(xí)輔助進(jìn)行骨齡評估乃至獨(dú)立于人工進(jìn)行自動評估具有巨大的研究潛力。相對于國外，我國的骨齡深度學(xué)習(xí)自動評估研究較為落后，目前缺乏大樣本訓(xùn)練集建立的深度學(xué)習(xí)算法。因此，我們應(yīng)首先通過收集大樣本數(shù)據(jù)集，采用深度學(xué)習(xí)的方法建立漢族群體的骨齡自動化評估系統(tǒng)，并逐步建立其他少數(shù)民族種族特異性骨齡自動化評估系統(tǒng)，深度挖掘深度學(xué)習(xí)在骨齡自動化評估中的巨大潛力。其次，當(dāng)前骨齡自動化評估系統(tǒng)幾乎均是基于正常人群左手X線片建立的模型。對于因意外事故受傷而導(dǎo)致手部缺損以及手部骨骼發(fā)育異常的人群還沒有一個很好的解決辦法。此外，法醫(yī)學(xué)骨齡鑒定的目的與臨床上對青少年兒童骨齡測定的目的不同，法醫(yī)學(xué)骨齡鑒定更注重的是判斷被鑒定人是否滿14、16、18周歲這幾個法律年齡節(jié)點(diǎn)的準(zhǔn)確性，但此時左手腕關(guān)節(jié)大多已閉合，利用左手腕關(guān)節(jié)進(jìn)行骨齡自動化評估可能不再適用。因此，今后不應(yīng)局限于左手的單一研究，有必要將深度學(xué)習(xí)運(yùn)用到其他骨骺閉合較晚的骨骼中，建立單一的或多部位骨骼的混合骨齡自動化評估系統(tǒng)，可以用來解決這些問題，并可能獲得更好的輸出結(jié)果。最后，目前國內(nèi)外學(xué)者主要運(yùn)用深度學(xué)習(xí)對X線片進(jìn)行骨齡自動化研究，這可能主要是因為拍攝左手X線片測骨齡的人群較多，樣本采集較容易，且骨骼在X線片上的影像較清晰，很適合用于圖像識別。隨著深度學(xué)習(xí)在骨齡自動化評估中的深入研究，今后還可以考慮將深度學(xué)習(xí)運(yùn)用到CT、MRI圖像中進(jìn)行自動化研究，并逐步將該方法推廣至法醫(yī)影像學(xué)等其他研究領(lǐng)域，如影像資料的同一認(rèn)定等。