深度學(xué)習(xí)在圖像識別及骨齡評估中的優(yōu)勢及應(yīng)用前景

胡婷鴻 ，萬 雷 ，劉太昂 ，汪茂文 ，陳 騰 ，王亞輝

（1.西安交通大學(xué)醫(yī)學(xué)部法醫(yī)學(xué)院，陜西 西安 710061；2.司法鑒定科學(xué)研究院 上海市法醫(yī)學(xué)重點(diǎn)實(shí)驗(yàn)室上海市司法鑒定專業(yè)技術(shù)服務(wù)平臺，上海 200063；3.上海帆陽信息科技有限公司，上海 200444）

法醫(yī)學(xué)骨骼年齡研究從20世紀(jì)的計(jì)數(shù)法、百分位計(jì)數(shù)法、G-P圖譜法、計(jì)分法，到21世紀(jì)的CHN法、TW3法、計(jì)測法、中國青少年兒童手腕骨成熟度和評價(jià)方法以及多元回歸法[1]，歷時(shí)近百年。期間，還有學(xué)者曾致力于通過超聲[2]、骨密度法[3]、骨皮質(zhì)厚度及髓腔直徑變化[4]等進(jìn)行骨齡評估。上述研究方法均是基于人工操作來完成骨骺形態(tài)的識別和骨發(fā)育程度的評估，需要通過人工方法進(jìn)行閱片、分析、骨齡推斷等。然而，人工閱片識別效率有限，不同閱片者的水平及能力不盡相同，因此，讀片的一致性會受到質(zhì)疑。而閱片結(jié)果的可靠性通常決定了骨齡推斷的準(zhǔn)確性，可以說閱片技能是法醫(yī)學(xué)骨齡鑒定的核心技術(shù)。隨著計(jì)算機(jī)科學(xué)技術(shù)的不斷更新與進(jìn)步，有學(xué)者[5-6]提出一種用于搜索圖像中某一特定類型對象的方法——活動形狀模型（active shape model，ASM），將 CHN 骨齡評價(jià)標(biāo)準(zhǔn)中的相關(guān)文字描述轉(zhuǎn)化為數(shù)字特征，采用多層次、分步驟的方法進(jìn)行最終的骨齡自動評估。

深度學(xué)習(xí)以及神經(jīng)網(wǎng)絡(luò)模型是近年來機(jī)器學(xué)習(xí)及人工智能領(lǐng)域新的研究方向及熱點(diǎn)問題。雖然目前有關(guān)深度學(xué)習(xí)的骨齡研究發(fā)展進(jìn)程尚處于初級階段，在算法及模型構(gòu)造上有很多需要改進(jìn)之處，但深度學(xué)習(xí)在圖像識別、語音識別應(yīng)用中已經(jīng)有了突出的表現(xiàn)，在人臉識別、信息檢索等領(lǐng)域也展示出獨(dú)特的優(yōu)勢，得到了廣泛的應(yīng)用。深度學(xué)習(xí)的算法結(jié)構(gòu)模擬了大腦的神經(jīng)連接結(jié)構(gòu)，“深度”體現(xiàn)在該算法有多個(gè)隱含層，因此在處理圖像、聲音和文本時(shí)，是通過每一層網(wǎng)絡(luò)結(jié)構(gòu)對數(shù)據(jù)特征進(jìn)行提取處理，往往淺層提取的是較為簡單的特征，如顏色和線條等，而深層提取的則是更為抽象、立體的高層特征。骨骼X線圖像識別屬于圖像識別范疇，因此，運(yùn)用深度學(xué)習(xí)實(shí)現(xiàn)骨骼圖像的識別，是實(shí)現(xiàn)人工智能骨齡評估系統(tǒng)的一個(gè)可靠途徑。本文對近年來國內(nèi)外學(xué)者運(yùn)用深度學(xué)習(xí)在圖像識別及骨齡評估中的研究進(jìn)展進(jìn)行綜述。

1 深度學(xué)習(xí)的概念及其網(wǎng)絡(luò)結(jié)構(gòu)

深度學(xué)習(xí)是人工智能研究領(lǐng)域的一項(xiàng)改革性成果，源于人類對人工神經(jīng)網(wǎng)絡(luò)的研究，基于模擬人類大腦皮層及視覺神經(jīng)系統(tǒng)對信息的處理方式，通過設(shè)置具有不同數(shù)量隱含層的感知器，對提供的大數(shù)據(jù)進(jìn)行訓(xùn)練，獲得合適的連接權(quán)值，來分步提取原始數(shù)據(jù)從低級到高級水平的特征，使計(jì)算機(jī)可以實(shí)現(xiàn)分層處理和理解數(shù)據(jù)的功能，最終達(dá)到獲取所需求信息的目的[7]。最早提出深度學(xué)習(xí)這一概念的是加拿大多倫多大學(xué)的HINTON教授[8]，他于2006年探討了應(yīng)用人工神經(jīng)網(wǎng)絡(luò)刻畫數(shù)據(jù)的學(xué)習(xí)模型，首先提出了深度學(xué)習(xí)的概念及計(jì)算機(jī)深度學(xué)習(xí)模型，掀起了深度學(xué)習(xí)在人工智能領(lǐng)域的新高潮。在人工智能領(lǐng)域，深度學(xué)習(xí)其實(shí)是一種算法思維，其核心是對人腦思維深層次學(xué)習(xí)的模擬，通過模擬人腦的深層次抽象認(rèn)知過程，實(shí)現(xiàn)計(jì)算機(jī)對數(shù)據(jù)的復(fù)雜運(yùn)算和優(yōu)化。應(yīng)該說，到目前為止，深度學(xué)習(xí)是計(jì)算機(jī)和智能網(wǎng)絡(luò)最接近人腦的智能學(xué)習(xí)方法[9]。鑒于深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的巨大影響力，2013年4月《麻省理工學(xué)院技術(shù)評論》（MIT Technology Review）雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)之首[10]。

深度學(xué)習(xí)的概念源于30多年來計(jì)算機(jī)科學(xué)、人工神經(jīng)網(wǎng)絡(luò)和人工智能的研究，深度學(xué)習(xí)之所以被稱為“深度”，是相對于支持向量機(jī)（support vector machine，SVM）、提升方法、最大熵方法等“淺層”學(xué)習(xí)方法而言的[11]，這些淺層學(xué)習(xí)方法依靠人工經(jīng)驗(yàn)抽取樣本特征，所獲得的圖像特征是圖像的表象特征。而深度神經(jīng)網(wǎng)絡(luò)模型屬于通過多個(gè)單層非線性網(wǎng)絡(luò)結(jié)構(gòu)疊加而成的人工神經(jīng)網(wǎng)絡(luò)，通過對原始信號逐層特征變換，將樣本在原空間的特征表現(xiàn)變換到新的特征空間，自動學(xué)習(xí)，得到層次化的特征表現(xiàn)，從而更有利于分類或特征可視化，是一種主動、高投入、理解記憶、涉及高階思維、學(xué)習(xí)結(jié)果遷移性強(qiáng)的學(xué)習(xí)狀態(tài)和學(xué)習(xí)過程。根據(jù)內(nèi)部算法的結(jié)構(gòu)特征，可以將深度學(xué)習(xí)分為前饋深度網(wǎng)絡(luò)、反饋深度網(wǎng)絡(luò)以及雙向深度網(wǎng)絡(luò)3種類型[11]。前饋深度網(wǎng)絡(luò)使數(shù)據(jù)從輸入層單向經(jīng)過一個(gè)或多個(gè)隱含層處理后到達(dá)輸出層，包括多層感知機(jī)（multilayer perceptron，MLP）、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）等，其發(fā)展形成時(shí)間較早。反饋深度網(wǎng)絡(luò)則是通過多個(gè)解碼器疊加而成，對輸入數(shù)據(jù)進(jìn)行解碼處理，包括反卷積網(wǎng)絡(luò)（deconvolutional network，DN）、層次稀疏編碼網(wǎng)絡(luò)（hierarchical sparse coding，HSC）等。雙向深度網(wǎng)絡(luò)則是由多個(gè)編碼器與解碼器互相疊加而成，包括深度置信網(wǎng)絡(luò)（deep belief network，DBN）、深度玻爾茲曼機(jī)（deep Boltzmann machine，DBM）、棧式自編碼器（stacked autoencoder，SAE）等。

2 基于深度學(xué)習(xí)圖像識別的國外研究進(jìn)展

近年來基于生物學(xué)原理研究的深度神經(jīng)網(wǎng)絡(luò)，尤其是紐約大學(xué)教授LECUN等[12]依據(jù)視覺神經(jīng)Hubel-Wiesel模型提出的CNN的逐步興起，使深度學(xué)習(xí)在圖像識別領(lǐng)域取得了優(yōu)異的研究成果。

2008年，美國Google公司的WESTON等[13]提出了一種非線性半監(jiān)督嵌入式模型，其特點(diǎn)為：（1）選擇使用“算法嵌入空間”分別為輸出層、中間層以及直接作為輔助中間層三種模型，結(jié)果顯示，相比原模型，三種嵌入模型的圖像識別錯(cuò)誤率均有效降低；（2）隨著隱含層深度的增加，原模型因過度優(yōu)化導(dǎo)致識別錯(cuò)誤率持續(xù)上升，而所有層嵌入模型和“算法嵌入空間”為輸出層的模型，因其自身存在半監(jiān)督“正則化矩陣”而使識別錯(cuò)誤率大大下降，只是后者效能不如前者，這在一定程度上說明了半監(jiān)督嵌入模型適用于解決更深度的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化問題。

2010年，加拿大多倫多大學(xué)的KRIZHEVSKY等[14]將開發(fā)的CNN應(yīng)用于ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中。該模型的特點(diǎn)是：（1）包含6000萬個(gè)參數(shù)和65萬個(gè)神經(jīng)元結(jié)構(gòu)；（2）使用非飽和神經(jīng)元和卷積運(yùn)算的圖形處理器（graphics processing unit，GPU）來加快運(yùn)算訓(xùn)練速度；（3）采用Dropout減少一定比例神經(jīng)元活性，實(shí)現(xiàn)“模型平均效果”以防止過度擬合問題。最后的測試結(jié)果顯示他們在前一和前五圖片選項(xiàng)識別錯(cuò)誤率分別僅為37.5%和17.0%。之后在2012年的該挑戰(zhàn)賽中，研究者將該模型變體為“Alexnet”應(yīng)用，最終在圖像分類任務(wù)中前五圖片選項(xiàng)測試識別錯(cuò)誤率僅為15.3%，遠(yuǎn)低于第二名（26.2%）。可以看出，深度學(xué)習(xí)在圖像識別領(lǐng)域具有無法比擬的優(yōu)勢。

2012年，瑞士Dalle Molle人工智能研究所的CIRESAN等[15]將多個(gè)單一深度神經(jīng)網(wǎng)絡(luò)（deep neural network，DNN）組合為全監(jiān)督的多列深度神經(jīng)網(wǎng)絡(luò)（multi-column deep neural network，MCDNN）混合模型。在研究中發(fā)現(xiàn)，含35列DNN的MCDNN具有如下特性：（1）應(yīng)用于改進(jìn)的國家標(biāo)準(zhǔn)與技術(shù)研究所手寫體字庫中，首次以約0.2%的錯(cuò)誤率接近人類識別性能；（2）在國家標(biāo)準(zhǔn)與技術(shù)研究所特殊數(shù)據(jù)庫-19（含字母與數(shù)字）中，數(shù)據(jù)多角度隨機(jī)組合顯示其識別率較DNN結(jié)果高1.5到5倍；（3）在漢字識別中，其脫機(jī)狀態(tài)下錯(cuò)誤率僅為6.50%（DNN結(jié)果為10.01%），而在線狀態(tài)時(shí)僅為5.61%（DNN結(jié)果為7.61%）。上述這些特性都暗示了DNN混合模型的應(yīng)用優(yōu)勢。

2014年，法國巴黎WILLOW團(tuán)隊(duì)的OQUAB等[16]提出了一種參數(shù)遷移學(xué)習(xí)方法，解決了CNN無法訓(xùn)練局限數(shù)據(jù)樣本的難題。其方法特點(diǎn)為：（1）移除及替換預(yù)訓(xùn)練輸出層，使源任務(wù)和目標(biāo)任務(wù)之間實(shí)現(xiàn)準(zhǔn)確再映射而達(dá)到遷移目的；（2）網(wǎng)絡(luò)訓(xùn)練中使用滑動窗口物體探測器，解決因識別物體分配不同而產(chǎn)生的“數(shù)據(jù)捕獲偏差”問題和背景干擾導(dǎo)致的“負(fù)面數(shù)據(jù)偏差”問題；（3）分類目標(biāo)則通過聚合公式來計(jì)算采樣圖像斑塊分?jǐn)?shù)而定。之后在該研究中選用Alexnet網(wǎng)絡(luò)模型進(jìn)行實(shí)驗(yàn)，結(jié)果顯示：只使用12%ImageNet數(shù)據(jù)訓(xùn)練遷移后，在2012年的視覺物體的模式分析、統(tǒng)計(jì)建模與計(jì)算分析數(shù)據(jù)庫中已顯示最優(yōu)識別，證明了該方法適用于小尺度基準(zhǔn)數(shù)據(jù)集，可用于實(shí)現(xiàn)局限于專業(yè)特性（如醫(yī)學(xué)）、采樣困難的小樣本進(jìn)行深度學(xué)習(xí)的可能性。2014年，美國麻省理工學(xué)院的ZHOU等[17]創(chuàng)建了一個(gè)新的數(shù)據(jù)庫——Places，同時(shí)提出一種深度特征可視化方法，實(shí)現(xiàn)了人工與網(wǎng)絡(luò)提取特征的比較工作。

2015年，英國牛津大學(xué)的SIMONYAN等[18]展示了在2014年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中獲得圖像分類第一的DNN。該網(wǎng)絡(luò)利用每層含有的極小卷積濾波器，實(shí)現(xiàn)持續(xù)添加卷積層來增加網(wǎng)絡(luò)深度（達(dá)到19層）形成更多層次CNN的目的，使模型可以應(yīng)用到大規(guī)模圖像識別中。同年，微軟團(tuán)隊(duì)的HE等[19]針對隨隱含層數(shù)增加導(dǎo)致網(wǎng)絡(luò)圖像識別效能下降的退化難題，提出了一種深度殘差學(xué)習(xí)算法，該算法的特點(diǎn)為：（1）帶有可跳躍一個(gè)或多個(gè)隱含層功能的“快捷連接”；（2）沒有增加額外參數(shù)或計(jì)算復(fù)雜度，整個(gè)神經(jīng)網(wǎng)絡(luò)依然可以使用傳統(tǒng)的隨機(jī)梯度下降法（stochastic gradient descent，SGD）訓(xùn)練；（3）優(yōu)化函數(shù)更接近于恒等映射而非零映射，使解算器優(yōu)化殘差映射的能力強(qiáng)于原始映射。之后采用ImageNet-2012圖像庫比較基于VGG網(wǎng)絡(luò)模型分別設(shè)計(jì)的普通網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)（ResNet），以及在CIFAR-10數(shù)據(jù)庫中檢驗(yàn)ResNet-20、32、44、56、110、1202（數(shù)字指隱含層數(shù)目）結(jié)構(gòu)性能，結(jié)果均顯示：（1）隨隱含層數(shù)增加，殘差網(wǎng)絡(luò)圖像識別準(zhǔn)確率越高，而普通網(wǎng)絡(luò)與之相反；（2）整個(gè)過程殘差網(wǎng)絡(luò)不因?qū)訑?shù)增加出現(xiàn)退化問題，證明了殘差學(xué)習(xí)更適用于處理大數(shù)據(jù)。牛津大學(xué)及微軟團(tuán)隊(duì)的這兩項(xiàng)研究，均為大樣本深度學(xué)習(xí)提供了網(wǎng)絡(luò)支持。

2016年，澳大利亞西澳大學(xué)的SHAH等[20]提出了一種迭代深度學(xué)習(xí)方法模型（iterative deep learning model，IDLM），首次以無人監(jiān)督方式來預(yù)訓(xùn)練參數(shù)初始化，通過合并卷積層（pooled convolutional layer，PCL）學(xué)習(xí)線性特征，后接人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）學(xué)習(xí)輸入圖像庫中的非線性特征，有效防止了圖像識別中差別信息的丟失。

2017年，印度Netaji Subhash工程學(xué)院的JAIN等[21]針對手寫體字符圖像識別設(shè)計(jì)應(yīng)用程序時(shí)，應(yīng)用MINIST數(shù)據(jù)庫通過比對k-最近鄰算法（k-nearest neighbour，K-NN）、多層感知器（multi-layer perceptron，MLP）以及CNN的精確度來確定最佳算法，最終顯示k-NN精確度為96.8%，MLP為97.3%，而CNN的識別精度高達(dá)99.1%，這一測試結(jié)果再次表明了CNN用于圖像識別的優(yōu)越性。同年，意大利比可卡大學(xué)的BIANCO等[22]針對商標(biāo)識別，提出一種識別通道模型，其由以記憶為導(dǎo)向的候補(bǔ)商標(biāo)提案區(qū)與用于圖像分類的特定訓(xùn)練CNN組成。在該實(shí)驗(yàn)的通道模型中，研究者使用不同的機(jī)器學(xué)習(xí)技術(shù)，在FlickrLogos-32庫、FlickrLogos-32plus庫以及驗(yàn)證集分別進(jìn)行混合配比調(diào)整，得到最佳神經(jīng)網(wǎng)絡(luò)，這為今后我們使用深度學(xué)習(xí)網(wǎng)絡(luò)在醫(yī)學(xué)圖像中查找特定目標(biāo)提供了解決方案。

今年年初，在醫(yī)學(xué)研究領(lǐng)域，美國斯坦福大學(xué)的ESTEVA等[23]利用 GoogleNet Inception V3網(wǎng)絡(luò)模型，經(jīng)過遷移學(xué)習(xí)之后用于含有129450個(gè)臨床病理圖片、分為2 032種不同類型皮膚癌疾病的數(shù)據(jù)庫中，通過疾病分割算法進(jìn)行分類學(xué)習(xí)。疾病分割算法屬于遞歸算法，利用分類法生成在臨床表現(xiàn)和外觀形態(tài)上相似的個(gè)體疾病訓(xùn)練等級類別，迫使平均生成訓(xùn)練等級尺寸相比于其唯一的超參數(shù)——MaxClassSize更小，來保持因樣本過度細(xì)化導(dǎo)致數(shù)據(jù)欠缺與因樣本處理粗糙導(dǎo)致數(shù)據(jù)過多和偏差這兩者之間的平衡。最后，研究者們將角化細(xì)胞癌與良性脂溢性角質(zhì)對照，以及惡性黑色素瘤與良性瘤對照，分析兩組測試檢驗(yàn)的分類效能，初步實(shí)現(xiàn)了皮膚癌智能化分類功能。

幾乎與ESTEVA等的研究同步，意大利卡塔尼亞大學(xué)的SPAMPINATO等[24]在今年年初通過將青少年手腕部X線片樣本用于以現(xiàn)有模型（OverFeat、GoogLeNet、OxfordNet）作為“網(wǎng)絡(luò)特征提取器”的 CNN學(xué)習(xí)評估結(jié)果與進(jìn)行過微調(diào)與改進(jìn)CNN結(jié)構(gòu)比較，得到了一套最佳自動化骨齡評估模型——BoNet。這一研究堪稱深度學(xué)習(xí)與青少年骨齡評估完美結(jié)合的里程碑式成果，也是國內(nèi)外第一篇將深度學(xué)習(xí)應(yīng)用于骨齡評估研究的論著。該實(shí)驗(yàn)將3個(gè)現(xiàn)有模型，分別與各自在X線圖像數(shù)據(jù)庫中微調(diào)之后的評估結(jié)果進(jìn)行比較，結(jié)果顯示，GoogLeNet微調(diào)之后性能最佳，平均絕對誤差僅為0.82歲。之后對BoNet原模型進(jìn)行優(yōu)化灰度圖像網(wǎng)絡(luò)、減少層數(shù)目以及開發(fā)網(wǎng)絡(luò)學(xué)習(xí)特定濾波器等研究后，最終確定在5個(gè)卷積層最后一層前加變形層為最優(yōu)結(jié)構(gòu)，平均絕對誤差僅為0.79歲。通過上述針對X線圖像自動化學(xué)習(xí)的研究獲得以下四點(diǎn)經(jīng)驗(yàn)：（1）采用來自預(yù)訓(xùn)練網(wǎng)絡(luò)的初始化首層，與應(yīng)用特定圖像訓(xùn)練的剩余層相結(jié)合的混合配置網(wǎng)絡(luò)，來訓(xùn)練有限數(shù)目的圖像集，可以得到有效的結(jié)果；（2）黑白灰的圖像特征決定沒有必要用過多的卷積層，在一定程度上網(wǎng)絡(luò)深度取決于研究領(lǐng)域的特性；（3）變形層可以通過幾何學(xué)變換方法，來處理非剛性物體變形以提高評估效能；（4）深度學(xué)習(xí)所提取的特征不同于Tanner-Whitehouse（TW）骨齡計(jì)分法人工提取特征，可能會促使人工評定方法加以改善。

將深度學(xué)習(xí)運(yùn)用到青少年骨齡評估中的最新成果當(dāng)屬美國哈佛醫(yī)學(xué)院的LEE等[25]，其提出一個(gè)全自動、帶有檢測與分類CNN的深度學(xué)習(xí)平臺，以實(shí)現(xiàn)骨齡評估，并且能自動生成結(jié)構(gòu)化放射學(xué)報(bào)告。在研究中選用實(shí)際年齡為5～18歲的4 278例女性樣本及4 047例男性樣本作為數(shù)據(jù)集，通過組織、骨骼、背景、視準(zhǔn)及標(biāo)記注釋5個(gè)取樣點(diǎn)，來訓(xùn)練拓?fù)浣Y(jié)構(gòu)為LeNet-5的檢測CNN。在預(yù)處理工具中，在對測試圖像歸一化處理后，置于已訓(xùn)練的檢測CNN中重建標(biāo)號映像進(jìn)一步生成掩模之后，輸入視覺通道進(jìn)行分割、對比增強(qiáng)、降噪及邊緣銳化處理實(shí)現(xiàn)圖像預(yù)處理。之后通過比較選擇微調(diào)的GoogLeNet作為合適的遷移學(xué)習(xí)網(wǎng)絡(luò)，對訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)及仿射變換處理來避免過度擬合。實(shí)驗(yàn)結(jié)果顯示：（1）從最后一層至第一層遞增微調(diào)預(yù)訓(xùn)練CNN的回歸測試表明，隨著實(shí)時(shí)數(shù)據(jù)增強(qiáng)，從全連接層至全層微調(diào)的預(yù)訓(xùn)練網(wǎng)絡(luò)測試準(zhǔn)確度最高；（2）在已實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)且預(yù)處理的圖像中，進(jìn)行微調(diào)后的ImageNet預(yù)訓(xùn)練CNN測試準(zhǔn)確度最高，女性組準(zhǔn)確率為57.32%，骨齡評估誤差在1年內(nèi)的準(zhǔn)確率為90.39%，2年內(nèi)為98.11%，均方根誤差為0.93歲，而男性組準(zhǔn)確率為61.40%，骨齡評估誤差在1年內(nèi)的準(zhǔn)確率為94.18%，2年內(nèi)為99.00%，均方根誤差為0.82歲；（3）利用密封式方法生成注意力圖譜，與G-P圖譜法人工讀片興趣域比較，可視化結(jié)果顯示，青春期之前其識別部位集中于腕部和指骨中遠(yuǎn)側(cè)，青春早、中、晚期更多集中于指骨部分，而青春期之后又集中于腕部。

綜上所述，圖像識別技術(shù)是人工智能研究的一個(gè)重要領(lǐng)域，與傳統(tǒng)模式識別相比，深度學(xué)習(xí)最大的不同在于其是從大數(shù)據(jù)中自動學(xué)習(xí)圖像特征，而非采用手動設(shè)計(jì)的特征模型，其可以從大數(shù)據(jù)中提取成千上萬的參數(shù)。深度學(xué)習(xí)模型的“深”字意味著神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)深，由很多層組成，而非淺層學(xué)習(xí)的三層結(jié)構(gòu)（輸入層、輸出層、隱含層）。深度模型具有強(qiáng)大的學(xué)習(xí)能力和高效的特征表達(dá)能力，更重要的優(yōu)點(diǎn)是從圖像像素級原始數(shù)據(jù)到抽象的語義概念，來逐層提取信息，這使得其在提取圖像的全局特征和上下文信息方面具有突出的優(yōu)勢，為解決傳統(tǒng)的計(jì)算機(jī)視覺問題（如圖像分割和關(guān)鍵點(diǎn)檢測）帶來了新的思路。

3 基于深度學(xué)習(xí)圖像識別的國內(nèi)研究進(jìn)展

2014年，四川大學(xué)的余永維等[26]提出一種射線無損智能化檢測方法，將CNN與徑向基神經(jīng)網(wǎng)絡(luò)（radial basis function neural network，RBFNN）結(jié)合來提高自學(xué)習(xí)特征分類能力，并提出一種深度學(xué)習(xí)網(wǎng)絡(luò)層自生長式建模的方法，最終顯示獲取注意區(qū)域的樣本射線圖像，直接經(jīng)過具有多個(gè)隱含層網(wǎng)絡(luò)模型的智能訓(xùn)練階段或識別階段時(shí)，識別率均高于淺層學(xué)習(xí)網(wǎng)絡(luò)模型。

同年，司法鑒定科學(xué)研究院的王亞輝等[27]將SVM運(yùn)用于手腕部尺、橈骨遠(yuǎn)端骨骺發(fā)育分級的自動化評估中。研究者選用已知骨骺發(fā)育分級的140例（1、2、3、4、5等級各28例）尺、橈骨遠(yuǎn)端DR片作為訓(xùn)練樣本，運(yùn)用SVM分別對尺骨和橈骨遠(yuǎn)端各個(gè)分級進(jìn)行建模，計(jì)算得出兩者訓(xùn)練集模型準(zhǔn)確率（PA）均為100%，之后通過留一法交叉驗(yàn)證進(jìn)行模型內(nèi)部驗(yàn)證，得到訓(xùn)練集的PA分別是80.0%（112/140）和78.6%（110/140）。之后隨機(jī)選取35例測試樣本通過梯度方向直方圖對模型進(jìn)行外部檢驗(yàn)，得到的測試集PA分別是88.6%和82.9%。

2015年，百度研究團(tuán)隊(duì)的WU等[28]研制出Deep Image圖像識別系統(tǒng)，該系統(tǒng)通過展示Deep Image系統(tǒng)與前三年其他系統(tǒng)在2012年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中對前五圖片選項(xiàng)識別錯(cuò)誤率較低，以及其與GoogLeNet、VGG模型比較，前一、前五圖片選項(xiàng)的識別錯(cuò)誤率亦較低，證實(shí)了Deep Image圖像識別系統(tǒng)為當(dāng)前最優(yōu)系統(tǒng)。

2016年，南京林業(yè)大學(xué)的梁鑫等[29]提出一種合成孔徑雷達(dá)（synthetic aperture radar，SAR）圖像目標(biāo)智能識別方法。通過使用改進(jìn)后的增強(qiáng)Lee濾波算法和梯度方向直方圖變換對SAR圖像進(jìn)行特征提取，將層疊玻爾茲曼機(jī)與廣義回歸神經(jīng)網(wǎng)絡(luò)（general regression neural network，GRNN）結(jié)合形成新型深度混合神經(jīng)網(wǎng)絡(luò)，對梯度方向直方圖特征圖進(jìn)行圖像分割與識別，結(jié)果顯示平均識別率可高達(dá)97%，明顯優(yōu)于多尺度的自組織映射（self organizing map，SOM）神經(jīng)網(wǎng)絡(luò)、SVM以及DNN識別結(jié)果。

2017年，山東中醫(yī)藥大學(xué)的何雪英等[30]提出一種運(yùn)用到乳腺癌病理圖像自動分類的CNN模型，實(shí)現(xiàn)了乳腺癌病理圖像的自動分類。這一研究是國內(nèi)較早將深度學(xué)習(xí)運(yùn)用于醫(yī)學(xué)領(lǐng)域的研究成果。同時(shí)，在該研究中利用數(shù)據(jù)增強(qiáng)和遷移學(xué)習(xí)方法，有效避免了深度學(xué)習(xí)模型受樣本量限制時(shí)易出現(xiàn)的過擬合問題。研究表明，該方法的識別率可高達(dá)91%。

我國對深度學(xué)習(xí)的研究起步較晚，但發(fā)展較為迅速。比如百度成立深度學(xué)習(xí)研究院，在短短兩年時(shí)間，深度學(xué)習(xí)技術(shù)被迅速應(yīng)用到圖像識別、廣告系統(tǒng)、網(wǎng)頁搜索、語音搜索等領(lǐng)域[31]。隨著深度學(xué)習(xí)逐漸被人們所認(rèn)知，已嘗試應(yīng)用于醫(yī)學(xué)領(lǐng)域，協(xié)助醫(yī)師作出臨床診斷。

4 深度學(xué)習(xí)在骨齡評估中的優(yōu)勢

骨齡研究是法醫(yī)人類學(xué)主要的研究內(nèi)容之一。人類骨骼發(fā)育過程呈現(xiàn)連續(xù)性與階段性的增齡性變化，因此，我們可以通過骨骺大小、形態(tài)以及骨骺閉合程度等發(fā)育規(guī)律，來推斷個(gè)體的生物學(xué)年齡，這也是骨齡評估的理論基礎(chǔ)與核心依據(jù)。為使骨齡鑒定過程更為簡便、快捷，鑒定意見更為客觀、準(zhǔn)確，鑒定效能更為快速、高效，人工智能方法與技術(shù)將是今后骨齡研究的主要趨勢。近年來，國內(nèi)外眾多學(xué)者都嘗試通過各種方法來建立一個(gè)可實(shí)現(xiàn)自動化或半自動化的骨齡評估系統(tǒng)[32-33]。早在20世紀(jì)80年代就已使用計(jì)算機(jī)參與讀片計(jì)算，但是僅限于可簡化評定的數(shù)據(jù)分析過程[34]。

直到20世紀(jì)90年代，隨著計(jì)算機(jī)數(shù)字化信息技術(shù)和圖像識別技術(shù)的發(fā)展與應(yīng)用，以及與之相伴的神經(jīng)網(wǎng)絡(luò)算法應(yīng)用的不斷改進(jìn)、計(jì)算機(jī)內(nèi)存容量的不斷擴(kuò)大，在圖片識別中從將原始圖像轉(zhuǎn)化為數(shù)字圖像輸入計(jì)算機(jī)進(jìn)行機(jī)器讀片，到目前直接輸入原圖像識別的質(zhì)的飛躍，而在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方面則從單一特征獲取的淺層學(xué)習(xí)，逐漸演變?yōu)榭梢詫W(xué)習(xí)得到多層特征提取的深度學(xué)習(xí)。比如，2014年，司法鑒定科學(xué)研究院的王亞輝等[27]首次運(yùn)用SVM方法，將收集到的青少年左側(cè)腕關(guān)節(jié)X線正位片作為訓(xùn)練樣本，實(shí)現(xiàn)了對尺、橈骨遠(yuǎn)端骨骺發(fā)育分級進(jìn)行自動化評估的目標(biāo)，很大程度上提高了骨骺發(fā)育分級讀片的效率。但是考慮到淺層學(xué)習(xí)是通過人工經(jīng)驗(yàn)來獲取樣本特征，而且其對復(fù)雜函數(shù)的表達(dá)能力有限，不能很好地挖掘樣本內(nèi)部深層次的信息，因而認(rèn)為使用帶有多個(gè)特征處理隱含層結(jié)構(gòu)的深度學(xué)習(xí)，應(yīng)該會取得更好的效果。正如本文所列舉的近年來深度學(xué)習(xí)在國內(nèi)外圖像識別中的研究進(jìn)展實(shí)例所述，短時(shí)間內(nèi)研究者們已從算法學(xué)習(xí)、數(shù)據(jù)庫創(chuàng)建、網(wǎng)絡(luò)模型結(jié)構(gòu)、數(shù)據(jù)處理等方面進(jìn)行了大量嘗試，并取得突出的研究成果，解決了圖片特征識別中的諸多難題。2017年，意大利卡塔尼亞大學(xué)的SPAMPINATO等[24]首次將深度學(xué)習(xí)CNN模型應(yīng)用于青少年手腕關(guān)節(jié)X線片中推斷骨齡，其使用多種深度學(xué)習(xí)網(wǎng)絡(luò)算法對骨骼圖像進(jìn)行識別，研究結(jié)果顯示，人工與計(jì)算機(jī)讀片間存在0.79歲的誤差，獲得了目前最先進(jìn)的研究成果，開辟了骨齡研究新思路、新方法，實(shí)現(xiàn)了淺層學(xué)習(xí)向深度學(xué)習(xí)的完美過渡。而LEE等[25]提出的骨齡評估深度學(xué)習(xí)平臺則進(jìn)一步推動了此項(xiàng)研究的進(jìn)展。

在圖像特征提取方面，以往骨齡評估都是基于傳統(tǒng)方法人工提取手腕部干骺端興趣域，而深度學(xué)習(xí)則將圖像作為整體信息直接輸入網(wǎng)絡(luò)進(jìn)行處理。深度神經(jīng)網(wǎng)絡(luò)不同隱含層最活躍神經(jīng)元所提取的興趣域，除顯示與人工骨骺興趣域相一致的特征之外，還有其自身深度特征（這些特征所指向的具體人體組織結(jié)構(gòu)部位目前尚不明確），且神經(jīng)元活躍度顯示，部分人工感興趣區(qū)域?qū)ι疃葘W(xué)習(xí)來說并不是顯著差別特征。這暗示深度學(xué)習(xí)在圖像特征差異性識別方面可能更精細(xì)，性能或許優(yōu)于人工識別，將來的深入研究可對此加以論證，并可能會在人工骨齡評估方法的指標(biāo)改進(jìn)方面取得重大突破。

5 應(yīng)用展望

隨著機(jī)器學(xué)習(xí)方法及神經(jīng)網(wǎng)絡(luò)模型的不斷改進(jìn)，深度學(xué)習(xí)已經(jīng)在眾多領(lǐng)域的圖像識別中有所應(yīng)用與發(fā)展，包括骨齡評估X線片研究領(lǐng)域，進(jìn)一步推動了法醫(yī)人類學(xué)的發(fā)展。首先，我們的研究思路不應(yīng)局限于單一關(guān)節(jié)骨骼發(fā)育的深度學(xué)習(xí)，還應(yīng)該嘗試將深度學(xué)習(xí)應(yīng)用到評估胸鎖、肩、肘、腕、髖、膝、踝七大關(guān)節(jié)骨發(fā)育程度中來綜合推斷骨齡。其次，我國幅員遼闊，民族眾多，人員流動性較大，目前國內(nèi)尚未統(tǒng)一頒布實(shí)施中國多民族青少年法醫(yī)學(xué)骨齡鑒定標(biāo)準(zhǔn)，因此，我們可以考慮擴(kuò)大采樣范圍，對我國漢族、維吾爾族、藏族等人口較多地區(qū)集中采樣，一方面運(yùn)用深度學(xué)習(xí)挖掘更有價(jià)值的圖像信息，另一方面可以縱向比較我國多民族青少年骨骼發(fā)育的差異性，為今后制定中國青少年骨齡鑒定標(biāo)準(zhǔn)提供基礎(chǔ)數(shù)據(jù)。再者，目前國內(nèi)外學(xué)者運(yùn)用深度學(xué)習(xí)主要基于X線片實(shí)現(xiàn)骨骼圖像識別，一方面X線片相對便于采樣，另一方面骨骼在X線片上顯影較為清晰。當(dāng)然，隨著深度學(xué)習(xí)在青少年骨齡評估中的深入研究，今后還可以考慮將軀體個(gè)別關(guān)節(jié)的CT、MRI圖像識別與深度學(xué)習(xí)有機(jī)結(jié)合，將深度學(xué)習(xí)這一人工智能方法逐步推廣至法醫(yī)影像學(xué)研究領(lǐng)域中。最后，我國精準(zhǔn)醫(yī)學(xué)科研項(xiàng)目現(xiàn)階段已開始實(shí)施，運(yùn)用深度學(xué)習(xí)的骨齡評估研究，不僅可以將骨關(guān)節(jié)圖像庫共享于精準(zhǔn)醫(yī)學(xué)大數(shù)據(jù)平臺中，還可以利用深度學(xué)習(xí)進(jìn)一步改善并提升精準(zhǔn)醫(yī)學(xué)影像技術(shù)的診斷價(jià)值。

[1]王亞輝，朱廣友，喬可，等.X線骨齡評估方法研究進(jìn)展與展望[J].法醫(yī)學(xué)雜志，2007，23（5）：365-369.

[2]WüNSCHE K， WüNSCHE B， F?HNRICH H， et al.Ultrasound bone densitometry of the os calcis in children and adolescents[J].Calcif Tissue Int，2000，67（5）：349-355.

[3]呂尤焱.骨密度、骨齡測定儀研制與臨床[J].天津體育學(xué)院學(xué)報(bào)，2004，19（2）：59-61.

[4]張紹巖，張麗君，張繼業(yè)，等.中國大中城市兒童第二掌骨的掌骨指數(shù)正常參考值[J].中華現(xiàn)代兒科學(xué)雜志，2009，6（4）：193-198.

[5]COOTES T F， TAYLOR C J， COOPER D H， et al.Active shape models--their training and application[J].Comput Vis Image Underst，1995，61（1）：38-59.

[6]THODBERG H H， JENNI O G， CAFLISCH J， et al.Prediction of adult height based on automated determination of bone age[J].J Clin Endocrinol Metab，2009，94（12）：4868-4874.

[7]LECUN Y，BENGIO Y，HINTON G.Deep learning[J].Nature，2015，521（7553）：436-444.

[8]HINTON G E， OSINDERO S， TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Comput，2006，18（7）：1527-1554.

[9]蔡自興，劉麗玨，蔡競峰，等.人工智能及其應(yīng)用[M].5 版.北京：清華大學(xué)出版社，2016：290-298.

[10]HOF R D.Deep learning with massive amounts of computational power，machines can now recognize objects and translate speech in real time.Artificial intelligence is finally getting smart[J/OL].MIT Technology Review，2013，116（3）.[2017-11-01].https://www.technologyreview.com/s/513696/deep-learning/.

[11]尹寶才，王文通，王立春.深度學(xué)習(xí)研究綜述[J].北京工業(yè)大學(xué)學(xué)報(bào)，2015，41（1）：48-59.

[12]LECUN Y，BOSER B，DENKER J S，et al.Backpropagation applied to handwritten zip code recognition[J].Neural Computation，1989，1（4）：541-551.

[13]WESTON J， RATLE F， COLLOBERT R.Deep learning via semi-supervised embedding[C]//ICML’08 Proceedingsofthe25th InternationalConference on Machine Learning.New York： ACM，2008：1168-1175.

[14]KRIZHEVSKY A， SUTSKEVER I， HINTON G E.ImageNet classification with deep convolutional neural networks[C]//NIPS’12 Proceedings of the 25th International Conference on Neural Information Processing Systems.Nevada： Curran Associates Inc.，2012：1097-1105.

[15]CIRESAN D，MEIER U，SCHMIDHUBER J.Multi-column deep neural networks for image classification[C]//CVPR’12 Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Washington， DC： IEEE Computer Society，2012：3642-3649.

[16]OQUAB M，BOTTOU L，LAPTEV I，et al.Learning and transferring mid-level image representations using convolutional neural networks[C]//CVPR’14 Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition.Washington，DC：IEEE Computer Society，2014：1717-1724.

[17]ZHOU B， LAPEDRIZA à， XIAO J， et al.Learning deep features for scene recognition using places database[C]//International Conference on Neural Information Processing Systems 27.Cambridge：MIT Press，2014：487-495.

[18]SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[J].Computer Science，2015.[2017-11-01].https://arxiv.org/pdf/1409.1556.pdf.

[19]HE K， ZHANG X， REN S， et al.Deep residual learning for image recognition[J].Computer Science，2015.[2017-11-01].http://www.robots.ox.ac.uk/～vgg/rg/papers/deepres.pdf.

[20]SHAH S A A，BENNAMOUN M，BOUSSAID F.Iterative deep learning for image set based face and object recognition[J].Neurocomputing，2016，174（B）：866-874.

[21]JAIN N， RAHUL K， KHAMARU I， et al.Hand written digit recognition using convolutional neural network （CNN）[J].3rd International Conference on Research Trends in Engineering，Applied Science and Management （ICRTESM-2017）， Institution of Electronicsand Telecommunication Engineers （IETE），India： Pune，2017.

[22]BIANCO S， BUZZELLI M， MAZZINI D， et al.Deep learning for logo recognition[J].Neurocomputing，2017，245（C）：23-30.

[23]ESTEVA A， KUPREL B， NOVOA R A， et al.Dermatologist-level classification of skin cancer with deep neural networks[J].Nature，2017，542（7639）：115-118.

[24]SPAMPINATO C，PALAZZO S，GIORDANO D， et al.Deep learning for automated skeletal bone age assessment in X-ray images[J].Med Image Anal，2017，36：41-51.

[25]LEE H， TAJMIR S， LEE J， et al.Fully automated deep learning system for bone age assessment[J].J Digit Imaging，2017，30（4）：427-441.

[26]余永維，殷國富，殷鷹，等.基于深度學(xué)習(xí)網(wǎng)絡(luò)的射線圖像缺陷識別方法[J].儀器儀表學(xué)報(bào)，2014，35（9）：2012-2019.

[27]王亞輝，王子慎，魏華，等.基于支持向量機(jī)實(shí)現(xiàn)骨骺發(fā)育分級的自動化評估[J].法醫(yī)學(xué)雜志，2014，30（6）：422-426.

[28]WU R， YAN S， SHAN Y， et al.Deep image：scaling up image recognition[J].Computer Science，2015.[2017-11-01].http://www.datascienceassn.org/sites/default/files/Deep%20Image%20-%20Scaling%20up%20Image%20Recognition.pdf.

[29]梁鑫，徐慧.基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的SAR圖像目標(biāo)識別算法[J].江漢大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，44（2）：131-136.

[30]何雪英，韓忠義，魏本征.基于深度學(xué)習(xí)的乳腺癌病理圖像自動分類[J/OL].計(jì)算機(jī)工程與應(yīng)用，2017.（2017-06-27）[2017-09-10].http://kns.cnki.net/kcms/detail/11.2127.TP.20170627.1712.008.html.

[31]百度“深度學(xué)習(xí)”技術(shù)研究成果獲頂級國際會議論文獎(jiǎng)項(xiàng)[N/OL].（2013-07-03）[2017-09-10].http://idl.baidu.com/IDL-news-5.html.

[32]TANNER J M，GIBBONS R D.A computerized image analysis system for estimating Tanner-Whitehouse 2 bone age[J].Horm Res，1994，42（6）：282-287.

[33]NIEMEIJER M.Automating skeletal age assessment[D].Utrecht： Utrecht University，2002.

[34]SANZ-REQUENA R， GARCíA A M， VIEJO M R，et al.Web application for the integration of bone age calculation in RIS/PACS[J].J Mark Res Soc，1980，22（3）：181-191.