深度學(xué)習(xí)在現(xiàn)代醫(yī)療領(lǐng)域中的應(yīng)用①

姚 瓊,王覓也,2,師慶科,2,張夢嬌,鄧 悟

1(四川大學(xué)華西醫(yī)院 信息中心,成都 610041)

2(四川大學(xué)華西醫(yī)院 醫(yī)療信息化技術(shù)教育部工程研究中心,成都 610041)

1 引言

當(dāng)前,以機器學(xué)習(xí)為代表的人工智能技術(shù)已經(jīng)在越來越多的行業(yè)領(lǐng)域中被廣泛應(yīng)用.深度學(xué)習(xí)[1-3]作為機器學(xué)習(xí)的重要組成部分,近年來發(fā)展迅速,并且在計算機視覺、自然語言處理、語音處理等領(lǐng)域取得了突破性的進展,甚至在某些場景上已經(jīng)超過了人類專家的水平.

醫(yī)療領(lǐng)域相較于社交媒體、電子商務(wù)等行業(yè)來說更為的傳統(tǒng)保守,同時也與廣大群眾的生命健康密切相關(guān),現(xiàn)代醫(yī)療技術(shù)的發(fā)展可以保障并顯著提升大眾生活質(zhì)量.自2018年開始,在醫(yī)學(xué)和醫(yī)療衛(wèi)生領(lǐng)域中與深度學(xué)習(xí)相關(guān)的研究熱度急劇升溫,越來越多的學(xué)者開始關(guān)注并嘗試將深度學(xué)習(xí)相關(guān)技術(shù)應(yīng)用在醫(yī)療領(lǐng)域中[4],期待在解決疾病篩查、健康管理、診治過程中的質(zhì)量控制、優(yōu)化資源配置等諸多問題中提供更有效的解決方式.但是,醫(yī)療領(lǐng)域由于其行業(yè)特殊性,有著專業(yè)性強、錯誤代價高、應(yīng)用場景復(fù)雜、數(shù)據(jù)高度敏感等特點,雖然目前已經(jīng)出現(xiàn)不少研究成果,但是要將這些技術(shù)落實到臨床應(yīng)用場景,還有很多問題亟待解決.

目前基于深度學(xué)習(xí)解決某些特定醫(yī)療問題的論文較多,但系統(tǒng)性地介紹深度學(xué)習(xí)在醫(yī)療領(lǐng)域應(yīng)用的論述較少,雖然最新研究成果展現(xiàn)出來的評價指標(biāo)不斷地提高,但論及深度學(xué)習(xí)在醫(yī)療領(lǐng)域研究和實施的困難挑戰(zhàn)卻鮮有提及.本文嘗試介紹深度學(xué)習(xí)的基本理論和常見深度神經(jīng)網(wǎng)絡(luò)模型,同時對深度學(xué)習(xí)在醫(yī)療領(lǐng)域中的應(yīng)用場景進行梳理,介紹典型使用案例及研究進展.最后,本文還將對深度學(xué)習(xí)在實踐應(yīng)用中的常見問題,以及在醫(yī)療領(lǐng)域臨床應(yīng)用所面臨的挑戰(zhàn)進行介紹,并且結(jié)合行業(yè)的研究成果和作者的相關(guān)經(jīng)驗,給出一些可能的解決思路和方案.

2 深度學(xué)習(xí)

2.1 深度學(xué)習(xí)和機器學(xué)習(xí)

機器學(xué)習(xí)一直都是人工智能領(lǐng)域中的重要研究方向.其中,傳統(tǒng)機器學(xué)習(xí)會將特征抽取和預(yù)測過程分開,需要領(lǐng)域?qū)＜液蜋C器學(xué)習(xí)工程師協(xié)作完成數(shù)據(jù)處理、特征提取、特征轉(zhuǎn)換等操作,然后設(shè)計合適的預(yù)測函數(shù)完成學(xué)習(xí)任務(wù).傳統(tǒng)機器學(xué)習(xí)的主要問題是模型的表達能力有限,需要花費大量精力從事特征工程,而且相關(guān)工作也基本憑借經(jīng)驗,或者通過大量的實驗才能得到較好的效果.深度學(xué)習(xí)可以讓原始數(shù)據(jù)在模型中經(jīng)過多次轉(zhuǎn)換,每次轉(zhuǎn)換后可以形成更有效的特征表示,這種直接向模型提供原始數(shù)據(jù),弱化甚至丟棄特征工程,以模型輸出作為結(jié)果直接優(yōu)化目標(biāo)任務(wù),稱之為端到端的學(xué)習(xí)任務(wù).

當(dāng)前深度學(xué)習(xí)主要采用人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)來實現(xiàn),它是一種受生物神經(jīng)系統(tǒng)工作方式啟發(fā)而構(gòu)造出的數(shù)學(xué)模型.人工神經(jīng)網(wǎng)絡(luò)由人工神經(jīng)元及它們之間的連接構(gòu)成,人工神經(jīng)元的工作邏輯可以使用多種線性、非線性數(shù)學(xué)函數(shù)來定義,而它們的作用參數(shù)通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)優(yōu)化而來.實踐證明,構(gòu)造復(fù)雜多層的人工神經(jīng)網(wǎng)絡(luò)是當(dāng)下深度學(xué)習(xí)最有效的實現(xiàn)方式.

2.2 常見深度神經(jīng)網(wǎng)絡(luò)模型

多層感知機(multilayer perceptron,MLP)是最簡單的深度神經(jīng)網(wǎng)絡(luò)模型,當(dāng)前在很多場景仍然被廣泛使用.同時,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)等理論先后被提出,而且近年在解決計算機視覺、語音處理、自然語言處理等領(lǐng)域獲得巨大的成功[2].目前,應(yīng)用場景中大量無標(biāo)簽數(shù)據(jù)集相對容易獲取,因此深度自編碼器(deep autoencoder,DAE)[5]的使用頻率也非常高.當(dāng)前深度學(xué)習(xí)領(lǐng)域中,常見的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示.

圖1 常見深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

2.2.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN 是近年來深度學(xué)習(xí)在計算機視覺領(lǐng)域取得突破性成果的基石,其網(wǎng)絡(luò)結(jié)構(gòu)主要由卷積層和池化層組成.圖像處理領(lǐng)域中,卷積是常用的特征提取手段,不同卷積核可以得到不同特征圖,而CNN 的卷積層便是用來提取視野中的局部特征.卷積核是模型的參數(shù),通過訓(xùn)練可以自動學(xué)習(xí)得到有效的特征表達,使同一個卷積核與圖像所有像素做運算,可以避免參數(shù)膨脹.池化層主要緩解卷積層對位置過度敏感的問題,也降低特征的維度和訓(xùn)練參數(shù)的規(guī)模,常見的池化類型有最大池化層、平均池化層等.

2.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

很多應(yīng)用場景中,網(wǎng)絡(luò)的輸出除了與當(dāng)前輸出入有關(guān),還同之前一段時間的輸出相關(guān).RNN 便是一類具有短期記憶能力的神經(jīng)網(wǎng)絡(luò),神經(jīng)元在接受其它神經(jīng)元信息的同時,也可以獲取自身存儲的狀態(tài)信息,在自然語言、時序信號的處理中RNN 被廣泛使用,諸如機器翻譯、文本生成、自動圖像描述等都是比較典型的研究成果.理論上,RNN 可以處理任意長度的序列信息,但是RNN 學(xué)習(xí)過程中如果記憶依賴的步程太長,容易產(chǎn)生梯度爆炸或者梯度消失的問題,所以現(xiàn)實情況下RNN 只能實現(xiàn)“短期記憶”.通過引入門控機制可以解決這類問題,目前廣泛應(yīng)用的包括門控循環(huán)單元(gated recurrent unit,GRU)和長短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)[2],LSTM 通過引入輸入門、遺忘門、輸出門來控制信息的傳遞路徑,使LSTM 可以記錄很長的步程,增強了RNN 類網(wǎng)絡(luò)的實用性.

2.2.3 深度自編碼器

DAE 常常用來處理無標(biāo)簽數(shù)據(jù)集,由encoder 和decoder 兩個部分組成,encoder 用于將輸入數(shù)據(jù)壓縮到一個更小維度的表示,而decoder 嘗試從低維表示中重建原始數(shù)據(jù),通過訓(xùn)練不斷減少重建誤差,使得神經(jīng)網(wǎng)絡(luò)能夠從原始數(shù)據(jù)中提取最重要的部分.DAE 的這種特性常用來抑制原始數(shù)據(jù)中的噪聲,被應(yīng)用在圖像重建、消噪等領(lǐng)域[6].同時,最中間的隱藏層可以作為原始數(shù)據(jù)的嵌入表示,具有數(shù)據(jù)降維壓縮的功能,與PCA算法相比,DAE 通過多層網(wǎng)絡(luò)和激活函數(shù)的作用,可以對原始數(shù)據(jù)做更強的非線性變換表達[5,7,8].

3 深度學(xué)習(xí)在現(xiàn)代醫(yī)療領(lǐng)域中的應(yīng)用

3.1 現(xiàn)代醫(yī)療領(lǐng)域的數(shù)據(jù)模型

現(xiàn)代醫(yī)療領(lǐng)域中常見數(shù)據(jù)類型大致可分為:結(jié)構(gòu)化數(shù)據(jù)、影像視頻類、文本類、時序生物信號類.

結(jié)構(gòu)化數(shù)據(jù)通常以電子表格、數(shù)據(jù)庫表等形式存儲,比如患者個人基本信息、入院信息、檢驗結(jié)果等,因為其結(jié)構(gòu)定義良好,在機器學(xué)習(xí)中經(jīng)常使用.影像數(shù)據(jù)在醫(yī)療中也很常見,比如X 光片、超聲圖像、MRI 等.自由文本類數(shù)據(jù)可見于醫(yī)生的診斷報告、醫(yī)囑信息、病歷文書等.時序生物信號來自于儀器儀表的測量,例如病人的心電信號、腦電信號,以及各種動態(tài)生命監(jiān)控數(shù)據(jù)等,在ICU 中大量生理指標(biāo)的實時檢測和監(jiān)控更加常見.電子病歷(electronic medical records,EMRs)是醫(yī)院信息化建設(shè)過程中產(chǎn)生的,管理著病人幾乎所有醫(yī)療信息,而其中囊括的數(shù)據(jù)類型也是多種多樣的.

3.2 醫(yī)學(xué)影像相關(guān)業(yè)務(wù)

計算機視覺是深度學(xué)習(xí)最為成功的應(yīng)用領(lǐng)域,同時醫(yī)學(xué)影像也是醫(yī)生用于診斷和評估疾病的常用手段,近年來深度學(xué)習(xí)處理醫(yī)學(xué)影像的研究占據(jù)了深度學(xué)習(xí)在醫(yī)療領(lǐng)域應(yīng)用中的絕大部分比重[4].在醫(yī)療領(lǐng)域中,通常需要處理的影像類型包括MRI、X 光片、CT、超聲、PET、組織切片病理圖等,以及內(nèi)窺鏡、膠囊內(nèi)視鏡等視頻數(shù)據(jù),處理任務(wù)涵蓋了圖像分類、目標(biāo)識別、圖像分割、圖像檢索等,表1 中對這些應(yīng)用情形及學(xué)習(xí)任務(wù)的最終效果進行了總結(jié)[9-26].

表1 深度學(xué)習(xí)在醫(yī)學(xué)影像相關(guān)任務(wù)的應(yīng)用

3.2.1 圖像分類

圖像分類任務(wù)是模型根據(jù)輸入的圖像進行預(yù)估,并輸出一個對應(yīng)的判別標(biāo)簽及其置信度.經(jīng)典網(wǎng)絡(luò)AlexNet 于2012年被提出,當(dāng)年以很大優(yōu)勢贏得了ImageNet 大規(guī)模視覺識別挑戰(zhàn)賽,從此基于CNN 的應(yīng)用開始受到了大家重視,并且開啟了計算機視覺研究的新局勢.此后,GoogLeNet、VGG、ResNet、DenseNet等現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)也相繼產(chǎn)生,在影像分類、分割等任務(wù)[9]中被廣泛的使用.

Esteva 等[10]基于Inception v3 主干網(wǎng)絡(luò),直接使用多達13 萬份帶標(biāo)注的臨床影像數(shù)據(jù)來訓(xùn)練,帶標(biāo)注的訓(xùn)練數(shù)據(jù)集樣本如圖2所示,訓(xùn)練任務(wù)是檢驗該深度神經(jīng)網(wǎng)絡(luò)對于皮膚癌分類預(yù)估的性能,對照組是由21 名皮膚科醫(yī)生獨立標(biāo)注結(jié)果,結(jié)果顯示深度學(xué)習(xí)的分類結(jié)果相比人類專家更好.同時,該實驗證實了在大規(guī)模、高質(zhì)量的標(biāo)注數(shù)據(jù)集上,普通的CNN 也能夠產(chǎn)生很好的預(yù)估效果.

圖2 皮膚癌分類的訓(xùn)練樣本樣例

Yala 等[11]結(jié)合就診者的電子病歷信息和乳腺造影圖像,探究這些就診者5年內(nèi)患乳腺癌的風(fēng)險,并且實際跟蹤這些人在之后5年中是否實際患有乳腺癌作為標(biāo)注,用來訓(xùn)練模型并評價算法.作者使用Tyrer-Cuzick 模型作為基線,對比了邏輯回歸、單獨ResNet預(yù)估、以及結(jié)合兩者混合模型的預(yù)估結(jié)果,最終發(fā)現(xiàn)結(jié)合電子病歷信息和造影圖像模型的AUC 指標(biāo)提升明顯,這同時也啟示結(jié)合領(lǐng)域內(nèi)其它信息更有助于提升深度學(xué)習(xí)的預(yù)估和分類效果.Han 等[12]基于乳腺組織病理學(xué)圖像進行多分類實驗,完成了對包含導(dǎo)管癌、纖維腺瘤、小葉癌等8 類乳腺癌的分類任務(wù),相對于傳統(tǒng)二分類檢測任務(wù)提供更豐富的臨床診斷信息.作者采用了一種結(jié)構(gòu)化的深度卷積神經(jīng)網(wǎng)絡(luò),優(yōu)化了特征空間中相同分類和不同分類樣本的相似度計算方法,在大規(guī)模數(shù)據(jù)集上,多分類學(xué)習(xí)任務(wù)的測試精度達到了93.2%.

3.2.2 目標(biāo)識別

目標(biāo)識別任務(wù)用于對圖像中特定結(jié)構(gòu)或模式進行檢測,并標(biāo)示出對應(yīng)目標(biāo)的位置信息.在深度學(xué)習(xí)中,目標(biāo)識別任務(wù)一般被分為兩階和一階目標(biāo)檢測,其中兩階段目標(biāo)識別算法以R-CNN[13],以及改進的Fast RCNN[14]和Faster R-CNN[15]比較常見,而一階目標(biāo)識別算法最具有代表性的是YOLO[16].

R-CNN 是最早將CNN 應(yīng)用在目標(biāo)檢測任務(wù)中的算法,奠定了兩階目標(biāo)識別的處理流程和算法框架,其實現(xiàn)步驟為:首先采用Selective Search 方法生成若干候選區(qū)域,接著對每個候選區(qū)域使用CNN 提取得到固定長度的特征向量,依次將特征向量輸入到SVM 進行分類判別,最終再使用一個線性回歸器對得到的目標(biāo)框進行精修.Fast R-CNN 的改進實現(xiàn)中,作者對整個圖像提取特征圖,降低對每個候選區(qū)域單獨抽取特征帶來的計算復(fù)雜度,并且將SVM 和線性回歸器集成到了深度神經(jīng)網(wǎng)絡(luò)中,避免數(shù)據(jù)交換的開銷,整個系統(tǒng)架構(gòu)上也更為優(yōu)雅.Faster R-CNN 使用RPN(region proposal network)網(wǎng)絡(luò)作為目標(biāo)候選算法,利用Anchor 機制將區(qū)域生成與卷積網(wǎng)絡(luò)聯(lián)系到了一起,提升了目標(biāo)識別任務(wù)的效率和精確,使得兩階目標(biāo)檢測走向了實時化.YOLO 是最早提出的基于深度學(xué)習(xí)實現(xiàn)的一階目標(biāo)識別算法,該算法將原始圖像分割成若干個網(wǎng)格,并對每個網(wǎng)格直接做前景、背景分類的判別預(yù)估,YOLO 算法的目標(biāo)檢測精度和R-CNN 類算法大致相當(dāng),但是運行速度卻快得多,性能上滿足實時視頻流處理,最新優(yōu)化版本已經(jīng)可以在移動設(shè)備上實時處理視頻數(shù)據(jù)流了.

Li 等[17]在較少的X 光影像標(biāo)注數(shù)據(jù)集上,用統(tǒng)一模型架構(gòu)同時完成了肺部疾病的定位和判別任務(wù),輸出可能的病灶位置及對應(yīng)疾病的種類和置信度.作者把輸入圖像劃分成若干小片,再將這些小片合并成一個包,結(jié)合圖像級別的標(biāo)注信息執(zhí)行多示例學(xué)習(xí)(multi instance learning,MIL)訓(xùn)練任務(wù),使用多個獨立判別器對多種胸部疾病在共享特征的情況下做獨立訓(xùn)練和預(yù)估,損失函數(shù)綜合這些判別器的誤差.該方法提供了疾病多分類判別的實現(xiàn)思路,同時圖像級別的弱標(biāo)簽標(biāo)注可以有效降低訓(xùn)練數(shù)據(jù)的獲取成本,在實踐中更具應(yīng)用價值.除了2D 靜態(tài)醫(yī)學(xué)影像,當(dāng)前越來越多的應(yīng)用場景在于完成視頻流中特定目標(biāo)的識別和跟蹤任務(wù),對目標(biāo)識別的性能有了更高的要求.Urban 等[18]通過CNN 完成對結(jié)腸鏡檢查中息肉的識別標(biāo)注,其準(zhǔn)確率達到96.4%,并且處理速度達到98 fps,完全勝任結(jié)腸鏡檢查的實時視頻流處理.作者使用20 段結(jié)腸鏡檢查視頻,累計視頻時長達到了5 小時,讓4 名專業(yè)結(jié)腸鏡醫(yī)師在有和沒有CNN 輔助的情況下進行息肉的檢查,結(jié)果前者檢出的息肉組織數(shù)量比后者多了一倍,對于輔助結(jié)腸鏡醫(yī)生減少臨床息肉漏檢率意義重大,因為漏檢會讓病人錯過最佳治療時機,圖3 所展示的是在結(jié)腸鏡檢查過程中,算法自動對可疑組織的標(biāo)注提示.Aoki 等[19]首次基于CNN 完成對無線膠囊內(nèi)窺鏡檢查中糜爛和潰瘍病灶的檢測和概率預(yù)估,檢出準(zhǔn)確度達到了88.2%,而且臨床應(yīng)用時適當(dāng)提升模型的靈敏度,將更加有助于醫(yī)師降低異常情況的漏檢率.

圖3 結(jié)腸鏡檢查中息肉組織的識別和標(biāo)注提示

3.2.3 圖像分割

圖像分割任務(wù)相比目標(biāo)識別更為精細,需要識別出對應(yīng)目標(biāo)并將其邊界精確的描繪出來,該任務(wù)的輸出一般是像素級別的分割描述,醫(yī)學(xué)影像的語義分割容易受到周圍組織的干擾,分割任務(wù)的難度大.圖4 是對胸部X 光片的肺組織,以及對眼底圖像的視網(wǎng)膜血管的分割效果圖.

圖4 肺部X 光片和眼底圖像的分割效果

深度學(xué)習(xí)領(lǐng)域最早研究分割任務(wù)的是全卷積網(wǎng)絡(luò)(fully convolutional network,FCN)[20],FCN 得名源自其網(wǎng)絡(luò)結(jié)構(gòu)將傳統(tǒng)CNN 最后若干個全連接層和Softmax操作以卷積層替代,于是整個網(wǎng)絡(luò)都是由卷積層和池化層組成.不斷地對圖像執(zhí)行卷積和池化操作,得到越來越小、越來越抽象語義化的特征描述,最末端的輸出可以認(rèn)為是每個像素作為目標(biāo)分割的概率.雖然最終輸出層的結(jié)果語義正確,但缺少細節(jié)信息,因此作者選擇一些中間卷積層的結(jié)果做類似反卷積操作并且融合起來,補充了淺層網(wǎng)絡(luò)提取的細節(jié)信息,這種融合多尺度特征的方法保證了最終分割結(jié)果的魯棒性和精確性.U-Net[21]借鑒了FCN 的思想,設(shè)計出更優(yōu)雅的圖像分割框架:它由contracting 路徑和expansive 路徑組成,前者不斷地卷積和池化完成下采樣操作,而后者拼接對等分辨率的特征后,執(zhí)行反卷積完成上采樣操作,不斷恢復(fù)圖像原始分辨率.整個網(wǎng)絡(luò)框架形似一個完美對稱U 字型,而且每個分辨率層次的特征都保留并得到了充分的利用,實現(xiàn)了更豐富細致的分割結(jié)果.

Larrazabal 等[8]提出了一種基于DAE 的圖像分割后處理方案,該方案獨立于圖像分割流程,可以用于任何圖像分割算法的后處理.在訓(xùn)練DAE 的時候,隨機對標(biāo)注圖像進行降級和擾動,比如切除某些區(qū)域、添加隨機噪聲等,以提升DAE 的消噪能力,實踐結(jié)果表明不僅對于隨機森林這類傳統(tǒng)分割算法,甚至對于未收斂的U-Net 模型所得到的不完全分割結(jié)果,使用該方法處理后也有很好的最終分割效果.隨著CT、MRI等越來越普及,對于3D 圖像的分割需求也越來越迫切.Dou 等[22]設(shè)計實現(xiàn)了3D 深度監(jiān)督網(wǎng)絡(luò)(3D DSN)模型,用于對CT 圖像中的肝臟器官進行準(zhǔn)確分割,相比傳統(tǒng)3D CNN 在體積重疊誤差、相對體積差異等指標(biāo)上都有明顯改善,而且對比其它算法處理速率提升很多.作者通過對CNN 的初始層、中間層提取出來的特征進行反卷積,然后獨立運行預(yù)估結(jié)果并對比標(biāo)注結(jié)果計算誤差,在充分利用多尺度特征的同時也解決了梯度消失的難題,在少量標(biāo)注訓(xùn)練樣本的條件下實現(xiàn)了模型的快速收斂.Myronenko[23]使用類似于U-Net網(wǎng)絡(luò)的下采樣-上采樣的框架實現(xiàn)多模態(tài)3D MRI 的腦組織的語義分割任務(wù),作者在嘗試各種網(wǎng)絡(luò)設(shè)計和優(yōu)化手段后,發(fā)現(xiàn)對訓(xùn)練圖像執(zhí)行盡可能大尺度的切片,以及添加額外變分自動編碼器(variational autoencoder,VAE)來輔助正則化可以顯著提升分割精度,該算法采用高性能GPU 完成模型的訓(xùn)練任務(wù),獲得了BraTS 2018 比賽的冠軍.3D 圖像的處理對于計算能力的要求極高,但是這些年隨著計算機硬件的發(fā)展和云計算的普及,為這一類深度學(xué)習(xí)的應(yīng)用提供了有力的支撐.

3.2.4 圖像檢索

醫(yī)療領(lǐng)域中,醫(yī)生不僅需要關(guān)注個體病患不同階段、不同類型的醫(yī)學(xué)影像,還需要在醫(yī)學(xué)影像庫中快速檢索相似部位和相似疾病的其它影像,乃至于多模態(tài)圖像的跨庫檢索需求,可以為醫(yī)生提供更多的信息,以便做病情診斷評估和臨床決策.伴隨現(xiàn)代醫(yī)學(xué)影像在臨床中的大量使用,醫(yī)院的影像規(guī)模十分龐大,快速、準(zhǔn)確地提供圖像檢索技術(shù)成為了挑戰(zhàn).

醫(yī)學(xué)圖像檢索的關(guān)鍵要素是特征表示和相似度描述.傳統(tǒng)上,基于內(nèi)容的圖像檢索(content based image retrieval,CBIR)的實現(xiàn),都是離線對入庫圖像完成圖形學(xué)的特征抽取,比如常見的SIFT、SURF 等特征描述,然后將這些特征存儲在數(shù)據(jù)庫中,在線檢索的時候,對檢索圖像做相同的特征抽取操作,再采用歐式距離、余弦相似度等指標(biāo)來衡量相似度,和檢索庫中各個圖像作相似度對比,排序后返回檢索結(jié)果.

上述傳統(tǒng)實現(xiàn)方式依賴于影像專家和數(shù)據(jù)專家的經(jīng)驗來提取有效特征,對于多模態(tài)影像的特征抽取和相似度比較也很困難,而深度學(xué)習(xí)作為一種表示學(xué)習(xí),可以自動獲得更有效的特征表示.Anavi 等[24]對于胸部X 光片,將傳統(tǒng)圖像處理技術(shù)鎖提取的SIFT-BoVW、LBP、Binary 特征同使用CNN 提取的特征做對比,結(jié)果顯示使用CNN 提取得到的特征相比傳統(tǒng)圖像特征檢索效果最好.Qayyum 等[25]使用網(wǎng)絡(luò)公開的多模態(tài)醫(yī)學(xué)影像數(shù)據(jù)集,對這些影像按照器官進行24 個分類的粗粒度標(biāo)注,然后采用監(jiān)督學(xué)習(xí)的方式訓(xùn)練CNN,并以網(wǎng)絡(luò)最末端的3 個全鏈接層輸出作為特征表示,測試得到多模態(tài)圖像檢索精度達到69%,相同條件下優(yōu)于其它算法.Swati 等[26]利用深度神經(jīng)網(wǎng)絡(luò)檢索MRI 圖像,作者使用VGG19 網(wǎng)絡(luò)結(jié)構(gòu),并加載使用已經(jīng)在ImageNet 中超過120 萬張帶有1 000 分類標(biāo)簽的自然圖像數(shù)據(jù)集上預(yù)先訓(xùn)練的模型參數(shù).從預(yù)訓(xùn)練模型開始,將原始VGG19 網(wǎng)絡(luò)的FC8 從1 000 分類調(diào)整為目標(biāo)任務(wù)的3 分類問題,在已標(biāo)注的3 000 多張MRI數(shù)據(jù)集上做模型精調(diào),mAP 達到了96%,該流程是典型遷移學(xué)習(xí)應(yīng)用場景,效果提升明顯.Oliveira 等[27]使用領(lǐng)域索引(domain index)處理多庫多模態(tài)醫(yī)學(xué)影像,設(shè)計出了可以彈性擴展的系統(tǒng)架構(gòu),對于大型醫(yī)院、醫(yī)聯(lián)體實現(xiàn)海量醫(yī)學(xué)影像的快速檢索具有一定的參考價值,同時該框架還簡化了機構(gòu)對于多庫醫(yī)學(xué)影像的維護管理工作.

3.3 時序信號處理

傳統(tǒng)處理時序類信號時,一般需要使用傅立葉變換、小波變換等方式對原始信號進行預(yù)處理,可以抑制信號噪聲,同時在頻域處理信號往往更加簡單有效.然后,領(lǐng)域?qū)＜覒{借經(jīng)驗手動提取信號特征后,再實現(xiàn)具體的分類、判別等任務(wù).深度學(xué)習(xí)在絕大多數(shù)場景都能夠完成端到端的學(xué)習(xí)任務(wù),在使用深度學(xué)習(xí)處理時序信號時,可以直接將原始信號輸入到深度神經(jīng)網(wǎng)絡(luò)中訓(xùn)練模型優(yōu)化目標(biāo)任務(wù).

Acharya 等[28]實現(xiàn)了對ECG 信號心率失常疾病中4 種類型進行分類,他們構(gòu)建了11 層CNN,然后把ECG 原始信號采樣后直接送入深度神經(jīng)網(wǎng)絡(luò)執(zhí)行訓(xùn)練任務(wù),在驗證集上測試分類準(zhǔn)確度達到了92.5%,而且作者增加了卷積層神經(jīng)元個數(shù)后再次實驗,分類準(zhǔn)確度提升到了94.9%,說明更多神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)有助于在訓(xùn)練過程中獲得更有效的特征.Hannun 等[29]也采用CNN,并將網(wǎng)絡(luò)深度擴展到34 層,同時采用更大規(guī)模的標(biāo)注數(shù)據(jù)集進行訓(xùn)練,完成對心律失常疾病的14 分類任務(wù).作者將算法的分類結(jié)果同幾位心臟病專家綜合后的標(biāo)注結(jié)果作對比,結(jié)果顯示在絕大多數(shù)種類的分類任務(wù)中,深度學(xué)習(xí)算法的F1 指標(biāo)都顯著高于專家手動標(biāo)注結(jié)果.還有Rajput 等[30]的研究,他們將時域一維ECG 信號進行剪切分段后,采用短時傅立葉變換和小波變幻得到二維信號頻譜圖像,然后采用圖像處理的思路將它們送入到DenseNet 中,在相同測試集上效果要優(yōu)于Hannun[29]的實現(xiàn).CNN 的特征學(xué)習(xí)優(yōu)勢明顯,同時由于ECG 是時序信號,RNN 或LSTM可以挖掘時序上的依賴信息,于是Andersen 等[31]提出了CNN-LSTM 混合深度網(wǎng)絡(luò)結(jié)構(gòu),首先利用CNN 進行特征表示學(xué)習(xí),再利用LSTM 進行序列學(xué)習(xí),也展示出了比較好的分類效果.

在臨床條件下,ECG 采集過程很容易受到干擾,對ECG 進行噪聲消除十分重要.傳統(tǒng)方式經(jīng)常使用小波變換來消除噪聲,但實踐中可能會因為閾值選取不當(dāng)?shù)葐栴}導(dǎo)致信號重建產(chǎn)生偏差,甚至?xí)绊懙阶罱K診斷結(jié)果的準(zhǔn)確性.Chiang 等[6]在DAE 的基礎(chǔ)上采用了全卷積網(wǎng)絡(luò)代替原先的全連接網(wǎng)絡(luò),處理結(jié)果的信噪比、均方誤差等指標(biāo)都明顯好于單獨使用DNN、CNN 的處理結(jié)果.

3.4 自然語言處理

醫(yī)療領(lǐng)域中,因為結(jié)構(gòu)化的醫(yī)療數(shù)據(jù)格式規(guī)則、存取方便,對其研究和應(yīng)用挖掘地比較充分.然而,醫(yī)療領(lǐng)域中非結(jié)構(gòu)化的自由文本數(shù)據(jù)更多,除了醫(yī)學(xué)教參和科研論文之外,諸如臨床診斷報告、影像檢查報告、醫(yī)囑信息等內(nèi)容,都是醫(yī)生認(rèn)真檢查、深思熟慮后的結(jié)論,因此蘊含著極大的研究和應(yīng)用價值.同時,近年來以醫(yī)學(xué)知識圖譜和電子病歷為基礎(chǔ),以人工智能推理為核心所構(gòu)建的臨床決策支持系統(tǒng)(clinical decision support system,CDSS),已經(jīng)成為新一代醫(yī)院信息系統(tǒng)建設(shè)的重要內(nèi)容,對于提高臨床醫(yī)護人員診斷和護理的工作效率,提高醫(yī)療質(zhì)控水平,減少醫(yī)療事故的發(fā)生意義重大,圖5 展示了典型的臨床決策支持系統(tǒng)的典型系統(tǒng)架構(gòu).但是,自然語言處理一直都是機器學(xué)習(xí)領(lǐng)域的研究難點,而且醫(yī)療領(lǐng)域的文本數(shù)據(jù)還涉及到大量的領(lǐng)域內(nèi)部命名實體、行業(yè)術(shù)語及表述習(xí)慣等問題,因此基于深度學(xué)習(xí)的自然語言處理在醫(yī)療領(lǐng)域的應(yīng)用相比而言成熟度較低.

圖5 臨床決策支持系統(tǒng)架構(gòu)圖

3.4.1 疾病分類編碼

ICD(international classification of diseases)是世界衛(wèi)生組織制定和維護的人類疾病標(biāo)準(zhǔn)化、統(tǒng)一化的分類系統(tǒng),各個國家和地區(qū)對本地疾病分類管理也有相關(guān)規(guī)范,ICD 對于醫(yī)療衛(wèi)生資源分配、公共衛(wèi)生建設(shè)意義重大[32].目前,疾病分類編碼仍舊采用人工標(biāo)注的方式來完成,但是由于疾病種類數(shù)目太過繁多,很多疾病類間差異也很細微、界定模糊,采用人工標(biāo)注需要消耗大量精力,而且難以保證標(biāo)注結(jié)果的準(zhǔn)確性和一致性.因此,學(xué)者們一直嘗試采用機器學(xué)習(xí)的手段完成該任務(wù),期望通過自然語言處理技術(shù),根據(jù)診斷病歷自動完成相關(guān)疾病的編碼任務(wù).ICD 分類多、疾病的分布不均衡,是一個典型極端性多分類問題.

Baumel 等[32]對比使用SVM、CBOW、CNN 和HA-GRU 四種算法,采用公共的MIMIC 數(shù)據(jù)集完成ICD-9 疾病編碼,其中SVM 采用了TD-IDF 對文本單詞計算權(quán)重,而CBOW 和CNN 都使用了稠密的嵌入向量表示字符.HA-GRU 是一種層級的雙向GRU 網(wǎng)絡(luò),采用底層雙向GRU 網(wǎng)絡(luò)編碼語句,而級聯(lián)的上層雙向GRU 網(wǎng)絡(luò)用于接收底層所有語句編碼,這種設(shè)計是考慮到GRU 處理太長文本會有性能瓶頸和效果損失,結(jié)果顯示HA-GRU 相比基線算法效果提升明顯.Qiu 等[33]采用人工標(biāo)注的942 份分類結(jié)果作為訓(xùn)練數(shù)據(jù)集實現(xiàn)對ICD-O-3 癌癥疾病編碼,在使用TDIDF 作為單詞權(quán)重條件下,結(jié)合樸素貝葉斯、邏輯回歸、SVM 等傳統(tǒng)分類器,同CNN 實現(xiàn)的自動特征提取和分類的結(jié)果做對比,結(jié)果使用CNN 方式分類優(yōu)勢明顯.Mullenbach 等[34]采用了帶Attention 機制的CNN,使用MIMIC-III 數(shù)據(jù)集做ICD-9 編碼,測試效果相比之前的HA-GRU 算法[32]也有明顯的提升.

3.4.2 文本數(shù)據(jù)挖掘

文本數(shù)據(jù)挖掘可以應(yīng)用于電子病歷結(jié)構(gòu)化、臨床決策支持、異常事件檢測、信息語義化檢索等場景.傳統(tǒng)上對自由文本信息絕大多采用基于規(guī)則的專家系統(tǒng)處理,但是后期的維護工作極其繁重復(fù)雜,因此越來越多基于機器學(xué)習(xí)的方法被嘗試用于解決這類難題.目前,通過對自由文本形式的資料進行清洗和整理,識別命名實體,推斷實體間的關(guān)系,通過語義分析建立強大的醫(yī)學(xué)知識圖譜和知識庫,在疾病風(fēng)險評估、智能輔助診療、醫(yī)療質(zhì)量控制及醫(yī)療知識問答等智慧醫(yī)療領(lǐng)域都有著很好的發(fā)展前景.

Yala 等[35]采用Boost 算法處理乳腺病理學(xué)報告,完成多達20 種有關(guān)疾病類型、器官組織特性等數(shù)據(jù)的自動提取分類,并將這些數(shù)據(jù)整理后進行結(jié)構(gòu)化存儲和展示.其總體分類準(zhǔn)確度超過了90%,基本同基于規(guī)則的處理方法效果相當(dāng),但是極大節(jié)約了工作量.Borjali 等[36]探索了采用深度學(xué)習(xí)方法從純文本的醫(yī)療報告中提取相關(guān)信息,完成對醫(yī)療不良事件的檢測統(tǒng)計工作,并以髖關(guān)節(jié)置換術(shù)后脫位的案例進行試驗.作者設(shè)計實現(xiàn)了類似于HA-GRU[32]的層級結(jié)構(gòu)BiLSTM和CNN 兩種深度網(wǎng)絡(luò)模型,最終結(jié)果顯示基于深度學(xué)習(xí)方案的Kappa、分類精度指標(biāo)明顯高于K-NN、隨機森林、SVM 等為代表的傳統(tǒng)機器學(xué)習(xí)算法,并且CNN 的效果要好于層級BiLSTM的實現(xiàn).值得注意的是,IBM、Google、Amazon、騰訊等[37,38]大型商業(yè)公司,以及國內(nèi)外許多醫(yī)療科技企業(yè),也都在積極布局深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用,嘗試將他們在深度領(lǐng)域的經(jīng)驗技術(shù)賦能于醫(yī)療健康事業(yè)中.

3.4.3 診斷報告的自動生成

醫(yī)護人員每天都要花費很多的時間處理文本工作[7],雖然報告模版、常用語填充等方式簡化這方面的工作,但是這類工具既不靈活也不智能,仍然耗費醫(yī)護人員寶貴的時間精力.當(dāng)自動圖像描述的功能被提出后,自動生成醫(yī)學(xué)影像報告的功能也開始被大量研究了.自動圖像描述的報告會基于對醫(yī)學(xué)影像或信號的處理結(jié)果來生成,在提高醫(yī)師的工作效率,同時提供獨立的診斷結(jié)果供參考和對比.

Wu 等[39]將自動圖像描述應(yīng)用在糖尿病視網(wǎng)膜眼底圖像的診斷上,作者直接使用經(jīng)典的CNN-LSTM網(wǎng)絡(luò)結(jié)構(gòu),即首先使用CNN 抽取特征,再依據(jù)特征使用LSTM 生成對應(yīng)的文字描述,作者的訓(xùn)練數(shù)據(jù)集使用了370 張臨床眼底圖像,并對每張圖像人工添加5 種自然語言描述作為標(biāo)注,其測試結(jié)果顯示對病變眼底圖像生成的報告準(zhǔn)確度能達到90%,但當(dāng)測試集包含正常眼底圖像后,整體準(zhǔn)確度下降到只有60%左右,算是診斷報告的最簡單嘗試.Liu 等[40]提出通常情況的自動圖像描述所生成的內(nèi)容都比較簡短,同時研究重心也偏向于生成文本的可讀性,但是臨床報告常需要生成很長的描述段落,而且相較于語言的可讀性,對結(jié)果描述的準(zhǔn)確性是首要考量的.作者使用了CNNRNN-RNN 網(wǎng)絡(luò)結(jié)構(gòu),CNN 用于學(xué)習(xí)圖像特征,然后RNN 依據(jù)圖像特征生成話題,而后一個RNN 再依據(jù)生成的話題和圖像特征生成自然語言描述,最后再使用強化學(xué)習(xí)對生成的結(jié)果進行優(yōu)化,最終生成報告的準(zhǔn)確性和可讀性的質(zhì)量很高.

不過,Pino 等[41]使用隨機返回、持續(xù)正向返回、相似圖像報告返回等簡單驗證手段,發(fā)現(xiàn)當(dāng)前所謂領(lǐng)先算法所使用的評價指標(biāo)并不可靠,比如ROUGE、BLEU 等經(jīng)常是用于機器翻譯方面的應(yīng)用,用于醫(yī)學(xué)影像報告自動生成這類應(yīng)用場景,上述評價指標(biāo)或許不太合適,因此還需設(shè)計更加科學(xué)合理的評價指標(biāo).

4 深度學(xué)習(xí)在現(xiàn)代醫(yī)療領(lǐng)域中實施的挑戰(zhàn)

4.1 深度學(xué)習(xí)的固有問題

深度學(xué)習(xí)領(lǐng)域中,通過大量帶標(biāo)注數(shù)據(jù)集進行訓(xùn)練,幾乎都可以得到一個預(yù)估誤差很小的神經(jīng)網(wǎng)絡(luò),但是缺少相關(guān)理論和方法來解釋其因果關(guān)系,這是一個長期困擾深度學(xué)習(xí)的難題.對于諸如醫(yī)療領(lǐng)域這種關(guān)鍵場景,“黑盒”應(yīng)用具有相當(dāng)大的隱患,尤其對于涉及到責(zé)任、糾紛等問題,這種不能解釋的系統(tǒng)很難得到醫(yī)生的信任和接納.目前,絕大多數(shù)的智能醫(yī)療解決方案至多充當(dāng)為一個獨立建議者的角色,最終結(jié)論仍然需要由醫(yī)生和護士的確認(rèn).同時,無法解釋性也就意味著無法針對性地對算法作出改良,更多情況下只能通過不斷暴力嘗試來“拼湊”出一個恰到好處的模型.

針對如何解決深度模型解釋性問題,當(dāng)前提出的CAM 和Grad-CAM[42-44]或許有所幫助,但仍屬于比較粗糙的辦法.原理上,CNN 隨著不斷卷積和池化操作,越接近末端的網(wǎng)絡(luò)學(xué)習(xí)到的特征越抽象,但也越接近于任務(wù)目標(biāo).因此,Grad-CAM 選擇CNN 最末端的卷積層,然后計算流入該層神經(jīng)元相對某個分類的權(quán)重信息,該權(quán)重信息表示了特征相對于這個分類的敏感程度,進而得到熱力圖,圖6 展示了圖像分類和圖像分割任務(wù)中的Grad-CAM 熱力圖,顏色越深的部位則表示對最終計算結(jié)果支持程度越重要.目前很多基于深度學(xué)習(xí)的應(yīng)用都會附上熱力圖以證明模型的可信度[40,43,45],但這種方式難以應(yīng)用在其它類型的深度神經(jīng)網(wǎng)絡(luò)類型,而且隨著深度網(wǎng)絡(luò)的結(jié)構(gòu)越來越復(fù)雜,要徹底理解深度神經(jīng)網(wǎng)絡(luò)的因果關(guān)系還很困難.Doppalapudi 等[46]在對肺癌生存期預(yù)測的實驗中,深度學(xué)習(xí)同樣顯示出比傳統(tǒng)機器學(xué)習(xí)更好的預(yù)估效果,作者使用SHAP(shapley additive explanations)來分析輸入特征對最終預(yù)估結(jié)果的重要性,得到良性腫瘤數(shù)目、受檢查者年齡、是否接收手術(shù)是決定生存期最為重要的因素,該結(jié)論同醫(yī)生的主觀經(jīng)驗相符.

圖6 圖像分類和分割任務(wù)的Grad-CAM 熱力圖

對于已經(jīng)構(gòu)建完成的神經(jīng)網(wǎng)絡(luò)模型,在實驗和應(yīng)用場景中常會發(fā)生模型參數(shù)或網(wǎng)絡(luò)結(jié)構(gòu)的微調(diào),都可能會導(dǎo)致模型性能有巨大的變化,深度學(xué)習(xí)的魯棒性也有待研究.深度模型也易于遭遇對抗攻擊、模型和數(shù)據(jù)投毒等安全問題,確保其安全穩(wěn)定地運行仍面臨著不小的挑戰(zhàn),目前也有不少學(xué)者開始專注于研究這類問題的解決方式[47].

4.2 訓(xùn)練數(shù)據(jù)集

在機器學(xué)習(xí)領(lǐng)域,絕大多數(shù)應(yīng)用場景都是基于監(jiān)督學(xué)習(xí)完成,模型效果很大程度上取決于已標(biāo)注訓(xùn)練數(shù)據(jù)集的規(guī)模和質(zhì)量[10,29],但是醫(yī)療領(lǐng)域的數(shù)據(jù)存在諸如標(biāo)注數(shù)目有限、樣本分布不均衡、字段數(shù)據(jù)缺失現(xiàn)象普遍等問題.

首先,醫(yī)療領(lǐng)域作為一個高度專業(yè)化領(lǐng)域,只有經(jīng)驗豐富的醫(yī)師產(chǎn)生的標(biāo)注結(jié)果才是相對可靠的,這決定了生成高質(zhì)量標(biāo)注數(shù)據(jù)集是一個產(chǎn)量低、代價高昂的任務(wù).而且,標(biāo)注結(jié)果本身也存在一定的主觀性,即使都是經(jīng)驗豐富的醫(yī)師,他們的標(biāo)注結(jié)果常常也會很不一致[48],而且同一個人對相同樣本的標(biāo)注也會經(jīng)常有前后不一致的情況,使得模型的訓(xùn)練和評價任務(wù)更為艱難.醫(yī)療領(lǐng)域的樣本分布也是極不均衡的,現(xiàn)實場景中大量樣本都是正?；虺Ｒ娂膊?嚴(yán)重疾病都是罕見匱乏的,直接依賴這樣的樣本分布難以訓(xùn)練出有效可靠的模型.機器學(xué)習(xí)對于常見案例可以給出相對可靠的預(yù)估,而罕見或訓(xùn)練樣本中沒遇到的疾病,其預(yù)估結(jié)果往往難以預(yù)料[3].同時,現(xiàn)實情況中數(shù)據(jù)缺失也很常見,醫(yī)生會根據(jù)患者的個體情況作出不同的檢查和診療方案,這類樣本是否選擇,以及相關(guān)字段如何補齊,預(yù)估結(jié)果是否可靠也是需要考慮的問題.

通過數(shù)據(jù)增強(data augmentation)技術(shù)可以擴充訓(xùn)練樣本,經(jīng)典圖像增強手段包括更改圖像對比度、疊加噪聲,更改圖像亮度、飽和度、對比度,以及對圖像進行旋轉(zhuǎn)、切割、縮放、形變等操作,然后對標(biāo)注結(jié)果做必要的調(diào)整,可以有效擴充標(biāo)注數(shù)據(jù)[43].在訓(xùn)練U-Net 網(wǎng)絡(luò)的時候[21],作者將有限的標(biāo)注樣本進行圖形學(xué)彈性變換,不僅擴充和平衡了標(biāo)注訓(xùn)練樣本,同時也讓模型“學(xué)習(xí)”了形變相關(guān)的知識,在醫(yī)學(xué)影像中軟體組織的彈性形變是很常見的情形.Zhang 等[49]研究了基于深度學(xué)習(xí)的DST(deep stacked transformations)神經(jīng)網(wǎng)絡(luò)完成圖像增強擴充訓(xùn)練樣本后,驗證模型遷移在未知測試數(shù)據(jù)集上的泛化能力,結(jié)果顯示DST 神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性相比傳統(tǒng)圖像增強技術(shù)和基于Cycle-GAN 的圖像增強技術(shù)提升很多,Dice 指標(biāo)提升超過30%,而且采用DST 神經(jīng)網(wǎng)絡(luò)在少量標(biāo)注數(shù)據(jù)上進行圖像增強后訓(xùn)練模型,然后在大規(guī)模未知數(shù)據(jù)集上的預(yù)估已經(jīng)可以和最先進的監(jiān)督學(xué)習(xí)在大規(guī)模標(biāo)準(zhǔn)樣本上訓(xùn)練模型的預(yù)估效果相媲美了.Zhao 等[50]發(fā)現(xiàn)MRI 在患者腦灰質(zhì)和腦白質(zhì)的病變檢測和分類中十分有效,但是因為檢測價格、設(shè)備限制等各項因素,腦部CT 影像比MRI 影像更為常見,但同時CT 影像對于軟體組織對比度很差,很難直接用來進行腦灰質(zhì)、腦白質(zhì)、腦脊液的病變檢測.作者通過改進U-Net 網(wǎng)絡(luò),使用帶標(biāo)注的CT 影像構(gòu)造出對應(yīng)的MRI 影像,因為構(gòu)造前后的圖像是自然配準(zhǔn)的,所以MRI 可以復(fù)用原標(biāo)注信息執(zhí)行監(jiān)督學(xué)習(xí),測試結(jié)果證明了利用CT 影像完成軟組織標(biāo)注和診斷任務(wù)的可行性.主動學(xué)習(xí)也可以用于解決標(biāo)注數(shù)據(jù)缺乏問題,算法的基本原理是系統(tǒng)塞選出不確定性樣本交由專家標(biāo)注,并將標(biāo)注結(jié)果放入訓(xùn)練集中持續(xù)優(yōu)化模型.Kuo 等[51]在使用基于不確定性樣本選擇機制時,引入預(yù)估標(biāo)注時間作為代價參考因素,該模型綜合標(biāo)注收益和標(biāo)注代價,讓醫(yī)生在寶貴的時間中產(chǎn)生更多有價值的標(biāo)注結(jié)果.

遷移學(xué)習(xí)[26,52-54]目前在深度學(xué)習(xí)中經(jīng)常被使用.訓(xùn)練初始可以使用已有的大量高質(zhì)量標(biāo)注的自然圖像訓(xùn)練模型,先“學(xué)習(xí)”線條、形狀、邊緣等知識,最后再將該網(wǎng)絡(luò)較前端部分的輸出作為特征抽取算子,或者固定其較淺部分的模型參數(shù),再根據(jù)目標(biāo)任務(wù)優(yōu)化末端部分的模型參數(shù),就可以使用較少標(biāo)注數(shù)據(jù)使整個模型快速收斂[26].為了節(jié)省計算資源,目前越來越多的場景采用標(biāo)準(zhǔn)主干網(wǎng)絡(luò)并加載預(yù)訓(xùn)練模型,再根據(jù)目標(biāo)任務(wù)調(diào)優(yōu)的遷移學(xué)習(xí)方案.遷移學(xué)習(xí)在2D 圖像的訓(xùn)練任務(wù)中十分常見,但是在3D 圖像處理中研究案例很少,相鄰圖像的上下文相關(guān)信息無法挖掘,即使嘗試使用RNN 或LSTM 來學(xué)習(xí)相鄰圖像的相關(guān)特征,考慮到計算量和模型復(fù)雜度等因素幾乎也是無法實現(xiàn)的,而且通常3D 圖像標(biāo)注數(shù)據(jù)很少,因而模型很難訓(xùn)練.為此,Liu 等[55]提出了3D AH-Net 模型,它使用ResNet作為主干網(wǎng)絡(luò),并基于ImageNet 的預(yù)訓(xùn)練模型作為起點,然后再將目標(biāo)任務(wù)中3 張相鄰的2D 圖像模擬成RGB 三個通道對編碼器網(wǎng)絡(luò)做精調(diào),在保持網(wǎng)絡(luò)結(jié)構(gòu)不變的同時引入相鄰上下文關(guān)系.作者設(shè)計了全新解碼器代替原先解碼器,把3D 卷積操作拆分成2D 卷積操作和1D 卷積操作,在充分利用單個圖像內(nèi)部特征的同時,保持圖像間相關(guān)性輸出一致.最終,在乳腺病變檢測、肝臟分割兩個測試任務(wù)中,該網(wǎng)絡(luò)效果領(lǐng)先傳統(tǒng)網(wǎng)絡(luò)(例如3D U-Net),而且在訓(xùn)練和預(yù)估任務(wù)上也有著明顯的性能優(yōu)勢.Liang 等[56]研究了醫(yī)學(xué)圖像應(yīng)用中深度學(xué)習(xí)的模型泛化問題,實驗對比了遷移學(xué)習(xí)中3 種常用實現(xiàn)手段的泛化性能,針對目標(biāo)數(shù)據(jù)集的模型微調(diào)的泛化收益最為明顯.

課程式學(xué)習(xí)[57,58]作為一種訓(xùn)練策略,值得對于醫(yī)療領(lǐng)域這類標(biāo)注數(shù)據(jù)少、樣本分布不均衡場景嘗試.該訓(xùn)練策略啟發(fā)自人類學(xué)習(xí)過程,普通人在學(xué)習(xí)過程中常從較簡單的任務(wù)開始,接著不斷增加學(xué)習(xí)難度,這種難度逐步增加的學(xué)習(xí)過程更有效率.但是,如何確定樣本的難易程度也是比較微妙的事情,Jiménez-Sánchez等[58]的研究表明:如果先學(xué)習(xí)困難的樣本,再學(xué)習(xí)比較容易的樣本,最終模型的預(yù)估效果反而會變差,而且這種難易程度和人類直觀感受的難易程度是不一致的.

4.3 模型的遷移泛化和實施

深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用研究,研究成果部分是基于特定醫(yī)療機構(gòu)的內(nèi)部數(shù)據(jù),往往難以復(fù)現(xiàn).而絕大多數(shù)都是基于網(wǎng)絡(luò)公開數(shù)據(jù)集,這類數(shù)據(jù)集規(guī)模普遍都很小,而且一些字段信息也刪除掉了.考慮到各醫(yī)療機構(gòu)的就診條件、設(shè)備差異、運行參數(shù)、病人分布等因素都可能存在差異性,如此小規(guī)模的訓(xùn)練集是否能夠代表真實應(yīng)用場景的樣本分布,以及訓(xùn)練所得的模型在其它設(shè)備、其它機構(gòu)是否同樣有效還存在巨大挑戰(zhàn)[47].當(dāng)前看來,除了采用超大規(guī)模、多樣性的標(biāo)注數(shù)據(jù)訓(xùn)練模型外,通過數(shù)據(jù)增強、多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)等手段對提高模型的泛化能力對增加臨床使用的適應(yīng)能力具有一定的意義[43,49].

深度學(xué)習(xí)結(jié)合醫(yī)療領(lǐng)域本來就是個交叉課題,通常需要數(shù)據(jù)專家、算法、工程技術(shù)、醫(yī)療領(lǐng)域?qū)＜业木o密合作才行.但目前情形而言,醫(yī)療機構(gòu)本身對這方面的研究精力和資源投入有限,同外部機構(gòu)合作研究交叉課題機會也不多,整個流程還需要醫(yī)院管理層和倫理委員會的審批和監(jiān)督,如此嚴(yán)格的高準(zhǔn)入門檻阻礙了大部分研究機構(gòu)和學(xué)者獲取真實、有效、豐富的醫(yī)療數(shù)據(jù),著力共同攻克相關(guān)領(lǐng)域難題的機會.

傳統(tǒng)醫(yī)療設(shè)備和信息系統(tǒng),在實施部署后便進入常規(guī)維護流程,后期的維護工作都相對有限,而基于深度學(xué)習(xí)的醫(yī)療應(yīng)用,后期維護任務(wù)也更加的復(fù)雜.深度學(xué)習(xí)需要持續(xù)跟蹤使用場景,通過不斷優(yōu)化模型才能保持和提升效果,而且隨著新數(shù)據(jù)的產(chǎn)生,或者醫(yī)療設(shè)備、使用應(yīng)用場景發(fā)生變化,原有模型都需要不斷地更新維護.現(xiàn)代醫(yī)學(xué)影像的分辨率越來越高,同時3D 影像技術(shù)應(yīng)用越來越廣泛,因此還需要購置先進的硬件設(shè)備以提供強大的計算能力.當(dāng)前深度學(xué)習(xí)只擅長于對特定應(yīng)用場景進行建模,而大型綜合醫(yī)療機構(gòu)中的科室數(shù)目、疾病類型、服務(wù)場景都是海量的,這意味著巨大應(yīng)用潛力的同時,復(fù)用性低也意味著巨大的投入負(fù)擔(dān),深度學(xué)習(xí)的應(yīng)用實施對基礎(chǔ)信息設(shè)施有著較高的要求,這無疑會增加醫(yī)療機構(gòu)運營和管理維護的成本.總之,對于醫(yī)療機構(gòu)來說,深度學(xué)習(xí)應(yīng)用是一個需要持續(xù)性、高投入的場景,對此醫(yī)療機構(gòu)的態(tài)度勢必會更加的謹(jǐn)慎.

4.4 隱私合規(guī)性問題

當(dāng)前公眾對于個人隱私問題越來越關(guān)注,尤其對于醫(yī)療健康信息尤為敏感,數(shù)據(jù)保護也是當(dāng)前醫(yī)院管理的重中之重.美國在1996年就簽署頒布了健康保險流通與責(zé)任法案(health insurance portability and accountability act,HIPAA),HIPAA 包含了一系列規(guī)定來保障受保護健康信息(protected health information,PHI)的安全性和隱私性,PHI 涉及到年齡、聯(lián)系方式、社會保險號等字段,HIPAA 適用于包括直接接觸病人并處理病人數(shù)據(jù)的醫(yī)院、醫(yī)療服務(wù)提供商、研究機構(gòu)和保險公司等主體.歐盟于2018年也出臺了通用數(shù)據(jù)保護條例(general data protection regulation,GDPR)用于個人敏感數(shù)據(jù)的保護.我國對健康隱私的保護機制也在不斷地健全和完善.2021年1月1日實施的《中華人民共和國民法典》中定義了個人信息包括自然人的姓名、出生日期、身份證件號碼、生物識別信息、住址、電話號碼、電子郵箱、健康信息、行蹤信息等,同時要求醫(yī)療機構(gòu)及醫(yī)務(wù)人員應(yīng)當(dāng)對患者的隱私和個人信息保密.

雖然HL7、IHE、DICOM、openEHR 等標(biāo)準(zhǔn)的制定和實施,在技術(shù)層面上解決了醫(yī)療數(shù)據(jù)交換和流通的難題,但對于隱私問題的過分擔(dān)憂會嚴(yán)重阻礙對這些信息的挖掘利用和互操作[59],對醫(yī)療數(shù)據(jù)實現(xiàn)脫敏是一種解決思路.相關(guān)研究[60]已經(jīng)嘗試用機器學(xué)習(xí)和深度學(xué)習(xí)的方式,自動對患者個人醫(yī)療信息進行PHI歸類判別,以代替?zhèn)鹘y(tǒng)的手動或基于規(guī)則的專家系統(tǒng)來完成相應(yīng)工作.Catelli 等[54]嘗試將文本嵌入表示和BiLSTM+CRF 模型應(yīng)用于COVID-19 意大利語電子病歷數(shù)據(jù)集的去標(biāo)識化操作,其評測效果優(yōu)勢顯著,也展現(xiàn)出通過深度學(xué)習(xí)對醫(yī)療數(shù)據(jù)實現(xiàn)脫敏去標(biāo)識化后,共享醫(yī)療信息快速應(yīng)對公共衛(wèi)生事件的重要價值和意義.相信終有一天,公眾和社會對于患者健康數(shù)據(jù)的使用將會更加安全理性.

5 結(jié)束語

本文介紹了深度學(xué)習(xí)的原理和常見深度神經(jīng)網(wǎng)絡(luò)模型,結(jié)合實踐介紹了深度學(xué)習(xí)在醫(yī)療領(lǐng)域中的影像和視頻處理、信號處理、自然語言處理等典型醫(yī)療數(shù)據(jù)的應(yīng)用,包含了科學(xué)研究和臨床應(yīng)用的最新研究進展、研究熱點等問題,其中以醫(yī)學(xué)影像的研究成果最為顯著.本文還對深度學(xué)習(xí)在醫(yī)療領(lǐng)域中的應(yīng)用困難和挑戰(zhàn)進行了討論,其中包括模型的解釋性、穩(wěn)定性等深度學(xué)習(xí)的固有難題,以及醫(yī)療領(lǐng)域標(biāo)注數(shù)據(jù)缺乏、樣本分布不均衡等行業(yè)特定問題,目前主流方法通過使用數(shù)據(jù)增強、遷移學(xué)習(xí)、課程學(xué)習(xí)等技術(shù)解決這類問題.同時,面對大量存在的無標(biāo)注數(shù)據(jù)和弱標(biāo)注數(shù)據(jù),無監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等算法也有很大的研究價值.深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用是一個交叉課題,需要多領(lǐng)域?qū)＜覅f(xié)作才能取得進展,雖然數(shù)據(jù)交換在技術(shù)上不再困難,但考慮到隱私、監(jiān)管合規(guī)等因素,數(shù)據(jù)壁壘是目前發(fā)展的重要阻礙.

中國是一個幅員遼闊、人口眾多,同時醫(yī)療資源分布很不均衡的國家,伴隨著人口老齡化程度不斷地加深,醫(yī)療服務(wù)的供需矛盾將更加的尖銳,而運用現(xiàn)代信息技術(shù)有助于解決醫(yī)療資源的分配和醫(yī)學(xué)知識技能的共享問題[10,56].近年來深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的應(yīng)用有著豐富的收獲,是一個極具意義的研究方向,但是距離臨床應(yīng)用還有很多問題亟待解決,期待深度學(xué)習(xí)技術(shù)能夠更快更好地造福于人類健康事業(yè).