基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分析綜述

扈曉君 楊寶棟

（山東中醫(yī)藥大學(xué) 山東省濟(jì)南市 250355）

1 引言

早期的醫(yī)學(xué)圖像分析是通過(guò)較低的像素和數(shù)學(xué)建模來(lái)構(gòu)建基于規(guī)則的系統(tǒng)去解決特定的任務(wù)。在當(dāng)時(shí)的人工智能領(lǐng)域，有一個(gè)類似專家系統(tǒng)的GOFAI，其是一個(gè)基于規(guī)則的圖像處理系統(tǒng)，而且性能較差。隨著近些年機(jī)器學(xué)習(xí)算法的發(fā)展，尤其是深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的廣泛使用，也引起了醫(yī)學(xué)圖像分析領(lǐng)域的注意。

深度學(xué)習(xí)在醫(yī)學(xué)圖像分析中的應(yīng)用首先出現(xiàn)在研討會(huì)和會(huì)議上，然后出現(xiàn)在期刊上，之后研究數(shù)量迅速增長(zhǎng)。本文從深度學(xué)習(xí)在醫(yī)學(xué)圖像領(lǐng)域的應(yīng)用和方法方面概述了其應(yīng)用研究情況。最后，為將深度學(xué)習(xí)更好的應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域，對(duì)目前遇到的部分問(wèn)題進(jìn)行了討論。本文的主要目的是：表明深度學(xué)習(xí)技術(shù)已經(jīng)滲透到多個(gè)醫(yī)學(xué)圖像分析領(lǐng)域，討論其在這些領(lǐng)域中的應(yīng)用以及面臨的各種問(wèn)題。

在本文第2 節(jié)中，將主要介紹深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分析領(lǐng)域的應(yīng)用，包括圖像分類、檢測(cè)、分割等。第3 節(jié)討論了深度學(xué)習(xí)在醫(yī)學(xué)圖像領(lǐng)域中需要解決的問(wèn)題，對(duì)全文進(jìn)行了總結(jié)，并對(duì)未來(lái)的研究進(jìn)行了展望。

2 深度學(xué)習(xí)在醫(yī)學(xué)影像中的應(yīng)用概述

2.1 分類

2.1.1 圖像/檢查分類

深度學(xué)習(xí)在醫(yī)學(xué)圖像分析領(lǐng)域的一個(gè)重要應(yīng)用就是圖像或檢查分類。在檢查分類中，通常有一個(gè)或多個(gè)圖像/檢查作為輸入，單個(gè)診斷結(jié)果作為輸出，例如是否存在疾病。每個(gè)診斷檢查都是一個(gè)樣本，數(shù)據(jù)集的大小通常比計(jì)算機(jī)視覺(jué)中的小。因此，遷移學(xué)習(xí)在這類應(yīng)用中的使用比較多。

遷移學(xué)習(xí)本質(zhì)上是利用預(yù)先訓(xùn)練好的模型（通常是在自然圖像上）來(lái)解決深度學(xué)習(xí)對(duì)大數(shù)據(jù)集的訓(xùn)練需求。目前主要有兩種遷移學(xué)習(xí)的方式：

（1）使用預(yù)先訓(xùn)練好的模型進(jìn)行特征提?。?/p>

（2）對(duì)預(yù)先訓(xùn)練好的模型進(jìn)行微調(diào)。

目前這兩種方式都得到了廣泛的應(yīng)用，但對(duì)于哪種方式可以給出最好的結(jié)果并沒(méi)有很好的結(jié)論，2016年的兩篇論文[1][2]給出了相互矛盾的結(jié)果。有研究[3]對(duì)Google 的Inception v3 醫(yī)療數(shù)據(jù)架構(gòu)的預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行了微調(diào)，結(jié)果接近了醫(yī)學(xué)專家的診斷水平。

在檢查分類中常用的深度網(wǎng)絡(luò)模型中，醫(yī)學(xué)影像最初專注于無(wú)監(jiān)督的預(yù)訓(xùn)練結(jié)構(gòu)。當(dāng)時(shí)這些技術(shù)主要應(yīng)用在神經(jīng)影像方面，近些年來(lái)開(kāi)始更多地使用CNNs 來(lái)作為分類方法，這些方法的應(yīng)用領(lǐng)域也非常廣泛，從腦部MRI 到視網(wǎng)膜成像，從數(shù)字病理到肺部CT[4]都有所應(yīng)用，但有些實(shí)驗(yàn)規(guī)模太小，無(wú)法得出一般性的結(jié)論。但是在自然圖像上預(yù)訓(xùn)練的CNNs 得出了很好的結(jié)果，甚至接近了醫(yī)學(xué)專家在某些領(lǐng)域中的診斷準(zhǔn)確性。

2.1.2 目標(biāo)或病變分類

目標(biāo)分類通常側(cè)重于將醫(yī)學(xué)圖像先前識(shí)別的一部分分類為兩個(gè)或多個(gè)類別，例如胸部CT 中的結(jié)節(jié)分類[5]。對(duì)于這樣的任務(wù)，病灶外觀的局部信息和病灶位置的全局信息都是準(zhǔn)確分類所必需的，這種結(jié)合在一般的深度學(xué)習(xí)中通常是比較困難的，有研究使用多流結(jié)構(gòu)和多尺度的方式去解決這個(gè)問(wèn)題。有研究使用了三個(gè)CNNs，每個(gè)CNNs 都以不同尺度的結(jié)節(jié)斑塊作為輸入，然后將三個(gè)CNNs的特征結(jié)果輸出串聯(lián)起來(lái)，形成最終的特征向量。還有一種相似的方法使用了多流CNNs 對(duì)皮膚損傷進(jìn)行分類，每個(gè)流針對(duì)不同分辨率的圖像。在醫(yī)學(xué)影像的目標(biāo)分類任務(wù)中，合并三維信息通常也是取得良好性能的必要條件，由于計(jì)算機(jī)視覺(jué)中的圖像往往是二維自然圖像，因此在這些場(chǎng)景中開(kāi)發(fā)的模型不會(huì)直接利用三維信息。有研究使用了不同的方法去將3D 與特定的結(jié)構(gòu)集成在一起，使用多流CNNs 將胸部CT 的目標(biāo)分為結(jié)節(jié)或非結(jié)節(jié)，其從候選圖像中提取九個(gè)不同方向的切片用于不同的流中，并經(jīng)過(guò)全連接層獲得最終的分類輸出。相反，有論文利用MRI 的3D 特性，通過(guò)訓(xùn)練3D CNNs 來(lái)評(píng)估晚期膠質(zhì)瘤患者的生存率。

與檢查分類相比，目標(biāo)分類較少使用預(yù)訓(xùn)練網(wǎng)絡(luò)，主要是因?yàn)榻Y(jié)果需要結(jié)合上下文信息或三維信息來(lái)輸出。有研究已經(jīng)找到了解決方案，將這些信息添加到深度網(wǎng)絡(luò)中，并取得了良好的效果。

2.2 檢測(cè)

2.2.1 器官標(biāo)記定位

解剖定位已經(jīng)成為分割任務(wù)或臨床工作中治療計(jì)劃和流程中的重要預(yù)處理步驟。醫(yī)學(xué)影像中的定位通常需要解析三維物體。為了用深度學(xué)習(xí)算法解決三維數(shù)據(jù)解析問(wèn)題，有人提出了幾種將三維空間看作二維平面的方法。研究通過(guò)使用常規(guī)CNNs 處理三組獨(dú)立的2D MRI 切片（每個(gè)平面一個(gè)），確定了股骨遠(yuǎn)端表面的標(biāo)記目標(biāo)，標(biāo)記的三維位置被定義為具有最高概率分類輸出的三個(gè)二維切片的交點(diǎn)。這些研究都將定位任務(wù)轉(zhuǎn)換為分類任務(wù)，因此可以利用一般的深度學(xué)習(xí)體系架構(gòu)來(lái)進(jìn)行學(xué)習(xí)。當(dāng)然，也有研究試圖修改網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，來(lái)直接預(yù)測(cè)定位。

總之，利用CNNs 進(jìn)行二維圖像分類定位是目前最常用的標(biāo)記方法。近些年的研究對(duì)此進(jìn)行了擴(kuò)展并取得了很好的效果，這也表明深度學(xué)習(xí)可以應(yīng)用于更多的定位工作。

2.2.2 目標(biāo)或病變檢測(cè)

圖像中病變部位的檢測(cè)是診斷的關(guān)鍵部分，也是臨床醫(yī)生最為繁重的工作之一。通常，任務(wù)包括在整個(gè)圖像空間中定位和識(shí)別小的病灶。計(jì)算機(jī)輔助檢測(cè)系統(tǒng)有著悠久的研究傳統(tǒng)，其目的是自動(dòng)檢測(cè)病變部分，提高檢測(cè)精度，減少醫(yī)學(xué)專家的判讀時(shí)間。現(xiàn)有的深度學(xué)習(xí)目標(biāo)檢測(cè)系統(tǒng)大多仍采用CNNs 進(jìn)行像素級(jí)的分類，然后進(jìn)行某種形式的處理后以獲得候選目標(biāo)。

目標(biāo)檢測(cè)和目標(biāo)分類在某些方面也存在著不同。因?yàn)槊總€(gè)像素都是分類的，所以在訓(xùn)練環(huán)境中，類平衡指標(biāo)通常更多地向非目標(biāo)類傾斜。通常大多數(shù)的非目標(biāo)樣本都很容易辨別，這妨礙了深度學(xué)習(xí)方法將注意力集中在有問(wèn)題的目標(biāo)樣本上。有人提出了一種選擇性數(shù)據(jù)采樣方法，將錯(cuò)誤分類的樣本更多地反饋到網(wǎng)絡(luò)中，以關(guān)注視網(wǎng)膜圖像中可能存在病變的區(qū)域。

因此，深度學(xué)習(xí)在目標(biāo)檢測(cè)中的實(shí)際應(yīng)用所面臨的問(wèn)題與目標(biāo)分類中的問(wèn)題非常相似。只有少數(shù)研究解決了直接對(duì)特定目標(biāo)進(jìn)行檢測(cè)的問(wèn)題。

2.3 圖像分割

2.3.1 器官和子結(jié)構(gòu)分割

圖像分割任務(wù)通常被定義為識(shí)別組成目標(biāo)對(duì)象的輪廓或內(nèi)部的一組元素。分割是將深度學(xué)習(xí)應(yīng)用于醫(yī)學(xué)影像中最常見(jiàn)的問(wèn)題，因此出現(xiàn)了很多的改進(jìn)。在醫(yī)學(xué)圖像分析中，比較有名的是U-net，其特點(diǎn)是有相等數(shù)量的上采樣和下采樣組合。盡管之前已經(jīng)提出了學(xué)習(xí)上采樣，但是U-net 將它們與反向卷積和轉(zhuǎn)置卷積之間的跳躍連接結(jié)合起來(lái)使用，這樣整個(gè)圖像可以由U-net 在一次前向傳遞中進(jìn)行處理，從而直接生成分割圖像。此外，也有研究通過(guò)向U-net輸入來(lái)自同一體積的幾個(gè)2D 標(biāo)記切片，實(shí)現(xiàn)完整的3D 分割。

RNNs 最近在分割任務(wù)中也變得越來(lái)越流行。例如，2016年Andermatt 使用門控循環(huán)單元（GRU）的3D RNNs 分割腦部MRI數(shù)據(jù)集中的灰質(zhì)和白質(zhì)。

2.3.2 病變分割

在深度學(xué)習(xí)算法的應(yīng)用中，病灶分割結(jié)合了目標(biāo)檢測(cè)、子結(jié)構(gòu)分割的研究。通常需要全局和局部上下文來(lái)執(zhí)行準(zhǔn)確的分割。病變分割與目標(biāo)檢測(cè)共同面臨的問(wèn)題是數(shù)據(jù)不平衡問(wèn)題，因?yàn)榇蠖鄶?shù)圖像都來(lái)自非病變類別。一些研究通過(guò)調(diào)整損失函數(shù)來(lái)解決這一問(wèn)題，或者通過(guò)對(duì)陽(yáng)性樣本進(jìn)行數(shù)據(jù)擴(kuò)充來(lái)平衡數(shù)據(jù)集。

因此，病變分割被看作是使用了目標(biāo)檢測(cè)和子結(jié)構(gòu)分割的一個(gè)混合方法，這兩個(gè)領(lǐng)域的發(fā)展很可能會(huì)自然地?cái)U(kuò)展到病變分割，因?yàn)楝F(xiàn)有的研究也基本相似。

2.4 醫(yī)學(xué)影像中的其他任務(wù)

2.4.1 將圖像數(shù)據(jù)與報(bào)告結(jié)合

文本報(bào)告和醫(yī)學(xué)圖像數(shù)據(jù)的結(jié)合研究主要有兩種：

（1）利用報(bào)告提高圖像分類精度；

（2）從圖像生成文本報(bào)告；后者主要受自于自然圖像類似的研究啟發(fā)。

有研究認(rèn)為可以將報(bào)告中的語(yǔ)義描述添加為標(biāo)注，該系統(tǒng)在圖像數(shù)據(jù)集及其文本描述上進(jìn)行訓(xùn)練，并在測(cè)試期間被學(xué)習(xí)預(yù)測(cè)語(yǔ)義類標(biāo)簽，最后發(fā)現(xiàn)語(yǔ)義信息提高了光學(xué)相干層析成像（OCT）圖像中各種病理的分類精度。

鑒于PACS 系統(tǒng)在醫(yī)學(xué)圖像和相應(yīng)的診斷報(bào)告方面提供了豐富的數(shù)據(jù)，這或許是未來(lái)深度學(xué)習(xí)研究的一個(gè)領(lǐng)域，同時(shí)，自然圖像文字描述的進(jìn)步也將及時(shí)應(yīng)用于這些數(shù)據(jù)集。

3 結(jié)語(yǔ)

綜上所述可以看出深度學(xué)習(xí)已經(jīng)滲透到醫(yī)學(xué)圖像分析的各個(gè)方面，但依然面臨著很多問(wèn)題需要去解決。早期研究使用預(yù)訓(xùn)練的CNNs 進(jìn)行特征提取，這些預(yù)先訓(xùn)練過(guò)的模型可以直接下載并應(yīng)用于醫(yī)學(xué)圖像，這也在一定程度上促進(jìn)了深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的發(fā)展。雖然目前CNNs 已經(jīng)成為醫(yī)學(xué)圖像分析的主要方法，但在提升算法性能方面，在算法本身之外的改進(jìn)也會(huì)取得不錯(cuò)的效果，比如新的數(shù)據(jù)預(yù)處理或增強(qiáng)技術(shù)，但這并不是解決問(wèn)題的唯一關(guān)鍵因素，另一個(gè)可以提升性能的方式是優(yōu)化算法的參數(shù)，例如學(xué)習(xí)率。

將深度學(xué)習(xí)算法應(yīng)用于醫(yī)學(xué)圖像分析領(lǐng)域面臨的問(wèn)題還有缺乏大型訓(xùn)練數(shù)據(jù)的問(wèn)題，但這種說(shuō)法也并不完全正確。目前很少有可以公開(kāi)獲取的大規(guī)模數(shù)字醫(yī)學(xué)影像數(shù)據(jù)，這些醫(yī)學(xué)數(shù)據(jù)是需要為特定的任務(wù)目的而獲取的。因此，主要的問(wèn)題不是醫(yī)學(xué)圖像數(shù)據(jù)本身的可用性，而是為這些醫(yī)學(xué)圖像獲取相關(guān)的標(biāo)簽。傳統(tǒng)的PACS 系統(tǒng)存儲(chǔ)著描述放射醫(yī)學(xué)的文本報(bào)告。以自動(dòng)化的方式將這些報(bào)告轉(zhuǎn)換為準(zhǔn)確的標(biāo)簽所需要的文本挖掘方法本身就是一個(gè)重要的研究領(lǐng)域，深度學(xué)習(xí)如今也在其中得到廣泛應(yīng)用。考慮到利用PACS 或類似系統(tǒng)的文本報(bào)告來(lái)訓(xùn)練算法的復(fù)雜性，一般會(huì)求助于相關(guān)醫(yī)學(xué)領(lǐng)域的專家對(duì)圖像數(shù)據(jù)進(jìn)行標(biāo)注，但是標(biāo)記大量的數(shù)據(jù)會(huì)花費(fèi)很多時(shí)間，這是很困難的。因此，有效地從有限的醫(yī)學(xué)圖像數(shù)據(jù)中學(xué)習(xí)也是一個(gè)重要的研究領(lǐng)域。最后，盡管上述問(wèn)題目前尚未得到很好的解決，但相信深度學(xué)習(xí)方法經(jīng)過(guò)精心的設(shè)計(jì)，也是完全可以適合特定的醫(yī)學(xué)圖像分析任務(wù)的。