遷移學(xué)習(xí)方法在醫(yī)學(xué)圖像領(lǐng)域的應(yīng)用綜述

高 爽，徐巧枝

內(nèi)蒙古師范大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，呼和浩特010022

近年，許多研究將深度學(xué)習(xí)技術(shù)應(yīng)用于醫(yī)學(xué)圖像處理領(lǐng)域，以實(shí)現(xiàn)器官和病灶的自動(dòng)分割、分類，取得了較好的效果。深度學(xué)習(xí)技術(shù)的有效性很大程度上依賴于大量訓(xùn)練數(shù)據(jù)，然而目前醫(yī)學(xué)圖像數(shù)據(jù)相比自然圖像，在數(shù)量上比較有限，標(biāo)注難度也較大，因此，基于深度學(xué)習(xí)技術(shù)的醫(yī)學(xué)圖像分析算法的精確度和準(zhǔn)確性仍有待提高。為了解決醫(yī)學(xué)圖像數(shù)據(jù)缺乏而導(dǎo)致的訓(xùn)練集不足的問題，很多研究引入了遷移學(xué)習(xí)方法，利用自然圖像數(shù)據(jù)集或其他醫(yī)學(xué)圖像數(shù)據(jù)集，對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，然后將學(xué)習(xí)到的知識(shí)遷移到目標(biāo)任務(wù)，進(jìn)而提高網(wǎng)絡(luò)模型的性能。

本文調(diào)研了近幾年醫(yī)學(xué)圖像領(lǐng)域中典型的遷移學(xué)習(xí)框架，并對(duì)這些框架進(jìn)行了分析和總結(jié)，以幫助相關(guān)研究者對(duì)該研究領(lǐng)域的理解。

1 遷移學(xué)習(xí)

1.1 遷移學(xué)習(xí)的概念及其分類

遷移學(xué)習(xí)（Transfer Learning，TL）是一項(xiàng)允許對(duì)現(xiàn)有模型算法進(jìn)行微調(diào)，以應(yīng)用于新領(lǐng)域或新功能的技術(shù)[1]。在遷移學(xué)習(xí)中，研究人員通常將數(shù)據(jù)分為源數(shù)據(jù)和目標(biāo)數(shù)據(jù)。源數(shù)據(jù)指與要解決的任務(wù)并不直接相關(guān)的其他數(shù)據(jù)，通常具有較大的數(shù)據(jù)集。目標(biāo)數(shù)據(jù)是與任務(wù)直接相關(guān)的數(shù)據(jù)，數(shù)據(jù)量一般較小。遷移學(xué)習(xí)的目的是在獲取某些附加數(shù)據(jù)或現(xiàn)有模型的前提下，將通用知識(shí)用于新的相關(guān)任務(wù)，以充分利用源數(shù)據(jù)來幫助模型提高其在目標(biāo)數(shù)據(jù)上的性能，如圖1所示。

圖1 遷移學(xué)習(xí)的學(xué)習(xí)過程Fig.1 Learning process of transfer learning

根據(jù)源域與目標(biāo)域之間的關(guān)系，遷移學(xué)習(xí)方法可分為三類[2]：基于實(shí)例的遷移、基于模型參數(shù)的遷移和基于特征的遷移，如圖2所示。其中，基于實(shí)例的遷移學(xué)習(xí)是相對(duì)較簡(jiǎn)單的遷移學(xué)習(xí)方法，該方法從源域中挑選出對(duì)目標(biāo)域訓(xùn)練有用的實(shí)例，將其作為訓(xùn)練集的補(bǔ)充，以擴(kuò)大目標(biāo)域的訓(xùn)練集，從而提升遷移效果[3]；基于模型參數(shù)的遷移方法的主要思想是使源域和目標(biāo)域共享模型參數(shù)[4]，即在源域中通過大量源域數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)模型預(yù)訓(xùn)練，然后將預(yù)訓(xùn)練模型直接應(yīng)用到目標(biāo)任務(wù)上，在此過程中，可以選擇重用全部或部分模型參數(shù)；基于特征的遷移方法分為特征提取遷移和特征映射遷移?；谔卣魈崛〉倪w移方法會(huì)對(duì)源域中經(jīng)過預(yù)訓(xùn)練的局部網(wǎng)絡(luò)進(jìn)行重用，將其轉(zhuǎn)變?yōu)槟繕?biāo)域深度網(wǎng)絡(luò)的一部分；基于特征映射的遷移方法將實(shí)例從源域和目標(biāo)域映射到新的數(shù)據(jù)空間[5]，在新的數(shù)據(jù)空間中，來自兩個(gè)域的實(shí)例具有相似的數(shù)據(jù)分布，適合用于聯(lián)合深度神經(jīng)網(wǎng)絡(luò)，優(yōu)點(diǎn)是通過調(diào)整數(shù)據(jù)分布，可以增加訓(xùn)練集，從而提升遷移效果。

圖2 遷移學(xué)習(xí)方法分類Fig.2 Classification of transfer learning methods

1.2 一般遷移策略及常用模型

遷移學(xué)習(xí)改變了傳統(tǒng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的固有模式，增加了使用其他域進(jìn)行預(yù)訓(xùn)練的步驟，為網(wǎng)絡(luò)模型的通用性提供了可能，同時(shí)降低計(jì)算資源損耗、減少內(nèi)存占用，縮短訓(xùn)練時(shí)間。在醫(yī)學(xué)圖像處理領(lǐng)域，比較常見的遷移學(xué)習(xí)方法是利用大型非醫(yī)學(xué)數(shù)據(jù)集（如ImageNet）對(duì)模型進(jìn)行預(yù)訓(xùn)練，然后對(duì)該模型的卷積層進(jìn)行微調(diào)或凍結(jié)（即參數(shù)不變），最后使用少量醫(yī)學(xué)數(shù)據(jù)重新訓(xùn)練全連接層，如圖3所示，其中微調(diào)的卷積層、模型的選用、微調(diào)的次數(shù)、順序以及預(yù)訓(xùn)練數(shù)據(jù)集的選用都會(huì)影響到遷移的效果[6]。

圖3 醫(yī)學(xué)圖像領(lǐng)域的主流遷移框架Fig.3 Mainstream migration framework in medical image field

由于深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）具有出色的特征提取能力[7]，許多醫(yī)學(xué)圖像研究將其作為預(yù)訓(xùn)練模型，其中AlexNet[8]、VGGNet[9]、GoogleNet[10]、ResNet[11]、DenseNet[12]和MobileNet[13]等是經(jīng)常被用到的預(yù)訓(xùn)練網(wǎng)絡(luò)模型，表1對(duì)它們的優(yōu)缺點(diǎn)進(jìn)行了總結(jié)。

表1 常用神經(jīng)網(wǎng)絡(luò)模型的優(yōu)缺點(diǎn)Table 1 Advantages and disadvantages of common neural network model

2 基于遷移學(xué)習(xí)的醫(yī)學(xué)圖像分析研究

由于醫(yī)學(xué)圖像的特殊性，基于遷移學(xué)習(xí)的醫(yī)學(xué)圖像分析成為研究熱點(diǎn)，下文將按照遷移學(xué)習(xí)方法的分類對(duì)這些研究進(jìn)行介紹。

2.1 基于模型參數(shù)的遷移模型

該方法要求源域和目標(biāo)域的特征空間具有相似性，具體方法是，先使用源域的大量數(shù)據(jù)對(duì)模型預(yù)訓(xùn)練，然后將得到的權(quán)重參數(shù)進(jìn)行遷移，最后使用少量目標(biāo)數(shù)據(jù)重新訓(xùn)練全連接層。該方法思想簡(jiǎn)單，卻能大幅度提升模型性能，是醫(yī)學(xué)圖像領(lǐng)域早期使用的遷移方法。

Abbas等[14]提出的基于類分解的神經(jīng)網(wǎng)絡(luò)模型DeTraC，解決了跨域遷移時(shí)數(shù)據(jù)分布不一致所產(chǎn)生的負(fù)遷移現(xiàn)象，如圖4所示，其中圖4（a）是使用ImageNet預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional NeuralNetwork，CNN）模型和主成分分析（黑色箭頭）進(jìn)行特征提取，圖4（b）是具有權(quán)重變換的類分解過程，圖4（c）是使用類組成進(jìn)行誤差校正，微調(diào)ImageNet預(yù)先訓(xùn)練好的CNN模型用于輸出預(yù)測(cè)。實(shí)驗(yàn)結(jié)果證明了該方法的有效性。

圖4 DeTraC模型Fig.4 DeTraC model

Maghdid等[15]基于自然圖像預(yù)訓(xùn)練的CNN模型進(jìn)行COVID-19檢測(cè)任務(wù)，遷移后的檢測(cè)準(zhǔn)確性達(dá)到98%，但是該模型提出于新冠肺炎出現(xiàn)之初，由于缺乏患者CT圖像，導(dǎo)致無法進(jìn)行對(duì)比實(shí)驗(yàn)。Gao等[16]將基于自然圖像預(yù)訓(xùn)練得到的不同ResNet模型遷移到乳腺癌診斷任務(wù)，實(shí)驗(yàn)結(jié)果表明，多模型遷移的效果優(yōu)于單一模型，并且在保證性能的同時(shí)，大幅縮短訓(xùn)練時(shí)間。Dawud等[17]使用與目標(biāo)數(shù)據(jù)相似的腦血管圖像在AlexNet上進(jìn)行預(yù)訓(xùn)練，再利用SVM分類器進(jìn)行微調(diào)訓(xùn)練，實(shí)驗(yàn)結(jié)果表明，在腦出血識(shí)別任務(wù)中，準(zhǔn)確性達(dá)到93%，優(yōu)于從自然圖像的遷移方法，說明源數(shù)據(jù)與目標(biāo)數(shù)據(jù)越相似，遷移效果越好。Yang等[18]提出一種多源遷移方法，使用乳腺圖像、心臟圖像作為源數(shù)據(jù)在CNN模型中預(yù)訓(xùn)練，最終將其用于阿茲海默診斷任務(wù)，實(shí)驗(yàn)結(jié)果表明，經(jīng)過遷移的CNN模型收斂更快，訓(xùn)練時(shí)間更短，并且提高了診斷精度。Wahab等[19]使用自然圖像對(duì)ResNet進(jìn)行預(yù)訓(xùn)練，然后將其用于細(xì)胞有絲分裂的檢測(cè)任務(wù)，實(shí)驗(yàn)結(jié)果表明，基于遷移學(xué)習(xí)的訓(xùn)練方法提供了良好的初始權(quán)重，減少了訓(xùn)練時(shí)間。Liu等[20]提出一種集成網(wǎng)絡(luò)結(jié)構(gòu)，使用三個(gè)自然圖像預(yù)訓(xùn)練得到的VGG模型作為特征提取器，然后進(jìn)行多尺度特征拼接，實(shí)驗(yàn)結(jié)果表明，集成模型的精度遠(yuǎn)超單模型，缺點(diǎn)是增加了計(jì)算成本。Patrini等[21]使用ImageNet在六個(gè)不同的CNN模型上進(jìn)行預(yù)訓(xùn)練，將提取出來的特征進(jìn)行加權(quán)融合，實(shí)驗(yàn)結(jié)果表明，該方法提取的特征更適用于自然圖像遷移到醫(yī)學(xué)圖像。

表2 對(duì)醫(yī)學(xué)圖像中基于模型參數(shù)的遷移研究進(jìn)行了總結(jié)?？梢钥闯?，大部分研究使用了ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，從而使網(wǎng)絡(luò)學(xué)習(xí)到圖像的通用基本特征。但是ImageNet數(shù)據(jù)集中不包含人體骨骼、內(nèi)臟等結(jié)構(gòu)，源域與目標(biāo)域相差較大，導(dǎo)致遷移性能仍有待提高。對(duì)于遷移學(xué)習(xí)來說，源域與目標(biāo)域越相似，遷移效果越好，所以使用醫(yī)學(xué)圖像進(jìn)行預(yù)訓(xùn)練可以使遷移性能更高。為了提升模型性能，表2中大部分研究使用數(shù)據(jù)增強(qiáng)技術(shù)來增加醫(yī)學(xué)圖像樣本數(shù)，但是傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法可能會(huì)造成知識(shí)的負(fù)遷移，所以未來應(yīng)積極探索更有效的數(shù)據(jù)增強(qiáng)方法，例如，利用生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）技術(shù)生成仿真的醫(yī)學(xué)圖像。

表2 基于模型參數(shù)的遷移特征Table 2 Transfer learning based on model parameters

2.2 基于特征提取的遷移模型

基于特征提取的遷移學(xué)習(xí)方法通常將CNN模型作為特征提取器，然后使用少量醫(yī)學(xué)數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)，基于不同的微調(diào)策略訓(xùn)練出來的CNN模型性能也不同，所以微調(diào)策略是該類方法被關(guān)注的重點(diǎn)。

Khan等[22]使用自然圖像和部分醫(yī)學(xué)圖像作為源數(shù)據(jù)進(jìn)行CNN模型預(yù)訓(xùn)練，并將三種常用的預(yù)訓(xùn)練模型用于乳腺癌細(xì)胞分類任務(wù)，遷移后性能最優(yōu)的CNN模型分類準(zhǔn)確性可達(dá)到94.5%，如圖5所示，其實(shí)驗(yàn)也表明，不同CNN模型應(yīng)用相同的遷移策略，雖然都有性能的提升，但對(duì)目標(biāo)任務(wù)的準(zhǔn)確性仍有不同。

圖5 深度模型架構(gòu)Fig.5 Block diagram of deep learning framework

Huang等[23]提出一種基于深度遷移CNN和極限學(xué)習(xí)機(jī)的肺結(jié)節(jié)診斷方法，首先采用最佳深度遷移CNN提取肺結(jié)節(jié)的高級(jí)特征，該模型已事先通過ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，然后使用極限學(xué)習(xí)機(jī)分類器對(duì)良性和惡性肺結(jié)節(jié)進(jìn)行分類，實(shí)驗(yàn)結(jié)果表明遷移后的模型所提取到的特征可以提升模型精度，分類器的訓(xùn)練對(duì)于遷移的效果也有一定影響。黃鴻等[24]提出一種結(jié)合部分注釋數(shù)據(jù)的自監(jiān)督學(xué)習(xí)算法，用于3D肺結(jié)節(jié)的分類任務(wù)。該方法在傳統(tǒng)自監(jiān)督訓(xùn)練的網(wǎng)絡(luò)上，利用醫(yī)學(xué)圖像處理任務(wù)中大量未注釋數(shù)據(jù)和少量注釋數(shù)據(jù)作為訓(xùn)練集，由于目標(biāo)域和源域高度相似，從而大大提高了遷移效果，有效解決了醫(yī)學(xué)圖像數(shù)據(jù)集缺乏的問題。Misra等[25]使用自然圖像預(yù)訓(xùn)練的ResNet作為骨干網(wǎng)絡(luò)，然后使用與目標(biāo)數(shù)據(jù)相近的肺部X射線圖進(jìn)行微調(diào)，實(shí)驗(yàn)結(jié)果表明該實(shí)驗(yàn)的微調(diào)策略，相比無遷移的方法，分類準(zhǔn)確度提高了3%。Jin等[26]通過隨機(jī)初始化權(quán)重來替換預(yù)訓(xùn)練CNN的全連接層進(jìn)行遷移學(xué)習(xí)，源任務(wù)是面部識(shí)別和驗(yàn)證，目標(biāo)任務(wù)是面部診斷，兩項(xiàng)任務(wù)的相似性為解決具有少量數(shù)據(jù)集的面部診斷問題提供了遷移的可能，使準(zhǔn)確性達(dá)到95%。但是目前面部診斷技術(shù)還不成熟，影響因素較多且只能針對(duì)特殊疾病。

從自然圖像到醫(yī)學(xué)圖像的遷移已被確立為醫(yī)學(xué)圖像分析中最實(shí)用的方法之一。但是，為了適應(yīng)2D的自然圖像模型，3D的醫(yī)學(xué)圖像必須轉(zhuǎn)化為2D切片，導(dǎo)致丟失了豐富的3D解剖信息，并損害了模型性能。為克服此限制，Chen等[27]設(shè)計(jì)了一個(gè)異構(gòu)3D網(wǎng)絡(luò)，如圖6所示，將人體8個(gè)不同部位的醫(yī)學(xué)圖像作為源數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，然后進(jìn)行肝臟分割和肺結(jié)節(jié)分類任務(wù)，該方法屬于跨域的遷移學(xué)習(xí)，通過設(shè)計(jì)多分支解碼器解決類不平衡問題，實(shí)驗(yàn)結(jié)果表明該遷移方法性能明顯優(yōu)于以前的模型。

圖6 異構(gòu)3D網(wǎng)絡(luò)框架Fig.6 Heterogeneous 3D network framework

Zhou等[28]建立了一組稱為“Models Genesis”的自監(jiān)督模型。為了利用醫(yī)學(xué)圖像的空間信息，該方法使用3D-Unet作為網(wǎng)絡(luò)架構(gòu)的骨干網(wǎng)絡(luò)，在預(yù)訓(xùn)練階段，作者使用多域源數(shù)據(jù)，例如ImageNet、X射線圖像、MRI等，這使預(yù)訓(xùn)練網(wǎng)絡(luò)模型學(xué)習(xí)到更多圖像特征，從而加強(qiáng)遷移學(xué)習(xí)的效果。實(shí)驗(yàn)證明，雖然“Models Genesis”模型性能領(lǐng)先于2D方法，但在3D數(shù)據(jù)中從頭開始學(xué)習(xí)的模型不一定比從2D數(shù)據(jù)中或從ImageNet遷移學(xué)習(xí)獲得更好的性能。Huang等[29]探索超聲圖像分割的跨組織/器官遷移學(xué)習(xí)方法，將超聲圖像分割的知識(shí)從肌腱圖像遷移到乳腺腫瘤圖像，將U-net架構(gòu)與殘差塊結(jié)合，以充分利用兩個(gè)組件的優(yōu)勢(shì)，實(shí)驗(yàn)結(jié)果顯示，殘差結(jié)構(gòu)能夠避免過擬合問題，經(jīng)過修改的U-net能夠使遷移效果更明顯，但是3D網(wǎng)絡(luò)架構(gòu)占用過多計(jì)算資源，訓(xùn)練時(shí)間過長(zhǎng)。

表3 對(duì)醫(yī)學(xué)圖像中基于特征提取的遷移方法進(jìn)行了總結(jié)分析，從表中可以看出，大部分研究也使用ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，不同之處是，預(yù)訓(xùn)練好的網(wǎng)絡(luò)還要使用與目標(biāo)數(shù)據(jù)相似或者目標(biāo)數(shù)據(jù)的一部分進(jìn)行微調(diào)，使網(wǎng)絡(luò)更加適合處理目標(biāo)任務(wù)，可在一定程度上降低自然圖像與醫(yī)學(xué)圖像的差異。但是該類方法目前主要用于2D數(shù)據(jù)，遷移到3D醫(yī)學(xué)圖像時(shí)，會(huì)浪費(fèi)3D圖像的空間信息。雖然上述研究在各類評(píng)價(jià)指標(biāo)下顯示了較好的實(shí)驗(yàn)效果，但不同的微調(diào)策略會(huì)影響模型的性能，目前提出的微調(diào)策略主要是多尺度特征遷移，通過微調(diào)不同的網(wǎng)絡(luò)層來學(xué)習(xí)目標(biāo)數(shù)據(jù)的特征。但是對(duì)于不同遷移框架、不同網(wǎng)絡(luò)層中學(xué)習(xí)到的知識(shí)并不是都值得遷移的，為更好地了解CNN決策機(jī)制，找出更值得遷移的網(wǎng)絡(luò)層，未來可以探索可靠的可視化技術(shù)，提升遷移學(xué)習(xí)框架的性能。

表3 基于特征提取的遷移方法特征Table 3 Transfer learning based on feature extraction

2.3 基于特征映射的遷移

基于特征映射的遷移方法的主要思想是：兩個(gè)域之間存在差異，但經(jīng)過設(shè)計(jì)映射到新的數(shù)據(jù)空間后，可能更加相似。該方法通過調(diào)整源域數(shù)據(jù)的邊際分布或條件分布后進(jìn)行特征映射，以擴(kuò)大訓(xùn)練集的規(guī)模，增強(qiáng)遷移學(xué)習(xí)的效果[30]。

相比基于特征提取的遷移方法，基于特征映射的遷移學(xué)習(xí)更加復(fù)雜。首先，要找到源域和目標(biāo)域之間共同的特征表示，再將數(shù)據(jù)從原始特征空間映射到新的特征空間中。在新的特征空間中，源域與目標(biāo)域的數(shù)據(jù)分布相同，可以更好利用已有的經(jīng)過標(biāo)注的數(shù)據(jù)樣本進(jìn)行模型訓(xùn)練，例如Indraswari等[31]提出了用于3D醫(yī)學(xué)圖像分割的多投影網(wǎng)絡(luò)，可以通過應(yīng)用2D內(nèi)核進(jìn)行資源存儲(chǔ)，同時(shí)通過合并來自3D圖像不同平面投影的切片獲取空間特征，從而獲得良好的分割結(jié)果，網(wǎng)絡(luò)架構(gòu)如圖7所示，研究表明，擬議的網(wǎng)絡(luò)使用加權(quán)成本函數(shù)可以解決不平衡數(shù)據(jù)集問題，提高2D圖像遷移到3D圖像的效果。

圖7 多投影網(wǎng)絡(luò)架構(gòu)Fig.7 Architecture of multi-projection network

Du等[32]提出一種從DICOM數(shù)據(jù)中提取標(biāo)簽的遷移方法，該標(biāo)簽提供有關(guān)掃描外觀的信息，用以訓(xùn)練醫(yī)學(xué)圖像領(lǐng)域3D卷積神經(jīng)網(wǎng)絡(luò)，該研究從大量的癌癥成像數(shù)據(jù)集中提取了標(biāo)簽，實(shí)驗(yàn)證明，該方法可以有效提高遷移學(xué)習(xí)的效果。Zhou等[33]提出了一種無監(jiān)督的預(yù)訓(xùn)練方法C2L，使用的源數(shù)據(jù)是無標(biāo)記的X射線圖像，該方法通過比較不同的圖像特征遷移有用的知識(shí)。實(shí)驗(yàn)結(jié)果表明，C2L方法明顯勝過ImageNet預(yù)訓(xùn)練的遷移方法。Li等[34]提出對(duì)齊數(shù)據(jù)分布的遷移學(xué)習(xí)方法，用以減少不同數(shù)據(jù)集之間的差異，并提高訓(xùn)練樣本不足的數(shù)據(jù)集的分類準(zhǔn)確性，實(shí)驗(yàn)結(jié)果顯示，與僅基于原始小數(shù)據(jù)集的模型相比，準(zhǔn)確性提高了約20%。Virk等[35]為解決網(wǎng)絡(luò)模型參數(shù)量過大問題，提出了一種半監(jiān)督的輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)，預(yù)訓(xùn)練使用的源數(shù)據(jù)是多個(gè)身體部位的CT圖像，遷移到身體部位分類任務(wù)，研究結(jié)果證明了較小的網(wǎng)絡(luò)結(jié)構(gòu)以學(xué)習(xí)更多有意義的特征并避免過度參數(shù)化。Manzo等[36]使用ImageNet預(yù)訓(xùn)練多種CNN模型，用作特征提取器，該框架在平行空間上訓(xùn)練各個(gè)分類器，并通過統(tǒng)計(jì)量度將提供的預(yù)測(cè)進(jìn)行組合。實(shí)驗(yàn)證明，該方法可以綜合各種CNN提取的特征，并給出組合權(quán)重，提升遷移學(xué)習(xí)的效果。

表4 對(duì)基于特征映射的遷移方法進(jìn)行了總結(jié)分析，可以看出，大多數(shù)研究是針對(duì)跨領(lǐng)域的遷移，采取在源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間引入一種度量來減少域差異的策略，并且取得了不錯(cuò)的成果。該類方法面臨的主要問題是如何減少領(lǐng)域之間的差異，所以探索有效的領(lǐng)域特征對(duì)齊方法仍是未來研究的重點(diǎn)。

表4 基于特征映射的遷移特征Table 4 Transfer learning based on feature mapping

2.4 三種遷移方法的比較

表5 對(duì)上述三種遷移學(xué)習(xí)方法，從遷移策略、適用場(chǎng)景、優(yōu)勢(shì)以及局限性等方面進(jìn)行了比較，可以看出，每種遷移學(xué)習(xí)方法都能在一定程度上緩解醫(yī)學(xué)圖像數(shù)據(jù)缺乏的問題。但是由于遷移策略和適用場(chǎng)景的不同，每種遷移學(xué)習(xí)方法也有各自的局限性。基于模型參數(shù)的遷移是初期使用的一種方法，這種方法局限性較大，需要源域和目標(biāo)域較為相似，對(duì)于醫(yī)學(xué)圖像處理領(lǐng)域較為困難。目前主流的遷移方法是基于特征提取的遷移，不同研究通過制定不同的微調(diào)策略來減少該方法的局限性，微調(diào)策略的優(yōu)化是該類方法的下一步目標(biāo)?；谔卣饔成涞倪w移近年來是研究的熱點(diǎn)，該方法理論上可以解決源域和目標(biāo)域數(shù)據(jù)分布不一致問題，從而徹底解決醫(yī)學(xué)數(shù)據(jù)缺乏的問題，但是目前研究還不夠完善，未來跨領(lǐng)域特征對(duì)齊是該方法的研究重點(diǎn)。

表5 三種遷移學(xué)習(xí)方法總結(jié)Table 5 Summary of three transfer learning methods

3 遷移學(xué)習(xí)與其他新技術(shù)的結(jié)合

上述遷移學(xué)習(xí)策略及模型在一定程度上提升了深度神經(jīng)網(wǎng)絡(luò)對(duì)醫(yī)學(xué)圖像分析的性能，但仍有改善空間。近期，一些研究嘗試將遷移學(xué)習(xí)與生成對(duì)抗網(wǎng)絡(luò)、注意力機(jī)制、自監(jiān)督學(xué)習(xí)等新技術(shù)結(jié)合，用于醫(yī)學(xué)圖像分析，取得了良好的效果，網(wǎng)絡(luò)性能也得到進(jìn)一步提升和改善。

3.1 遷移學(xué)習(xí)結(jié)合生成對(duì)抗網(wǎng)絡(luò)

增加訓(xùn)練樣本是提升神經(jīng)網(wǎng)絡(luò)性能的重要途徑之一，GAN是近年應(yīng)用比較廣泛的一種數(shù)據(jù)增強(qiáng)方法，該方法能夠生成與真實(shí)樣本相似的虛假樣本，從而可以擴(kuò)充訓(xùn)練樣本，達(dá)到提升模型性能的效果。

Liao等[37]提出了一種基于對(duì)抗訓(xùn)練的多模態(tài)遷移學(xué)習(xí)網(wǎng)絡(luò)，如圖8所示。該網(wǎng)絡(luò)首先通過生成器網(wǎng)絡(luò)重構(gòu)MRI圖像，然后利用鑒別器網(wǎng)絡(luò)對(duì)重構(gòu)的MRI圖像進(jìn)行優(yōu)化，最后將網(wǎng)絡(luò)從MRI圖像（源域）遷移到CT圖像（目標(biāo)域），提高了CT圖像病灶分割的精確性，驗(yàn)證了遷移學(xué)習(xí)與GAN結(jié)合的有效性。

圖8 基于對(duì)抗訓(xùn)練的多模態(tài)遷移學(xué)習(xí)網(wǎng)絡(luò)Fig.8 Multimodal transfer learning network based on confrontation training

肖兒良等[38]基于遷移學(xué)習(xí)，對(duì)WGAN-GP模型[39]進(jìn)行了改進(jìn)，提出Transfer-WGAN-GP，用于CT圖像與MRI-T2圖像融合。該網(wǎng)絡(luò)首先利用生成器與鑒別器得到一個(gè)初始化參數(shù)的網(wǎng)絡(luò)，然后微調(diào)網(wǎng)絡(luò)參數(shù)，將其遷移到CT與MRI-T2圖像的融合網(wǎng)絡(luò)中繼續(xù)訓(xùn)練，最終得到包含兩種源圖像語義信息的融合圖像。

雖然GAN可以生成逼真的自然圖像，但應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域仍存在很多問題，例如生成的樣本質(zhì)量有待提升、梯度消失、訓(xùn)練不穩(wěn)定、模式崩潰等[40]。另外，現(xiàn)有比較典型的GAN都是2D網(wǎng)絡(luò)架構(gòu)，不能解決3D醫(yī)學(xué)圖像樣本缺乏的問題，所以，利用GAN技術(shù)擴(kuò)充醫(yī)學(xué)圖像樣本仍是一個(gè)值得繼續(xù)研究的領(lǐng)域。

3.2 遷移學(xué)習(xí)結(jié)合注意力機(jī)制

注意力機(jī)制自提出就一直是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)。對(duì)于醫(yī)學(xué)圖像領(lǐng)域，注意力機(jī)制可以自動(dòng)聚焦圖像中對(duì)疾病診斷重要的關(guān)鍵部分，從而提升模型性能。

Cha等[41]提出一種基于注意力機(jī)制的遷移學(xué)習(xí)框架，如圖9所示，該網(wǎng)絡(luò)從三個(gè)預(yù)訓(xùn)練模型中收集特征，然后將注意力機(jī)制作為特征選擇器，使實(shí)驗(yàn)結(jié)果的準(zhǔn)確率達(dá)到96.63%，相比基線，準(zhǔn)確性提升了1.28%。

圖9 基于注意力的遷移學(xué)習(xí)框架Fig.9 Transfer learning framework based on attention

Tan等[42]提出一種基于注意力和遷移學(xué)習(xí)的腦電信號(hào)分類的新方法，通過考慮不同大腦功能區(qū)的重要性，提高了腦電圖分類的準(zhǔn)確性。該方法將ImageNet作為源域，將腦電圖作為目標(biāo)域，應(yīng)用基于注意力的遷移學(xué)習(xí)框架，不僅獲得了腦電圖標(biāo)簽，還獲得了一個(gè)額外的注意力圖來反映人腦的活動(dòng)。Guy-fernand等[43]利用預(yù)先訓(xùn)練的注意機(jī)制完成腦腫瘤分類的任務(wù)，然后在特定的受限數(shù)據(jù)集上使用遷移學(xué)習(xí)尋找腦腫瘤的相關(guān)區(qū)域，也獲得了比以往研究更高的分類精度。

上述研究表明，注意力機(jī)制可以一定程度上提升模型的準(zhǔn)確性，但是也會(huì)占用過多計(jì)算資源。近年來各種輕量級(jí)注意力機(jī)制被提出，例如Wang等[44]提出的ECA-Net，Zhang等[45]提出的SA-Net。但是注意力機(jī)制輕量化會(huì)損失一定模型精度，所以如何在保證精度的前提下，將輕量化注意力機(jī)制與遷移學(xué)習(xí)方法更有效地結(jié)合，是需要研究的問題。

3.3 遷移學(xué)習(xí)結(jié)合自監(jiān)督學(xué)習(xí)

醫(yī)學(xué)圖像的標(biāo)注是醫(yī)學(xué)圖像分析面臨的另一個(gè)難題，為了解決這一問題，一些研究將遷移學(xué)習(xí)與自監(jiān)督學(xué)習(xí)結(jié)合，首先通過設(shè)計(jì)前置任務(wù)，使用其他數(shù)據(jù)的信息來預(yù)測(cè)目標(biāo)數(shù)據(jù)的信息，挖掘出大規(guī)模數(shù)據(jù)的潛在規(guī)律，進(jìn)而學(xué)習(xí)有助于提升目標(biāo)任務(wù)性能的特征；然后通過“預(yù)訓(xùn)練+微調(diào)”等方式，將學(xué)習(xí)到的通用特征應(yīng)用到目標(biāo)任務(wù)。

Zhuang等[46]提出的前置任務(wù)將3D醫(yī)學(xué)圖像集進(jìn)行切割，然后對(duì)這些樣本隨機(jī)打亂，再對(duì)打亂的樣本進(jìn)行排序和定向恢復(fù)，實(shí)驗(yàn)表明，通過這種方法，神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)更多的空間特征，但是對(duì)3D醫(yī)學(xué)圖像，預(yù)訓(xùn)練的權(quán)重只適用于全卷積網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）的編碼器部分，解碼器部分仍需隨機(jī)初始化，這可能會(huì)破壞預(yù)訓(xùn)練的成果并抵消預(yù)訓(xùn)練提升的模型性能。Zhu等[47]提出了名為“Rubik’s cube+”的前置任務(wù)，對(duì)Zhuang等提出的方法進(jìn)行了改進(jìn)，解決了目標(biāo)任務(wù)為圖像分割時(shí)隨機(jī)初始化解碼器的問題，實(shí)驗(yàn)表明，該方法預(yù)訓(xùn)練的CNN模型針對(duì)醫(yī)學(xué)圖像分割的遷移具有良好性能。Tao等[48]隨后提出“Rubik’s cube++”，使用自然視頻數(shù)據(jù)進(jìn)行CNN模型預(yù)訓(xùn)練，并將其遷移到3D醫(yī)學(xué)圖像分割任務(wù)，進(jìn)一步提升了分割精度，缺點(diǎn)是占用計(jì)算資源過多，訓(xùn)練時(shí)間過長(zhǎng)，其架構(gòu)如圖10所示。

圖10 Rubik’s cube++架構(gòu)Fig.10 Architecture of Rubik’s cube++

醫(yī)學(xué)圖像分析對(duì)模型的精確度有較高要求，自監(jiān)督學(xué)習(xí)的精確度目前還不能達(dá)到監(jiān)督訓(xùn)練的水平，因此一些研究將半監(jiān)督與遷移學(xué)習(xí)結(jié)合，半監(jiān)督技術(shù)通常使用少量已標(biāo)注樣本進(jìn)行訓(xùn)練，然后使用該模型預(yù)測(cè)未標(biāo)記樣本得到偽標(biāo)簽，再加入訓(xùn)練集，從而擴(kuò)大訓(xùn)練集，提升模型精度。例如，Li等[49]提出一種半監(jiān)督技術(shù)，通過已標(biāo)注數(shù)據(jù)和未標(biāo)注數(shù)據(jù)的正則化損失與少量標(biāo)注數(shù)據(jù)的監(jiān)督損失的加權(quán)組合來優(yōu)化網(wǎng)絡(luò)，在三個(gè)醫(yī)學(xué)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，與現(xiàn)有的方法相比取得不錯(cuò)成果。因此，半監(jiān)督技術(shù)與遷移學(xué)習(xí)的結(jié)合也將是未來研究的方向之一。

除了上述研究，還有一些研究將聯(lián)合學(xué)習(xí)與遷移學(xué)習(xí)相結(jié)合，在目標(biāo)數(shù)據(jù)集很小的醫(yī)學(xué)圖像應(yīng)用中，基于遷移學(xué)習(xí)的聯(lián)合學(xué)習(xí)方法可以有效改善網(wǎng)絡(luò)的泛化性和魯棒性[50]。例如Heker等[51]將兩種方法組合，解決肝臟病變的分割和分類問題，研究表明，簡(jiǎn)單的聯(lián)合框架勝過常用的多任務(wù)體系結(jié)構(gòu)Y-Net，實(shí)驗(yàn)結(jié)果也顯示，與Y-Net相比，該研究方法的分類準(zhǔn)確率提高了3%，實(shí)現(xiàn)了10%的分類準(zhǔn)確率的提高。

表6 對(duì)上述研究進(jìn)行了總結(jié)，這些研究打破了傳統(tǒng)遷移方法單一傳遞參數(shù)的壁壘，都取得了一定的成果。首先，遷移學(xué)習(xí)與生成對(duì)抗技術(shù)結(jié)合，有效解決了醫(yī)學(xué)數(shù)據(jù)缺少的問題，但是目前針對(duì)3D醫(yī)學(xué)圖像的生成技術(shù)仍不成熟。其次，注意力機(jī)制是當(dāng)前研究界的熱點(diǎn)，與遷移學(xué)習(xí)方法結(jié)合，可以有效提升遷移后的模型精確度，但是注意力機(jī)制的計(jì)算量較大，耗費(fèi)計(jì)算資源過多，所以輕量化注意力機(jī)制的研究將是未來的研究熱點(diǎn)。最后，為了解決醫(yī)學(xué)數(shù)據(jù)標(biāo)注難的問題，許多研究將自監(jiān)督和半監(jiān)督技術(shù)與遷移學(xué)習(xí)結(jié)合，但是基于該類方法的模型精確度很難超過有監(jiān)督技術(shù)，這將是后續(xù)研究需要關(guān)注的問題。

表6 其他遷移方法的特征Table 6 Other transfer learning methods

4 研究展望

綜上，通過整理近年遷移學(xué)習(xí)在醫(yī)學(xué)圖像分析中的研究，可以發(fā)現(xiàn)，雖然遷移學(xué)習(xí)在解決醫(yī)學(xué)圖像樣本缺乏方面發(fā)揮了重要作用，但距離實(shí)際應(yīng)用仍有一定差距，還有很多問題需要進(jìn)一步研究、探討和解決。下文從醫(yī)學(xué)圖像分析目前所面臨的問題入手，分析了現(xiàn)有解決方法的不足并對(duì)相關(guān)領(lǐng)域未來的研究方向及需要解決的問題進(jìn)行了總結(jié)和展望。

4.1 醫(yī)學(xué)圖像數(shù)據(jù)集缺乏

缺乏足夠的訓(xùn)練樣本是醫(yī)學(xué)圖像分析面臨的難題之一。針對(duì)這一問題，現(xiàn)有的解決方法如下：

（1）利用遷移學(xué)習(xí)，通過使用源域樣本進(jìn)行預(yù)訓(xùn)練，再使用少量目標(biāo)域樣本微調(diào)網(wǎng)絡(luò)，以降低CNN對(duì)目標(biāo)數(shù)據(jù)量的依賴。但是現(xiàn)有研究針對(duì)不同醫(yī)學(xué)圖像，不同病灶的特點(diǎn)，設(shè)計(jì)了不同的預(yù)訓(xùn)練模型，這些模型的選取及后續(xù)微調(diào)策略的設(shè)置均沒有統(tǒng)一的衡量標(biāo)準(zhǔn)，不具有一般性和普遍適應(yīng)性，不利于未來的實(shí)際應(yīng)用。

（2）利用生成對(duì)抗網(wǎng)絡(luò)，生成仿真的醫(yī)學(xué)圖像樣本，從而增加訓(xùn)練樣本，提升網(wǎng)絡(luò)模型精度。但是目前利用生成對(duì)抗網(wǎng)絡(luò)所生成的醫(yī)學(xué)圖像仍局限于2D圖像，在生成3D醫(yī)學(xué)圖像方面，存在的問題較多。

（3）還有一些研究將聯(lián)合學(xué)習(xí)與遷移學(xué)習(xí)結(jié)合，使用不同源域的樣本補(bǔ)充訓(xùn)練數(shù)據(jù)，取得了不錯(cuò)的成果，但是聯(lián)合學(xué)習(xí)使用不同源域的數(shù)據(jù)進(jìn)行特征學(xué)習(xí)，可能會(huì)造成知識(shí)的負(fù)遷移，另外，較深的網(wǎng)絡(luò)也可能造成計(jì)算資源的浪費(fèi)。

針對(duì)以上三種解決方法，本文認(rèn)為，首先分析各種醫(yī)學(xué)圖像的普遍特點(diǎn)，研究并探討統(tǒng)一的、具有普適性的遷移學(xué)習(xí)框架和預(yù)訓(xùn)練模型，應(yīng)該是未來需要關(guān)注和進(jìn)一步研究的內(nèi)容。其次，由于醫(yī)學(xué)圖像大多是3D的，如何利用生成對(duì)抗網(wǎng)絡(luò)生成3D醫(yī)學(xué)圖像是未來此領(lǐng)域的研究方向之一。最后，如何將聯(lián)合學(xué)習(xí)與遷移學(xué)習(xí)更好地結(jié)合，避免或緩解領(lǐng)域不同帶來的負(fù)遷移問題是值得進(jìn)一步研究的問題。

4.2 醫(yī)學(xué)圖像標(biāo)注困難

醫(yī)學(xué)圖像不同于自然圖像，需要專業(yè)且經(jīng)驗(yàn)豐富的醫(yī)生進(jìn)行標(biāo)注，所以醫(yī)學(xué)圖像的標(biāo)注成為醫(yī)學(xué)圖像分析面臨的難題。針對(duì)這一問題，目前一些研究將自監(jiān)督技術(shù)與遷移學(xué)習(xí)結(jié)合，應(yīng)用于醫(yī)學(xué)圖像分析。自監(jiān)督技術(shù)通過訓(xùn)練大量無標(biāo)記樣本，學(xué)習(xí)其中特征的潛在關(guān)系，解決醫(yī)學(xué)圖像標(biāo)注難的問題。但是醫(yī)學(xué)圖像分析任務(wù)對(duì)于精確度具有較高的要求，自監(jiān)督技術(shù)的精確度還有待提高。因此，一些研究將遷移學(xué)習(xí)與半監(jiān)督技術(shù)結(jié)合，通過訓(xùn)練少量有標(biāo)注數(shù)據(jù)，然后進(jìn)行大量無標(biāo)注數(shù)據(jù)的預(yù)測(cè)，獲得偽標(biāo)簽，再進(jìn)行模型的訓(xùn)練，在保證解決標(biāo)注難的問題上，提升了網(wǎng)絡(luò)模型的精確度。

因此，針對(duì)醫(yī)學(xué)圖像標(biāo)注困難的問題，本文認(rèn)為，自監(jiān)督技術(shù)仍是研究瓶頸，探索半監(jiān)督技術(shù)、遷移學(xué)習(xí)和聯(lián)邦學(xué)習(xí)有效結(jié)合方式，以及有效的偽標(biāo)簽生成方法，將是未來解決醫(yī)學(xué)圖像標(biāo)注難問題的重要手段和研究方向。

4.3 模型精度有待提高

深度學(xué)習(xí)模型的精度對(duì)訓(xùn)練樣本量具有很強(qiáng)的依賴性，由于醫(yī)學(xué)圖像缺乏樣本，標(biāo)注困難等問題，導(dǎo)致網(wǎng)絡(luò)模型的精度提升較為緩慢。近期，一些研究將注意力機(jī)制結(jié)合遷移學(xué)習(xí)應(yīng)用于醫(yī)學(xué)圖像分析，其中注意力機(jī)制可使網(wǎng)絡(luò)模型關(guān)注于目標(biāo)任務(wù)相關(guān)的圖像特征，從而使精度得到大幅度提升。但注意力機(jī)制占用計(jì)算資源過多，訓(xùn)練時(shí)間較長(zhǎng)。

針對(duì)神經(jīng)網(wǎng)絡(luò)模型精度提升緩慢的問題，注意力機(jī)制是解決這個(gè)問題的關(guān)鍵，但是目前能夠使模型精度有較大提升的注意力機(jī)制大都存在計(jì)算復(fù)雜，占用過多內(nèi)存的問題，所以輕量級(jí)注意力機(jī)制的探索是十分有必要的。因此，探索輕量級(jí)注意力機(jī)制與遷移學(xué)習(xí)結(jié)合的有效途徑，在提高精度的同時(shí)，降低計(jì)算量和資源使用量，是未來需要關(guān)注的研究方向。

5 總結(jié)

深度學(xué)習(xí)技術(shù)在計(jì)算機(jī)視覺方面取得了顯著的成果，但是數(shù)據(jù)量不足和標(biāo)注困難使其在醫(yī)學(xué)圖像分析領(lǐng)域所取得的進(jìn)步相比自然領(lǐng)域較為緩慢。近年，一些研究利用遷移學(xué)習(xí)技術(shù)，或者通過將遷移學(xué)習(xí)與其他新技術(shù)結(jié)合，在解決這兩個(gè)難題方面，取得了一定成果。本文首先對(duì)這些研究進(jìn)行了調(diào)查、研究和總結(jié)，證明了遷移學(xué)習(xí)技術(shù)的有效性，然后分析了現(xiàn)有研究的不足，對(duì)未來研究方向進(jìn)行了展望?？傊?，遷移學(xué)習(xí)對(duì)于解決醫(yī)學(xué)圖像數(shù)據(jù)集不足，是一種有效的途徑，但是要達(dá)到實(shí)際應(yīng)用，仍有一些問題需要進(jìn)一步研究、探索和解決。