醫(yī)學(xué)圖像處理中的注意力機(jī)制研究綜述

陳朝一，許 波，吳 英，吳凱文

1.廣東財(cái)經(jīng)大學(xué) 信息學(xué)院，廣州 510320

2.暨南大學(xué)附屬第一醫(yī)院 超聲科，廣州 510630

深度學(xué)習(xí)作為當(dāng)下最熱門(mén)的研究方向之一，與現(xiàn)有基于規(guī)則的算法或深度學(xué)習(xí)以外的機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)表現(xiàn)出卓越的特征提取能力和性能。因此，它被廣泛應(yīng)用于醫(yī)學(xué)領(lǐng)域，包括自動(dòng)診斷[1]、反應(yīng)評(píng)估[2]和生存預(yù)測(cè)[3]。尤其是在醫(yī)學(xué)圖像處理領(lǐng)域，醫(yī)學(xué)圖像重建[4]、合成[5]、高分辨率圖像恢復(fù)[6]以及圖像去噪[7]等方面的研究成果顯著。

隨著為患者定制精準(zhǔn)醫(yī)療的趨勢(shì)越來(lái)越明顯，醫(yī)學(xué)圖像分析的方式也從傳統(tǒng)的定性分析轉(zhuǎn)變?yōu)槎糠治鯷8]，通過(guò)從醫(yī)學(xué)圖像中提取特征來(lái)做出更復(fù)雜的預(yù)測(cè)。在這個(gè)過(guò)程中，除了基于機(jī)器學(xué)習(xí)的影像組學(xué)技術(shù)[9-10]，最近正在積極研究使用深度學(xué)習(xí)的深度特征提取[11]、病變檢測(cè)[12]和分割技術(shù)[13-14]。有研究表明，可以通過(guò)計(jì)算機(jī)輔助診斷系統(tǒng)來(lái)提高專(zhuān)家的診斷準(zhǔn)確性[15]，甚至有報(bào)道稱(chēng)這些人工智能算法可以為某些部門(mén)進(jìn)行專(zhuān)家級(jí)的分析[16]和診斷[17]。

然而迄今為止開(kāi)發(fā)的大多數(shù)深度學(xué)習(xí)模型最大的問(wèn)題是很難從檢測(cè)和分割結(jié)果中明確發(fā)現(xiàn)深度學(xué)習(xí)模型判斷的依據(jù)，即無(wú)法深入理解深度學(xué)習(xí)模型在圖像的哪個(gè)部分做出了這樣的判斷[18]。因此，深度學(xué)習(xí)模型通常被稱(chēng)為“黑盒”，因?yàn)槿藗儫o(wú)法完全解釋它的內(nèi)部機(jī)理[19]。

因此，通過(guò)注意力機(jī)制，不僅可以驗(yàn)證深度學(xué)習(xí)模型的判斷依據(jù)，而且可以讓深度學(xué)習(xí)模型更多地關(guān)注重要特征，而較少關(guān)注不重要的特征，以達(dá)到提升深度學(xué)習(xí)模型性能的目的。在這篇綜述中，首先講述注意力機(jī)制的基礎(chǔ)知識(shí)，然后根據(jù)應(yīng)用于醫(yī)學(xué)圖像處理的最新趨勢(shì)來(lái)討論未來(lái)前景和發(fā)展方向。

1 醫(yī)學(xué)圖像處理領(lǐng)域中注意力機(jī)制的種類(lèi)

在醫(yī)學(xué)圖像處理領(lǐng)域中，注意力機(jī)制主要分為兩種類(lèi)型：（1）用于尋找深度學(xué)習(xí)模型作用區(qū)域的“顯著性檢測(cè)”（saliency detection），目的是生成熱點(diǎn)圖，該圖以定量的方式表征了場(chǎng)景不同位置吸引“注意力”的強(qiáng)度。（2）與深度學(xué)習(xí)模型同時(shí)訓(xùn)練的“視覺(jué)注意力模型”（visual attention model），目的是為了讓模型實(shí)現(xiàn)有針對(duì)性的“聚焦”，以提高模型的性能。注意力機(jī)制分類(lèi)示意圖如圖1所示。

圖1 醫(yī)學(xué)圖像中的注意力機(jī)制分類(lèi)Fig.1 Classification of attention mechanism in medical image

顯著性檢測(cè)是一種用于圖像讀取和檢測(cè)等的網(wǎng)絡(luò)推理技術(shù)，應(yīng)用于經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)，用于識(shí)別深度學(xué)習(xí)模型作用區(qū)域作為分類(lèi)或檢測(cè)的依據(jù)。類(lèi)激活映射（class activation mapping，CAM）[20]、梯度加權(quán)類(lèi)激活映射（gradient-weighted class activation mapping，Grad-CAM）[21]和顯著圖（saliency map，SM）[22]都屬于顯著性檢測(cè)，經(jīng)常被提及為可解釋的人工智能技術(shù)。

視覺(jué)注意力模型是一種“確定圖像的哪個(gè)區(qū)域要聚焦”的主動(dòng)學(xué)習(xí)聚焦技術(shù)，它將注意力機(jī)制插入到深度學(xué)習(xí)模型中，使其本質(zhì)上是跟深度學(xué)習(xí)模型一起訓(xùn)練，對(duì)根據(jù)相關(guān)性提取的特征賦予權(quán)重[23]，而不是為了檢測(cè)深度學(xué)習(xí)模型專(zhuān)注于哪個(gè)區(qū)域。通過(guò)聚焦關(guān)鍵區(qū)域，可以克服醫(yī)學(xué)圖像數(shù)據(jù)不足和偏差現(xiàn)象導(dǎo)致的性能下降問(wèn)題[24]。視覺(jué)注意力模型根據(jù)所表達(dá)的注意力區(qū)域的特點(diǎn)，大致可以分為硬注意力和軟注意力。

2 常用數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

2.1 常用數(shù)據(jù)集

目前，注意力機(jī)制在醫(yī)學(xué)圖像處理中得到了廣泛的應(yīng)用，以下介紹醫(yī)學(xué)圖像處理常用數(shù)據(jù)集。

（1）MURA[25]

這是一個(gè)大型肌肉骨骼放射圖數(shù)據(jù)集，包含來(lái)自14 863項(xiàng)研究的40 561張圖像，其中每項(xiàng)研究都被放射科醫(yī)生手動(dòng)標(biāo)記為正?；虍惓?。另外從斯坦福大學(xué)放射科醫(yī)生處收集了額外的標(biāo)簽，其中包括207項(xiàng)肌肉骨骼研究。

（2）DeepLesion[26]

這是一個(gè)擁有多種病變類(lèi)型的數(shù)據(jù)集，包含肺部結(jié)節(jié)、肝臟腫瘤、腫大的淋巴結(jié)等，來(lái)自4 427名獨(dú)特病人的10 594項(xiàng)研究，一共32 735個(gè)病變，這些病變分布在32 120個(gè)CT圖像上。

（3）NSCLC[27]

該數(shù)據(jù)集共收集了211名轉(zhuǎn)診手術(shù)治療的受試者的臨床和CT成像數(shù)據(jù)，并從切除的腫瘤中獲得組織樣本。同時(shí)還收集了臨床數(shù)據(jù)，如：年齡、性別、體重、種族、吸煙狀況、TNM分期、組織病理學(xué)等級(jí)。

（4）NIH[28]

這是一個(gè)新的胸部X射線數(shù)據(jù)庫(kù)，它包含32 717名患者的108 948張正面X射線圖像，文本挖掘了8個(gè)疾病圖像標(biāo)簽（其中每個(gè)圖像可以有多標(biāo)簽）和來(lái)自使用自然語(yǔ)言處理的相關(guān)放射學(xué)報(bào)告。

（5）OASIS[29]

OASIS匯編了1 098名參與者的MRI和PET成像以及相關(guān)的臨床數(shù)據(jù)，這些數(shù)據(jù)是在華盛頓大學(xué)奈特阿爾茨海默病研究中心的幾個(gè)正在進(jìn)行的研究中收集的，時(shí)間長(zhǎng)達(dá)15年，一共超過(guò)2 000個(gè)MR片段，包括多個(gè)結(jié)構(gòu)和功能序列。

醫(yī)學(xué)圖像數(shù)據(jù)集相比自然圖像數(shù)據(jù)集有很大區(qū)別。首先，醫(yī)學(xué)圖像數(shù)據(jù)集由于涉及到病患隱私，數(shù)據(jù)不公開(kāi)是很常見(jiàn)的，導(dǎo)致收集難度較大。第二，醫(yī)學(xué)圖像數(shù)據(jù)集需要通過(guò)特殊設(shè)備生成，如X光、超聲和核磁共振等，存在對(duì)比度低、噪聲高、偽影等特點(diǎn)。第三，不同模態(tài)的圖像反應(yīng)的信息是不一樣的，比如CT看骨頭和出血的清晰度更高，而MRI顯示軟組織更好。第四，成像參數(shù)不一樣也會(huì)帶來(lái)巨大的區(qū)別，比如KV級(jí)和MV級(jí)的X光生成的圖像具有很大的差異。因此，評(píng)價(jià)實(shí)驗(yàn)結(jié)果除了要考慮算法本身以外還要看數(shù)據(jù)集的好壞。

2.2 常用評(píng)價(jià)指標(biāo)

本節(jié)介紹了醫(yī)學(xué)圖像處理中的常用評(píng)價(jià)指標(biāo)，為下文的性能評(píng)價(jià)提供基礎(chǔ)認(rèn)識(shí)。

（1）Dice系數(shù)

集合相似度度量的函數(shù)，通常用于計(jì)算兩個(gè)樣本的相似度，范圍為[0，1]。公式如下：

其中，X和Y分別代表金標(biāo)準(zhǔn)和預(yù)測(cè)結(jié)果，通常用于評(píng)價(jià)醫(yī)學(xué)圖像分割效果。

（2）Precision（精確率）

表示預(yù)測(cè)為正的樣本中有多少是真正的正樣本，公式如下：

其中，TP（true positive）表示把正樣本預(yù)測(cè)為正樣本，F(xiàn)P（false positive）表示把負(fù)樣本預(yù)測(cè)為正樣本。

（3）Recall（召回率）

表示樣本中的正例有多少被預(yù)測(cè)正確了，公式如下：

其中，F(xiàn)N（false negative）表示把正樣本預(yù)測(cè)為負(fù)樣本。精確率越高越好，召回率也越高越好，但事實(shí)上這兩者在某些情況下有矛盾。因此精確率和召回率指標(biāo)有時(shí)候會(huì)出現(xiàn)矛盾的情況，這樣就需要綜合考慮它們，最常見(jiàn)的方法就是F1分?jǐn)?shù)。

（4）F1分?jǐn)?shù)

可以通過(guò)計(jì)算F1分?jǐn)?shù)來(lái)評(píng)價(jià)性能，公式如下：

F1分?jǐn)?shù)是精確率P和召回率R的加權(quán)調(diào)和平均，可知F1綜合了精確率和召回率的結(jié)果，當(dāng)F1較高時(shí)則能說(shuō)明實(shí)驗(yàn)方法比較有效。

（5）AUC

AUC是ROC曲線下的面積，介于0.1和1之間。AUC作為數(shù)值可以直觀地評(píng)價(jià)分類(lèi)器的好壞，值越大越好。計(jì)算公式如下：

其中，rank為排名，M為正類(lèi)樣本，N為負(fù)類(lèi)樣本。AUC傾向于訓(xùn)練一個(gè)盡量不誤報(bào)的模型，也就是知識(shí)外推的時(shí)候傾向保守估計(jì)，而F1傾向于訓(xùn)練一個(gè)不放過(guò)任何可能的模型，即知識(shí)外推的時(shí)候傾向激進(jìn)。

3 顯著性檢測(cè)

為了提高深度學(xué)習(xí)性能，深度學(xué)習(xí)模型的復(fù)雜度呈指數(shù)級(jí)增長(zhǎng)，使得很難直觀地解釋模型內(nèi)部做了什么樣的處理，這在醫(yī)學(xué)圖像處理領(lǐng)域是非常致命的[30]。為了解決這個(gè)問(wèn)題，已經(jīng)有研究人員開(kāi)發(fā)出用于解釋基于卷積神經(jīng)網(wǎng)絡(luò)模型的各種方法，其中主要介紹最新研究中使用的三種代表性方法。

3.1 類(lèi)激活映射

幾乎所有知名的基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型，如U-Net[31]、ResNet[32]、DesenNet[33]和R-CNN[34]等層數(shù)都非常深，參數(shù)量很大，因此很難直觀地理解模型內(nèi)部的計(jì)算過(guò)程。CAM是一種旨在解釋深度學(xué)習(xí)模型在計(jì)算每個(gè)類(lèi)別的概率時(shí)主要關(guān)注圖像的哪一部分的方法，主要應(yīng)用于分類(lèi)和判別任務(wù)中。

首先，CAM經(jīng)過(guò)全局平均池化（global average pooling，GAP）過(guò)程，將最后的特征圖fk壓縮為卷積神經(jīng)網(wǎng)絡(luò)層之后的平均值。CAM的基本思想是，在特征圖上應(yīng)用GAP壓縮值對(duì)相應(yīng)級(jí)別的影響越高，越能形成較高的權(quán)重值。所以通過(guò)在特征圖上顯示權(quán)重值，可以顯示出圖像每個(gè)區(qū)域特定類(lèi)被激活的程度。提取CAM的公式如下：

每個(gè)符號(hào)的含義如下：SC表示模型對(duì)于C類(lèi)的輸出值，fk表示模型卷積層末尾的第k個(gè)特征圖，D表示圖像中的總像素?cái)?shù)，表示應(yīng)用于C類(lèi)權(quán)重的第k個(gè)fk，MC表示C類(lèi)的CAM。每個(gè)特征圖fk乘以其對(duì)應(yīng)的權(quán)重并求和得到CAM，因此，它具有很好地定位模型關(guān)注的部分[35]。

作為CAM應(yīng)用于醫(yī)學(xué)圖像分析的一個(gè)例子[35]，該研究團(tuán)隊(duì)使用自主開(kāi)發(fā)的用于膝關(guān)節(jié)MRI的深度學(xué)習(xí)模型MRNet，開(kāi)發(fā)了三種類(lèi)型（非特異性異常、前十字韌帶撕裂、半月板撕裂），并通過(guò)CAM確診為診斷依據(jù)。圖2為膝關(guān)節(jié)MRI，其中每幅圖像的描述如下：

圖2 CAM應(yīng)用于膝關(guān)節(jié)MRIFig.2 CAM applied to knee MRI

圖2（a）顯示腓腸肌腱有大量滲出和破裂，MRNet將其歸類(lèi)為異常。模型的CAM滲出區(qū)（箭頭）和腓腸肌腱斷裂部位（白環(huán)）顯示相對(duì)較好。這表明該模型即使只學(xué)習(xí)了疾病的分類(lèi)，也可以檢測(cè)到異常。

圖2（b）由于患者的運(yùn)動(dòng)，在嚴(yán)重偽影中顯示完整的前交叉韌帶撕裂，模型診斷該圖像為前交叉韌帶撕裂（箭頭），并且CAM也適當(dāng)?shù)丶せ盍似屏巡课弧?/p>

圖2（c）顯示完整的前交叉韌帶撕裂（箭頭），可以確認(rèn)CAM也能很好地檢測(cè)到前交叉韌帶撕裂。

圖2（d）與圖3中的其他圖像不同，這是一個(gè)CAM激活錯(cuò)誤部位的例子。從圖像上看，可以外側(cè)半月板后角撕裂，并且該模型也有膝關(guān)節(jié)異常。然而CAM激活的是前部軟組織，而不是外側(cè)半月板。這證實(shí)了雖然模型將患者歸類(lèi)為異常，但判斷的依據(jù)是錯(cuò)誤的。

從上面的結(jié)果可以看出，在大多數(shù)情況下，模型的判斷標(biāo)準(zhǔn)和實(shí)際診斷的原因是一致的，但也有不一致的情況，這說(shuō)明不能完全相信這個(gè)模型的結(jié)果[36]。除此之外，因?yàn)閷?dǎo)致這種結(jié)果的因素可以在視覺(jué)上得到確認(rèn)，所以它可以有效地用于實(shí)際的臨床診斷，并且可以起到輔助圖像醫(yī)師的作用[37]。

然而，CAM也有一定的局限性。第一，CAM受模型結(jié)構(gòu)約束，只適用于模型必須包含GAP的情況，但深度學(xué)習(xí)模型在輸出階段不一定都使用包含GAP的結(jié)構(gòu)。第二，這是一種基于分類(lèi)問(wèn)題的可視化技術(shù)，用于回歸問(wèn)題可能效果不佳。第三，它有分辨率低的缺點(diǎn)，原因是當(dāng)輸入圖像通過(guò)網(wǎng)絡(luò)時(shí)，池化很難擴(kuò)大接收區(qū)域并提取更多信息，到最后的特征圖，尺寸變得比原圖小。為了對(duì)應(yīng)原圖，在CAM的尺寸上采樣的過(guò)程中將尺寸提高到與原圖一樣大。

3.2 梯度加權(quán)類(lèi)激活映射

模型判斷在解釋基本原理，需要一種不受模型結(jié)構(gòu)約束的靈活方法，梯度加權(quán)類(lèi)激活映射（Grad-CAM）就是根據(jù)這種需要而設(shè)計(jì)的。模型中必須至少包含一個(gè)卷積神經(jīng)網(wǎng)絡(luò)層，但是在圖像處理中使用深度學(xué)習(xí)模型的情況下，大多數(shù)情況下都會(huì)使用卷積神經(jīng)網(wǎng)絡(luò)層，因此這種限制實(shí)際上對(duì)模型的靈活性影響不大。

Grad-CAM和CAM一樣，也使用與卷積神經(jīng)網(wǎng)絡(luò)層的特征圖對(duì)特定類(lèi)的影響相關(guān)的權(quán)重。通過(guò)反向傳播得到圖的每個(gè)像素的梯度值的全局平均值，并用作權(quán)重。對(duì)應(yīng)的梯度值會(huì)很大，通過(guò)對(duì)它們求平均，可以量化特定類(lèi)的特征圖的權(quán)重。差分圖可以通過(guò)反向傳播對(duì)該類(lèi)的特征圖的導(dǎo)數(shù)得到，而大部分的深度學(xué)習(xí)模型中，一階導(dǎo)數(shù)可以很容易地計(jì)算出來(lái)，所以不受模型結(jié)構(gòu)的限制，可以更靈活地應(yīng)用[21]。

作為應(yīng)用于基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分析的梯度加權(quán)激活圖的示例，Cheng等人[38]利用該模型產(chǎn)生的Grad-CAM如圖3所示。

圖3 Grad-CAM輔助解釋髖部骨折Fig.3 Grad-CAM aids in interpretation of hip fractures

從圖3第一列顯示為骨盆骨折，第二列可以看出模型的Grad-CAM也激活了骨折部分。第三列顯示沒(méi)有骨盆骨折，從第四列可以看出Grad-CAM沒(méi)有被專(zhuān)門(mén)激活。因此，Grad-CAM與CAM相比，以更局部化的形式成為可視化模型的判斷依據(jù)，為高效安全的治療提供幫助。

雖然Grad-CAM與單純的CAM技術(shù)相比，對(duì)模型形式的限制較小，但依然未能克服分辨率問(wèn)題，所以必須增大尺寸，像CAM一樣降低分辨率[39-40]。

3.3 顯著圖

顯著圖是按輸入圖像的微分計(jì)算的，假設(shè)輸入圖像的特定像素值變化相對(duì)較大，則意味著該像素對(duì)輸出值的貢獻(xiàn)更大。

如果把顯著圖看成一個(gè)公式，它是這樣的，即輸入C類(lèi)對(duì)應(yīng)的模型，輸出的微分值就成為顯著圖。如公式（8）所示：

顯著圖的特點(diǎn)是它的運(yùn)算完全獨(dú)立于模型的結(jié)構(gòu)，這就是為什么它可以靈活地應(yīng)用于兩種模型。另外由于計(jì)算輸出的是微分值，所以顯著圖可以和輸入圖像保持相同的分辨率。

在最近的一項(xiàng)研究中，深度學(xué)習(xí)被用于胸部X射線圖像的結(jié)核病篩查。該研究使用顯著圖來(lái)理解模型并幫助放射科醫(yī)生進(jìn)行視覺(jué)診斷[41]，如圖4所示。

圖4 肺結(jié)核患者和正常人的X光圖像和生成的顯著圖Fig.4 X-ray images and saliency maps of tuberculosis patients and normal people

圖4上面的兩張圖是肺結(jié)核患者的X光圖像和顯著圖。深度學(xué)習(xí)模型診斷出肺結(jié)核患者，通過(guò)顯著圖可以理解模型的判斷。右上葉因胸膜增厚呈混濁，右肺門(mén)向上偏移，在顯著性圖中，可以看出右上葉被強(qiáng)烈激活。反之，下面兩張圖是沒(méi)有疾病的人的X光圖像和顯著圖，深度學(xué)習(xí)模型誤診了這個(gè)病人為肺結(jié)核，從顯著圖可以看到注意力都集中在了右上葉，由于上葉的混濁是鎖骨和肋骨重疊造成的，由此可見(jiàn)模型判斷是錯(cuò)誤的。

然而，顯著圖在將梯度傳播到輸入階段的過(guò)程中，由于非線性激活函數(shù)等可能會(huì)出現(xiàn)梯度爆炸的問(wèn)題，因此顯示的熱圖中會(huì)出現(xiàn)噪聲[42]。由于高維信息不使用壓縮特征圖，因此定位能力較差[41，43]。此外，如果出現(xiàn)數(shù)據(jù)集不足或者缺乏醫(yī)生標(biāo)注的標(biāo)簽時(shí)，可能無(wú)法達(dá)到理想效果。

綜上，CAM是適用于包含GAP的情況，在靈活性上要比Grad-CAM和SM差，而Grad-CAM因?yàn)橹恍枰矸e神經(jīng)網(wǎng)絡(luò)，而且得到每個(gè)特征圖的權(quán)重，所以在靈活性和準(zhǔn)確性要比CAM好。顯著圖的特點(diǎn)是它的運(yùn)算完全獨(dú)立于模型的結(jié)構(gòu)，所以它的靈活性要比CAM好。另外顯著圖可以和輸入圖像保持相同的分辨率，而CAM和Grad-CAM都要降低分辨率。為了更直觀表達(dá)每種顯著性檢測(cè)的優(yōu)缺點(diǎn)，表1對(duì)每種顯著性檢測(cè)的優(yōu)缺點(diǎn)進(jìn)行了總結(jié)評(píng)價(jià)，其中+號(hào)表示正得分，-號(hào)表示負(fù)得分。表2總結(jié)了每種顯著性檢測(cè)在醫(yī)學(xué)圖像處理中的應(yīng)用案例。

表1 顯著性檢測(cè)的優(yōu)缺點(diǎn)評(píng)價(jià)Table 1 Evaluation of advantages and disadvantages of saliency detection

表2 顯著性檢測(cè)在醫(yī)學(xué)圖像處理中的應(yīng)用案例Table 2 Application cases of saliency detectionin medical image processing

4 視覺(jué)注意力模型

前面介紹的顯著性檢測(cè)，是一種通過(guò)將其應(yīng)用于已經(jīng)學(xué)習(xí)過(guò)的模型來(lái)確認(rèn)判斷基礎(chǔ)的技術(shù)，但對(duì)性能提升沒(méi)有直接貢獻(xiàn)。它不會(huì)直接對(duì)性能提升做出貢獻(xiàn)，另一方面，視覺(jué)注意力模型可以讓網(wǎng)絡(luò)更多地關(guān)注重要特征，而較少關(guān)注不重要的特征。

視覺(jué)注意力模型主要分為硬注意力和軟注意力，硬注意力和軟注意力最大的區(qū)別在于創(chuàng)建的熱點(diǎn)圖的形式。在硬注意力的情況下，生成的熱點(diǎn)圖是一個(gè)二值掩碼的形式，其中重要的特征區(qū)域?yàn)?，其余的為0，關(guān)注區(qū)域中只存在一個(gè)特定的區(qū)域，而不是整個(gè)圖像。另一方面，由于裁剪的過(guò)程是非可微，它無(wú)法通過(guò)深度學(xué)習(xí)的反向傳播算法訓(xùn)練，訓(xùn)練過(guò)程往往是通過(guò)強(qiáng)化學(xué)習(xí)（reinforcement learning）來(lái)完成的[44-45]。另一方面，軟注意力通常比硬注意力需要更多的內(nèi)存和算力，但它的創(chuàng)建過(guò)程是可微的，因此它的優(yōu)點(diǎn)是可以輕松地使用反向傳播算法以及一般深度學(xué)習(xí)進(jìn)行端到端學(xué)習(xí)模型，所以比硬注意力更積極地被使用。

4.1 硬注意力

硬注意力單純從技術(shù)本身來(lái)說(shuō)它的復(fù)雜度比軟注意力要高，因?yàn)槭褂梅聪騻鞑ニ惴ê茈y進(jìn)行端到端的學(xué)習(xí)，必須使用強(qiáng)化學(xué)習(xí)。在這篇綜述中，介紹了硬注意力的相關(guān)研究，以幫助讀者理解基礎(chǔ)知識(shí)。使用循環(huán)注意力模型（recurrent attention model，RAM）是基于強(qiáng)化學(xué)習(xí)的硬注意力模型，它循環(huán)搜索包含核心信息的區(qū)域，并利用循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）和強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練。

第一次將這種方法應(yīng)用于醫(yī)學(xué)圖像處理的是Guan等人[46]，該方法與現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(luò)的方法相比，即使參數(shù)少得多，也表現(xiàn)出相對(duì)更好的性能。然而由于該方法是基于圖像塊的方法，提取的信息有限，因此可能需要非常大量的訓(xùn)練迭代才能訪問(wèn)到核心區(qū)域。這種方法與基于CAM的熱點(diǎn)圖提取略有不同，其中基于CAM的方法使RAM依據(jù)特定類(lèi)別的權(quán)重來(lái)顯示關(guān)注的區(qū)域，硬注意力不同之處在于該模型不使用權(quán)重，而是表現(xiàn)模型在計(jì)算過(guò)程中整體關(guān)注的部分。實(shí)驗(yàn)結(jié)果顯示，使用全局和局部圖像的融合模塊的分類(lèi)準(zhǔn)確度高于每個(gè)全局模塊和局部模塊的準(zhǔn)確度。然而對(duì)于病理范圍較廣的疾病，例如肺不張或心臟肥大，融合區(qū)域模塊有時(shí)會(huì)導(dǎo)致性能下降，推測(cè)這是因?yàn)樵诖竺娣e中存在的疾病的信息丟失，這對(duì)準(zhǔn)確分類(lèi)產(chǎn)生了不利影響。

因此，硬注意力機(jī)制可以分析模型關(guān)注的區(qū)域，并且可以讓模型更多地關(guān)注核心區(qū)域來(lái)獲得額外的性能改進(jìn)。硬注意力等視覺(jué)注意力模型的優(yōu)勢(shì)在于，它通過(guò)允許網(wǎng)絡(luò)自行創(chuàng)建焦點(diǎn)區(qū)域，而無(wú)需創(chuàng)建邊界框來(lái)引導(dǎo)該區(qū)域聚焦，從而能夠?qū)^(qū)域進(jìn)行更精確的分析[47]。

但是，硬注意力機(jī)制的缺點(diǎn)是實(shí)現(xiàn)起來(lái)不方便，因?yàn)樗遣豢晌⒌模瑹o(wú)法通過(guò)深度學(xué)習(xí)的反向傳播算法訓(xùn)練，很難進(jìn)行端到端的學(xué)習(xí)，必須像上面的案例那樣針對(duì)網(wǎng)絡(luò)的每個(gè)模塊進(jìn)行拆分，所以往往只能通過(guò)強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練[48]，導(dǎo)致靈活性不足。而且硬注意力在其大部分區(qū)域中有許多突然的變化，會(huì)給網(wǎng)絡(luò)模型的計(jì)算帶來(lái)一定的誤差[49]。

4.2 軟注意力

軟注意力與硬注意力不同，因?yàn)閷W(xué)習(xí)過(guò)程是可微的，所以它可以很容易地與深度學(xué)習(xí)模型結(jié)合。換句話說(shuō)，在將軟注意力模塊與現(xiàn)有的深度學(xué)習(xí)模型（如UNet）結(jié)合后，注意力模塊和神經(jīng)網(wǎng)絡(luò)使用反向傳播算法共同進(jìn)行端到端的學(xué)習(xí)。Attention U-Net[50]是最早將軟注意力用于醫(yī)學(xué)圖像分析的研究案例之一，當(dāng)軟注意力機(jī)制與U-Net相結(jié)合時(shí)，在腹部CT圖像分割方面，與一般U-Net相比，只添加非常少的參數(shù)，就能得出提高很多的分割結(jié)果。

引進(jìn)注意力機(jī)制的深度學(xué)習(xí)模型在運(yùn)算效率方面也非常高，因?yàn)榫W(wǎng)絡(luò)本身主要通過(guò)對(duì)核心區(qū)域高度相關(guān)的特征賦予更大的權(quán)重來(lái)學(xué)習(xí)在核心區(qū)域激活，所以循環(huán)神經(jīng)網(wǎng)絡(luò)或前面的網(wǎng)絡(luò)首先提取核心區(qū)域，就像上面介紹的硬注意力方法。換句話說(shuō)，硬注意力的作用可以通過(guò)軟注意力來(lái)有效替代，注意力機(jī)制的效果也體現(xiàn)在性能上。根據(jù)相關(guān)研究[51]，雖然Attention U-Net比普通U-Net有更多的參數(shù)，但它即使在訓(xùn)練數(shù)據(jù)數(shù)量極少的情況下，Dice系數(shù)和召回率等定量值上表現(xiàn)出更高的分割性能。因此，在一般U-Net上僅增加1.6%左右的參數(shù)，Dice系數(shù)卻有效提升約3.2%。

雖然目前引入的注意力機(jī)制主要針對(duì)在空間軸上選擇集中區(qū)域，但有研究在通道方向而不是空間軸上應(yīng)用了注意力機(jī)制[52]。即在深度學(xué)習(xí)網(wǎng)絡(luò)生成的特征圖中，有與濾波器數(shù)量一樣多的通道，是一種重新校準(zhǔn)過(guò)程來(lái)增加模型表示能力的方法。

所提出的方法非常簡(jiǎn)單，主要有兩個(gè)階段：壓縮（squeeze）和激勵(lì)（excitation），在壓縮階段，每個(gè)通道的重要全局信息通過(guò)GAP壓縮成一個(gè)值。在隨后的激勵(lì)階段，通過(guò)全連接層計(jì)算通道之間的相互依賴(lài)性，以生成通道中包含特征的重要性成比例的權(quán)重。之后，生成的權(quán)重乘以壓縮前的特征圖，并為每個(gè)通道賦予一個(gè)權(quán)重。

由于這種壓縮和激勵(lì)結(jié)構(gòu)也對(duì)應(yīng)于軟注意力機(jī)制，因此可以應(yīng)用于各種現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò)。它的優(yōu)點(diǎn)是相比參數(shù)增加量，模型的性能提升非常大。換句話說(shuō)，可以在不顯著增加模型復(fù)雜度的情況下獲得出色的性能提升效果。在最近的研究中，通道注意力出現(xiàn)大量的應(yīng)用，如在U-Net上結(jié)合壓縮及刺激結(jié)構(gòu)提高的性能及一般化能力[53]和應(yīng)用于大腦MRI及全身CT圖像的通道注意力[54]。

軟注意力機(jī)制可以像顯著性檢測(cè)一樣用于模型解釋的目的，也就是說(shuō)可以通過(guò)觀察最終形成的注意力圖來(lái)找出模型關(guān)注的區(qū)域。相比于硬注意力，它更被積極用于醫(yī)學(xué)圖像相關(guān)研究。特別是在MRI、CT以及X線等各種醫(yī)學(xué)圖像中，主要研究提高腦[54-56]、胸[57-58]和甲狀腺[59]等各種器官和病變的分類(lèi)和分割精度。它也被應(yīng)用于皮膚病變分類(lèi)[60]和手術(shù)圖像中的手術(shù)機(jī)器分割[61]領(lǐng)域的研究。

然而，軟注意力準(zhǔn)確度受制于這樣一個(gè)假設(shè)，即加權(quán)平均數(shù)能很好地代表關(guān)注的領(lǐng)域。另外，在計(jì)算上下文信息時(shí)，軟注意力為編碼器的每個(gè)時(shí)間步驟使用可訓(xùn)練的權(quán)重，如果編碼器的輸入圖像很大，這可能是一個(gè)非常大的權(quán)重參數(shù)。在圖像分割等這樣的任務(wù)中，模型越大（就參數(shù)數(shù)量而言），訓(xùn)練的時(shí)間就越長(zhǎng)[62]。

綜上，視覺(jué)注意力模型可以讓網(wǎng)絡(luò)更多地關(guān)注重要特征，進(jìn)而提高神經(jīng)網(wǎng)絡(luò)模型的性能。硬注意力相比軟注意力要更節(jié)約性能和內(nèi)存，但由于裁剪的過(guò)程是非可微，它無(wú)法通過(guò)深度學(xué)習(xí)的反向傳播算法訓(xùn)練，往往只能通過(guò)強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練，在靈活性方面要比軟注意力差許多。而軟注意力與現(xiàn)有的深度學(xué)習(xí)模型（如U-Net）結(jié)合后，注意力模塊和神經(jīng)網(wǎng)絡(luò)使用反向傳播算法共同進(jìn)行端到端的學(xué)習(xí)，不需要像硬注意力那樣對(duì)每個(gè)模塊進(jìn)行強(qiáng)化學(xué)習(xí)，相對(duì)于硬注意力在靈活性上具有一定的優(yōu)勢(shì)，但同時(shí)也會(huì)花更多的內(nèi)存和算力[63]。表3總結(jié)了每種視覺(jué)注意力模型在醫(yī)學(xué)圖像處理中的應(yīng)用案例。

表3 視覺(jué)注意力模型在醫(yī)學(xué)圖像處理中的應(yīng)用案例Table 3 Application cases of visual attention model in medical image processing

5 未來(lái)熱點(diǎn)與趨勢(shì)

深度學(xué)習(xí)正在逐步應(yīng)用于醫(yī)療領(lǐng)域，但要安全地、系統(tǒng)地、全面地用于臨床實(shí)踐還為時(shí)過(guò)早。雖然深度學(xué)習(xí)還有很多問(wèn)題仍需解決，但是注意力機(jī)制可以有效推動(dòng)深度學(xué)習(xí)應(yīng)用于臨床實(shí)踐。以下列出幾個(gè)未來(lái)值得去研究的方向。

5.1 可解釋性人工智能

在醫(yī)學(xué)領(lǐng)域中，確認(rèn)深度學(xué)習(xí)模型的判斷依據(jù)是直接關(guān)系到患者生命健康的一個(gè)非常重要的問(wèn)題。此外，醫(yī)學(xué)圖像由于其固有的不確定性以及升級(jí)困難的醫(yī)院基礎(chǔ)設(shè)施等，特別容易受到對(duì)抗性攻擊。因?yàn)檫@些問(wèn)題，深度學(xué)習(xí)模型要想在醫(yī)療領(lǐng)域安全使用，必須確認(rèn)其判斷依據(jù)的過(guò)程。最近提出的用于確認(rèn)決策和判斷過(guò)程的技術(shù)被稱(chēng)為可解釋性人工智能（XAI），其中之一就是注意力機(jī)制。注意力機(jī)制通過(guò)對(duì)模型判斷的可視化，有望成為將深度學(xué)習(xí)應(yīng)用于臨床實(shí)踐的安全支撐[64]。

目前使用注意力機(jī)制的XAI已經(jīng)不罕見(jiàn)。Jiang等人[65]提出了一種基于深度學(xué)習(xí)的多標(biāo)簽分類(lèi)模型，該模型采用Grad-CAM，既能進(jìn)行DR分類(lèi)，又能自動(dòng)定位不同病變的區(qū)域。減少了人工注釋工作，提高了為圖像打標(biāo)簽的效率。Cai等人[66]開(kāi)發(fā)了一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)的前列腺癌臨床決策支持系統(tǒng)，以注意力機(jī)制視覺(jué)疊加的方式在圖像上呈現(xiàn)其預(yù)測(cè)結(jié)果，提高模型的可解釋性。了解模型預(yù)測(cè)對(duì)于醫(yī)療保健至關(guān)重要，有助于快速驗(yàn)證模型正確性，并防止使用利用混淆變量的模型。Draelos等人[67]提出了一種新型的特定標(biāo)簽關(guān)注機(jī)制，可以證明只突出模型用于進(jìn)行每個(gè)預(yù)測(cè)的位置，推進(jìn)了醫(yī)學(xué)圖像中多重異常建模的卷積神經(jīng)網(wǎng)絡(luò)解釋方法和臨床適用性。

在參考文獻(xiàn)中，注意力機(jī)制在可解釋性人工智能應(yīng)用上的趨勢(shì)十分明顯。大多數(shù)論文使用了顯著性檢測(cè)，即解釋是在已經(jīng)訓(xùn)練好的模型上提供的，而不是在模型訓(xùn)練中納入。此外，大多數(shù)文獻(xiàn)都運(yùn)用局部解釋?zhuān)皇侨纸忉專(zhuān)簿褪钦f(shuō)，解釋是針對(duì)每個(gè)病例，而不是針對(duì)所有病人。

大多數(shù)適合卷積神經(jīng)網(wǎng)絡(luò)的現(xiàn)成的可解釋性人工智能方法是CAM，它通常提供訓(xùn)練后的、針對(duì)模型的和局部的解釋。此外，因?yàn)轱@著性檢測(cè)可以在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后使用，這使得它們的結(jié)果比視覺(jué)注意力模型更容易獲得。

5.2 計(jì)算機(jī)智能輔助診斷系統(tǒng)

許多人正在提出將基于人工智能的自動(dòng)診斷系統(tǒng)引入醫(yī)療薄弱地區(qū)的想法。與普通圖像相比，醫(yī)學(xué)圖像在每幅圖像的特征（對(duì)比度、形狀、直方圖等）上非常相似。也就是說(shuō)，因?yàn)獒t(yī)學(xué)圖像是在患者每個(gè)身體部位的固定位置獲取的，在要拍攝區(qū)域的方向和范圍上，與一般圖像相比偏差較小。換句話說(shuō)，注意力機(jī)制使深度學(xué)習(xí)模型專(zhuān)注于哪個(gè)區(qū)域基本上是確定的，這可以輔助專(zhuān)業(yè)水平不高的醫(yī)務(wù)人員逐漸獲得重點(diǎn)查看哪些特征區(qū)域然后找到特定病變的能力，提高其診斷的速度、準(zhǔn)確性和安全性，以解決醫(yī)療服務(wù)不平衡的問(wèn)題。

另一方面，在醫(yī)療條件相對(duì)發(fā)達(dá)的地區(qū)，雖然醫(yī)生普遍擁有較高的醫(yī)學(xué)水平，但服務(wù)的病人多，工作壓力大，難免會(huì)出現(xiàn)疲勞等情況，而注意力機(jī)制可為醫(yī)生提供一層安全保障，減少發(fā)生醫(yī)療事故的風(fēng)險(xiǎn)。

Gotkowski等人[68]提出了一個(gè)用于生成基于CNN的PyTorch模型的注意力熱圖的代碼庫(kù)，提高了模型預(yù)測(cè)能力。該代碼庫(kù)支持2D和3D數(shù)據(jù)的分類(lèi)任務(wù)以及分割。一個(gè)關(guān)鍵的特點(diǎn)是，在大多數(shù)情況下，只需要一行代碼就可以為一個(gè)模型生成注意力熱圖，基本上是即插即用，可以提高臨床醫(yī)生對(duì)計(jì)算機(jī)智能輔助診斷系統(tǒng)的可接受性，增加了復(fù)雜AI系統(tǒng)采用的機(jī)會(huì)和新型計(jì)算機(jī)智能輔助診斷系統(tǒng)的臨床可行性。此外，在基于注意力機(jī)制的計(jì)算機(jī)智能輔助診斷系統(tǒng)的臨床實(shí)施方面還存在一些挑戰(zhàn)。Cai等人[66]采訪了病理學(xué)家，發(fā)現(xiàn)除了局部解釋外，臨床醫(yī)生還需要對(duì)模型的整體特性進(jìn)行深入的了解，例如，他們的能力、局限性、功能、醫(yī)學(xué)視角、特征和設(shè)計(jì)目標(biāo)。這些信息豐富了計(jì)算機(jī)智能輔助診斷系統(tǒng)的可行性，在常規(guī)實(shí)踐中采用這些系統(tǒng)之前是有必要的。

在參考文獻(xiàn)中，大多數(shù)文獻(xiàn)在智能輔助診斷系統(tǒng)的應(yīng)用上都是集中在視覺(jué)注意力模型方面。視覺(jué)注意力模型的聚焦區(qū)域集中在包含關(guān)鍵信息的病變區(qū)域而不是整個(gè)圖像中存在的不必要的噪聲，從而提高了性能。在肺結(jié)節(jié)等非常局部分布的病變的情況下，提取與整個(gè)圖像相比占據(jù)非常小的區(qū)域的核心區(qū)域并執(zhí)行特定分析使得性能顯著提高。

5.3 發(fā)現(xiàn)潛在診斷方法

注意力機(jī)制似乎可以有效地用于發(fā)現(xiàn)醫(yī)學(xué)上尚未明確研究的新診斷方法。通過(guò)結(jié)合注意力機(jī)制，深度學(xué)習(xí)模型可以更多地關(guān)注與目的相關(guān)的核心區(qū)域。這將有助于提高深度學(xué)習(xí)在分析醫(yī)學(xué)圖像時(shí)的多功能性，使得醫(yī)學(xué)圖像的圖像質(zhì)量和對(duì)比度可以根據(jù)成像設(shè)備而改變，達(dá)到兼容MRI、CT以及超聲等醫(yī)學(xué)圖像的目的。此外，有研究將深度學(xué)習(xí)應(yīng)用于胸部CT圖像，以比較具有相似圖像特征的社區(qū)獲得性肺炎和新型冠狀病毒（COVID-19）患者的圖像，提出了通過(guò)熱點(diǎn)圖可視化為深度學(xué)習(xí)和注意力機(jī)制快速診斷新型冠狀病毒做出貢獻(xiàn)的可能性[68]。

Tosun等人[69]開(kāi)發(fā)了一個(gè)初步的應(yīng)用軟件，用于乳腺核心活檢。該軟件自動(dòng)預(yù)覽乳腺核心全切片圖像，并識(shí)別感興趣的區(qū)域，以互動(dòng)和可解釋的方式快速呈現(xiàn)關(guān)鍵診斷區(qū)域。胡耿等人[70]受到注意力機(jī)制等最新研究啟發(fā)，通過(guò)長(zhǎng)短注意力機(jī)制，增加有效對(duì)抗擾動(dòng)的同時(shí)減少冗余擾動(dòng)，并探討注意力引導(dǎo)機(jī)制與DNN對(duì)抗攻擊的相互關(guān)系，將深度學(xué)習(xí)應(yīng)用于新型冠狀病毒肺炎CT智能識(shí)別。Chen等人[71]提出了一種新的半監(jiān)督圖像分割方法，重建目標(biāo)使用一種注意機(jī)制，將不同類(lèi)別的圖像區(qū)域的重建分開(kāi)，在未標(biāo)記和少量標(biāo)記圖像上進(jìn)行培訓(xùn)，優(yōu)于接受過(guò)相同數(shù)量圖像和CNN的受監(jiān)督CNN，并應(yīng)用于腦腫瘤圖像分割。

將來(lái)，注意力機(jī)制可能會(huì)協(xié)助醫(yī)護(hù)人員，結(jié)合大數(shù)據(jù)等技術(shù)，為單個(gè)患者最佳定制圖像劑量。其中，視覺(jué)注意力模型可以在圖像采集時(shí)結(jié)合深度學(xué)習(xí)運(yùn)用，以提高圖像質(zhì)量。在圖像評(píng)估的方面，顯著性檢測(cè)可用于生成感興趣區(qū)域，然后由監(jiān)督醫(yī)生進(jìn)行修改，這是提高效率的各種潛在步驟中的一步?；蛟S通過(guò)運(yùn)用注意力機(jī)制，人類(lèi)利用人工智能發(fā)現(xiàn)新醫(yī)學(xué)知識(shí)的時(shí)代即將展開(kāi)。

6 結(jié)束語(yǔ)

本文首先講述注意力機(jī)制的基礎(chǔ)知識(shí)，然后介紹了注意力機(jī)制在醫(yī)學(xué)圖像處理中的類(lèi)別，并且從不同類(lèi)別介紹了注意力機(jī)制可以有效地用于醫(yī)學(xué)圖像分析、分類(lèi)、分割以及診斷方面的例子，最后根據(jù)應(yīng)用于醫(yī)學(xué)圖像處理的最新趨勢(shì)來(lái)討論未來(lái)前景和發(fā)展方向，為注意力機(jī)制在醫(yī)學(xué)圖像處理領(lǐng)域的進(jìn)一步研究與應(yīng)用提供參考和研究思路。