基于注意力機制的弱監(jiān)督黑色素瘤圖像分割研究

王方鑫 何良華

關(guān)鍵詞：深度學(xué)習；弱監(jiān)督；醫(yī)學(xué)圖像分割；注意力機制

1 概述

近年來，隨著醫(yī)學(xué)成像技術(shù)的不斷發(fā)展，人工智能被越來越多地應(yīng)用到了醫(yī)療圖像分析領(lǐng)域，可以幫助醫(yī)生進行一些輔助醫(yī)療功能，從而更好地對患者進行手術(shù)治療。目前，基于全監(jiān)督的圖像分割雖然取得了較好的分割結(jié)果，但是由于醫(yī)學(xué)圖像數(shù)據(jù)標注任務(wù)復(fù)雜，逐像素標記任務(wù)量大，因此還需要具備專業(yè)醫(yī)學(xué)領(lǐng)域的知識，全監(jiān)督并不能非常好地發(fā)揮它的作用。為了克服這些困難，研究人員嘗試通過簡單易獲取的弱標簽，通過使用弱監(jiān)督的方法進行醫(yī)學(xué)圖像的分割，取得了一定的分割效果。

2 相關(guān)工作

2.1 類激活圖

在弱監(jiān)督中，CAM[1]是將圖像標簽轉(zhuǎn)換為像素級偽標簽的重要手段。它可以生成易于人類理解的熱力圖，用來定位圖像中和類別緊密相關(guān)的區(qū)域，在深度學(xué)習的可解釋性方向也有著較大的作用。2017年，Selvaraju等人提出了Grad-CAM[2]，這個改進的模型結(jié)構(gòu)解決了CAM存在的一個比較明顯缺點，就是為了計算最終全局平均池化（GAP） 中的權(quán)重，需要替換掉原始模型的全連接層，重新進行模型訓(xùn)練。Grad-CAM 并不需要修改網(wǎng)絡(luò)結(jié)構(gòu)，也不需要再次訓(xùn)練。2017年，Chattopadhyay等人提出了Grad-CAM++[3]，引入了輸出梯度對特定位置的像素級別加權(quán)，對每個像素在特征圖的重要性進行了衡量，并且這個方法相較于先前的Grad-CAM，有更好的效果。

2.2 注意力機制

注意力模塊可以集成到現(xiàn)有的卷積網(wǎng)絡(luò)中，可以提升CNN整體的性能。Ashish[4]等人第一次提出通過自注意力機制來獲取全局的依賴關(guān)系，并將其用于機器翻譯。Zhang[5]等人介紹了自注意力機制，用來更好地去學(xué)習得到一個圖像生成器。Wang[6]等人主要探索了注意力機制應(yīng)用到圖像和視頻的有效性。Wang[7]提出了使用編碼器注意力模塊的殘差注意力網(wǎng)絡(luò)，通過優(yōu)化特征圖，網(wǎng)絡(luò)性能得到了提升，對噪聲也具備了一定的魯棒性。2017年，Hu[8]等人提出了SELayer的注意力模塊，這個模型能夠通過融合每層的局部感受野的空間和通道的信息來構(gòu)建信息特征，在略微增加計算成本的情況下，顯著提升CNN的性能。

3 基于種子線索的弱監(jiān)督分割

3.1 弱監(jiān)督分割框架

本文選取的是一種通用的弱監(jiān)督圖像分割框架。分割框架主要包含兩個部分，一個是分類分支，一個是語義分割分支。分類分支主要用于生成像素級標注的標簽，原始的CAM生成的區(qū)域中，可信度較高的是標記區(qū)域，可信度較低的是未標記區(qū)域。這些標簽用于后續(xù)語義分割的計算。語義分割分支主要用來預(yù)測圖像的像素級標注，這里使用了一個聯(lián)合損失函數(shù)，綜合考慮了已經(jīng)標注的標簽、像素位置等因素。弱監(jiān)督分割框架的結(jié)構(gòu)如圖1所示。

3.2 基于注意力機制的類激活圖生成框架

像素級的標注標簽的質(zhì)量會直接影響網(wǎng)絡(luò)的分割精度。直接通過原始的類激活圖生成分支輸出的類激活圖僅僅關(guān)注了目標區(qū)域最為顯著的核心區(qū)域，這樣會導(dǎo)致通過該分支生成的弱監(jiān)督圖像的偽標簽較為稀疏，從而直接影響弱監(jiān)督的分割精度。

注意力機制可以通過權(quán)重大小來模擬人在處理信息的注意力的側(cè)重，從而提高性能和分割精度，本文在原始的類激活圖生成分支外引入注意力分支?；谧⒁饬C制的類激活圖生成框架如圖2所示。

本文的SAM模塊利用主干網(wǎng)絡(luò)輸出的特征圖進行維度變化生成親密度矩陣，通過親密度矩陣向原始分支補充目標的信息，優(yōu)化原始的特征激活映射圖，從而提高生成偽標簽的完整性。SAM模塊如圖3所示。

本文中的CBAM模塊主要包含通道注意力和空間注意力維度。通道注意力在通道維度不變，壓縮空間維度。該模塊關(guān)注輸入圖片中有意義的信息?？臻g注意力在空間維度不變，壓縮通道維度，該模塊關(guān)注的是目標的位置信息。CBAM模塊如圖4所示。

4 實驗結(jié)果分析

4.1 實驗數(shù)據(jù)集

本文選取的數(shù)據(jù)集來自醫(yī)學(xué)圖像頂級會議MICCAI 組織的“ISIC 皮膚病理圖像分割和分類比賽”。輸入數(shù)據(jù)分為良性和惡性皮膚癌病變圖像，病變區(qū)域是從多個醫(yī)學(xué)機構(gòu)的皮膚癌患者的歷史樣本中，通過各種類型的皮膚鏡從所有的解剖部位提取得到的（不包括指甲和黏膜）。掩碼圖像編碼是單通道的8位PNG圖像，標注了病灶區(qū)域和良性區(qū)域，所有的數(shù)據(jù)都是由具有皮膚鏡專業(yè)知識的皮膚科醫(yī)生進行標注和核查的。本次實驗一共選取病變和良性圖像共2000張圖像。

4.2 實驗流程

本文選取SECNet 作為基準模型和筆者提出的基于注意力機制弱監(jiān)督分割模型進行對比。實驗基于Python3.6 環(huán)境和Pytorch1.0 框架，使用兩塊NVIDIA GEFORCE 3090 GPU 進行訓(xùn)練和測試。實驗的訓(xùn)練圖像和測試圖像長寬尺寸都被固定為512，batch size 設(shè)置為32，訓(xùn)練100 epoch，數(shù)據(jù)增強方便采用了隨機剪切、隨機翻轉(zhuǎn)，優(yōu)化算法選取了隨機梯度下降（SGD） ，初始學(xué)習率設(shè)置為0.001，動量設(shè)置為0.9。

4.3 實驗結(jié)果

原始的類激活圖和引入注意力機制生成的類激活圖對比如圖5所示。可以看到，當引入注意力分支后，有效解決了先前類激活圖關(guān)注區(qū)域較為集中的問題，新模型生成的類激活圖關(guān)注區(qū)域更加完整，從而可以提高弱監(jiān)督圖像整體的分割精度。

實驗結(jié)果如表1所示，從結(jié)果中可以得知，引入注意力機制的弱監(jiān)督模型相較于先前弱監(jiān)督模型在分割精度上有明顯提升，這表明注意力機制學(xué)習到了圖像中不同類的區(qū)別以及位置關(guān)系信息，從而生成的弱監(jiān)督偽標簽相較于直接通過CAM生成的更加完整和精確，進而直接提高了弱監(jiān)督分割的整體精度。和全監(jiān)督模型Unet相比，改進后的模型分割精度有一定的差距，但是弱監(jiān)督模型不需要大量真實精確標注訓(xùn)練的數(shù)據(jù)集，僅需要提供圖像級的數(shù)據(jù)標簽就可以解決醫(yī)療領(lǐng)域像素級標注數(shù)據(jù)集不足的問題，這具有非常重要的研究意義。

5 總結(jié)

文章通過弱監(jiān)督的手段實現(xiàn)了黑色素瘤圖像的分割。針對通過CAM生成弱監(jiān)督偽標簽較為稀疏的問題，文章引入了注意力分支，從而使得生成的偽標簽更加完整，而且在ISIC數(shù)據(jù)集上進行了測試，分割精度得到了明顯提高。文章在不使用大量像素級標簽的情況下，對黑色素瘤圖像完成較為準確的分割，具有一定的應(yīng)用價值。