多實例弱監(jiān)督語義分割在癌癥病理圖像分割的應用

關(guān)鍵詞：病理圖像；弱監(jiān)督；實例；語義分割；像素級標簽

0 引言

組織病理學的圖像分析已經(jīng)逐漸成為癌癥病情分析的重要輔助手段[1]。近年來，深度神經(jīng)網(wǎng)絡在癌癥病理圖片的自動分類與分割方面已經(jīng)取得了許多突破性成效[2]。這些方法通常需要大量的人工與時間成本。目前主流的癌癥病理圖像分割中，每一張病理圖像都需要對應的像素級標簽[3]，為了減少對像素級標簽的需求以及減少成本，許多研究人員提出了弱監(jiān)督語義分割用于癌癥病理圖像分割，只需要圖像級標簽即可[4]。在弱監(jiān)督語義分割中，用于分割的偽標簽也是決定準確度的關(guān)鍵，偽標簽越接近真實的專家標注的標簽，則分割的精度越高[5]。

本文提出了一個弱監(jiān)督學習框架用于組織病理學圖像分割。主要有三個步驟：首先，使用組合多實例學習（cMIL）方法從原始圖像級數(shù)據(jù)集中使用實例級標簽構(gòu)建高質(zhì)量的實例級數(shù)據(jù)集。其次，提高偽標簽精度，利用卷積神經(jīng)網(wǎng)絡對實例數(shù)據(jù)集中癌癥病理圖片進行特征提取，提取癌癥區(qū)域并且將其制作成像素級的偽標簽。最后，再訓練一個完全監(jiān)督語義分割模型，將偽標簽直接用于圖像分割。為了驗證方法的正確性，在BRACS[6]數(shù)據(jù)集上進行實驗，BRACS是專攻于乳腺癌病理切片的數(shù)據(jù)集，實驗取得了不錯的成果。

1 相關(guān)工作

1.1 組織病理學圖像分割中的弱監(jiān)督學習

目前來說，運用到病理圖像分割的弱監(jiān)督學習主要歸為兩類：基于超像素的分割方法以及基于分類網(wǎng)絡先驗信息的方法[7]?；诔袼氐姆指罘椒ㄊ褂孟嗨葡袼厮铣傻某袼赜柧毞诸惸Ｐ停簿褪菍⒉±韴D片中外觀相似的區(qū)域合并為超像素，訓練分類模型之后可以知道所屬區(qū)域是否為癌癥區(qū)域?；诜诸惥W(wǎng)絡先驗信息的方法使用類激活映射圖[7]定位圖像中的顯著區(qū)域，一般先使用圖像級標簽訓練分類網(wǎng)絡，即在病理圖像中選擇有癌癥區(qū)域的以及正常的兩個集合一起訓練分類網(wǎng)絡，然后根據(jù)像素點的響應值確定圖像中各個區(qū)域的類別，最后將訓練好的圖片作為偽標簽作為完全監(jiān)督語義分割的輸入。

1.2 多實例學習在弱監(jiān)督語義分割中的應用

多實例學習在弱監(jiān)督方法中廣泛應用[8]。然而，盡管多實例學習在弱監(jiān)督方法中取得了優(yōu)秀的成果，但許多解決方案需要預先指定的特征，這需要特定于數(shù)據(jù)的先驗知識，這限制了應用的一般性。而在組合多實例學習中，訓練過程是端到端的，沒有刻意的特征提取和特征學習，使得訓練過程非常簡單。

1.3 多實例弱監(jiān)督學習在病理圖像分割中的應用

多實例學習中的訓練數(shù)據(jù)是有標記的，一般情況下標記只有兩個類別：正和負。多實例學習的目標是學習得到一個分類器，使得對新輸入的樣本可以給出它的正負標記、目前，多實例學習在病理圖像中的應用是將病理圖像切割成小圖作為實例，經(jīng)過訓練過的分類器得到小圖的標記，將小圖的正負標記（即癌變的小圖以及正常的小圖）用不同的顏色區(qū)分拼接后得到大圖作為偽標簽。但在這項工作中，切割成的小圖的分辨率不可以太?。ㄌ菇Y(jié)果誤差較大）。弱監(jiān)督語義分割中還有一種常用方法，利用圖像特征提取熱力圖做偽標簽，圖像特征提取可以簡單地理解為是圖像中信息對于預測結(jié)果的貢獻排名，分數(shù)越高（顏色越熱）的地方表示，在輸入圖片中這塊區(qū)域?qū)W(wǎng)絡的響應越高、貢獻越大，一般用于弱監(jiān)督語義分割的預測工作。目前只使用圖像特征提取的弱監(jiān)督語義分割效果并不算理想，但將其作為多實例學習弱監(jiān)督的補充卻已足夠，在多實例學習中分割出來的小圖恰好可以進行特征提取，但因為特征提取本身的效果一般而多實例學習的效果卻很不錯，因此本文將多實例學習后標記出的癌癥圖像進行特征提取，進一步細化偽標簽使偽標簽精度更高。

2 方法

2.1 多實例分類模型

本文首先構(gòu)建兩個不同的圖像的集合，包含癌癥區(qū)域的圖像的集合以及正常的圖像的集合。然后將圖像切割成了大小一樣的N×N小圖。使用兩個基于實例學習的分類器對圖像進行篩選，它們具有不同的標準（Max-Max和Max-Min） 。

Max-Max策略用于選擇每個圖像切割后的小圖中癌變（CA） 概率最高的小圖，然后將其加入癌癥區(qū)域的合集中。而Max-Min策略則是在圖像級標簽為癌癥的圖片中選擇含癌癥區(qū)域概率最高的小圖，并在圖像級標簽為非癌癥（NA） 的圖片中選擇正常區(qū)域概率最4EXZpuvRO02s3AaVSHAeMpo8R+LBulw5YDSoSByjhJk=高的小圖。在組合多實例學習中，將這兩個標準結(jié)合起來，以減少分布偏差問題，并獲得一個更平衡的數(shù)據(jù)集。

如果圖像的圖像級標簽表示其為癌變（CA） 圖像，那么切割后的小圖中至少有一個包含癌變區(qū)域；如果圖像的圖像級標簽表示其為非癌變（NA） 圖像，那么切割后的小圖中都不包含癌變區(qū)域。Max-Max策略旨在選取每個癌變圖像中癌變概率最高的小圖，以構(gòu)建癌癥區(qū)域的合集。而Max-Min策略則進一步考慮了非癌變圖像，從中選取正常區(qū)域概率最高的小圖。在組合多實例學習中，結(jié)合這兩種策略可以有效地減少數(shù)據(jù)分布偏差，從而得到一個更加平衡的數(shù)據(jù)集。

選擇VIT[9]作為分類器。兩個基于多實例學習的分類器在相同的配置下分別進行訓練，訓練結(jié)束后，本文將相同的訓練數(shù)據(jù)輸入兩個訓練好的分類器中，在相應的標準下篩選出癌變圖片與正常圖片，作為預測的結(jié)果。圖1為組合多實例學習的示意圖。

2.2 提取圖像特征制作偽標簽

經(jīng)過預測小圖癌變概率，將概率大于0.5的圖片視為具有癌變區(qū)域的圖片，概率小于0.5的視為正常的圖片，然后將小圖拼接回大圖，直接將癌變區(qū)域與正常區(qū)域用顏色區(qū)分作為偽標簽。為了使偽標簽更加精確，再對圖片進行訓練，如圖2所示，本文借鑒了ResNet-MIL[10]對VGGNET16神經(jīng)網(wǎng)絡進行了一些改進。VGGNet16原本最后輸出的是多維的并且分辨率顯著降低的圖片，這樣的結(jié)果并不能作為病理圖像的偽標簽使用。經(jīng)過改進，可以使輸出的多維特征圖融合到一張上，并且分辨率恢復到輸入圖片大小。主干網(wǎng)絡使用了VGGNet16，用來提取癌變特征。Vgg?Net16在整體上可以劃分為8個部分（8段），前5段為卷積網(wǎng)絡，后3段為全連網(wǎng)絡。前5段的卷積網(wǎng)絡都是由卷積層、RELU激活函數(shù)與最大池化層組成。卷積層提取特征，最大池化層用于降低模型計算量和擴大網(wǎng)絡感受野。由于VGGNet16最后一層卷積輸出的特征圖是多維的，而實驗需要輸出的特征圖是二維的，因此對最后的特征圖進行了1×1的卷積操作，將特征圖降低到二維。使用sigmoid激活函數(shù)讓輸出熱圖上每個點的值處于0～1，從而能夠反映概率。為了獲得和原始輸入圖像分辨率大小相同的熱圖，對輸出熱圖采用了雙線性插值上采樣的辦法，而沒有使用反卷積。因為考慮使用反卷積會引入更多的參數(shù)，從而導致網(wǎng)絡過擬合。經(jīng)過訓練最后將概率高于0.5的像素視為癌變像素點，低于0.5的視為正常像素點，將二者用兩種不同的顏色代替，作為偽標簽。

2.3 圖像分割

得到圖像的偽標簽之后，就可以使用完全監(jiān)督的方式訓練分割模型。選擇醫(yī)學影像分析中常用的Unet模型來進行分割。U-net整體是編碼器-解碼器結(jié)構(gòu)，如圖3所示。網(wǎng)絡的整體結(jié)構(gòu)形似一個大寫的英文字母U。編碼器主要由卷積層與池化層組成，用于提取特征，由兩個3×3的卷積層再加上一個2×2的最大池化層組成一個下采樣的模塊，一共經(jīng)過4次這樣的操作。解碼器由一層反卷積+特征拼接+兩個3×3 的卷積層反復構(gòu)成，一共經(jīng)過4次這樣的操作，最后接一層1×1卷積，降維處理，即將通道數(shù)降低至特定的數(shù)量，得到預測圖。

3 實驗

3.1 實驗實現(xiàn)

本文利用BRACS 數(shù)據(jù)集進行了實驗，隨機從BRACS中抽取500張作為訓練集，47張作為測試集驗證實驗的有效性。實驗中考慮到顯卡內(nèi)存空間的限制，同時保留圖片更多的空間信息，切割出來的小圖均調(diào)整到512×512像素大小。

組合多實例學習中的實例分類器和再訓練步驟都使用Adam優(yōu)化器進行訓練，固定學習率為0.000 1。在多實例學習中，batch size設置為8。在重新訓練步驟中，batch size設置為16。在分割階段， U-Net使用Adam 優(yōu)化器進行訓練，固定學習率為0.001，batchsize為8。

3.2 制作偽標簽

利用組合多實例學習分類模型篩選出小圖中癌變區(qū)域與正常區(qū)域后，將癌變圖片輸入改進的VGG16 模型，得到特征圖，再對特征圖進行卷積、上采樣等操作后，將特征圖進一步轉(zhuǎn)化為偽標簽，最后將小圖拼接回原圖大小的偽標簽圖。在CAMEL模型[11]中在使用組合多實例學習篩選出正常區(qū)域與癌變區(qū)域后，直接將得到的區(qū)別后的小圖拼接回大圖作為偽標簽。以醫(yī)生的標注作為標準，測試偽標簽的精度，在訓練集數(shù)據(jù)上使用組合多實例學習方法得到CAMEL的偽標簽后，再進行特征提取得到本文需要的偽標簽。從表2可以看出，特征提取后的偽標簽精確度要高于沒有進行特征提取的偽標簽。

3.3 利用偽標簽進行完全監(jiān)督分割

得到偽標簽之后，就可以對病理圖像進行分割，將偽標簽作為訓練集標簽進行完全監(jiān)督語義分割，分割模型采用U-net結(jié)構(gòu)。將本文模型（VGG-MIL） 與當下弱監(jiān)督語義分割常用的模型進行比較，很明顯，本文的模型VGG-MIL效果最為優(yōu)秀。

4 結(jié)束語

計算機輔助診斷組織病理圖像能夠減輕病理醫(yī)師的負擔。在本項研究中，本文提出了一個弱監(jiān)督學習框架，用于僅使用圖像級標簽的組織病理學圖像分割。該框架能夠利用圖像級標簽生成像素級偽標簽，并取得了相當不錯的分割結(jié)果。更重要的是，這種弱監(jiān)督學習語義分割的方法可以推廣到其他組織病理學圖像分析研究中。在本項研究中，利用圖像級標簽獲取的種子區(qū)域在訓練過程中是固定不變的，且種子區(qū)域?qū)τ柧毥Y(jié)果起著決定性作用。若種子區(qū)域質(zhì)量不佳，也會對訓練結(jié)果產(chǎn)生負面影響。在未來的工作中，可以考慮利用區(qū)域生長法使這些種子區(qū)域不斷變化，而變化的準則則由相鄰點之間卷積神經(jīng)網(wǎng)絡學習到的特征相似性決定。這樣做可以增加網(wǎng)絡對種子區(qū)域生成質(zhì)量的容錯率，有利于最終分割效果的提升。