基于自適應(yīng)融合和顯微成像的乳腺腫瘤分級(jí)網(wǎng)絡(luò)

黃盼，何鵬，楊興，羅家洋，肖華亮，田素坤，馮鵬*

1 重慶大學(xué)光電技術(shù)及系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室，光電工程學(xué)院，重慶 400044；

2 成都理工大學(xué)計(jì)算機(jī)與網(wǎng)絡(luò)安全學(xué)院，四川 成都 610000；

3 陸軍軍醫(yī)大學(xué)大坪醫(yī)院病理科，重慶 400037；

4 山東大學(xué)機(jī)械工程學(xué)院，山東 濟(jì)南 250000

1 引言

乳腺癌是女性中最常見的癌癥[1]。乳腺癌腫瘤的組織學(xué)分級(jí)已被證明是一個(gè)強(qiáng)有力的診斷和預(yù)后指標(biāo)，其主要依靠病理專家評(píng)估組織切片的顯微鏡成像中組織和細(xì)胞的形態(tài)學(xué)狀況，例如腺體分化、細(xì)胞核異型和有絲分裂計(jì)數(shù)等[2]。已有研究文獻(xiàn)表明蘇木精-伊紅(Hematoxylin-Eosin,HE)染色的顯微成像樣本和孕激素受 體(Estrogen Receptor,ER)的免疫組化(Immunohistochemically,IHC)染色的顯微成像樣本存在較強(qiáng)統(tǒng)計(jì)相關(guān)性，即ER 狀態(tài)與腫瘤組織分級(jí)有著較強(qiáng)的相關(guān)性[3-9]。其中，Desai 等人[3]的研究表明ER 狀態(tài)值的下降與腫瘤惡性程度有一定的相關(guān)性。Zafrani 等人[4]發(fā)現(xiàn)ER 狀態(tài)值和腫瘤分級(jí)有著很強(qiáng)的統(tǒng)計(jì)相關(guān)性(P＜ 10-4)。Fuqua 等人[5]發(fā)現(xiàn)ER 狀態(tài)值和腫瘤組織分級(jí)有著明顯的相關(guān)性。Vagunda 等人[6]的研究也發(fā)現(xiàn)ER 值與腫瘤分級(jí)有統(tǒng)計(jì)學(xué)相關(guān)性。Baqai 和Shousha 等人[7]的工作表明ER 陰性與腫瘤高級(jí)別有著明顯相關(guān)性 (P＜ 0.001)。Sofi 等人[8]發(fā)現(xiàn)ER 在66.3%的病例中呈陽(yáng)性，隨著年齡的增長(zhǎng)而增加，高級(jí)別病變和較大尺寸的腫瘤更可能是 ER 陰性。Azizun-Nisa 等人[9]研究表明高級(jí)腫瘤中的 ER 表達(dá)顯著降低 (ER 5.6% vs 10.5%)。因此，在基于ER IHC染色的病理組織顯微鏡成像中進(jìn)行腫瘤分級(jí)有一定的統(tǒng)計(jì)意義，可以作為臨床診斷和預(yù)后的一個(gè)參考指標(biāo)。

雖然數(shù)字病理全玻片圖像技術(shù)發(fā)展迅速，但基于顯微鏡成像的方式仍然是病理科診斷的主要手段，這是因?yàn)槿Ｆ瑱C(jī)昂貴的價(jià)格和生成數(shù)字全玻片圖像的速度較慢，無法滿足病理科大量的病例診斷需求?，F(xiàn)有腫瘤分級(jí)仍十分依賴病理專家的經(jīng)驗(yàn)和精力，因?yàn)椴±韴D像的腫瘤級(jí)別之間差異小，分級(jí)指標(biāo)復(fù)雜且?guī)в泻軓?qiáng)的主觀性[10]。因此，研究計(jì)算機(jī)腫瘤分級(jí)算法來輔助病理專家進(jìn)行腫瘤分級(jí)的工作顯得十分重要。

在癌癥組織病理顯微鏡成像分析中，基于集成注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)(attention mechanism based on convolutional neural networks，AMCNN)塊的深度學(xué)習(xí)模型輔助病理專家進(jìn)行診斷已取得快速發(fā)展[11-17]。Yang 等人[11]采用一種引導(dǎo)注意力機(jī)制來提高CNN 模型識(shí)別乳腺癌組織病理圖像的能力。BenTaieb 等人[12]提出一種基于循環(huán)注意力機(jī)制的檢測(cè)模型，實(shí)現(xiàn)癌癥數(shù)字全玻片圖像中對(duì)有無腫瘤病變進(jìn)行預(yù)測(cè)。Tomita 等人[13]采用注意力機(jī)制改進(jìn)ResNet18 來提高食道癌病理圖像分類性能。Yao 等人[14]提出孿生注意力機(jī)制和全連接層從數(shù)字全玻片中識(shí)別癌變。Huang[15]和Zhou[16]等人構(gòu)建了一種融合注意機(jī)制的改進(jìn)CNN 模型，提高了喉癌病理圖像腫瘤分級(jí)的性能。雖然，以上基于AMCNN 塊的深度學(xué)習(xí)模型的識(shí)別性能和歸納偏差能力較好，但是其可解釋性較差，導(dǎo)致模型結(jié)果的臨床可信度不高[18-21]。

基于Vision Transformer (ViT)塊的深度學(xué)習(xí)模型流行于計(jì)算機(jī)視覺領(lǐng)域，在癌癥組織病理圖像處理方向也有一些應(yīng)用[22-27]。Gao 等人[22]提出一種基于示例學(xué)習(xí)的ViT 模型從病理圖像中學(xué)習(xí)更加魯棒的特征表示。Wang 等人[23]提出一種混合ViT 模型來探索圖像固有特性和在特定域捕獲新的知識(shí)。Li 等人[24]采用一種可變型的ViT 模塊，來提高模型的歸納偏差能力。Chen 等人[25]提出一種多尺度可視化ViT 模型，用于胃部組織病理圖像的分類。Zou 等人[26]提出一種雙ViT 網(wǎng)絡(luò)模型，可通過同時(shí)捕獲圖像局部和全局信息識(shí)別癌癥圖像。盡管ViT 塊采用多Attention 機(jī)制的串、并聯(lián)結(jié)構(gòu)，使其具有較好的可解釋性。但是其缺乏旋轉(zhuǎn)不變性、共享權(quán)重和尺度不變性等優(yōu)勢(shì)，導(dǎo)致基于ViT 塊的深度學(xué)習(xí)模型的歸納偏差能力較差[27]。

為使乳腺癌腫瘤分級(jí)結(jié)果同時(shí)具有良好的可解釋性和高精度，本文提出一種基于自適應(yīng)模型融合的端到端深度網(wǎng)絡(luò) (deep network with adaptive model fusion,AMFNet)。由于現(xiàn)有的模型融合方法bagging[28],boosting[29]和stacking[30]存在負(fù)融合現(xiàn)象[31]，原因：1) ViT 塊參數(shù)量是AMCNN 塊的十倍，學(xué)習(xí)率過大，ViT 塊容易錯(cuò)過局部最優(yōu)解，學(xué)習(xí)率過小，AMCNN 塊會(huì)陷入“鞍部”。因此，ViT塊和AMCNN 塊無法同時(shí)具備良好的特征表示能力；2) ViT 塊和AMCNN 塊所學(xué)的特征表示相似度高，導(dǎo)致融合特征矩陣的冗余度高，并且現(xiàn)有方法去冗余能力較弱，故AMFNet 融合ViT 塊和AMCNN 塊的能力不足[32]。因此，為了解決AMFNet 在融合ViT 塊和AMCNN 塊時(shí)出現(xiàn)負(fù)融合現(xiàn)象，本文提出一種自適應(yīng)模型融合(adaptive model fusion,AMF)方法，包括多目標(biāo)優(yōu)化 (multi-objective optimization,MOO)、自適應(yīng)特征表示度量(adaptive feature representation metric,AFRM)和自適應(yīng)特征融合(adaptive feature fusion,AFF)三部分。其中，多目標(biāo)優(yōu)化是保證ViT塊和AMCNN 塊能夠同時(shí)具有良好的特征表示能力；而自適應(yīng)特征表示度量和自適應(yīng)特征融合是提高AMFNet 的去冗余能力，進(jìn)而提升模型的融合能力。

本文的主要貢獻(xiàn)如下：

1) 提出一種多目標(biāo)優(yōu)化方法，能同時(shí)保證ViT塊和AMCNN 塊具有良好的特征表示能力，從而提高AMFNet 的模型融合能力；

2) 提出一種自適應(yīng)特征表示度量方法，能降低ViT 塊和AMCNN 塊所學(xué)特征表示之間的相似性和冗余度，進(jìn)而提高AMFNet 的模型融合能力；

3) 提出一種自適應(yīng)特征融合方法，能夠自適應(yīng)和更加稀疏地去除融合特征矩陣中的冗余信息，從而提高AMFNet 的模型融合能力。

2 方法

為實(shí)現(xiàn)對(duì)ER IHC 染色的乳腺癌病理組織顯微鏡成像進(jìn)行高精度和可解釋性的腫瘤分級(jí)，本文通過有效地融合ViT 塊和AMCNN 塊，提出了一種基于自適應(yīng)模型融合的深度網(wǎng)絡(luò)，如圖1 所示。該方法主要包括五部分：基于ER IHC 染色的乳腺癌病理組織顯微鏡成像部分、ViT 塊、AMCNN 塊、ViT-AMCNN塊和AMF 方法(包括MOO、AFRM 和AFF)。其中，ViT 塊采用ViT-B/16[27]，AMCNN 塊使用FABNet 模型[15]。依據(jù)圖1，對(duì)本文算法流程進(jìn)行簡(jiǎn)要的介紹。首先從圖1(a)中采集顯微鏡成像數(shù)據(jù)分別輸入到圖1(b) AMFNet 的AMCNN 塊、ViT 塊、ViT-AMCNN塊中得到對(duì)應(yīng)的特征矩陣(YAMCNN,YViT和Yf-inter)。第二，將Yf-inter輸入到AFF 方法中去，計(jì)算每個(gè)特征通道的權(quán)重分?jǐn)?shù)，然后乘以權(quán)重分?jǐn)?shù)進(jìn)行自適應(yīng)地去除特征矩陣的冗余信息，得到 Yf。第三，將每個(gè)塊所學(xué)到的特征表示(FAMCNN={YAMCNN,?},FViT={YViT,?}和FViT-AMCNN={Yf,?},?表示標(biāo)簽矩陣)一起輸入到AFRM方法中去，采用深度度量學(xué)習(xí)來度量特征表示之間的聯(lián)合分布距離，拉開FViT和FAMCNN的距離，從而降低FViT-AMCNN的冗余性。第四，采用MOO 方法對(duì)ViT、AMCNN、AFRM 和AFF 的輸出目標(biāo)同時(shí)進(jìn)行多目標(biāo)和多學(xué)習(xí)率優(yōu)化。最后采用Grad-CAM[33]和Rollout[34]技術(shù)可視化模型所學(xué)知識(shí)。

圖1 本文算法框圖。(a) 介紹基于ER IHC 染色的乳腺癌病理組織顯微鏡成像的基本流程；(b) 描述AMFNet 整體流程。Fig.1 Block diagram of the algorithm in this paper.(a) ER IHC staining based microscopic imaging procedure for breast cancer pathology;(b) AMFNet

2.1 基于ER IHC 染色的乳腺癌病理組織顯微鏡成像流程

基于ER IHC 染色的乳腺癌病理組織顯微鏡成像流程主要包括六個(gè)步驟：組織標(biāo)本病理取材、組織脫水、組織包埋、組織切片、免疫組化染色封片和顯微鏡成像，如圖1(a)所示。

1) 組織標(biāo)本病理取材：對(duì)送檢的手術(shù)大樣本按標(biāo)準(zhǔn)進(jìn)行逐一剖開，并充分固定(＞12 h)；

2) 組織脫水：采用脫水儀器Leica ASP300S 對(duì)組織病理標(biāo)本進(jìn)行脫水處理，整個(gè)脫水過程有13 個(gè)步驟，每個(gè)步驟都需要將脫水儀器設(shè)置真空、加壓或兩者交替進(jìn)行的脫水模式。而脫水過程主要用到的試劑有：AF 液、75%酒精、85%酒精、95%酒精、無水酒精、二甲苯和石蠟；

3) 組織包埋：采用Leica EG1150 H 石蠟包埋機(jī)進(jìn)行組織包埋，其蠟缸的容量為3L，在工作日和工作時(shí)間設(shè)置儀器自動(dòng)運(yùn)行。包埋盒和模具的加熱槽可互換，以適應(yīng)變化的包埋流程。Leica EG1150 H 的冷臺(tái)維持-5 °C 恒溫，實(shí)現(xiàn)包埋蠟塊和模具的快速冷卻。該過程主要耗材是包埋盒和石蠟等；

4) 組織切片：采用Leica RM2235 石蠟切片機(jī)進(jìn)行組織切片，其選配的8°X/Y軸精確定位系統(tǒng)帶校準(zhǔn)調(diào)節(jié)功能，有助于快速定位切過的樣品(重切)。定位系統(tǒng)隨后快速返回到有2 個(gè)紅色指示標(biāo)記的基準(zhǔn)0 刻度位。垂直行程最長(zhǎng)達(dá)70 mm，不僅能使用超大包埋盒，并且由于加大了距離刀刃的工作距離；

5) 免疫組化染色封片：采用Autostainer XL Leica ST5010 染色封片系統(tǒng)、醫(yī)囑所需的免疫組化試劑、酒精、二甲苯、玻片、封片膠帶等耗材對(duì)組織切片進(jìn)行免疫組化染色并封裝。該過程分為23 個(gè)步驟，需要精準(zhǔn)地設(shè)置每個(gè)步驟的時(shí)間和溫度；

6) 顯微鏡成像：采用Olympus BX41 多頭顯微鏡對(duì)病理組織玻片進(jìn)行成像，其中物鏡分別設(shè)置為20X(N.A.0.4，W.D.1.2 Spring)和40X (N.A.0.65，W.D.0.6 Spring)。齊焦距為45 mm，觀察鏡筒的傾角為30°，使用柯勒照明器作為內(nèi)置透射光源頭。

2.2 多目標(biāo)優(yōu)化

為有效地融合ViT 塊和AMCNN 塊，來提高AMFNet 的模型融合能力，使模型的腫瘤分級(jí)具有高精度和可解釋性的特性。本文提出一個(gè)多目標(biāo)優(yōu)化的損失函數(shù) L來實(shí)現(xiàn)上述目的，同時(shí)也優(yōu)化AMF 方法中的各個(gè)部分。

式中：LAMCNN和LViT分別優(yōu)化AMCNN 塊和ViT 塊，保證它們同時(shí)具有良好特征表示的能力，且保證AMFNet 模型的腫瘤分級(jí)結(jié)果具有高精度和可解釋性。LAFF用于優(yōu)化AFF 方法部分，其輸出為模型最終的腫瘤分級(jí)結(jié)果。LAFRM用于優(yōu)化AFRM 方法部分。其中LAMCNN,LViT,LAFF使用了交叉熵?fù)p失函數(shù)(LCE)，如式(2)所示。i,r,j,u是對(duì)應(yīng)子損失函數(shù)的權(quán)重系數(shù)。由于AMCNN 塊和ViT 塊參數(shù)量差異較大，本文設(shè)置了多學(xué)習(xí)率優(yōu)化策略：LAMCNN和LAFF的學(xué)習(xí)率設(shè)置為1～50 epochs：1×10-4，51～75 epochs：2×10-5，76～100 epochs：1×10-6；LViT為1～50 epochs：1×10-5，51～75 epochs：5×10-6，76～100 epochs：1×10-6；LAFRM沒有設(shè)置專門對(duì)應(yīng)的可學(xué)習(xí)參數(shù)，而是在優(yōu)化過程中LAFRM會(huì)同時(shí)影響ViT 塊，AMCNN塊和AFF 方法所對(duì)應(yīng)的可學(xué)習(xí)參數(shù)。

式中：t表示損失函數(shù)系數(shù)，M表示模型輸入張量的batch size，?表示真實(shí)的標(biāo)簽矩陣，Yi表示模型輸出的特征矩陣，δ表示Softmax 激活函數(shù)。

2.3 自適應(yīng)特征融合

為去 除ViT 塊和AMCNN 塊采用特征拼接(feature stacking，按特征矩陣的第二維度進(jìn)行拼接)方法融合后的特征矩陣中存在較多冗余信息，而傳統(tǒng)特征選擇方法無法實(shí)現(xiàn)自適應(yīng)和稀疏性的去冗余。因此，本文提出一種AFF 方法，采用編解碼的神經(jīng)網(wǎng)絡(luò)和Softmax 概率權(quán)重的思路，分別實(shí)現(xiàn)自適應(yīng)和稀疏性求解各個(gè)特征的權(quán)重系數(shù)。從而有效地提高了AMFNet 的模型融合能力，讓模型的腫瘤分級(jí)結(jié)果能夠具有更高的準(zhǔn)確率和更好的可解釋性。實(shí)現(xiàn)細(xì)節(jié)如圖2 和式(3)所示。給出AMFNet 的AMCNN 塊、ViT 塊、ViT-AMCNN 塊中得到對(duì)應(yīng)的特征矩陣(YAMCNN,YViT,Yf-inter)，自適應(yīng)融合后的最終特征矩陣為 Yf。

圖2 AFF 方法實(shí)現(xiàn)細(xì)節(jié)圖Fig.2 Detail diagram of the AFF method implementation

式中：δ表示Softmax 激活函數(shù)，θ表示ReLU 激活函數(shù)，Wl1,Bl1表示Linear 1 層(編碼層)的權(quán)重和偏置項(xiàng)，Wl2,Bl2表示Linear 2 層(解碼層)的權(quán)重和偏置項(xiàng)。

2.4 自適應(yīng)特征表示度量

解決ViT 和AMCNN 塊融合后冗余信息過多的另外一個(gè)方法是降低兩個(gè)模塊所學(xué)特征表示之間的相似度。為此，本文提出一種AFRM 的方法，通過深度度量學(xué)習(xí)，來拉開ViT 和AMCNN 塊的特征表示之間的距離(特征表示：由特征矩陣和所對(duì)應(yīng)的標(biāo)簽矩陣構(gòu)成聯(lián)合概率分布,其中圖3 中的FViT,FAMCNN和FViT-AMCNN分別表示ViT 塊、AMCNN 塊和ViTAMCNN 塊所學(xué)的特征表示)，從而降低融合特征矩陣的冗余度，提高AMFNet 的模型融合能力，進(jìn)而提升模型腫瘤分級(jí)結(jié)果的準(zhǔn)確率和可解釋性。為了實(shí)現(xiàn)這個(gè)目標(biāo)，必須要設(shè)置一個(gè)目標(biāo)函數(shù)(如式(4)所示)，采用梯度反向傳播的方式進(jìn)行多次優(yōu)化，從而得到一個(gè)最優(yōu)的AMFNet 權(quán)重參數(shù)，實(shí)現(xiàn)細(xì)節(jié)如式(4)和圖3 所示。

圖3 AFRM 方法實(shí)現(xiàn)原理圖Fig.3 AFRM method implementation schematic

式中：N表示訓(xùn)練的次數(shù)，H表示AMFNet 的張量函數(shù)，H*表示最優(yōu)的張量函數(shù)，P(*)表示邊緣概率分布，P(*|*)表示條件概率分布，g表示分布的權(quán)重系數(shù)，D 表示在高斯空間的歐式距離。

為了上述目標(biāo)實(shí)現(xiàn)自適應(yīng)的優(yōu)化，本文為自適應(yīng)特征表示度量設(shè)計(jì)了專門的損失函數(shù)(LAFRM)，如式(5)所示。

式中：AMFNet 的AMCNN 塊、ViT 塊和ViT-AMCNN塊所得到的特征矩陣分別是YAMCNN,YViT和Yf-inter，B(G)表示每個(gè)腫瘤級(jí)別的對(duì)應(yīng)的樣本數(shù)，G表示腫瘤的分級(jí)數(shù)，φ 表示高斯核映射。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集和實(shí)驗(yàn)平臺(tái)

基于ER IHC 染色的乳腺癌病理組織顯微鏡成像流程數(shù)據(jù)集[35]包含414 張分辨率為1300 pixels×1030 pixels 的圖像。該數(shù)據(jù)集包括I 級(jí)、II 級(jí)和III 級(jí)的腫瘤病理顯微鏡圖像。本文依此順序裁剪出1640 張patch 圖像，并將乳腺癌patch 圖像的分辨率調(diào)整為224 pixels×224 pixels。此外，1640 張patch 圖像被分為983、328 和329 張圖像，分別用于訓(xùn)練、驗(yàn)證和測(cè)試，具體如表1 所示。所提出的AMFNet 是在PyTorch 框架中使用Rmsprop 進(jìn)行優(yōu)化。該網(wǎng)絡(luò)模型中使用的超參數(shù)具體如下：

i=1.0，r=0.5，j=0.2，u=0.2，Epoch=100，Batch size=16。AMFNet 的輸入尺寸為224×224×3。實(shí)驗(yàn)的GPU 是NVIDIA GeForce RTX3060 12 GB。并且本文采用類別準(zhǔn)確度(Grade I Acc、Grade II Acc、Grade III Acc)、平均準(zhǔn)確度(Average Acc)、特異性(Percision，P)、靈敏性(Recall，R)、F1 得分(F1)和ROC 曲線下面積(AUC)對(duì)模型性能進(jìn)行定量分析。

3.1.1 腫瘤分級(jí)準(zhǔn)確率

本文的乳腺癌ER IHC 染色的組織病理圖像分為三個(gè)等級(jí)(I 級(jí)、II 級(jí)和III 級(jí))，對(duì)于類別準(zhǔn)確度和平均準(zhǔn)確度的計(jì)算準(zhǔn)則是：取置信度為0.5，大于0.5的算判對(duì)，最終將判對(duì)的除以總數(shù)得到準(zhǔn)確度百分比。本文對(duì)應(yīng)的是多分類，采用了類別數(shù)量權(quán)重來計(jì)算三種類別的平均腫瘤分級(jí)準(zhǔn)確率，其次本文采用了Marco 方式來計(jì)算三種類別的平均P、R、AUC 和F1 等指標(biāo)。

3.1.2 靈敏性(R)

當(dāng)對(duì)乳腺癌ER IHC 染色的組織病理圖像進(jìn)行自動(dòng)分類時(shí)，會(huì)出現(xiàn)分類混淆矩陣(如表1 所示)中的各種情況。為了分析真正的陽(yáng)性樣本中有多大比例被預(yù)測(cè)正確，本文用召回率來分析，見式(6)。

表1 乳腺癌ER IHC 數(shù)據(jù)集數(shù)量分布表Table 1 Distribution of the number of ER IHC datasets for breast cancer

3.1.3 特異性(P)

如表2 所示，為了確定預(yù)測(cè)為陽(yáng)性的樣本中有多少比例是真正的陽(yáng)性樣本，本文使用特異性指標(biāo)來進(jìn)行分析，其計(jì)算如式(7)所示。

表2 分類混淆矩陣Table 2 Classification confusion matrix

3.1.4 F1 分?jǐn)?shù)(F1)

F1 分?jǐn)?shù)，也被稱為平衡F 分?jǐn)?shù)(balanced F score)，被定義為精度和召回率的平均值。其計(jì)算式如式(8)所示。

3.1.5 ROC 曲線下面積(AUC)

本文使用ROC 曲線和AUC (area under ROC curve，AUC)來評(píng)價(jià)模型性能。根據(jù)分類器的預(yù)測(cè)結(jié)果的置信度對(duì)樣本進(jìn)行排序，將樣本作為陽(yáng)性樣本按此順序進(jìn)行預(yù)測(cè)，每次計(jì)算真陽(yáng)性率(true positive rate，TPR)如式(9)，假陽(yáng)性率(false positive rate，F(xiàn)PR)如式(10)，TPR 作為ROC 曲線的縱軸，F(xiàn)PR 作為ROC曲線的橫軸。

3.2 AMF 方法的消融實(shí)驗(yàn)

為進(jìn)一步研究AMF 方法對(duì)網(wǎng)絡(luò)模型的影響，本文分別對(duì)其進(jìn)行消融實(shí)驗(yàn)驗(yàn)證。從表3 可知，在AMF 方法中同時(shí)使用MOO、AFRM 和AFF 方法的平均準(zhǔn)確度達(dá)到了95.14%，優(yōu)于沒有使用AMF 方法的69.00%，優(yōu)于只使用了MOO 方法的92.40%，也優(yōu)于使用了MOO 和AFRM 方法的93.92%。

3.3 腫瘤分級(jí)準(zhǔn)確率對(duì)比實(shí)驗(yàn)

從表4 可知，本文提出的AMFNet 模型的平均分級(jí)精度為95.14%，明顯高于FABNet 的87.54%、ViTL/16 的 79.94%、ViT-B/16 的 85.41%、DenseNet+HIENet 的 85.71%、DenseNet+Nonlocal 的 83.89%、DenseNet+CBAM 的 82.98%和 DenseNet+SENet 的82.67%。因此，本文提出的AMFNet 比其他先進(jìn)方法(State Of the Art，SOTA)有更好的腫瘤分級(jí)性能。此外，由表3 可知，本文的AMF 方法可以有效地提高AMFNet 的模型融合能力。

表3 在ER IHC 染色的乳腺癌病理組織顯微鏡成像中對(duì)AMF 方法進(jìn)行消融 (?表示無，?表示有)Table 3 Ablation of AMF method in ER IHC pathological microimaging of breast cancer

表4 乳腺癌ER IHC 染色的病理組織顯微成像的腫瘤分級(jí)準(zhǔn)確率Table 4 Tumor grading accuracy of breast cancer ER IHC histopathology microscopic imaging

3.4 分級(jí)結(jié)果可視化實(shí)驗(yàn)

從圖4 觀察可知，本文提出的AMFNet 模型所學(xué)知識(shí)的可視化圖更關(guān)注腫瘤細(xì)胞的異型核，如多核、巨核、多形核和深色核。而病理腫瘤分級(jí)主要依賴于細(xì)胞核的異型程度。而其他SOTA 模型(如FABNet)只是關(guān)注部分異型核區(qū)和許多非典型異型細(xì)胞核區(qū)，這導(dǎo)致了整體可解釋性差。因此，與SOTA 模型相比，本文提出的AMFNet 得到的可解釋性的腫瘤分級(jí)結(jié)果與病理理論更加一致。

此外，本文的目的是融合ViT 和AMCNN 模塊的優(yōu)點(diǎn)，在優(yōu)化過程中融合特征表示較為傾向ViT，所以ViT-AMCNN 所學(xué)的融合特征表示的歸納偏差能力較強(qiáng)，同時(shí)具備較好的可解釋性。顯然這樣的學(xué)習(xí)策略導(dǎo)致AMFNet 的可解釋性優(yōu)于AMCNN 模型而弱優(yōu)于ViT 模型。這里可以從圖4 中看出，我們發(fā)現(xiàn)在四幅可視化圖中，AMFNet 的可解釋性均優(yōu)于傳統(tǒng)的AMCNN 模型，而只有第一幅圖優(yōu)于ViT-B/16 模型，其余三幅是持平的。但是，從可解釋性和腫瘤分級(jí)的總體性能來說，本文模型都遠(yuǎn)優(yōu)于ViT 和AMCNN 模型。

圖4 在乳腺癌ER IHC 染色的病理組織顯微成像上與SOTA 模型進(jìn)行腫瘤分級(jí)結(jié)果的可解釋性對(duì)比Fig.4 Visually interpretative results comparisons with SOTA and our method on the breast cancer IHC microscopic imaging

4 討論與分析

4.1 模型的腫瘤分級(jí)精準(zhǔn)性

由2.2 和2.3 節(jié)實(shí)驗(yàn)分析可知：1) MOO 方法能夠同時(shí)保證ViT 塊和AMCNN 塊具有良好特征表示的能力，從而提高AMFNet 的模型融合能力；2) AFF方法能夠?qū)崿F(xiàn)自適應(yīng)和稀疏性地去除ViT 塊和AMCNN 塊融合后的特征矩陣的冗余信息，從而提高AMFNet 的模型融合能力；3) AFRM 方法通過深度度量學(xué)習(xí)，能夠有效地拉開ViT 和AMCNN 塊所學(xué)特征表示的聯(lián)合概率分布之間的距離，從而降低融合特征矩陣的冗余度，進(jìn)而提高AMFNet 模型的融合能力。

此外，MOO 方法充分地保證了ViT 塊和AMC塊具有良好的特征表示能力，是解決模型負(fù)融合現(xiàn)象的根本，而AFF 方法在MOO 方法的基礎(chǔ)上，自適應(yīng)和稀疏地去除模型內(nèi)部融合特征矩陣中的冗余信息，進(jìn)一步提高了模型融合能力和緩解負(fù)融合現(xiàn)象，最后進(jìn)行的AFRM 方法有效地拉開了ViT 塊和AMC 塊所學(xué)特征表示之間的相似度，進(jìn)一步提升了模型融合能力。總之，由MOO、AFF 和AFRM 所組成的AMF 方法有效地解決了AMFNet 的負(fù)融合問題，從而提升AMFNet 模型融合能力，進(jìn)而提升了AMFNet 的腫瘤分級(jí)準(zhǔn)確率。

4.2 模型的可解釋性

由2.4 節(jié)的實(shí)驗(yàn)分析可知，與SOTA 模型相比，本文提出的端到端AMFNet 模型更加關(guān)注細(xì)胞核異型區(qū)域，例如多核、巨核、多形核和深色核等。這與病理醫(yī)生所關(guān)注的區(qū)域更加吻合，且更加符合病理的相關(guān)分析。因此，本文所提出的AMFNet 模型能同時(shí)具備較好的可解釋性和腫瘤分級(jí)準(zhǔn)確性。故本文的AMFNet 模型一定程度上解決了現(xiàn)有病理圖像的計(jì)算機(jī)輔助診斷算法的可解釋性不足的問題。

4.3 模型的泛化能力分析

本文為了驗(yàn)證AMFNet 方法的泛化能力和穩(wěn)定性，在更大的腦癌組織病理圖像數(shù)據(jù)集[44](4214 張病理圖像，具體如表5 所示)上進(jìn)行了實(shí)驗(yàn)。其中訓(xùn)練集、測(cè)試集和驗(yàn)證集仍是按照6:2:2 的比例進(jìn)行劃分，其中訓(xùn)練集2532 張，驗(yàn)證集841 張，測(cè)試集841 張，其余的實(shí)驗(yàn)條件與乳腺癌組織病理數(shù)據(jù)集實(shí)驗(yàn)保持一致。腦癌組織病理圖像的實(shí)驗(yàn)結(jié)果如表6 和圖5 所示，可以看出，本文所提出的AMFNet 在更大的腦癌數(shù)據(jù)集上，相比其他13 種前沿先進(jìn)模型，仍有最佳的腫瘤分級(jí)準(zhǔn)確率和可解釋性。

圖5 腦癌組織病理圖像的可視化結(jié)果對(duì)比圖Fig.5 Comparison of visualization results of histopathological images of brain cancer

表5 腦癌組織病理圖像數(shù)據(jù)集數(shù)量分布表Table 5 Distribution of the number of brain cancer histopathology image datasets

表6 腦癌組織病理圖像的腫瘤分級(jí)準(zhǔn)確率的對(duì)比表Table 6 Comparison table of tumor grading accuracy of histopathological images of brain cancer

5 結(jié)論

基于ER IHC 染色的病理組織顯微成像對(duì)乳腺癌腫瘤進(jìn)行分級(jí)是一項(xiàng)重要而具有挑戰(zhàn)性的工作，它依賴于病理學(xué)家的經(jīng)驗(yàn)和時(shí)間。特別是，現(xiàn)有的輔助診斷算法的腫瘤分級(jí)結(jié)果不能同時(shí)具有良好的準(zhǔn)確性和可解釋性。因此，本文提出了一種基于自適應(yīng)模型融合的端到端深度網(wǎng)絡(luò)，其保證了ViT 和AMCNN 塊同時(shí)具有良好的特征表示能力，可以提高模型融合和冗余去除能力。大量的實(shí)驗(yàn)結(jié)果表明，本文提出的AMFNet 不僅比其他SOTA 模型具有更高的腫瘤分級(jí)準(zhǔn)確性，而且能夠?qū)δ[瘤分級(jí)結(jié)果進(jìn)行更好的可視化解釋，特別是模型對(duì)異型核的關(guān)注與病理分析更加一致。通過大量的實(shí)驗(yàn)證實(shí)本文提出的AMFNet 在一定程度上提高了現(xiàn)有乳腺癌輔助診斷算法的臨床可信度。