深度學習在主動脈中膜變性病理圖像分類中的應用

孫中杰，萬 濤*，陳 東，汪 昊，趙艷麗，秦曾昌

（1.北京航空航天大學生物與醫(yī)學工程學院，北京 100191；2.北京航空航天大學生物醫(yī)學工程高精尖創(chuàng)新中心，北京 100191；3.首都醫(yī)科大學附屬北京安貞醫(yī)院病理科，北京 100029；4.北京航空航天大學自動化科學與電氣工程學院，北京 100191）

0 引言

胸主動脈瘤和夾層（Thoracic Aortic Aneurysm and Dissection，TAAD）是最具臨床危險性的心血管疾病之一［1］。TAAD 的主要病理形態(tài)學改變是中膜變性（Medial Degeneration，MD），因此，中膜變性的識別和評估對TAAD 的診斷、病因學研究及早期疾病干預具有重要的臨床意義。非炎性主動脈MD 病變類型主要包括平滑肌細胞核缺失（Smooth Muscle Cell Nuclei Loss，SMCNL）、彈力纖維斷裂或缺失（Elastic Fiber Fragmentation and/or Loss，EFFL）、層內(nèi)型粘液池聚集（Intralamellar Mucoid Extracellular Matrix Accumulation，MEMA-I）和穿層型粘液池聚集（Translamellar Mucoid Extracellular Matrix Accumulation，MEMA-T）［2］（如圖1所示）。在臨床診斷中，MD 診斷需要病理醫(yī)生在顯微鏡下對主動脈壁組織切片進行觀察和人工判斷，具有主觀性強、一致性差、耗時費力等缺點，導致該類疾病診斷的準確率不高。例如，SMCNL 容易受到周圍組織的影響，EFFL 與正常組織形態(tài)相似，識別較困難。此外，區(qū)分MEMA-I 和MEMA-T 是根據(jù)黏液樣細胞外基質是否顯著改變組織的層狀結構，對醫(yī)師的專業(yè)知識和經(jīng)驗要求比較高，因此，迫切需要智能化的輔助診斷方法來解決醫(yī)師分析的局限性。

圖1 四種非炎性主動脈中膜變性病理圖像Fig.1 Histopathological images of four types of non-inflammatory aortic medial degeneration

隨著計算機技術和圖像處理算法的快速發(fā)展，計算機輔助診斷（Computer Aided Diagnosis，CAD）技術不僅可以幫助醫(yī)生獲得準確的診斷結論，而且能夠提高診斷效率。例如，Wojnarski 等［3］采用機器學習方法來識別計算機斷層掃描（Computed Tomography，CT）圖像中主動脈病變亞類型，探究主動脈瓣膜形態(tài)和患者特征的關聯(lián)性。Parikh 等［4］通過計算CT 圖像中腹主動脈瘤壁厚和腹主動脈直徑等幾何指標對主動脈瘤進行分類。另外，Mohammadi 等［5］研究者基于卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）設計了一種深度學習分割方法將腹主動脈瘤從CT 圖像上自動提取出來。以上研究表明雖然智能化的診斷系統(tǒng)已經(jīng)較廣泛地用于主動脈病變的識別研究中，但該技術在非炎性主動脈中膜變性程度的輔助診斷的相關研究仍然缺乏；并且，由于病理圖像的高度復雜性，使得病理圖像的自動分析仍然是一個極具挑戰(zhàn)性的領域。

本文使用了一種改進的基于GoogLeNet［6］的卷積神經(jīng)網(wǎng)絡模型，用來設計區(qū)分MD 四種病變的分類方法。首先，采用遷移學習方法對該模型進行預訓練，將先驗知識應用于病理圖像的表達，隨后對模型進行微調(diào)訓練；并使用Focal loss 和L2 正則化解決數(shù)據(jù)不平衡問題，進一步優(yōu)化模型性能。該深度學習方法實現(xiàn)了對MD 四種病變的自動分類，為建立大規(guī)模病理圖像的智能分析系統(tǒng)提供了新思路。

1 數(shù)據(jù)集和評價指標

1.1 數(shù)據(jù)集

1.1.1 數(shù)據(jù)標注

本文收集了106 例診斷為主動脈中膜病變患者的高分辨率組織病理圖像。所有的病理切片在臨床醫(yī)學專家參與下取材、制片、蘇木精—伊紅染色法制作而成。圖像的采集設備為3DHISTECH 公司的全切片掃描儀（Pannoramic，3DHISTECH Ltd.，Budapest，Hungary）。一位擁有10 年以上經(jīng)驗的病理專家，使用開放的數(shù)字切片處理軟件CaseViewer，在病理圖像上勾畫出病灶區(qū)域，并且給出相應的MD 病變類型。其中，SMCNL 標簽顯示區(qū)域中存在細胞核缺失，EFFL 標簽表明該區(qū)域出現(xiàn)明顯并且嚴重的彈力纖維斷裂，MEMA-I和MEMA-T分別表明病變區(qū)域包含不同程度和范圍的粘液池。為了減少單個醫(yī)生判斷的主觀性，一名高級別病理學家對標注結果進行了復查。

1.1.2 數(shù)據(jù)集制作

從所標注的病變區(qū)域提取了3 087 張圖像塊，包括663 張SMCNL、1 455 張EFFL、873 張MEMA-I 和96 張MEMA-T。訓練集、驗證集以及測試集按照比例6∶2∶2 進行隨機劃分，并且保證三個數(shù)據(jù)集具有相同的病變類型分布。為了避免分類偏差，訓練和測試樣本同時不包含來自同一患者的圖像塊。

1.1.3 數(shù)據(jù)增強

有限的標注圖像和四種MD 病變類別之間的不平衡將會導致分類結果偏向于擁有更多數(shù)據(jù)的類型。因此，使用數(shù)據(jù)增強方法，將圖像塊分別旋轉60°、90°、180°和270°，并結合隨機裁剪，從而產(chǎn)生五倍的圖像樣本。數(shù)據(jù)增強不僅能夠擴大訓練數(shù)據(jù)集，同時能夠使模型訓練更加穩(wěn)定。

1.2 評價指標

分類性能使用準確率（ACCuracy，ACC）、精確率（PREcision，PRE）、靈敏度（SENsitivity，SEN）和F 值（Fmeasure）四個指標進行量化，其計算公式表示為：

其中：TP、TN、FP、FN分別代表真陽性（True Positive）、真陰性（True Negative）、假陽性（False Positive）和假陰性（False Negative）；F值是精準率和靈敏度的調(diào)和平均值。在四分類中，上述指標的計算方法與二分類相似，即計算某一類型病變時，其余三類病變被視為相同的類別。

2 深度學習方法

將深度學習方法應用于MD 四種病變類型的分類，能夠自動識別MD 的四種病變類型，包括SCML、EFFL、MEMA-I 和MEMA-T。該方法流程如圖2所示。

圖2 中膜變性病理圖像分類方法流程Fig.2 Flowchart of classification method of MD histopathological images

2.1 圖像預處理

2.1.1 顏色歸一化

由表8可知隨著染色溫度的增加，棉條表觀深度K/S值提高，但溫度超過70℃以后，K/S值減小。這是由于溫度升高，染料加速擴散，上染速率提高，同時染料水解速率提高，但在一定的溫度范圍內(nèi)，溫度提高，染料上染速率大于水解速率，但是當超過合適溫度時，染料的水解速率大于上染速率，所以上染率降低，棉條得色淺，因此選擇染色溫度70℃為宜。

在對主動脈壁組織樣本進行染色制片以及掃描的過程中，由于染色的實驗室條件、數(shù)字掃描儀的參數(shù)設置和光照的不同，往往會造成數(shù)字病理圖像的顏色差異。顏色歸一化操作不僅能夠保證圖像顏色的一致性，同時保留病理圖像中存在的生物信息，進而提升模型的分類性能。采用一種基于染色分離的歸一化方法［7］，來減少組織病理學圖像的顏色差異，同時通過生成染色密度圖來盡可能保存細胞內(nèi)的結構信息［8］。

2.1.2 訓練樣本的生成

醫(yī)生手動標注的病灶區(qū)域面積大小相差較大。例如，SMCNL類型的病灶面積在300像素×300像素至600像素×600像素之間，然而MEMA-I 類型的病灶面積在80 像素×80 像素至150像素×150像素之間。經(jīng)過比較不同輸入圖像尺寸對分類性能和計算復雜度的影響，選擇病灶區(qū)域的裁剪大小為224 像素×224 像素。因此，有些較小的病灶區(qū)域通過擴大裁剪區(qū)域而獲得大小一致的圖像塊。所提取的病理圖像塊作為模型訓練和測試的數(shù)據(jù)集。

2.2 深度卷積神經(jīng)網(wǎng)絡模型的設計

以改進的GoogLeNet 網(wǎng)絡結構為基礎，對病理圖像的四種MD 病變類型進行分類。在多分類任務中，輸入的病理圖像包含了主動脈中膜組織的多樣病理性變化。例如，在MEMA-T 病理圖像中，黏液狀細胞外基質的增加顯著改變了層狀單位的排列（如圖1（d）所示）。先驗實驗表明，GoogLeNet模型在處理這種具有微觀結構的復雜組織病理圖像具有優(yōu)勢，并且能夠達到較高的分類精度。

GoogLeNet 是具有22 層網(wǎng)絡結構的深度模型。提升網(wǎng)絡性能的常用方法是增加網(wǎng)絡的深度和寬度，但是這將會導致更巨量的參數(shù)，同時加大模型訓練的計算量和難度。大量的模型參數(shù)容易產(chǎn)生過擬合，不利于獲得最優(yōu)的分類結果。受到Arora 等［9］理論工作的啟發(fā)，Szegegy 等［6］提出了一種稱為Inception 的模塊化網(wǎng)絡結構，將全連接甚至一般的卷積轉化為稀疏連接，從而保持網(wǎng)絡的稀疏性。該模型采用密集成分來近似最優(yōu)的局部稀疏結構，極大地降低了參數(shù)量，提高了計算效率，其基本結構如圖3所示。Inception 網(wǎng)絡采用3種不同大小的卷積核學習圖像特征，獲得不同大小的感受野，通過拼接實現(xiàn)不同尺度特征的融合。另外，模型在卷積層前增加了1×1的卷積核對數(shù)據(jù)進行降維，從而提高了計算效率。

圖3 Inception網(wǎng)絡結構Fig.3 Inception network architecture

如圖2所示，GoogLeNet模型中使用了9個Inception模塊。隨著網(wǎng)絡層數(shù)加深，所提取的特征越抽象，相應的感受野也更大。因此，GoogLeNet在更深的網(wǎng)絡層上增加了卷積核的個數(shù)來更有效地計算圖像特征。最后，在卷積層后執(zhí)行全連接操作，使用Softmax分類器實施多分類任務，得到MD病理圖像的分類結果。

由于GoogLeNet 網(wǎng)絡層數(shù)較深，在提取到更深層次特征的時候，感受野的擴大會產(chǎn)生特征消失的問題，從而對病理圖像分類精度造成影響。針對實驗所使用的病理圖像中細胞微觀結構特點，根據(jù)已有研究對GoogLeNet 模型的結構進行了精簡和優(yōu)化［10］。GoogLeNet深度學習網(wǎng)絡具有模塊化特點，并且每個Inception模塊擁有相同的結構。通過選取不同數(shù)目的Inception 模塊對網(wǎng)絡進行訓練，發(fā)現(xiàn)模型在Inception_4e 后分類結果提升緩慢，即網(wǎng)絡達到最優(yōu)性能。因此，本文去除了GoogLeNet 在Inception_4e 之后的結構，并且直接使用平均池化層和全連接層對特征圖進行分類輸出。精簡后的網(wǎng)絡不僅能夠進行有效分類，而且節(jié)省約30%的計算資源，其與原始網(wǎng)絡在圖形處理器（Graphics Processing Unit，GPU）運行性能對比情況如表1所示。

表1 精簡的GoogLeNet與原始網(wǎng)絡的對比Tab.1 Comparison between simplified GoogLeNet and the original network

2.3 遷移學習

使用ImageNet大型數(shù)據(jù)集對模型進行了預訓練。雖然病理圖像與自然圖像區(qū)別較大，但是自然圖像中所包含的低級特征，例如點、線、顏色等，能夠為病理圖像分類任務提供先驗知識；并且，通過從自然圖像中提取這些特性，有助于加速模型的訓練過程。此外，預訓練后獲得的模型權值參數(shù)可以用來初始化GoogLeNet模型。

2.4 Focal loss 和L2正則化

在訓練模型的過程中，發(fā)現(xiàn)數(shù)據(jù)類型不平衡嚴重影響了模型的分類性能。訓練集中所包括的四種MD 病變類型SMCNL、EFFL、MEME-I和MEME-T樣本比例為7∶15∶9∶1。與標準的交叉熵（cross entropy）損失函數(shù)相比，F(xiàn)ocal loss［11］可以更加關注分類困難和錯誤的樣本，降低易分樣本的損失值占比，進而更好地處理數(shù)據(jù)不平衡的問題。如圖4 所示，相對于交叉熵損失，F(xiàn)ocal loss產(chǎn)生的損失值曲線衰減更快，且曲線更加平滑。Focal loss函數(shù)可以定義為：

其中：Pt是模型在分類任務中對某一樣本的預測概率；超參數(shù)α和γ分別起到調(diào)和正負樣本不均勻和控制損失值曲線移動的作用。另外，引入了L2 正則化來控制模型的復雜度，避免由于樣本不平衡而引起的過擬合問題。模型使用的損失函數(shù)定義為：

其中：W是模型權重系數(shù)向量；λ是控制正則化強度的正則化系數(shù)。

圖4 交叉熵損失和使用L2正則化的Focal loss生成的損失值曲線Fig.4 Loss value curves generated by cross-entropy loss and Focal loss with L2 regularization

3 實驗結果與分析

模型搭建采用基于Pytorch 的深度學習框架。模型訓練使用高性能計算平臺（華為G5500 系列服務器）和NVIDIA V100 GPU 卡。訓練參數(shù)設置：批次大?。╞atch size）為32，學習率（learning rate）為0.001，輪次（epoch）為1 500。使用Adam 網(wǎng)絡優(yōu)化器來更新權值參數(shù)。模型訓練需要大約23 400 s。圖像預處理使用的是Matlab R2018b 平臺和python3.7。通過手動調(diào)整L2 正則化的參數(shù)（λ=0.001）來獲得最好的訓練效果。Focal loss 涉及的兩個關鍵參數(shù)為α=0.25 和γ=2。該參數(shù)組合的設定是根據(jù)前期工作結果，保證模型能夠獲得最好的分類性能［12］。

3.1 多分類結果

為了更好地可視化分類結果，將分類結果的混淆矩陣展示成如圖5 所示的柱狀圖。圖5 顯示了在包含618 個數(shù)據(jù)樣本的測試數(shù)據(jù)集對SMCNL、EFFL、MEMA-I 和MEMA-T 的分類結果。其中，SMCNL 和EFFL 分別有兩個樣本被錯分為其他類型。該模型對SMCNL 和EFFL 的識別分辨能力較好。相較于SMCNL 和EFFL，MEMA-I 和MEMA-T 有較多的錯分樣本，尤其有約16%的MEMA-T 被識別為MEMA-I。原因是兩種病變類型在圖像上顯示出相似的病理表征。另外，由于較嚴重的數(shù)據(jù)不平衡，MEMA-T 數(shù)據(jù)樣本較少造成分類結果較差。

圖5 中膜變性病理圖像四分類結果Fig.5 Four-class classification results for MD pathological images

將改進的GoogLeNet 與四種常用的分類模型VGG16、AlexNet［12］、ResNet［13］和MnasNet［14］做對比，如表2所示。

表2 不同模型的多分類結果對比 單位：%Tab.2 Comparison of multi-classification results of different models unit：%

所有模型采用了相同的數(shù)據(jù)增強、遷移學習、L2 正則化和Focal loss。通過觀察表2，發(fā)現(xiàn)改進的GoogLeNet 在MD 分類性能方面優(yōu)于對比模型。EFFL 在所有分類指標中都獲得了最好的結果。MEMA-I在準確率、精確率和F值取得了最好結果。SMCNL 的準確率和精準率是最高的。由于數(shù)據(jù)的不平衡，并且測試數(shù)據(jù)集中包含的MEMA-T 樣本較少，MEMA-T的分類結果較差。ResNet 模型的表現(xiàn)也較好，其擁有18 層網(wǎng)絡結構，和本文采用的GoogLeNet 精簡模型的網(wǎng)絡深度接近，另外其引入殘差學習來提升模型的分類性能［15］。但是，由于MD 各病變類別間的病灶面積大小相差較大，而GoogLeNet 引入了不同大小的卷積核，可以更好地提取MD 的上下文信息，因此其性能優(yōu)于ResNet。相較于其他網(wǎng)絡，AlexNet 表現(xiàn)較差，其主要原因是AlexNet 是一種具有8 層網(wǎng)絡結構的淺層網(wǎng)絡，捕捉病理圖像特征的能力有限，因此它在MD 分類任務中的準確率較低。對比結果表明，改進的GoogLeNet 模型能夠從病理圖像中識別出特定的組織病理變化，用來幫助提升MD四種病變類型的自動分類。

表2 的結果顯示MEMA-T 的分類結果較差，主要是該數(shù)據(jù)樣本數(shù)量較少，存在嚴重的數(shù)據(jù)不平衡。因此，本研究使用合成類過采樣技術（Synthetic Minority Oversampling TEchnique，SMOTE）算法對MEMA-T 樣本進行過采樣，將樣本數(shù)量增加至原來的5 倍，從而緩解數(shù)據(jù)不平衡問題。通過觀察表3，發(fā)現(xiàn)MEMA-T 分類的三項評價指標（SEN、PRE 和F值）均得到了有效提升，表明數(shù)據(jù)增強有助于改善存在數(shù)據(jù)不平衡問題的病理圖像的分類性能。

表3 使用SMOTE方法前后MEMA-T分類結果對比 單位：%Tab.3 Classification result comparison of MEMA-T before and after using SMOTE method unit：%

3.2 消融研究

為了提高模型的訓練效率和穩(wěn)定性，L2 正則化用來消除訓練過程中存在的過擬合現(xiàn)象。本文使用Focal loss 代替交叉熵損失函數(shù)來解決數(shù)據(jù)不平衡問題。為了評估模型中不同方法的有效性，以訓練集、驗證集和測試集的四種病變平均分類準確率為評價指標，進行了消融研究。

表4 的結果顯示精簡的GoogLeNet 模型獲得了與原始模型相當?shù)姆诸愋阅埽渲写煮w文本、Goo、Ent、Aug、Tran、L2 和Foc 分別表示最佳性能、精簡的GoogLeNet、交叉熵損失函數(shù)、數(shù)據(jù)增強、遷移學習、L2 正則化和Focal loss 損失函數(shù)。數(shù)據(jù)增強和遷移學習都可以增進模型的分類性能，并且這兩種方法的組合使用比單獨使用能夠獲得更高的分類準確率。L2正則化的使用在一定程度上抑制了過擬合，增強了模型擬合函數(shù)的穩(wěn)定性。Focal loss能夠通過減少易分類樣本損失值的占比，并強制對難分類樣本進行訓練，從而進一步提升多分類性能。在本文的病理數(shù)據(jù)中，MEMA-I 和MEMA-T 是兩種相似的病變類型，區(qū)分比較困難。相較于原始的GoogLeNet 模型，精簡的GoogLeNet 對MEMA-I和MEMA-T 的分類準確率提高了約4個百分點。

表4 消融研究結果 單位：%Tab.4 Ablation study results unit：%

4 結語

本文采用了一種基于深度學習的計算機輔助方法對四種非炎性主動脈中膜病理圖像（SMCNL、EFFL、MEMA-I、MEMAT）進行自動分類。利用精簡的GoogLeNet 模型來提高訓練效率，有效地使用數(shù)據(jù)增強、遷移學習和L2 正則化進一步提升網(wǎng)絡性能。采用Focal loss 解決實際存在的中模變性病理圖像數(shù)據(jù)不平衡問題。實驗結果表明，精簡的GoogLeNet 模型在MD分類性能指標上優(yōu)于常用的深度學習模型。本文研究為深度學習技術用于基于病理圖像的非炎性主動脈中膜病變分類提供了新思路。在未來工作中，將獲取數(shù)量更多、種類更廣的病理圖像，進一步提升模型的泛化能力。