基于卷積神經(jīng)網(wǎng)絡(luò)胃癌分割與T分期算法

周意龍，衛(wèi)子然，蔡清萍，高永彬，馬碩

1.上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201600；2.上海長(zhǎng)征醫(yī)院普外二科，上海 200003

前 言

據(jù)《全球癌癥發(fā)病死亡統(tǒng)計(jì)報(bào)告》顯示，2018年全球約有103.4 萬(wàn)新增胃癌患者，死于胃癌的人數(shù)高達(dá)78.3萬(wàn)［1］。從全球范圍看，中國(guó)每年新發(fā)胃癌患者和死亡病例占到全世界的一半。中國(guó)癌癥2018年報(bào)數(shù)據(jù)顯示，我國(guó)胃癌發(fā)病率及死亡率均高居第2 位，其特點(diǎn)是早期胃癌比例低、進(jìn)展期癌比例高（80%以上）、5年生存率低（35.1%），與韓國(guó)、日本等國(guó)家差距較大［2-4］。胃癌高發(fā)的主要危險(xiǎn)因素是幽門(mén)螺桿菌誘導(dǎo)胃部炎癥反應(yīng)，導(dǎo)致胃癌發(fā)生。全球50%的人口存在幽門(mén)螺桿菌，在經(jīng)濟(jì)欠發(fā)達(dá)地區(qū)感染尤其普遍。幽門(mén)螺桿菌感染誘發(fā)胃黏膜炎癥，促進(jìn)胃內(nèi)N-亞硝基化合物合成。除了自身胃病等胃癌高發(fā)人群以外，高鹽飲食、作息不規(guī)律、重度飲酒抽煙也是胃癌高發(fā)的主要誘導(dǎo)因素。大約80%胃癌患者發(fā)現(xiàn)病況時(shí)已錯(cuò)過(guò)最佳診治時(shí)機(jī)。我國(guó)胃癌防治工作仍面臨嚴(yán)峻挑戰(zhàn)，提高胃癌的早診率是當(dāng)務(wù)之急。

近年來(lái)隨著深度學(xué)習(xí)的迅速發(fā)展以及大量數(shù)據(jù)和性能優(yōu)越的硬件設(shè)施支持，利用計(jì)算機(jī)進(jìn)行圖像分割和圖像分類的任務(wù)給人們的工作生活帶來(lái)了許多便捷。胃癌CT圖像的自動(dòng)分割與T分期也成為可能，然而與肺結(jié)節(jié)、乳腺癌的結(jié)構(gòu)不同，胃是空腔臟器，胃癌會(huì)在類環(huán)形的胃壁上以各種大小、形狀和位置出現(xiàn)，所以胃癌分割與T 分期仍然是一項(xiàng)艱巨任務(wù)。本文提出一種以深度學(xué)習(xí)為基礎(chǔ)的基于卷積神經(jīng)網(wǎng)絡(luò)的胃癌分割與T分期算法，該算法可以客觀全面地對(duì)CT 影像進(jìn)行分析，并能夠給患者和醫(yī)生提供較為可靠的診斷結(jié)果，可以輔助醫(yī)生診斷，提高臨床效率，緩解醫(yī)療資源不平衡。胃部腫瘤分割與分期的神經(jīng)網(wǎng)絡(luò)（Stomach Tumor Segmentation and Classification neural Network, SC-Net）繼承并延伸了著名的醫(yī)學(xué)圖像處理網(wǎng)絡(luò)U-Net［5］和Y-Net［6］算法，本文的主要貢獻(xiàn)如下：（1）融合了分割和分類兩種不同方法，首次將深度學(xué)習(xí)用于胃癌的分割和分期。兩條主線共享權(quán)重、共同迭代優(yōu)化。結(jié)果表明在此任務(wù)中所提出的方法優(yōu)于同類方法。（2）引入注意力機(jī)制提高感興趣區(qū)域的關(guān)注度，從而使網(wǎng)絡(luò)具有更好的魯棒性。（3）提出一個(gè)密集連接的空洞卷積（Densely Connected Dilated Convolution,DDC）塊，以保留上下文信息并豐富更多高級(jí)特征，可以實(shí)現(xiàn)特征重用并提高效率。

1 相關(guān)工作

胃癌的分割和T 分期是現(xiàn)代醫(yī)學(xué)影像輔助診斷胃癌中至關(guān)重要的一步。首先，胃癌是從胃壁內(nèi)側(cè)（內(nèi)壁）向胃壁外側(cè)（外壁）生長(zhǎng)。胃壁可以分為黏膜層、肌層、漿膜層，當(dāng)胃部沒(méi)有腫瘤時(shí)，屬于T0期；當(dāng)胃癌生長(zhǎng)在黏膜層但未突破黏膜層時(shí)屬于T1期；當(dāng)腫瘤突破黏膜層但未侵犯到肌層時(shí)屬于T2期，以此類推，直至腫瘤突破漿膜層（外壁）時(shí)屬于T4期。在CT 影像分析方面，腫瘤分割和T 分期的金標(biāo)準(zhǔn)均是由臨床專家手動(dòng)標(biāo)注完成的，這是一項(xiàng)繁瑣任務(wù)。由于現(xiàn)代科技的發(fā)展，醫(yī)療數(shù)據(jù)呈幾何倍數(shù)增長(zhǎng)，而醫(yī)生的精力和體力有限且手動(dòng)標(biāo)注判斷也會(huì)因?yàn)椴豢煽匾蛩赜绊懺\斷結(jié)果。面對(duì)如此重復(fù)繁瑣的工作，急需一種能夠全自動(dòng)分析的方法。

自2012年Krizhevsky 等［7］提出的端到端的AlexNet 以15.3%的top-5 錯(cuò)誤率贏得了第1 名，深度學(xué)習(xí)迎來(lái)了快速發(fā)展與應(yīng)用。之后Szegedy 等［8］在AlexNet 基礎(chǔ)上繼續(xù)加深網(wǎng)絡(luò)層的深度提出一個(gè)有19 層結(jié)構(gòu)的VGG 網(wǎng)絡(luò)。Srivastava 等［9］提 出 帶 有Inception 結(jié)構(gòu)的GooLeNet，使網(wǎng)絡(luò)結(jié)構(gòu)不僅變深，而且變“寬”，并且獲得2014年ILSVRC 比賽冠軍。He等［10］報(bào)道的深度殘差網(wǎng)絡(luò)（ResNet）用殘差結(jié)構(gòu)（幾層卷局層之后的特征圖與之前的特征圖相加）將網(wǎng)絡(luò)的層數(shù)突破100層，在加速優(yōu)化防止梯度消失的同時(shí)還加快了網(wǎng)絡(luò)模型的訓(xùn)練速度。受到ResNet的啟發(fā)，Gao 等［11］提出DenseNet，其Dense block 內(nèi)的任意兩層之間都有連接，擁有比ResNet更密集的連接，但是計(jì)算參數(shù)只有深度殘差網(wǎng)絡(luò)的一半。隨著Long等［12］歷史性改造原始的CNN創(chuàng)造出全卷積神經(jīng)網(wǎng)絡(luò)FCN，使得CNN 在沒(méi)有全連接層的情況下可以按照像素級(jí)別對(duì)圖像進(jìn)行分析。Ronneberger 等［13］針對(duì)FCN 存在的問(wèn)題提出了最經(jīng)典且最著名的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)U-Net，與FCN結(jié)構(gòu)類似，U-Net采用了對(duì)稱的編碼-解碼模式，首先用卷積層和池化層進(jìn)行下采樣組成編碼部分提取語(yǔ)義特征，然后使用反卷積進(jìn)行上采樣組成解碼部分恢復(fù)分割圖，解碼編碼中間均使用跳躍連接將編碼部分的低級(jí)特征crop 并與解碼部分的高級(jí)語(yǔ)義特征融合起來(lái)再進(jìn)行上采樣。在當(dāng)年U-Net 架構(gòu)也取得ISBI 比賽的冠軍。U-Net 以其特殊結(jié)構(gòu)和優(yōu)異性能成為科研人員最喜歡研究的內(nèi)容之一。Xiao 等［14］和Wang 等［15］分別將U-Net 中的卷積模塊利用殘差（ResNet）思想和密集連接（DenseNet）思想進(jìn)行代替，實(shí)現(xiàn)ResU-Net 對(duì)視網(wǎng)膜圖像進(jìn)行分割和DenseU-Net對(duì)圖像進(jìn)行去噪并且都取得很好效果。Alom 等［16］則將循環(huán)卷積網(wǎng)絡(luò)與UNet 相結(jié)合，R2U-Net 在每一個(gè)卷積模塊中都引入了循環(huán)，也在眼底血管CT 圖、皮膚病理圖和肺部CT 圖等3個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，證明了循環(huán)結(jié)構(gòu)的可靠性。Oktay 等［17］在胰腺分割任務(wù)中加入Attention 機(jī)制在卷積提取特征的時(shí)候給特征圖中的目標(biāo)區(qū)域分配更高得分，使得網(wǎng)絡(luò)反向傳播更新參數(shù)的時(shí)候，會(huì)重點(diǎn)關(guān)注感興趣區(qū)域。Fu 等［18］在每個(gè)尺度上給出一個(gè)輸入和相應(yīng)輸出，提出了一個(gè)多輸入多輸出的M-Net。Gu 等［19］的“CE-Net”在肺部、眼底血管、細(xì)胞輪廓分割表現(xiàn)均很優(yōu)異。Mehta 等［6］將U-Net 擴(kuò)展另外一條路徑實(shí)現(xiàn)了對(duì)乳房活檢圖像的分割與分類。?i?ek 等［20］考慮到二維卷積操作忽視了圖像空間內(nèi)的聯(lián)系，使用三維卷積代替二維卷積，此外還使用Batch Normalization（BN）［21］抑制過(guò)擬合加快網(wǎng)絡(luò)訓(xùn)練并得到了更精確的分割結(jié)果。Milletari 等［22］延續(xù)三維卷積的思想提出3D 代表網(wǎng)絡(luò)結(jié)構(gòu)V-Net，該架構(gòu)使用卷積代替上采樣和下采樣，這種操作的好處是避免了由下采樣或者上采樣而丟失過(guò)多的邊緣和細(xì)節(jié)信息。Gibson 等［23］將Dense 密集連接與V-Net 進(jìn)行融合，在原始V-Net 每個(gè)卷積層中都使用Dense 連接，用來(lái)對(duì)腹部多個(gè)器官（8 個(gè)）進(jìn)行同時(shí)分割。Sun 等［24］使用可變性卷積和多尺度網(wǎng)絡(luò)在病理圖像中實(shí)現(xiàn)了胃癌分割，其在病理圖上的分割精度達(dá)到82.65%。Shibata 等［25］基 于Mask-RCNN從胃腸道內(nèi)窺鏡圖像中自動(dòng)檢測(cè)早期胃癌，但是其分割的平均交并比（mean Intersection over Union，mIOU）只有71%。Zheng 等［26］利用快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)對(duì)晚期增強(qiáng)CT圖像進(jìn)行T分期。在大多數(shù)研究中，分割任務(wù)和分類任務(wù)通常是兩個(gè)獨(dú)立部分。本文考慮到分割與分類均是對(duì)同一樣本進(jìn)行研究，兩種情況提取到的特征相互傳播，相互更新迭代優(yōu)化，會(huì)有益于任務(wù)完成。因此本文將分割與分類兩個(gè)任務(wù)融合在同一個(gè)網(wǎng)絡(luò)當(dāng)中，同時(shí)實(shí)現(xiàn)胃癌的分割和分期。

2 方法

本文提出的SC-Net：基于卷積神經(jīng)網(wǎng)絡(luò)的胃癌分割與T 分期算法的訓(xùn)練流程如圖1所示。訓(xùn)練總共分為兩步，第一步：僅僅使用U 型網(wǎng)絡(luò)訓(xùn)練分割部分，圖中U 型網(wǎng)絡(luò)中的A 表示注意力機(jī)制（Attention Mechanism），灰色方框表示卷積出來(lái)的特征圖，最終得到粗分割結(jié)果；第二步：將第一步訓(xùn)練保存的權(quán)重載入到第二步當(dāng)中進(jìn)行訓(xùn)練，并且聯(lián)合胃癌T分期與分割共同訓(xùn)練，圖中黑色圓圈表示一個(gè)1×5 的向量，分別對(duì)應(yīng)T0期至T4期5個(gè)類別。

圖1 總體訓(xùn)練流程Figure 1 Overall training process

在醫(yī)學(xué)圖像處理中，U 形網(wǎng)絡(luò)這種“編碼-解碼”模塊在很多任務(wù)中的表現(xiàn)都非常出色，但是這種類型的網(wǎng)絡(luò)只有單一的分割掩碼輸出。由于胃部CT圖像中腫瘤特征不明顯而且目標(biāo)較小，很難進(jìn)行分割和T 分期。針對(duì)此問(wèn)題，本文提出了SC-Net：胃癌分割與T 分期算法。該網(wǎng)絡(luò)結(jié)構(gòu)框圖如圖2所示。除了普通U 型網(wǎng)絡(luò)單個(gè)分割掩碼輸出外，SC-Net 還有另一個(gè)并行的分類輸出。分割部分的網(wǎng)絡(luò)參數(shù)與T 分期部分的網(wǎng)絡(luò)參數(shù)在反向傳播過(guò)程中相互更新權(quán)重、共同迭代更新，解決了胃癌難以分割、腫瘤類型難以分類的問(wèn)題。

圖2 SC-Net結(jié)構(gòu)圖Figure 2 SC-Net structure

圖中特征編碼部分采用了在ImageNet 上經(jīng)過(guò)預(yù)訓(xùn)練的ResNet 殘差結(jié)構(gòu)來(lái)提取特征，特征解碼部分使用由1×1、3×3 和1×1 組成的帶有注意力機(jī)制的反卷積模塊來(lái)恢復(fù)更詳細(xì)的語(yǔ)義信息，注意力機(jī)制的引入可以減少不同尺度的特征要素之間的信息鴻溝并突出顯示感興趣區(qū)域。多核殘差模塊則是使用不同大小的池化核對(duì)同一特征圖進(jìn)行不同感受野的特征提取，圖中綠色框表示DDC 模塊，是針對(duì)胃癌在CT影像上的特點(diǎn)而提出的由多個(gè)不同空洞率的卷積層組成的模塊，該模塊利用空洞卷積的特性提取更豐富、更高級(jí)的特征。本文所設(shè)計(jì)網(wǎng)絡(luò)的輸入是原始的上腹部CT 圖像，輸出是胃癌的分割圖與胃癌的T 分期結(jié)果（分類結(jié)果）。本文使用多層感知機(jī)從全連接層提取的特征預(yù)測(cè)胃癌分期，分類結(jié)果是逐像素對(duì)圖像進(jìn)行分析，最終從一個(gè)1×5的向量中選取代表5種T分期類型中概率值最大的作為T(mén)分期結(jié)果。

本小結(jié)中分別介紹獲取胃癌粗分割和T 分期包含的不同模塊：特征編碼模塊、多核殘差模塊、帶注意力機(jī)制的特征解碼模塊、密集連接的空洞卷積模塊。

2.1 特征編碼模塊

隨著深度學(xué)習(xí)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)儼然成為如今炙手可熱的研究方向。然而，由于醫(yī)學(xué)數(shù)據(jù)的特殊性，可用來(lái)使用的數(shù)據(jù)十分稀少，這就間接導(dǎo)致網(wǎng)絡(luò)出現(xiàn)過(guò)擬合、分割精度低下。在這樣的條件下，遷移學(xué)習(xí)的出現(xiàn)可以直接提高算法的魯棒性，特別是在數(shù)據(jù)有限的情況下。本文利用這種思想，將在ImageNet 數(shù)據(jù)集上經(jīng)過(guò)預(yù)訓(xùn)練的ResNet-34 使用到特征編碼模塊中提取圖像的特征信息。在特征編碼模塊中保留了ResNet前4個(gè)殘差卷積模塊，刪除了原始網(wǎng)絡(luò)中后面的池化層和全連接層。與U-Net 的編碼模塊相比，這種殘差機(jī)制提高了網(wǎng)絡(luò)泛化能力，避免了梯度消失，增強(qiáng)了網(wǎng)絡(luò)訓(xùn)練能力。殘差塊的流程圖如圖3所示。

圖3 殘差塊的流程圖Figure 3 Flowchart of residual blocks

2.2 多核殘差模塊

在上腹部CT 圖像中，胃癌大小、形態(tài)、位置和容積效應(yīng)都是對(duì)研究的挑戰(zhàn)。中晚期的腫瘤通常比早期腫瘤大得多，有些甚至比早期腫瘤大10 倍。腫瘤也是以隨機(jī)形態(tài)隨機(jī)生長(zhǎng)在胃壁上。容積效應(yīng)也使得胃壁和腫瘤難以分別。這些問(wèn)題對(duì)胃癌分割和T分期有很大影響。對(duì)于這樣一類大小、位置、形態(tài)都不具穩(wěn)定性的腫瘤，提出了多核殘差（MR）模塊來(lái)突出顯示目標(biāo)區(qū)域。該模塊主要依靠多個(gè)不同尺寸的核檢測(cè)大小不同對(duì)象（腫瘤）并提取上下文的語(yǔ)義信息。隨著感受野增大，可以提取到的信息就越多。4個(gè)不同級(jí)別的輸出池化層對(duì)應(yīng)4 個(gè)不同感受野的特征圖。大感受野可以提取更加抽象的特征，小感受野可以提取更豐富的細(xì)節(jié)信息，大感受野與小感受野相互結(jié)合，既擁有大感受野下提取的宏觀信息也擁有小感受野下獲得的精細(xì)的微小特征信息。其結(jié)構(gòu)如圖4所示。在經(jīng)過(guò)4 個(gè)不同級(jí)別（2×2、3×3、5×5、6×6）的池化層之后，使用1×1卷積減少權(quán)重的維數(shù)和計(jì)算的復(fù)雜度。然后分別對(duì)4個(gè)特征圖進(jìn)行上采樣，恢復(fù)至原圖大小。最后將4 個(gè)經(jīng)過(guò)處理的特征圖與該結(jié)構(gòu)輸入的特征圖拼接到一起。這種用不同大小感受野的提取特征的方法可以提取到不同視野下更加豐富的信息。

圖4 多核殘差池化模塊結(jié)構(gòu)圖Figure 4 Structure of multi-core residual pooling module

2.3 帶注意力機(jī)制的特征解碼模塊

在經(jīng)過(guò)特征編碼和多核殘差模塊提取深層語(yǔ)義信息后，如何合理使用這些深層特征信息也同等重要。而特征解碼設(shè)計(jì)可以巧妙地將輸入SC-Net的圖片還原成原圖大小的語(yǔ)義分割圖。然而在上腹部CT影像中，除胃癌之外還有許多其他組織結(jié)構(gòu)，如肝、血管、腎臟、胰腺等。除此之外，醫(yī)學(xué)圖像還具有個(gè)異性、特異性，每一位患者的CT 圖像都是無(wú)法復(fù)制、獨(dú)一無(wú)二的，部分圖像還會(huì)有偽影或噪聲存在。這些噪聲、偽影和組織結(jié)構(gòu)或多或少會(huì)對(duì)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程造成影響。為了最小化其他組織結(jié)構(gòu)和噪聲對(duì)網(wǎng)絡(luò)造成的不良效應(yīng)，本文在特征解碼的同時(shí)引入微調(diào)的注意力機(jī)制。特征編碼模塊中每一層的特征圖與特征解碼模塊中對(duì)應(yīng)的每一層的特征圖一同送入注意力機(jī)制中。通過(guò)融合特征編碼中的低級(jí)邊緣細(xì)小特征和特征解碼中高級(jí)的深層語(yǔ)義特征，SC-Net既可以保留高級(jí)特征中的高分辨率信息又可以保留低級(jí)特征圖中的邊緣信息，從而提高整個(gè)網(wǎng)絡(luò)圖像分割的準(zhǔn)確性。除此之外，微調(diào)的注意力機(jī)制還可以補(bǔ)償卷積和池化操作中丟失的信息，微調(diào)注意力機(jī)制具體結(jié)構(gòu)如圖5所示。

圖5 注意力機(jī)制示意圖Figure 5 Schematic diagram of attention mechanism

從圖5中可以看出注意力機(jī)制的輸入分別由特征編碼模塊中的特征圖g與特征解碼中的特征圖xl組成，而注意力機(jī)制的輸出是經(jīng)過(guò)計(jì)算得出的注意力系數(shù)α與解碼中的特征圖xl的乘積。其公式如下：

其中，σ1是超參為0.2 的PReLU激活函數(shù)，σ2為Sigmoid 激活函數(shù)，W是卷積核為1×1×1 的濾波器，Θatt是式（1）中線性變化的綜合表示。注意力機(jī)制的兩個(gè)輸入分別為編碼模塊的特征圖gi和對(duì)應(yīng)的解碼模塊的特征圖xli，輸出是解碼的特征圖與注意力系數(shù)的 積=xli·αli。兩個(gè)特征圖拼接之后經(jīng)過(guò)Prelu、Sigmoid兩層激活函數(shù)再上采樣得到注意力系數(shù)αli。

與原始注意力機(jī)制不同的是，本文采用PReLU函數(shù)替代ReLU 函數(shù)。PReLU 是ReLU 的通用式即前者是后者帶參數(shù)的表達(dá)形式。與ReLU 相比，在網(wǎng)絡(luò)更新迭代參數(shù)權(quán)重的時(shí)候，小于0的權(quán)重和偏置不會(huì)被暴力的置于0，而是使得小于0 的部分以較小的影響存在。兩種函數(shù)的示意圖如圖6所示。

圖6 ReLU和PReLU示意圖Figure 6 Diagrams of ReLU and PReLU

SC-Net 正向傳播和反向傳播過(guò)程中，注意力機(jī)制實(shí)現(xiàn)了著重突出圖像中的目標(biāo)區(qū)域，抑制與感興趣區(qū)域不相關(guān)的部分，從而提高模型的靈敏度和準(zhǔn)確性。因此，將微調(diào)的注意力機(jī)制添加到網(wǎng)絡(luò)中可以在保持高精度的同時(shí)去除噪聲或其他組織結(jié)構(gòu)造成的干擾，增強(qiáng)整個(gè)算法的魯棒性。

2.4 密集連接的空洞卷積模塊

對(duì)于胃癌T 分期，T0～T2期的腫瘤在CT 中大部分是以比較小的形態(tài)出現(xiàn)，而T3、T4期腫瘤卻不存在類似規(guī)律，T3、T4期腫瘤在影像學(xué)上的表現(xiàn)有的形似錐形但是也突破到胃外部，有的卻似一個(gè)球體顯而易見(jiàn)十分突兀。在第二步聯(lián)合訓(xùn)練中，針對(duì)胃癌5個(gè)分期的復(fù)雜性，提出一種密集連接的空洞卷積（DDC）模塊，如圖7所示。DDC模塊是由不同空洞率的空洞卷積組成，不同空洞率的卷積可以提取不同尺度物體的類別信息，從而提高網(wǎng)絡(luò)分類能力。

圖7 密集連接的空洞卷積模塊示意圖Figure 7 Illustration of densely connected dilated convolution module

該模塊有4個(gè)帶有不同空洞率的卷積分支，每個(gè)分支經(jīng)過(guò)空洞卷積然后與上一層的特征圖進(jìn)行特征融合。最后將4 個(gè)經(jīng)過(guò)空洞卷積的輸出與原始特征圖相加送入網(wǎng)絡(luò)的下一層。此外，在兩個(gè)DDC 模塊中添加了殘差連接加強(qiáng)前后網(wǎng)絡(luò)層參數(shù)的學(xué)習(xí)能力。

在T 分期算法中，SC-Net 會(huì)生成Z維的向量，其中Z是向量里的數(shù)值；Z表示胃癌的類別數(shù)，本文將Z設(shè)置為5，使用softmax 函數(shù)σ對(duì)z中的數(shù)值進(jìn)行歸一化，生成另一個(gè)Z維向量=σ(z) ，向量?jī)?nèi)的值分別對(duì)應(yīng)于胃癌的T0～T4。

2.5 損失函數(shù)

在卷積神經(jīng)網(wǎng)絡(luò)中最常用也是最萬(wàn)能的損失函數(shù)是交叉熵?fù)p失函數(shù)。然而，在整個(gè)上腹部CT 圖像中，腫瘤所占面積通常僅為整個(gè)圖像的10%左右。在分割任務(wù)中，對(duì)于上腹部CT 圖像這類有大量背景的數(shù)據(jù)而言，交叉熵?fù)p失函數(shù)是很不友好的。用逐像素分類的交叉熵?fù)p失函數(shù)進(jìn)行訓(xùn)練很容易陷入局部最優(yōu)解，這對(duì)訓(xùn)練有很大影響。骰子損失函數(shù)（Dice）是一個(gè)可以衡量預(yù)測(cè)值與金標(biāo)準(zhǔn)之間相似度的損失函數(shù)，可以優(yōu)化小目標(biāo)與背景之間的矛盾以及正負(fù)樣本數(shù)據(jù)的不平衡［22］。其公式如下所示：

其中，N表示總的像素點(diǎn)數(shù)，δ∈[ 0,1 ]，是防止分母為零的可調(diào)節(jié)的參數(shù)，pi∈[ 0,1 ]和gi∈{ 0,1} 分別代表預(yù)測(cè)值與ground truth。

在T 分期任務(wù)當(dāng)中采用逐像素計(jì)算的交叉熵?fù)p失函數(shù)就顯得恰到好處。

其中，N是像素點(diǎn)數(shù)，M表示類別數(shù)，pic表示對(duì)于樣本i屬于C類的預(yù)測(cè)概率值，gic∈{0 ,1} ，若預(yù)測(cè)的類別與樣本i的類別相同則為1，不同則為0。結(jié)合胃癌的分割任務(wù)與T分期任務(wù)，定義了一個(gè)多任務(wù)損失函數(shù)：

Lseg是Dice 損失函數(shù)，減少了背景像素與目標(biāo)像素之間的不平衡，而Lcls是交叉熵?fù)p失函數(shù)。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境

本研究是在帶有單個(gè)GPU（Nvidia GTX 1080Ti）的Ubuntu16.04 64 位操作系統(tǒng)上使用Pytorch 框架進(jìn)行實(shí)驗(yàn)，具體實(shí)驗(yàn)硬件如表1所示。系統(tǒng)的輸入是經(jīng)過(guò)預(yù)處理大小為384×384的CT圖片。

表1 實(shí)驗(yàn)配置說(shuō)明Table 1 Experimental configuration instructions

最近的研究表明，使用SGD 優(yōu)化器盡管速度會(huì)慢于Adam 優(yōu)化器，但性能會(huì)更好［27］。因此，本研究選用權(quán)值衰減為1×10-4，動(dòng)量為0.9的SGD優(yōu)化網(wǎng)絡(luò)。學(xué)習(xí)率設(shè)置為1×10-4，共訓(xùn)練400輪。

3.2 實(shí)驗(yàn)數(shù)據(jù)

本研究中使用的腹部CT 數(shù)據(jù)是由上海長(zhǎng)征醫(yī)院提供。總共收集了50 例患者，每個(gè)切片的數(shù)量為30～50，但是腹部CT 序列中只有少部分包含胃癌的切片，如圖8所示。

圖8 同一病人不同CT序列圖Figure 8 Different CT sequence diagrams of the same patient

統(tǒng)計(jì)分析出每組CT 序列含有胃癌切片的數(shù)量約為10 張。在多位專家手動(dòng)篩選標(biāo)注下，最終得到一個(gè)500 幅CT 圖像的數(shù)據(jù)集。CT 圖像的初始大小是512×512。按照交叉驗(yàn)證法進(jìn)行數(shù)據(jù)集劃分，最終450 張圖像作為訓(xùn)練集，50 張圖像作為測(cè)試集，評(píng)估算法性能。

3.3 實(shí)驗(yàn)結(jié)果

本研究使用mIOU和準(zhǔn)確率（Acc）作為主要的評(píng)估指標(biāo)來(lái)評(píng)估網(wǎng)絡(luò)性能。mIOU是計(jì)算真實(shí)值像素和預(yù)測(cè)值像素兩個(gè)集合的交集和并集之比。mIOU和Acc的值越大說(shuō)明算法的性能越好。計(jì)算公式如下：

其中，True Positive（TP）：預(yù)測(cè)的正樣本與真實(shí)值也是正樣本；True Negative（TN）：預(yù)測(cè)的負(fù)樣本與真實(shí)值也是負(fù)樣本；False Positive（FP）：預(yù)測(cè)的正樣本而真實(shí)值為負(fù)樣本；False Negative（FN）：預(yù)測(cè)為負(fù)樣本而真實(shí)值為正樣本。

3.3.1 分割結(jié)果在相同條件下進(jìn)行對(duì)比實(shí)驗(yàn)，圖9顯示不同網(wǎng)絡(luò)的可視化結(jié)果。圖中總共5行圖片，分別對(duì)應(yīng)5例不同患者的腹部CT 圖像。從可視化結(jié)果來(lái)看，所提方法在腫瘤分割的位置、大小、形狀等方面表現(xiàn)的最接近真實(shí)分割圖。盡管分割結(jié)果還不是很理想，但也為胃癌的分割研究提供了價(jià)值。U-Net、Y-Net、AttU-Net、R2AttU-Net、CE-Net 與本文方法的平均交并比分別為0.272、0.494、0.325、0.597、0.636、0.721，準(zhǔn)確率分別為0.994、0.955、0.992、0.986、0.970、0.987。本文方法在所有方法中效果較好，在胃癌分割準(zhǔn)確率上有明顯提升，比經(jīng)典的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)U-Net平均交并比高出約45%，與CE-Net相比平均交并比提高8.5%，與R2AttU-Net 相比mIOU 提高12.4%。

圖9 不同方法5例病人胃癌分割結(jié)果對(duì)比Figure 9 Comparison of the results of different methods for segmention of stomach cancer in 5 patients

3.3.2 T分期結(jié)果在胃癌T分期任務(wù)中，將第一步訓(xùn)練得到粗分割信息的.pth 權(quán)重文件載入到第二步訓(xùn)練中。使用帶有殘差的DDC 模塊獲得分類信息，然后通過(guò)自適應(yīng)平均池化層獲得高維特征向量。高維特征向量穿過(guò)全連接層生成一個(gè)128維的特征向量。最終得到一個(gè)5維向量，這些計(jì)算出的特征將胃癌分為5 個(gè)類型（T0,T1,T2,T3,T4）。該模型的分類結(jié)果如表2中所示。將SC-Net 與最新的Dense-Net 進(jìn)行比較，分類精度提高約7.9%，表明使用SC-Net進(jìn)行胃癌的T分期是完全可行的。

表2 診斷分類結(jié)果Table 2 Diagnostic classification results

3.4 對(duì)比實(shí)驗(yàn)

為了證明所提出的SC-Net中各個(gè)模塊的有效性，對(duì)使用的每個(gè)模塊進(jìn)行消融實(shí)驗(yàn)，結(jié)果如表3所示。mIOU是分割算法性能的主要評(píng)估指標(biāo)，而準(zhǔn)確性（Acc）是分類算法性能的主要評(píng)估指標(biāo)。將原始Y-Net稱為“Backbone”。從表4可以清楚看到，網(wǎng)絡(luò)中每個(gè)添加的模塊性能均得到提高。其中，在引入注意力機(jī)制后，mIOU從0.648提高到0.704，在加入DDC模塊之后，分類的準(zhǔn)確率也提高了11.8%。這表明該模塊對(duì)于分割任務(wù)很有效。而在反向傳播過(guò)程中，分割網(wǎng)絡(luò)和分類網(wǎng)絡(luò)共享權(quán)重，因此分類的準(zhǔn)確性也得到提高。結(jié)果表明結(jié)合使用這些模塊能提供更好的性能。

表3 不同模塊評(píng)估的消融實(shí)驗(yàn)Table 3 Ablation experiment for the evaluation of different modules

表4 兩種損失函數(shù)的定量分析Table 4 Quantitative analysis of the two loss functions

4 結(jié)論

本文提出一種稱為SC-Net的新型端到端深度學(xué)習(xí)架構(gòu)，該架構(gòu)可以從上腹部CT 中分割胃癌并進(jìn)行T 分期，以便醫(yī)生制定針對(duì)性的手術(shù)方案。精準(zhǔn)的胃癌分割和T分期可以幫助改善臨床應(yīng)用。

首先，在第一步的粗分割階段，由于胃癌大小、位置和形狀各異，在特征編碼模塊采用預(yù)訓(xùn)練的ResNet 結(jié)構(gòu)得到基礎(chǔ)特征。然后，利用多個(gè)比率的池化層組成的多核殘差模塊擴(kuò)大感受野并突出目標(biāo)區(qū)域。此外引入注意力機(jī)制，抑制胃癌邊緣無(wú)關(guān)的信息和噪聲，保留并豐富邊緣信息。最終得到粗分割的特征。在第二步胃癌精分割與T分期階段，利用第一階段得到的粗分割信息，進(jìn)一步優(yōu)化腫瘤分割結(jié)果。與此同時(shí)，使用多任務(wù)損失函數(shù)實(shí)現(xiàn)更快、更平滑的收斂，加快訓(xùn)練速度。

與現(xiàn)有的基于深度學(xué)習(xí)方法進(jìn)行比較，結(jié)果表明所提方法在分割準(zhǔn)確性和分類效果上均得到顯著提高。但在本研究中所得結(jié)果準(zhǔn)確性不是很高，后續(xù)將對(duì)此問(wèn)題進(jìn)行改善，并對(duì)分割出來(lái)的結(jié)果進(jìn)行三維重建，以更好地幫助醫(yī)生進(jìn)行輔助診斷。