基于邊緣關(guān)注模型的語(yǔ)義分割方法

佘玉龍，張曉龍*，程若勤，鄧春華

（1.武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430065；2.武漢科技大學(xué)大數(shù)據(jù)科學(xué)與工程研究院，武漢 430065；3.智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室（武漢科技大學(xué)），武漢 430065；4.武漢科技大學(xué)附屬天佑醫(yī)院，武漢 430064）

（*通信作者電子郵箱xiaolong.zhang@wust.edu.cn）

0 引言

肝癌是世界上最常見的癌癥疾病之一，每年導(dǎo)致大量死亡［1-2］。在核磁共振成像（Magnetic Resonance Imaging，MRI）或電子計(jì)算機(jī)斷層掃描（Computed Tomography，CT）影像中可以準(zhǔn)確地觀測(cè)出一些結(jié)果，包括肝臟的形狀、位置以及肝臟邊緣細(xì)節(jié)，這些可以幫助醫(yī)生準(zhǔn)確地做出肝功能以及肝癌的評(píng)估和治療計(jì)劃［3］。在傳統(tǒng)臨床診斷中，這些由專家進(jìn)行人工分辨，但是，分辨結(jié)果會(huì)受到主觀經(jīng)驗(yàn)、認(rèn)知能力、疲勞等因素的影響，因此，計(jì)算機(jī)醫(yī)學(xué)圖像識(shí)別在臨床實(shí)踐中有助于提高識(shí)別的準(zhǔn)確率和穩(wěn)定性。

最近幾年，深度學(xué)習(xí)在處理多種計(jì)算機(jī)視覺任務(wù)上取得了巨大的進(jìn)展，其中大放光彩的是處理圖像分類和目標(biāo)檢測(cè)問(wèn)題的卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）［4］。越來(lái)越多的研究者用CNN 以及其衍生出來(lái)的各種深度神經(jīng)網(wǎng)絡(luò)來(lái)處理各種圖像問(wèn)題［5］，其中就包括了圖像語(yǔ)義分割（Semantic Segmentation）。

圖像語(yǔ)義分割是一種從預(yù)定義的一組類中對(duì)圖像中的每個(gè)像素進(jìn)行分類的方法，而預(yù)定義的一組類就是具有特定語(yǔ)義類別屬性的一片區(qū)域［6］。對(duì)于醫(yī)學(xué)領(lǐng)域的語(yǔ)義分割，大部分網(wǎng)絡(luò)都是在全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）［7］的基礎(chǔ)上根據(jù)醫(yī)學(xué)影像的特點(diǎn)進(jìn)行改進(jìn)。例如：郭樹旭等［8］采用了改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)對(duì)肝臟進(jìn)行分割。而最經(jīng)典的網(wǎng)絡(luò)模型則是U-Net［9］和V-Net［10］。這兩個(gè)網(wǎng)絡(luò)的特點(diǎn)都是類似U型結(jié)構(gòu)，且都是通過(guò)skip-connection 結(jié)構(gòu)將前后對(duì)應(yīng)的stage 進(jìn)行特征的融合。二者的區(qū)別是：U-Net 處理二維數(shù)據(jù)，V-Net處理三維數(shù)據(jù)。后來(lái)有很多學(xué)者在此基礎(chǔ)上做了改進(jìn)，例如UNet++［11］就是在U-Net 的基礎(chǔ)上，在中間skipconnection 結(jié)構(gòu)中添加了短鏈接，將不同層的特征進(jìn)行了融合，并取得到了更好的分割效果。例如徐寶泉等［12］先后使用了兩次Vnet-S網(wǎng)絡(luò)對(duì)CT影像中的器官進(jìn)行粗分割和細(xì)分割，并提出了基于級(jí)聯(lián)Vnet-S 網(wǎng)絡(luò)的單一器官自動(dòng)分割算法；再例如AHCNet［13］利用了U-Net 中不同層之間的特征信息進(jìn)行混合連接，并引入了注意機(jī)制［14］，以此來(lái)有效地獲取肝臟和腫瘤分割的混合特征，從而實(shí)現(xiàn)肝臟和腫瘤CT 圖像的分割；另外，CE-Net［15］提出了一個(gè)上下文編碼器網(wǎng)絡(luò)，能獲取更多的高層次信息并保留用于2D醫(yī)學(xué)圖像分割的空間信息。

上述的一些肝臟影像分割方法取得了一定的進(jìn)展，但是對(duì)于肝臟影像一些具體邊緣特征信息方面有待進(jìn)一步完善。肝臟邊緣分割的四個(gè)邊緣特征難點(diǎn)如下：

特征1 肝臟中間部位的深色圓狀物是下腔靜脈，而附近的深色或白色裂紋或斑點(diǎn)是肝臟的軟組織或者血管；前者不屬于肝臟，而后者則屬于肝臟。

特征2 肝臟上右區(qū)域與脾臟的界線模糊，不易分辨。

特征3 肝臟的下左方和中左部位會(huì)出現(xiàn)一些腫瘤或者壞死的深色區(qū)域，雖然是腫瘤或者壞死，但是這些也都是屬于肝臟成分。

特征4 肝臟的上面出現(xiàn)裂開的現(xiàn)象，醫(yī)學(xué)上稱為肝裂，但是這些則不屬于肝臟部位。

對(duì)于上面提到的邊緣信息，在普通的卷積網(wǎng)絡(luò)中，難以提取到邊緣的一些細(xì)節(jié)特征，所以就需要對(duì)邊緣數(shù)據(jù)進(jìn)行上下文關(guān)系的解析。基于以上特征信息，以及上述已有研究的基礎(chǔ)上，本文提出了一種邊緣關(guān)注模型（Edge Attention Model，EAM）來(lái)充分利用邊緣信息。

本文研究的問(wèn)題是肝臟影像的語(yǔ)義分割，主要的工作如下：1）針對(duì)特征的空間和通道，結(jié)合注意力機(jī)制構(gòu)建了EAM，并運(yùn)用Encoder-Decoder（編碼-解碼）深度學(xué)習(xí)框架［16］結(jié)合殘差網(wǎng)絡(luò)ResNet34［17］與反卷積操作構(gòu)建了邊緣關(guān)注網(wǎng)絡(luò)（Edge Attention Net，EANet），以此提高關(guān)于邊緣特征信息的肝臟影像語(yǔ)義分割的效果；2）利用幾種圖像平滑操作對(duì)分割后噪聲比較大的肝臟分割圖像進(jìn)行降噪處理；3）本實(shí)驗(yàn)中現(xiàn)有已處理好的肝臟語(yǔ)義分割數(shù)據(jù)集包含20 個(gè)序列，共1 150 張圖片，此數(shù)據(jù)集中的肝臟標(biāo)注圖像均經(jīng)過(guò)專家嚴(yán)格指導(dǎo)與修改。

1 EANet架構(gòu)

1.1 Encoder-Decoder結(jié)構(gòu)

Encoder-Decoder 是深度學(xué)習(xí)中非常常見的一個(gè)模型框架。如無(wú)監(jiān)督算法的auto-encoding 就是用這種編碼-解碼結(jié)構(gòu)設(shè)計(jì)并訓(xùn)練的；近期的image caption 應(yīng)用就是CNN-RNN 的編碼-解碼框架；文獻(xiàn)［18］中也用了此模型來(lái)做文本摘要總結(jié)；文獻(xiàn)［19］中則用此結(jié)構(gòu)來(lái)處理MRI 圖像。Encoder-Decoder 可作為一類框架。Encoder 和Decoder 部分可以處理任意的文字、語(yǔ)音、圖像、視頻數(shù)據(jù)，模型可以采用CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bi-directional Recurrent Neural Network，BiRNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）、門控循環(huán)單元（Gated Recurrent Unit，GRU）等。所以基于Encoder-Decoder，可以設(shè)計(jì)出各種各樣的應(yīng)用算法。Encoder-Decoder框架是一個(gè)End-to-End 學(xué)習(xí)的算法，這也是該框架最顯著的特征。本文以圖像-圖像的方法來(lái)實(shí)現(xiàn)肝臟部位的語(yǔ)義分割。對(duì)于本文所搭建的Encoder-Decoder結(jié)構(gòu)，Encoder可以理解為一個(gè)卷積操作，用來(lái)獲取圖像的特征信息；而Decoder 則可以理解為是一個(gè)反卷積操作，用來(lái)解析得到的特征信息，并將其展示出來(lái)，如圖1所示。

圖1 Encoder-Decoder基本結(jié)構(gòu)Fig.1 Basic structure of Encoder-Decoder

1.2 EANet構(gòu)建

前面提到本文的網(wǎng)絡(luò)結(jié)構(gòu)分為Encoder和Decoder兩個(gè)模塊，即圖1 中的卷積操作和反卷積操作。由于醫(yī)學(xué)圖像數(shù)據(jù)集量比較少，所以選擇的模型不宜過(guò)大，因?yàn)閰?shù)過(guò)多容易造成過(guò)擬合現(xiàn)象。本文將在ImageNet 上預(yù)訓(xùn)練的ResNet34 作為卷積操作基礎(chǔ)模型來(lái)進(jìn)行特征提取，它有助于減小模型和提高訓(xùn)練的速度。

在Encoder階段中，為了有效地融合肝臟邊緣多層次的特征和增強(qiáng)特征的表達(dá)能力，本文在ResNet34 的每層卷積階段的輸出上加上了本文提出的EAM。在本階段的EAM 中，將第二次下采樣后的第一張?zhí)卣鲌D作為EAM 中的低層特征，將同卷積模塊中的最后一張?zhí)卣鲌D作為EAM 中的高層特征。圖2中虛線的跳躍結(jié)構(gòu)之后的兩個(gè)卷積模塊也進(jìn)行同樣的操作。在特征圖大小相同的情況下，以此獲取更多的邊緣細(xì)節(jié)特征。

在Decoder階段，考慮到會(huì)遺失掉編碼器中的一些低層特征和經(jīng)過(guò)多次卷積以及反卷積的高層特征，將低層特征和高層特征再次進(jìn)行關(guān)注模塊的處理，這樣能結(jié)合更豐富的特征信息。在此階段，本文將Encoder中同大小的最后一張圖作為EAM 中的低層特征，將Decoder 中上采樣后的特征圖作為EAM 中的高層特征，這有助于提取更多邊緣細(xì)節(jié)特征。此外，邊緣關(guān)注模型的參數(shù)比較少，有助于節(jié)省內(nèi)存。

圖2 描述了EANet 的整體結(jié)構(gòu)，其中用跳躍結(jié)構(gòu)將EAM融入整個(gè)網(wǎng)絡(luò)模型當(dāng)中，充分利用了影像的空間特征，具有更高的效率。從原始肝臟圖像的輸入到肝臟區(qū)域分割結(jié)果的輸出，實(shí)現(xiàn)了端對(duì)端的訓(xùn)練。

1.3 EAM結(jié)構(gòu)

在傳統(tǒng)的Encoder-Decoder 模型中，例如圖像語(yǔ)義分割中的FCN，沒(méi)有考慮全局的上下文信息和像素與像素之間的關(guān)系，忽略了在通常的基于像素分類的分割方法中使用的空間規(guī)整步驟，缺乏空間一致性；并且分割也不是在實(shí)例級(jí)別之上，效率不夠高，不能適用于非結(jié)構(gòu)化數(shù)據(jù)；而且在解碼器的上采樣操作中，會(huì)導(dǎo)致邊緣模糊以及空間的細(xì)節(jié)丟失。文獻(xiàn)［9］中運(yùn)用跳躍結(jié)構(gòu)將底層特征和高層特征直接串聯(lián)起來(lái)，這有助于補(bǔ)充空間的細(xì)節(jié)；但是這個(gè)方法太過(guò)粗糙，沒(méi)有將低層特征和高層特征進(jìn)行上下文信息的獲取，仍然會(huì)遺失掉一些肝臟邊緣特征。為了解決這個(gè)問(wèn)題，本文提出的邊緣關(guān)注模型會(huì)捕獲高級(jí)語(yǔ)義信息、著重關(guān)注分割目標(biāo)的邊緣細(xì)節(jié)信息。另外，包含全局上下文信息的底層特征對(duì)不同通道之間的語(yǔ)義關(guān)系進(jìn)行編碼，這有助于過(guò)濾干擾信息。通過(guò)使用包含豐富特征的信息，邊緣關(guān)注模型可以加強(qiáng)目標(biāo)區(qū)域并提高特征的表現(xiàn)力。

為了充分獲取肝臟邊緣特征信息，設(shè)計(jì)了針對(duì)空間和通道的注意力模塊，并將并行處理融合后的結(jié)果與操作前的特征圖進(jìn)行特征融合，以提取進(jìn)一步的語(yǔ)義依賴。對(duì)于普通的分割網(wǎng)絡(luò)模塊，空間注意模塊與通道注意模塊能有更好的特征圖表達(dá)能力。圖3是EAM的結(jié)構(gòu)。

圖2 EANet結(jié)構(gòu)Fig.2 Structure of EANet

圖3 EAM的結(jié)構(gòu)Fig.3 Structure of EAM

1.3.1 EAM的算法描述

本模型有兩個(gè)輸入A、B，分別執(zhí)行兩個(gè)相同的并行操作。

1）并行階段。

操作1：對(duì)輸入的特征圖A進(jìn)行轉(zhuǎn)置，得特征圖A1，再進(jìn)行1×1卷積操作，得特征圖A2。

操作2：對(duì)輸入的特征圖A進(jìn)行全局池化操作，得特征圖A3；再進(jìn)行1× 1 卷積操作，得特征圖A4。最后將得到的A2與A4進(jìn)行矩陣相乘操作得到特征圖Aα。

對(duì)B進(jìn)行相同操作流程可得到特征圖Bα。

其中操作1將注意力放在了特征圖的空間上，操作2將注意力放在了特征圖的通道上。

2）融合階段。

將Aα和Bα進(jìn)行矩陣相加操作，得到特征圖Cα；并用Softmax 函數(shù)進(jìn)行激活得到特征圖Cβ；然后用原始特征圖A與Cβ進(jìn)行矩陣相乘，得到特征圖Cγ；最后再將特征圖Cγ與B進(jìn)行矩陣相加，并得到最終的返回結(jié)果C。

該算法偽代碼如下：

1.3.2 空間注意模塊

如圖3 中模塊a 的區(qū)域，低高層特征經(jīng)過(guò)帶有批規(guī)范化（Batch Normalization，BN）層和ReLU 層的卷積操作后，為了得到肝臟部位不同空間的特征信息，將其進(jìn)行轉(zhuǎn)置操作，如式（1）；然后再進(jìn)行一個(gè)1×1 的卷積操作，如式（2），以此來(lái)實(shí)現(xiàn)不同通道的交互和信息整合。此操作通過(guò)編碼更廣范圍的語(yǔ)義信息到局部感受野中以增強(qiáng)特征圖表示能力。

其中：A為待轉(zhuǎn)置矩陣圖；k代表常量1，2，…，c；W代表操作矩陣的寬，H代表操作矩陣的高。

1.3.3 通道注意模塊

如圖3中模塊b的區(qū)域，高層特征的每一個(gè)通道映射可以看成一個(gè)類別明確的響應(yīng)，并且不同的語(yǔ)義響應(yīng)之間互相聯(lián)系。通過(guò)獲取不同通道映射之間的相互依賴性，可以有效增強(qiáng)特征圖對(duì)于特定語(yǔ)義的表征能力。此通道操作則是進(jìn)行全局平均池化（Global Average Pooling，GAP）操作提取全局上下文和語(yǔ)義信息［20］。將全局信息壓縮成通道注意向量（Channel Attention Vector，CAV）（此注意向量包含豐富的不同通道語(yǔ)義特征），對(duì)語(yǔ)義依賴關(guān)系進(jìn)行編碼，這有助于加強(qiáng)關(guān)鍵特征和過(guò)濾背景信息。注意向量產(chǎn)生如式（3）、（4）所示：

其中：x代表高層信息特征圖；y代表低層信息特征圖；g()代表全局平均池化操作；δ1代表ReLU 函數(shù)；δ2代表Softmax 函數(shù)；Wx代表1× 1 卷積操作的參數(shù)；bx代表偏執(zhí)量；AC代表注意力矩陣。

然后對(duì)向量進(jìn)行1×1 的卷積與批量歸一化，并將并行操作的結(jié)果進(jìn)行矩陣相乘操作，以進(jìn)一步捕獲語(yǔ)義依賴關(guān)系。

1.3.4 特征融合

如圖3中模塊c的區(qū)域，為了更好地利用兩個(gè)注意操作得到的全局語(yǔ)義信息，本文將操作輸出的結(jié)果進(jìn)行一個(gè)逐元素的加和實(shí)現(xiàn)特征的融合。然后采用了Softmax 函數(shù)［21］作為激活函數(shù)對(duì)向量進(jìn)行歸一化處理，如式（5）。

其中：X為待Softmax的操作數(shù)。

為了獲取更多處理前遺失掉的基本特征，用操作前的底層特征圖乘以得到的注意力向量，并生成注意力特征圖。最后，通過(guò)添加高層次的特征圖來(lái)校準(zhǔn)注意力特征圖，此操作如式（6）。

其中：sji為利用式（5）得出的結(jié)果，Di為相乘的低層信息矩陣，Aj為相加的高層信息矩陣。

與用來(lái)連接矩陣的concatenation 方法相比，特征矩陣的加法可以減少卷積的參數(shù)，有助于減少計(jì)算成本；此外，因?yàn)樗皇褂昧巳制骄鼗?×1 卷積，這個(gè)模塊也沒(méi)有添加太多的參數(shù)。全局平均池化將全局信息壓縮成一個(gè)向量，這也降低了計(jì)算成本。

1.4 損失函數(shù)

在訓(xùn)練的反向傳播過(guò)程，通過(guò)網(wǎng)絡(luò)預(yù)測(cè)的輸出與真實(shí)標(biāo)簽比較計(jì)算損失，不斷迭代更新網(wǎng)絡(luò)參數(shù)，使得輸出結(jié)果接近真實(shí)值。本文采用的是交叉熵?fù)p失方法［22］，由于本文實(shí)驗(yàn)的標(biāo)簽只有一個(gè)，模型最后需要預(yù)測(cè)的結(jié)果只有兩種情況，對(duì)于每個(gè)類別的預(yù)測(cè)得到的概率為p和1-p，所以交叉熵公式如式（7）：

其中：yi表示實(shí)際標(biāo)簽表示預(yù)測(cè)標(biāo)簽。

1.5 降噪處理

為了獲取盡量多的特征，通常會(huì)增加訓(xùn)練迭代次數(shù)，但這樣也可能導(dǎo)致某些肝臟邊界復(fù)雜的圖像產(chǎn)生一些噪聲，如圖4（a）所示，所以有必要對(duì)實(shí)驗(yàn)數(shù)據(jù)結(jié)果進(jìn)行降噪處理。在降噪處理中，分別進(jìn)行了以下五種平滑和模糊操作。對(duì)于不同分割結(jié)果，最佳降噪方法不唯一，所以本文對(duì)每個(gè)數(shù)據(jù)集分別使用五種降噪方法，并從中選取最佳的結(jié)果。

方法1：利用2D 卷積平滑［23］對(duì)圖像進(jìn)行平均過(guò)濾。設(shè)置一個(gè)平均濾波器內(nèi)核，將此內(nèi)核保持在像素上方，添加該內(nèi)核下方的所有像素，取平均值并用新的平均值替換中心像素。

方法2：平均模糊由一個(gè)歸一化卷積框完成，它只是用卷積框覆蓋區(qū)域所有像素的平均值來(lái)代替中心元素。

方法3：高斯模糊［24］與平均模糊的不同就是把卷積核換成了高斯核，也就是卷積核里面的值由相等變成了符合高斯分布，即中心值最大，向兩邊遞減。

方法4：中值濾波［25］是取相鄰像素的點(diǎn)，對(duì)相鄰像素的點(diǎn)進(jìn)行排序，取中點(diǎn)的灰度值作為該像素點(diǎn)的灰度值。該濾波器經(jīng)常用來(lái)去除椒鹽噪聲，同時(shí)又能保留邊緣細(xì)節(jié)。

方法5：雙邊濾波［26］是一種非線性的濾波方法，是結(jié)合圖像的空間鄰近度和像素值相似度的一種折中處理，通過(guò)同時(shí)考慮空域信息和灰度相似性，達(dá)到保邊去噪的目的。

從圖4（b）中可以看到，處理后的肝臟分割圖像的噪聲明顯減少。

圖4 肝臟分割圖像處理前后對(duì)比Fig.4 Comparison of liver segmentation image before and after treatment

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文實(shí)驗(yàn)的數(shù)據(jù)集包括兩個(gè)公共數(shù)據(jù)集3Dircadb（https：//www.ircad.fr/research/3dircadb/）和MICCAI-Sliver07（https：//sliver07.grand-challenge.org/Download/）［27］，以及某醫(yī)院臨床MRI 肝臟影像數(shù)據(jù)集。其中：3Dircadb 數(shù)據(jù)集總共有20 個(gè)序列，每一個(gè)序列大約有141 張肝臟圖片，分組隨機(jī)選4組為測(cè)試集，16 組為訓(xùn)練集；Sliver07 有20 個(gè)序列訓(xùn)練集，10個(gè)序列測(cè)試集，每個(gè)序列大約150 張肝臟圖片；某醫(yī)院數(shù)據(jù)集共有20 個(gè)序列，每個(gè)序列大約60 張肝臟圖片，分組隨機(jī)選4組為測(cè)試集，16為組訓(xùn)練集。

實(shí)驗(yàn)環(huán)境為高性能服務(wù)器，125 GB 內(nèi)存，8 個(gè)Tesla V100 SXM2 16 GB GPU 卡，個(gè)人用戶目錄3 TB 內(nèi)存；以及實(shí)驗(yàn)室計(jì)算機(jī)，操作系統(tǒng)為Windows 10（64 位），CPU 為i5-7500，內(nèi)存8 GB。

2.2 3Dircadb數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與對(duì)比

本文采用的第一個(gè)公共數(shù)據(jù)集是3Dircadb，該數(shù)據(jù)集中有20個(gè)CT 影像序列（共2 823張），其中10個(gè)為女性檢查者的CT 影像序列，另外10 個(gè)是男性檢查者的CT 影像序列。在這20 位檢查者中，75%患有肝癌。本文實(shí)驗(yàn)隨機(jī)選擇了16 個(gè)CT 影像序列作為訓(xùn)練數(shù)據(jù)集，4 個(gè)序列作為測(cè)試數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試。

為了驗(yàn)證本文提出的分割模型的可行性和有效性，用下列評(píng)價(jià)指標(biāo)對(duì)分割結(jié)果進(jìn)行預(yù)測(cè)統(tǒng)計(jì)。在圖5中，A代表黃金分割圖，也就是GT（Ground Truth）結(jié)果；B代表模型預(yù)測(cè)分割的結(jié)果；FN表示本該預(yù)測(cè)分割卻沒(méi)有分割到的區(qū)域；TP是分割正確的區(qū)域；FP是本不該分割卻分割了的錯(cuò)誤區(qū)域；TN是黃金分割和預(yù)測(cè)分割都不用分割到的區(qū)域。

圖5 分割占比示意圖Fig.5 Schematic diagram of division proportion

評(píng)價(jià)指標(biāo)如下：

1）體積重疊誤差（Volumetric Overlap Error，VOE），結(jié)果越小越好。

2）相對(duì)體積誤差（Relative Volume Difference，RVD），為了方便判斷，這里取絕對(duì)值，結(jié)果越小越好。

3）對(duì)稱位置的平均對(duì)稱表面距離（Average Symmetric Surface Distance，ASD），結(jié)果越小越好。

其中：S(A)代表A集合中的表面體素，d(v，S(A))表示任意體素v到S(A)的最短距離。

4）最大表面距離（Maximum Surface Distance，MSD），結(jié)果越小越好。

5）重合率（DICE），指兩個(gè)物體相交的面積占總面積的比值，值域?yàn)椋?，1］，完美分割時(shí)該值為1，結(jié)果越大越好。

與U-Net、FCN、UNet++、AHCNet 等分割類網(wǎng)絡(luò)結(jié)果進(jìn)行對(duì)比，各種網(wǎng)絡(luò)在3Dircadb 數(shù)據(jù)上的分割結(jié)果如圖6 所示，可以看到，本文方法基本能將肝臟輪廓分割出來(lái)，且達(dá)到了比較好的分割效果。

利用上述5 個(gè)指標(biāo)對(duì)分割結(jié)果進(jìn)行統(tǒng)計(jì)，并將結(jié)果與U-Net、FCN、UNet++、AHCNet 等方法比較，結(jié)果如表1 所示，可以看到，在大部分預(yù)測(cè)標(biāo)準(zhǔn)中，本文方法都能取得較好的結(jié)果。

圖6 3Dircadb數(shù)據(jù)集上的分割圖像對(duì)比Fig.6 Comparison of segmentation images on 3Dircadb dataset

表1 3Dircadb數(shù)據(jù)集上分割結(jié)果的評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Comparison of evaluation indicators of segmentation results on 3Dircadb dataset

2.3 Sliver07數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與對(duì)比

Sliver07數(shù)據(jù)集來(lái)自MICCAI2007，包含20個(gè)CT序列訓(xùn)練集，層間距范圍為0.7～5.0 mm。采用以下指標(biāo)評(píng)價(jià)實(shí)驗(yàn)分割結(jié)果：體積重疊誤差（VOE）、相對(duì)體積誤差（RVD）、平均對(duì)稱表面距離（ASD）、最大對(duì)稱表面距離（MSD）以及在文獻(xiàn)［13］中提出的均方差對(duì)稱表面距離（Root Mean Square Surface Distance，RMSD）。RMSD計(jì)算如式（13），結(jié)果越小越好。

這5 個(gè)評(píng)價(jià)指標(biāo)的均值與標(biāo)準(zhǔn)差如表2 所示，可以看出，本文方法的效果整體較好。

表2 Sliver 07數(shù)據(jù)集上的分割結(jié)果的評(píng)價(jià)指標(biāo)對(duì)比Tab.2 Comparison of evaluation indicators of segmentation results on Slicer 07 dataset

2.4 某醫(yī)院臨床MRI肝臟影像數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果與對(duì)比

此數(shù)據(jù)集來(lái)源于某醫(yī)院肝臟科核磁共振（MRI）原始序列數(shù)據(jù)，選出了20 個(gè)描述肝臟較正常的dicom 序列，用python 的pydicom包將其轉(zhuǎn)換成可見的png格式圖片，共1 150張。

本文用labelme 標(biāo)注工具進(jìn)行手工標(biāo)注，并在進(jìn)行標(biāo)注之前經(jīng)過(guò)臨床專家醫(yī)生的指導(dǎo)。肝臟影像中，會(huì)在肝臟中下部位出現(xiàn)深色圓狀物以及深色或白色裂紋或斑點(diǎn)等現(xiàn)象，并且這種現(xiàn)象在肝臟MRI中比較常見。圖7 展示了四個(gè)肝臟影像在不同網(wǎng)絡(luò)模型下的分割結(jié)果。

圖7（a）為原始數(shù)據(jù)轉(zhuǎn)換后的正常圖片；圖7（b）的GT 圖則是經(jīng)過(guò)專家指導(dǎo)后人工標(biāo)注的GT。圖7（c）為U-Net分割的結(jié)果圖，可以看到在肝臟邊緣的部分效果并不好。在測(cè)試UNet 語(yǔ)義分割實(shí)驗(yàn)中，嘗試了多種卷積網(wǎng)絡(luò)作為backbone，包括VGG16、ResNet34 和ResNet50 等，其中ResNet34 能得到較好的分割效果。圖7（d）為UNet++分割的結(jié)果圖，可以看到把第三張肝臟影像深色病變的肝臟也分割了，其實(shí)這也屬于肝臟部分。圖7（e）為AHCNet 的分割結(jié)果，效果要好一些，但邊緣細(xì)節(jié)仍然比較粗糙。圖7（f）為本文方法EANet 的分割圖，可以看到和原圖和GT圖像相比，幾個(gè)肝臟邊緣的分割難點(diǎn)的分割效果有很大提升，邊緣輪廓基本恢復(fù)，不過(guò)在某些分割邊緣的細(xì)節(jié)上有待提高。圖7（g）則是本文方法EANet實(shí)驗(yàn)結(jié)果在原圖上的分割圖，從上往下數(shù)第三個(gè)圖中，可以看到中部肝臟病變區(qū)域也分割為肝臟部分，而將右下已壞死區(qū)域則分割為非肝臟部位，這正符合對(duì)肝臟病情中的需求。為了使精度更有說(shuō)服性，這里采用五折交叉測(cè)試，將數(shù)據(jù)劃分為5 組，依次讓每一組都做一次測(cè)試集，另外4 組則作為訓(xùn)練集，最后取5組的測(cè)試精度平均數(shù)作為預(yù)測(cè)結(jié)果，結(jié)果如表3所示。

圖7 某醫(yī)院肝臟數(shù)據(jù)集上的分割圖像對(duì)比Fig.7 Comparison of segmentation images on liver dataset of a hospital

表3 某醫(yī)院肝臟數(shù)據(jù)集上分割結(jié)果的評(píng)價(jià)指標(biāo)對(duì)比Tab.3 Comparison of evaluation indicators of segmentation results on liver dataset of a hospital

3 結(jié)語(yǔ)

本文提出了一種基于邊緣關(guān)注的神經(jīng)網(wǎng)絡(luò)模塊，并設(shè)計(jì)了邊緣關(guān)注網(wǎng)絡(luò)EANet 來(lái)對(duì)肝臟影像進(jìn)行分割。在Encoder-Decoder 結(jié)構(gòu)上：Encoder 部分運(yùn)用了在ImageNet 上預(yù)訓(xùn)練的殘差網(wǎng)絡(luò)ResNet34，并在某些層加入邊緣關(guān)注模型；Decoder部分則使用了反卷積操作和邊緣關(guān)注模型（EAM）進(jìn)行搭配，充分提取特征信息，最后得到肝臟影像語(yǔ)義分割圖。在邊緣關(guān)注模塊中，本文利用全局平均池化和向量轉(zhuǎn)換操作對(duì)空間和通道進(jìn)行注意力機(jī)制處理，并搭配向量的歸一化及其他特征融合操作，以充分提取到肝臟邊緣的特征信息。與基于傳統(tǒng)的深度學(xué)習(xí)的醫(yī)學(xué)影像分割方法相比，本文方法充分利用了影像的空間特征，具有更高的效率；同時(shí)也可直接得到肝臟區(qū)域分割結(jié)果，實(shí)現(xiàn)了端對(duì)端的訓(xùn)練。最后還對(duì)分割后的圖像進(jìn)行了降噪處理。在多個(gè)數(shù)據(jù)集上的分割結(jié)果表明了本文方法的有效性。對(duì)于肝臟病灶分割中的肝臟的壞死、腫瘤、肝萎縮等具體問(wèn)題，會(huì)涉及到更多的醫(yī)學(xué)知識(shí)，需要后期和專家討論，在這一方面做進(jìn)一步的工作。