基于長(zhǎng)距離依賴編碼與深度殘差U-Net的缺血性卒中病灶分割

黃 梨，盧 龍

（武漢大學(xué)信息管理學(xué)院，武漢 430072）

（?通信作者電子郵箱bmiwhu@163.com）

0 引言

腦卒中具有發(fā)病率高、死亡率高和致殘率高的特點(diǎn)，統(tǒng)計(jì)數(shù)據(jù)［1-2］顯示，目前腦卒中是導(dǎo)致我國(guó)居民死亡的主要原因之一。隨著人口老齡化的日益加劇，中國(guó)已成為卒中終生風(fēng)險(xiǎn)最高和疾病負(fù)擔(dān)最重的國(guó)家。腦卒中主要分為三大類:缺血性卒中、出血性卒中和蛛網(wǎng)膜下腔出血，其中急性缺血性腦卒中（Acute Ischemic Stroke，AIS）是其最常見(jiàn)的類型，約占87%［3］。缺血性腦卒中是指由于腦的供血?jiǎng)用}（頸動(dòng)脈和椎動(dòng)脈）狹窄或閉塞、腦供血不足導(dǎo)致的腦組織壞死的總稱。根據(jù)腦卒中發(fā)病后經(jīng)過(guò)的時(shí)間，可將病灶階段細(xì)分為急性（0～24 h）、亞急性（24 h～2 w）和慢性（超過(guò)2 w）［4］，急性期的及時(shí)診斷和干預(yù)對(duì)腦卒中患者的康復(fù)和預(yù)后至關(guān)重要。在臨床實(shí)踐中，醫(yī)生通常使用電子計(jì)算機(jī)斷層掃描（Computed Tomography，CT）和核磁 共振成 像（Magnetic Resonance Imaging，MRI）來(lái)觀測(cè)腦卒中病灶。量化腦卒中病變有助于專家評(píng)估患者病情，制定治療方案，在臨床決策過(guò)程中具有重要價(jià)值。通常情況下，病灶的分割是由專業(yè)的放射科醫(yī)生手工完成的，人工地分割病灶區(qū)域費(fèi)時(shí)費(fèi)力且主觀性強(qiáng)。因此，一種能夠快速、準(zhǔn)確地自動(dòng)識(shí)別病變區(qū)域，輔助醫(yī)生診斷的分割算法是臨床實(shí)踐中極為需要的。

在過(guò)去的十年中，深度學(xué)習(xí)方法尤其是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在醫(yī)學(xué)影像分析中取得了巨大的成功。特別是由Ronneberger 等［5］提出的U-Net，已經(jīng)被國(guó)內(nèi)外學(xué)者廣泛地應(yīng)用于生物醫(yī)學(xué)圖像分割任務(wù)中［6-9］。U-Net由對(duì)稱的編碼器-解碼器結(jié)構(gòu)以及連接編碼器和解碼器的跳躍連接組成，編碼器用于在下采樣的過(guò)程中從原始圖像中提取高級(jí)特征，解碼器用于在上采樣的過(guò)程中對(duì)目標(biāo)進(jìn)行精確定位，跳躍連接則用于從通道方向上連接淺層特征和深層特征，實(shí)現(xiàn)多尺度特征融合。盡管U-Net 被廣泛應(yīng)用，它存在一定的局限性。U-Net 中卷積操作的感受野受限于卷積核的大小，它在計(jì)算某一位置的響應(yīng)時(shí)，只考慮了感受野以內(nèi)的局部區(qū)域與這一位置的關(guān)系，本質(zhì)上只是對(duì)局部信息的處理。對(duì)于像素級(jí)的計(jì)算機(jī)視覺(jué)任務(wù)（如圖像分割），盡可能地?cái)U(kuò)大感受野，考慮像素點(diǎn)周?chē)蠓秶男畔ⅲ瓷舷挛男畔ⅲ兄趫?chǎng)景理解和處理目標(biāo)的多樣性。

目前的分割算法相關(guān)研究為了擴(kuò)大感受野，編碼更大范圍的上下文信息，已經(jīng)作出了很大的努力。已有研究提出了基于擴(kuò)張卷積或空洞卷積的網(wǎng)絡(luò)，以擴(kuò)大感受野并聚集多尺度上下文信息［10-12］。另外，許多模型都采用遞歸神經(jīng)網(wǎng)絡(luò)來(lái)捕獲復(fù)雜的空間情境信息［13-16］。盡管卷積運(yùn)算和循環(huán)運(yùn)算可以被反復(fù)應(yīng)用從而捕獲全局上下文信息，但是這兩種操作本質(zhì)上是局部操作，局部操作的堆疊不僅計(jì)算效率低下，而且可能導(dǎo)致算法優(yōu)化困難。Wang 等［17］提出的non-local 塊可以通過(guò)直接計(jì)算特征圖上任意兩個(gè)位置的關(guān)系來(lái)對(duì)全局上下文信息進(jìn)行編碼，而不受限于感受野的大小。區(qū)別于局部操作，non-local 操作構(gòu)建了一個(gè)與輸入特征圖大小一致的卷積核，通過(guò)考慮特征圖所有位置與當(dāng)前位置的關(guān)系來(lái)編碼全局信息，為后邊的層帶來(lái)更為豐富的語(yǔ)義。這一操作首先計(jì)算特征圖上當(dāng)前位置與所有位置的交互關(guān)系（即長(zhǎng)距離依賴），然后用加權(quán)和的方式匯總該位置的所有關(guān)系（即該位置的全局上下文）。non-local 塊在視頻分類和圖像降噪等各種計(jì)算機(jī)視覺(jué)任務(wù)中已經(jīng)顯示出了巨大的潛力，它編碼的全局上下文信息對(duì)語(yǔ)義分割任務(wù)具有重要價(jià)值，然而，其在醫(yī)學(xué)影像分割中的應(yīng)用尚未得到深入研究。因此，有必要探索non-local 塊在這一任務(wù)中的性能。

缺血性卒中病灶分割挑戰(zhàn)賽（Ischemic Stroke Lesion Segmentation，ISLES）是由國(guó)際醫(yī)學(xué)圖像計(jì)算和計(jì)算機(jī)輔助干預(yù)協(xié)會(huì)（Medical Image Computing and Computer Assisted Intervention Society，MICCAI）舉辦的醫(yī)學(xué)圖像分割挑戰(zhàn)，旨在提供一個(gè)平臺(tái)，方便不同算法之間的效果對(duì)比。挑戰(zhàn)賽提供公開(kāi)可獲取的、預(yù)處理后的腦部掃描數(shù)據(jù)，目前已經(jīng)成為醫(yī)學(xué)影像分割領(lǐng)域常用的基準(zhǔn)數(shù)據(jù)集［18］。ISLES 2017的任務(wù)目的是使用缺血性卒中急性期的多模態(tài)MRI 腦部掃描數(shù)據(jù)，預(yù)測(cè)3～9 個(gè)月后隨訪掃描影像中的最終病變結(jié)果。這是一項(xiàng)非常具有挑戰(zhàn)性的任務(wù):一方面是由于病灶的形狀、大小和位置各異，另一方面則是因?yàn)榧毙云诓≡钸€未穩(wěn)定，部分病灶邊界模糊，很難在這種情況下區(qū)分病灶區(qū)域與非病灶區(qū)域。此外，有標(biāo)注的醫(yī)學(xué)影像分割數(shù)據(jù)集，通常具有樣本量小和像素級(jí)別的正負(fù)樣本不均衡特性，這些特性也為該任務(wù)帶來(lái)了一定的困難。

針對(duì)缺血性腦卒中病灶分割這一問(wèn)題，本文提出了融合殘差學(xué)習(xí)和長(zhǎng)距離依賴編碼的新型U-Net 分割算法。本文主要工作如下:1）為解決醫(yī)學(xué)圖像分割領(lǐng)域樣本量少、小目標(biāo)難以分割的問(wèn)題，使用有針對(duì)性的過(guò)采樣策略和圖像增強(qiáng)技術(shù)構(gòu)建訓(xùn)練數(shù)據(jù)集，促使模型對(duì)小目標(biāo)的學(xué)習(xí)，從數(shù)據(jù)層面避免模型過(guò)擬合。2）以U-Net 的編碼器解碼器結(jié)構(gòu)為基礎(chǔ)，通過(guò)使用殘差塊來(lái)避免網(wǎng)絡(luò)退化，增強(qiáng)模型的泛化性能，通過(guò)引入non-local 操作將感受野擴(kuò)大為特征圖大小，編碼全局上下文信息。所提出的端到端網(wǎng)絡(luò)結(jié)構(gòu)有較強(qiáng)的泛化性能，能充分利用上下文信息，適用于樣本量較小的應(yīng)用場(chǎng)景。3）研究中設(shè)計(jì)了一系列實(shí)驗(yàn)分析不同模塊的表現(xiàn)、模塊之間的相互影響，以及用不同方式加入模塊對(duì)算法整體性能的影響。在充分了解不同模塊的基礎(chǔ)上提出了新的分割算法及其變體，所提出的算法（代碼已在網(wǎng)站公開(kāi):https://github.com/KristenT9/RN-UNet）相較于其他算法有較好的分割性能。

1 本文方法

1.1 網(wǎng)絡(luò)架構(gòu)

選擇U-Net 作為網(wǎng)絡(luò)的基本架構(gòu)，它由對(duì)稱的收縮路徑（編碼器）和擴(kuò)張路徑（解碼器）組成，在收縮路徑上利用卷積操作來(lái)進(jìn)行特征提取，用池化操作進(jìn)行特征圖降維，過(guò)濾冗余信息。編碼器通過(guò)卷積和池化操作的交替與堆疊來(lái)逐步提取高級(jí)特征，越接近輸入層，提取的特征越初級(jí)越通用，空間分辨率越高；越接近輸出層，提取的特征越高級(jí)越抽象，更加任務(wù)相關(guān)，空間分辨率越低。因此在收縮路徑的不同階段，中間層特征圖包含的語(yǔ)義信息、空間分辨率有所不同，在不同階段插入non-local塊編碼的全局上下文信息也有所不同。

RN-UNet（Residual Non-local U-Net）在U-Net 的收縮路徑上交替使用殘差塊和non-local塊（詳細(xì)結(jié)構(gòu)見(jiàn)1.2和1.3節(jié)），總體架構(gòu)如圖1 所示。圖1 中展示的是在收縮路徑的每個(gè)階段（殘差塊后，池化層前）都插入non-local塊的網(wǎng)絡(luò)架構(gòu)，在后續(xù)實(shí)驗(yàn)中，為了探索non-local 塊插入的階段對(duì)總體性能的影響，對(duì)模塊的插入階段進(jìn)行了調(diào)整。研究中模型的輸入均為1×128×128×6（Fnum×H×W×M）的圖像塊，第一維是特征圖的數(shù)量（圖1 中不同模塊上的數(shù)字），后兩維分別是圖像的高和寬，最后一維為MRI模態(tài)數(shù)。輸出時(shí)使用Sigmoid激活函數(shù)計(jì)算每個(gè)像素點(diǎn)為病灶像素的概率，得到1×128×128×1的預(yù)測(cè)結(jié)果圖。

圖1 包含5個(gè)non-local塊的RN-UNet總體框架Fig.1 Overall framework of RN-UNet with five non-local blocks

在RN-UNet 中，殘差學(xué)習(xí)機(jī)制（圖2（a））被用于解決深度神經(jīng)網(wǎng)絡(luò)中梯度消失/爆炸和網(wǎng)絡(luò)退化的問(wèn)題，同時(shí)增強(qiáng)模型的泛化性能，具體實(shí)現(xiàn)方式是用殘差塊替換U-Net 中原始的卷積塊。non-local塊（圖2（b））被插入到U-Net的收縮路徑中，用于計(jì)算特征圖中像素之間的長(zhǎng)距離依賴關(guān)系，提取特征圖的全局上下文信息。類似于注意力U-Net［19］，在模型中還使用了深度監(jiān)督學(xué)習(xí)［20］來(lái)直接影響隱藏層權(quán)重更新過(guò)程，促使中間層不同尺度的特征圖學(xué)習(xí)有區(qū)分度的特征。為提高訓(xùn)練的穩(wěn)定性，加快模型收斂，在原始U-Net 的每個(gè)卷積層之后進(jìn)行批歸一化（Batch Normalization，BN），并將這一改良后的U-Net作為基線模型。

圖2 網(wǎng)絡(luò)中的不同塊Fig.2 Different blocks in network

1.2 殘差學(xué)習(xí)機(jī)制

深度殘差學(xué)習(xí)［21］在ImageNet 的分類、檢測(cè)、定位以及COCO 的檢測(cè)和分割任務(wù)中均獲得了第一名的成績(jī)。殘差學(xué)習(xí)解決的最根本的問(wèn)題是網(wǎng)絡(luò)過(guò)深時(shí)的退化問(wèn)題，通過(guò)增加一個(gè)恒等映射，將原始需要學(xué)習(xí)的函數(shù)轉(zhuǎn)化成F+x的形式，并假設(shè)殘差映射F的優(yōu)化會(huì)比原始映射的優(yōu)化容易。這種殘差學(xué)習(xí)的思想通過(guò)捷徑連接來(lái)實(shí)現(xiàn)，在幾乎沒(méi)有增加額外參數(shù)和計(jì)算量的情況下，極大提高了模型的訓(xùn)練速度和效果，很好地解決了網(wǎng)絡(luò)退化問(wèn)題。也有研究認(rèn)為，由殘差塊構(gòu)成的深度殘差網(wǎng)絡(luò)可以看作是不同深度的淺層神經(jīng)網(wǎng)絡(luò)的集成，引入殘差學(xué)習(xí)可以增強(qiáng)網(wǎng)絡(luò)的泛化能力［22］。泛化性能較好的模型更適用于樣本量較小的醫(yī)學(xué)圖像分割場(chǎng)景。研究中探索了使用殘差塊代替U-Net 中原始的卷積塊（Conv 3×3+ReLU）對(duì)模型性能的影響。殘差塊可表示為:

其中:x和y是殘差塊的輸入和輸出；F(x，{Wi})是要學(xué)習(xí)的殘差映射，對(duì)于一個(gè)兩層的殘差映射F=W2(W1x)，Wi是卷積操作（Conv 3×3）。F+Wsx是通過(guò)捷徑連接和逐元素相加實(shí)現(xiàn)的。為了確保輸入輸出維度一致，這里的捷徑連接使用了線性投影Ws（Conv 1×1）［23］。殘差塊具體結(jié)構(gòu)如圖2（a）所示。

1.3 non-local塊

在深度神經(jīng)網(wǎng)絡(luò)中捕獲長(zhǎng)距離依賴是至關(guān)重要的，在序列數(shù)據(jù)處理中通常使用循環(huán)操作來(lái)實(shí)現(xiàn)，在圖像數(shù)據(jù)處理中通常用卷積操作的堆疊來(lái)增大感受野。上述兩種操作只考慮了相鄰位置之間的交互，本質(zhì)上都是對(duì)局部信息的處理，為了捕獲長(zhǎng)距離依賴而重復(fù)使用這些局部操作，會(huì)導(dǎo)致優(yōu)化困難和計(jì)算效率低的問(wèn)題。因此，Wang 等［17］提出了一種高效、簡(jiǎn)單和通用的用于捕獲長(zhǎng)距離依賴的non-local 操作，它通過(guò)計(jì)算特征圖上任意兩個(gè)位置的相互作用，直接對(duì)遠(yuǎn)程依賴關(guān)系進(jìn)行編碼，無(wú)論這兩個(gè)位置的遠(yuǎn)近。它將某個(gè)位置上的響應(yīng)，計(jì)算為該位置與特征圖上所有其他位置相互作用的加權(quán)求和。同時(shí)，non-local 塊的設(shè)計(jì)類似于殘差學(xué)習(xí)機(jī)制，在nonlocal 操作后加上了原始特征圖，模塊的輸入輸出保持維度一致，這種設(shè)計(jì)使得non-local 塊可以作為一個(gè)組件插入到任意網(wǎng)絡(luò)中。詳細(xì)的non-local 塊結(jié)構(gòu)如圖2（b）所示。H×W×C分別代表高、寬和通道數(shù)，通道數(shù)即為特征圖數(shù)。θ、φ、g和z都表示1×1 的卷積操作?！?”表示矩陣乘法，“⊕”表示逐元素加法。non-local操作的定義是:

其中:x是輸入特征圖；y是輸出特征圖，其維度大小與x相同；i是第i個(gè)像素點(diǎn)的位置索引；j是枚舉其他所有可能的位置索引，第i個(gè)位置的非局部響應(yīng)值是枚舉所有位置計(jì)算得到的一個(gè)加權(quán)匯總值。函數(shù)f是一個(gè)相似性度量函數(shù)，用于計(jì)算i與所有j之間的關(guān)系，函數(shù)g是一個(gè)映射函數(shù)，計(jì)算特征圖在位置j的表示。最后通過(guò)因子C(x)對(duì)計(jì)算結(jié)果進(jìn)行標(biāo)準(zhǔn)化，C(x)=圖3 中直觀展示了式（2）的計(jì)算過(guò)程，“?”表示卷積操作，計(jì)算特征圖f(xi，xj)與g(xj)對(duì)應(yīng)位置相乘并求和的結(jié)果。

圖3 non-local操作的計(jì)算過(guò)程Fig.3 Computation process of non-local operation

Non-local neural network 的原文中提出了f和g的幾種版本，實(shí)驗(yàn)結(jié)果表明，無(wú)論f和g的形式如何，non-local 操作才是結(jié)果改進(jìn)的主要原因。因此使用嵌入式高斯函數(shù)來(lái)計(jì)算像素之間的關(guān)系:

其中:θ(xi)=Wθxi和φ(xi)=Wφxi都是在原始輸入特征圖上進(jìn)行的卷積操作。在設(shè)計(jì)non-local塊時(shí)將其設(shè)計(jì)為殘差連接的形式，最終的輸出zi可以被定義為:

其中，Wz是一個(gè)卷積操作，輸入輸出的維度大小保持一致。殘差連接的形式使得這一模塊可以被插入到任意預(yù)定義的網(wǎng)絡(luò)結(jié)構(gòu)中。以下展示的是non-local模塊的偽代碼。

算法1 non-local模塊偽代碼。

輸入 特征圖x，大小為Fnum×H×W×M；

輸出 特征圖z，大小為Fnum×H×W×M。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

ISLES 2017 由75 名缺血性腦卒中患者組成，分為兩個(gè)數(shù)據(jù)集:訓(xùn)練數(shù)據(jù)集（43 個(gè)患者）和測(cè)試數(shù)據(jù)集（32 個(gè)患者）。每位患者有7 種不同模態(tài)的磁共振圖像:擴(kuò)散加權(quán)成像（Diffusion Weighted Imaging，DWI）、表觀彌散系數(shù)（Apparent Diffusion Coefficient，ADC）、腦血流量（Cerebral Blood Flow，CBF）、腦血容量（Cerebral Blood Volume，CBV）、血流達(dá)峰時(shí)間（Time maximum，Tmax）和對(duì)比劑峰值時(shí)間（Time To Peak，TTP）、平均通過(guò)時(shí)間（Mean Transit Time，MTT）。除了上述的急性期的多模態(tài)核磁共振圖像，還提供了3～9 個(gè)月后隨訪的解剖序列T2 加權(quán)圖像（T2-weighted，T2w）或液體衰減反轉(zhuǎn)恢復(fù)（FLuid-Attenuated Inversion Recovery，F(xiàn)LAIR）成像，此時(shí)卒中病灶已經(jīng)穩(wěn)定。訓(xùn)練集中的每位患者都有一個(gè)分割結(jié)果圖，分割結(jié)果圖是在隨訪成像（T2w 或FLAIR）上由專家手動(dòng)標(biāo)注的病灶區(qū)域，作為模型訓(xùn)練的標(biāo)簽。所有的MRI 圖像均經(jīng)過(guò)了預(yù)處理，詳細(xì)的數(shù)據(jù)信息可在ISLES 網(wǎng)站上找到（http://www.isles-challenge.org/ISLES2017/）。在這項(xiàng)研究中，主要關(guān)注6 個(gè)MRI 參數(shù)圖:ADC、CBV、CBF、MTT、TTP 和Tmax，圖4（a）中展示了訓(xùn)練集患者（編號(hào)14）的6 種模態(tài)MRI與病灶標(biāo)簽。

2.2 評(píng)價(jià)指標(biāo)

在ISLES 2017數(shù)據(jù)集上評(píng)估了模型，提交測(cè)試集結(jié)果后，可以在在線平臺(tái)上訪問(wèn)評(píng)估結(jié)果。分割的質(zhì)量通過(guò)三個(gè)主要指標(biāo)進(jìn)行評(píng)估:Dice 系數(shù)（Dice’s Coefficient，DC），平均對(duì)稱表面距離（Average Symmetric Surface Distance，ASSD）和豪斯多夫距離（Hausdorff Distance，HD），精確率（Precision）和召回率（Recall）則作為輔助指標(biāo)，反映過(guò)分割和欠分割的情況。其中，病灶區(qū)域被正確地分割為病灶，定義為真陽(yáng)性（True Positive，TP）；非病灶區(qū)域被錯(cuò)誤地分割為病灶，定義為假陽(yáng)性（False Positive，F(xiàn)P）；病灶區(qū)域被錯(cuò)誤地分割為非病灶，定義為假陰性（False Negative，F(xiàn)N）；非病灶區(qū)域被正確地分割為非病灶，定義為真陰性（True Negative，TN）。

DC 反映的是預(yù)測(cè)為病灶的像素集合和實(shí)際為病灶的像素集合的相似性，DC的計(jì)算式為:

精確率反映被分割為病灶的像素中實(shí)際為病灶像素的比例:

召回率反映的是實(shí)際的病灶像素中有多大比例被正確地分割為病灶像素:

這里還使用了距離度量（平均對(duì)稱表面距離和豪斯多夫距離）來(lái)反映區(qū)域邊界的差異，距離指標(biāo)越小分割精度越高。定義A為預(yù)測(cè)的病灶像素集合，B為實(shí)際的病灶像素集合，則ASSD的定義如下:

其中:平均表面距離（Average Surface Distance，ASD）是非對(duì)稱 的，ASD(A，B) ≠ASD(B，A)；d(a，b) 是a點(diǎn) 和b點(diǎn)的歐 氏距離。

HD 反映A和B兩個(gè)點(diǎn)集合中表面點(diǎn)的最大距離，定義如下:

2.3 實(shí)施細(xì)節(jié)

在訓(xùn)練階段，參考文獻(xiàn)［24］中的預(yù)處理方法對(duì)圖像進(jìn)行了簡(jiǎn)單的預(yù)處理。將所有MRI 圖像的大小調(diào)整為32×256×256×1，將ADC圖像的閾值限制在區(qū)間［0，2 600］×10-6mm2/s，并將Tmax的閾值限制為［0，20］s。每個(gè)患者的不同模態(tài)MRI圖像根據(jù)各自的平均值和方差進(jìn)行標(biāo)準(zhǔn)化。

為了增加訓(xùn)練樣本量，使用圖像塊作為輸入。所有模型的輸入均為隨機(jī)采樣的大小為1×128×128×6 的圖像塊，這些圖像塊與相應(yīng)的病灶標(biāo)注結(jié)果匹配，用于有監(jiān)督地訓(xùn)練模型。分析訓(xùn)練集的病灶像素?cái)?shù)量可以發(fā)現(xiàn)患者集中分布在病灶較小的區(qū)域，考慮到卒中病灶的大小對(duì)模型性能有很大影響，對(duì)小病灶樣本進(jìn)行了過(guò)采樣。根據(jù)病灶大小的四分位數(shù)，將訓(xùn)練集中所有患者劃分到4 個(gè)區(qū)間中，對(duì)于不同區(qū)間中的患者，采樣數(shù)分別設(shè)置為16、32、48、64，病灶越小采樣量越大，對(duì)小病灶樣本過(guò)采樣有助于增加含有小病灶的圖像塊數(shù)量，從數(shù)據(jù)層面上促使算法學(xué)習(xí)小病灶的特征。以采樣數(shù)為64的患者為例，預(yù)處理后MRI大小為32×256×256×6，共6種模態(tài)，對(duì)于每個(gè)輸入特征圖（總共32），隨機(jī)采樣64 個(gè)大小為128×128×6的塊，最終采樣得到2 048（32×64）個(gè)圖像塊，即2 048×128×128×6的圖像塊?？傮w上看，采樣后的數(shù)據(jù)量是原始訓(xùn)練數(shù)據(jù)量的40 倍（擴(kuò)增倍數(shù)=(16+32+48+64)/4）。此外，采用了一些常見(jiàn)的數(shù)據(jù)增強(qiáng)技術(shù)，例如翻轉(zhuǎn)、平移、旋轉(zhuǎn)和縮放，在不改變訓(xùn)練數(shù)據(jù)規(guī)模的情況下增加訓(xùn)練數(shù)據(jù)的多樣性，優(yōu)化模型泛化性能。通過(guò)結(jié)合上述圖像采樣技術(shù)和數(shù)據(jù)增強(qiáng)技術(shù)，增加了訓(xùn)練數(shù)據(jù)的樣本量和多樣性，同時(shí)提高了包含小病灶的圖像塊比例，使訓(xùn)練數(shù)據(jù)集更適用于這項(xiàng)研究的應(yīng)用場(chǎng)景。訓(xùn)練過(guò)程中使用7 折交叉驗(yàn)證對(duì)模型進(jìn)行評(píng)估，上述圖像塊采樣和數(shù)據(jù)增強(qiáng)技術(shù)僅在訓(xùn)練過(guò)程中進(jìn)行。

在測(cè)試階段，裁剪了ADC 和Tmax 的數(shù)值范圍，對(duì)測(cè)試集所有圖像也進(jìn)行了標(biāo)準(zhǔn)化，但保留了測(cè)試數(shù)據(jù)集的原始維度，直接利用訓(xùn)練好的全卷積網(wǎng)絡(luò)進(jìn)行密集的像素預(yù)測(cè)。最終提交的預(yù)測(cè)結(jié)果是通過(guò)計(jì)算7 個(gè)交叉驗(yàn)證模型的平均預(yù)測(cè)概率得出的集成結(jié)果。為保證對(duì)比結(jié)果的公平性，研究中不同方法的訓(xùn)練集、驗(yàn)證集、測(cè)試集完全一致。

為保證公平比較，所有的網(wǎng)絡(luò)都使用同一套超參數(shù)。用Adam優(yōu)化器進(jìn)行訓(xùn)練，初始學(xué)習(xí)率設(shè)置為5×10-5，衰減速率為1×10-6。批次大?。╩ini-batch size）設(shè)置為4，并且在訓(xùn)練過(guò)程中采用早停法。Dice 損失被用作損失函數(shù)。基于Keras框架，使用NVIDIA 2080Ti顯卡進(jìn)行加速。

2.4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

為了分析不同模塊給模型帶來(lái)的性能提升，設(shè)計(jì)了一系列消融實(shí)驗(yàn)來(lái)比較各個(gè)模塊的表現(xiàn)，表1 中給出了實(shí)驗(yàn)結(jié)果（均值±標(biāo)準(zhǔn)差）。方法1是2.1節(jié)中的改良U-Net，作為基線模型。如表1 所示，深度監(jiān)督（Dsv）的引入（方法2）對(duì)3 個(gè)關(guān)鍵指標(biāo)均有所改善。在方法3和方法5中，僅在第一個(gè)池化層之前插入一個(gè)non-local 塊。方法3 與方法2 對(duì)比結(jié)果顯示，nonlocal 塊的加入改進(jìn)了HD 和ASSD 兩個(gè)距離指標(biāo)，并且方法3實(shí)現(xiàn)了最佳的HD，表明non-local塊可以通過(guò)提供更多上下文信息來(lái)改善距離指標(biāo)，提高分割精度。在方法4 和方法5 中，將U-Net 中的所有原始卷積編碼器塊替換為殘差塊（Res）。方法4 與方法2 相比，在所有指標(biāo)上均表現(xiàn)出明顯改善，實(shí)現(xiàn)了最佳DC 和ASSD。值得一提的是，相對(duì)于方法2（訓(xùn)練集Dice=0.36±0.24，測(cè)試集Dice=0.28±0.23），方法4 的Dice 系數(shù)在訓(xùn)練集和測(cè)試集上更為接近（訓(xùn)練集Dice=0.33±0.23，測(cè)試集Dice=0.29±0.23），說(shuō)明殘差塊有效地避免了模型過(guò)擬合訓(xùn)練數(shù)據(jù)，增強(qiáng)了模型在小樣本上的泛化能力。然而，方法5與方法4 相比，在所有指標(biāo)上都沒(méi)有改進(jìn)，這表明在殘差U-Net 的基礎(chǔ)上以不當(dāng)?shù)姆绞郊尤雗on-local 塊可能會(huì)產(chǎn)生負(fù)面影響。應(yīng)當(dāng)指出，相較于方法2，方法3 和方法4 中添加的殘差塊和non-local 塊都對(duì)距離度量有所改進(jìn)，但是兩個(gè)不同塊的組合卻導(dǎo)致模型性能略有下降。

表1 不同模塊的消融實(shí)驗(yàn)結(jié)果Tab.1 Ablation experimental results of different modules

由于在上述實(shí)驗(yàn)中，non-local塊僅在U-Net收縮路徑中的第一個(gè)池化層之前插入，而相關(guān)研究中［17，25］指出non-local 塊插入的階段會(huì)影響其性能，因此在殘差U-Net模型（方法4）的基礎(chǔ)上，對(duì)插入non-local 塊的階段的影響進(jìn)行了進(jìn)一步的探索，以便更深入地了解non-local塊和殘差模塊間的相互影響。在不同的最大池化層之前添加單個(gè)non-local 塊，被標(biāo)記為MPi，下標(biāo)i是指第i個(gè)池化層，在第一個(gè)上采樣層之前插入non-local塊被標(biāo)記為After center 階段。圖4（b）對(duì)比了多個(gè)模型不同階段的中間層特征圖（患者編號(hào)14）。從圖4（b）可以發(fā)現(xiàn)，越靠近輸出層，特征越抽象，空間分辨率越低。表2 的實(shí)驗(yàn)結(jié)果（均值±標(biāo)準(zhǔn)差）顯示，相同的non-local塊在不同階段插入時(shí)模型的性能不同。MP4達(dá)到了最佳DC 和ASSD。從表2 中可以發(fā)現(xiàn)，non-local 塊插入的階段越靠后（下標(biāo)越大），其性能越好。一種可能的解釋是插入階段靠后，non-local 塊輸入的特征圖所代表的特征越高級(jí)，而對(duì)于non-local 塊在After center 階段中表現(xiàn)較差的原因可能是，該階段的特征圖較?。?2×12），無(wú)法提供準(zhǔn)確的空間信息。通過(guò)表1 和表2中的方法4 與MP4對(duì)比可以發(fā)現(xiàn)，方法4 的HD 和精確率更佳，而MP4的ASSD 和召回率更好，單純從指標(biāo)上來(lái)看兩種方法不相上下，但在醫(yī)學(xué)影像分割中召回率更為重要，更高的召回率有助于盡可能識(shí)別病灶區(qū)域，避免漏診。

圖4 原始輸入輸出與中間特征圖（患者編號(hào)14）Fig.4 Original input，output and intermediate feature maps（patient No.14）

表2 在不同階段插入non-local塊的實(shí)驗(yàn)結(jié)果Tab.2 Experimental results of inserting non-local blocks at different stages

為了更直觀地展示non-local塊在不同階段插入對(duì)特征的影響，圖5 對(duì)比了不同階段non-local 塊的輸入輸出特征圖（患者編號(hào)14），1～5 分別代表了MP1、MP2、MP3、MP4和After center 五個(gè)階段，列標(biāo)簽分別對(duì)應(yīng)式（4）中的變量，x是輸入特征圖，z是輸出特征圖，Wzy是non-local 操作編碼的全局上下文信息。從圖5 中可以發(fā)現(xiàn)，越接近輸入層，輸入特征圖的空間分辨率越高，包含的原始細(xì)節(jié)信息較多，此時(shí)non-local塊捕獲的信息定位更為準(zhǔn)確，冗余信息較多（MP1）；越接近輸出層，輸入特征圖分辨率越低，特征更為抽象，此時(shí)non-local 塊學(xué)習(xí)到的信息包含的噪聲較少，對(duì)病灶區(qū)域和非病灶區(qū)域有一定的區(qū)分能力（MP4），加入non-local 塊學(xué)到的信息后病灶區(qū)域被突出顯示；而在空間信息損失較多的階段，則無(wú)法捕獲定位準(zhǔn)確的全局信息（After center）。結(jié)合圖5 可以更好地理解表2的實(shí)驗(yàn)結(jié)果。

圖5 不同階段non-local塊的輸入輸出特征圖（患者編號(hào)14）Fig.5 Input and output feature maps of non-local blocks at different stages（patient No.14）

在表3 中，將本文提出的方法與ISLES 官網(wǎng)上“POSTEVENT EVALUATION”中公開(kāi)的最先進(jìn)的方法［26］進(jìn)行了比較，結(jié)果獲取時(shí)間為2020 年10 月20 日，由于官網(wǎng)只提供了DC 和HD 兩個(gè)指標(biāo)，所以表中未展示關(guān)鍵指標(biāo)ASSD 的結(jié)果。所有方法按團(tuán)隊(duì)排名（由官網(wǎng)直接提供）排序。

文獻(xiàn)［27］提出了一種針對(duì)小樣本數(shù)據(jù)集設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)集成模型，使用了殘差U-Net 和空間金字塔池。文獻(xiàn)［28］提出了一種基于U-Net 的全卷積結(jié)構(gòu)，并通過(guò)殘差連接和損失函數(shù)來(lái)結(jié)合不同尺度的信息。文獻(xiàn)［29］在U-Net的啟發(fā)下使用了兩個(gè)深度對(duì)抗神經(jīng)網(wǎng)絡(luò)，結(jié)果表明對(duì)抗訓(xùn)練可以產(chǎn)生正則化的效果，避免模型過(guò)擬合訓(xùn)練數(shù)據(jù)。文獻(xiàn)［30］中提出了一種新的損失函數(shù)來(lái)優(yōu)化全卷積神經(jīng)網(wǎng)絡(luò)，這種損失函數(shù)由交叉熵?fù)p失和Dice 系數(shù)組成。文獻(xiàn)［31］提出了一個(gè)雙路徑不同尺度的全卷積神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)［24］提出了一種基于U-Net 和門(mén)控循環(huán)單元的分割方法，并在分割框架中結(jié)合了非成像臨床信息。文獻(xiàn)［32］使用了改進(jìn)的DeepMedic進(jìn)行3D圖像分割。文獻(xiàn)［33］提出了基于塊的多尺度3D CNN 架構(gòu)，該模型可以充分利用有限數(shù)據(jù)集的信息。由于方法4（殘差U-Net）和MP4（RN-UNet）在消融實(shí)驗(yàn)中表現(xiàn)較好，將它們與最新方法進(jìn)行比較。從表3 中可以發(fā)現(xiàn)，相較于其他文獻(xiàn)的方法，本文所提出的方法及其變體在所有指標(biāo)上均可達(dá)到有競(jìng)爭(zhēng)性的結(jié)果，并且極大改善了距離指標(biāo)。除了與官網(wǎng)中公開(kāi)的方法進(jìn)行對(duì)比，本文還對(duì)比分析了未在官網(wǎng)展示的基于該數(shù)據(jù)集的其他最新研究。文獻(xiàn)［34］提出的基于分型網(wǎng)絡(luò)與U-Net 的級(jí)聯(lián)網(wǎng)絡(luò)CSNet 在ISLES 2017 上的評(píng)估結(jié)果（訓(xùn)練集Dice=0.56±0.23，測(cè)試集Dice=0.28±0.22）不如殘差U-Net和RN-UNet，且存在過(guò)擬合的問(wèn)題。文獻(xiàn)［35］提出的U-ISLES 獲得的測(cè)試集Dice 為0.34，但所提的方法需要進(jìn)行額外的后處理，且并沒(méi)有提供其他關(guān)鍵指標(biāo)的測(cè)試結(jié)果。根據(jù)病灶大小計(jì)算四分位數(shù)，將患者劃分到不同區(qū)間，從4 個(gè)不同區(qū)間分別選取了1 位患者展示了病灶分割結(jié)果（如圖6所示）。

表3 在ISLES 2017測(cè)試集上不同方法的結(jié)果對(duì)比Tab.3 Comparison results of different methods on ISLES 2017 test set

圖6（a）～（d）分別是四位病灶大小不同的患者，按病灶從小到大排列，對(duì)比了幾種方法的分割結(jié)果差異。從圖6 中對(duì)比可以發(fā)現(xiàn)，RN-UNet 在不同大小的病灶上均取得了比較好的分割效果，可以發(fā)現(xiàn)難以被識(shí)別的小病灶，在識(shí)別大病灶時(shí)也可以提供更精細(xì)的病灶輪廓。

圖6 不同方法的病灶分割結(jié)果對(duì)比Fig.6 Comparison of lesion segmentation results of different methods

3 結(jié)語(yǔ)

針對(duì)小樣本情境下的缺血性腦卒中病灶分割這一問(wèn)題，本文提出了在U-Net 的基礎(chǔ)上融合了殘差模塊和non-local 塊的端到端自動(dòng)分割算法。為解決樣本量小、正負(fù)樣本不均衡、病灶多樣性等問(wèn)題，從數(shù)據(jù)和算法兩個(gè)層面作出了有針對(duì)性的設(shè)計(jì)。數(shù)據(jù)層面上，針對(duì)醫(yī)學(xué)分割數(shù)據(jù)集樣本量小、小目標(biāo)分割中背景所占比例遠(yuǎn)大于目標(biāo)比例的問(wèn)題，采取了圖像塊輸入、不均衡采樣、數(shù)據(jù)增強(qiáng)等數(shù)據(jù)預(yù)處理技術(shù)，避免模型過(guò)擬合，促使模型對(duì)小目標(biāo)的學(xué)習(xí)。后續(xù)的研究中面對(duì)小樣本場(chǎng)景和小目標(biāo)分割任務(wù)，可以參考研究中的數(shù)據(jù)預(yù)處理思路，從數(shù)據(jù)和算法兩個(gè)層面上作出有針對(duì)性的應(yīng)用設(shè)計(jì)，而不僅僅局限于對(duì)算法的改進(jìn)。算法層面上，針對(duì)樣本量小和病灶多樣性的問(wèn)題，在傳統(tǒng)U-Net 的基礎(chǔ)上引入殘差學(xué)習(xí)增強(qiáng)模型泛化性能，引入non-local 模塊實(shí)現(xiàn)對(duì)圖像塊上下文信息的充分利用。使用ISLES 2017 這一基準(zhǔn)數(shù)據(jù)集，設(shè)計(jì)了一系列實(shí)驗(yàn)探索不同模塊的表現(xiàn)，以及模塊之間的相互影響。在模塊表現(xiàn)方面，發(fā)現(xiàn)non-local 模塊的加入可以明顯改善距離指標(biāo)，減小病灶與預(yù)測(cè)的邊界差異。通過(guò)特征圖的可視化直觀展示了在合適的階段插入non-local模塊對(duì)目標(biāo)區(qū)域的突出顯示作用，增進(jìn)了對(duì)這一模塊所編碼信息的理解。在模塊的相互作用方面，發(fā)現(xiàn)合理地組合殘差塊和non-local 塊不僅可以改善Dice 系數(shù)和距離指標(biāo)，還可以減少欠分割，防止小病灶的漏診。研究中對(duì)這些模塊及其相互作用的深入了解，為這些模塊后續(xù)在小樣本、像素級(jí)的計(jì)算機(jī)視覺(jué)任務(wù)中的應(yīng)用提供了參考。

本文算法相較基線模型和其他對(duì)比算法取得了更好的分割結(jié)果，對(duì)不同大小、形狀、位置的病灶都表現(xiàn)出了比較好的魯棒性。端到端的網(wǎng)絡(luò)設(shè)計(jì)也避免了繁瑣的后處理操作，有助于在卒中急性期輔助醫(yī)生對(duì)患者進(jìn)行及時(shí)診斷和治療規(guī)劃。本文研究主要是針對(duì)具體問(wèn)題的解決方案設(shè)計(jì)，因此所提分割算法的適用場(chǎng)景存在一定的局限。在未來(lái)的研究中可以在此工作的基礎(chǔ)上擴(kuò)展研究場(chǎng)景和實(shí)驗(yàn)數(shù)據(jù)集，使算法更具有通用性。后續(xù)研究中也可以結(jié)合急性期的影像數(shù)據(jù)和臨床信息，更準(zhǔn)確地預(yù)測(cè)卒中病變的組織結(jié)果和臨床干預(yù)的風(fēng)險(xiǎn)，為臨床決策過(guò)程提供兼具準(zhǔn)確性和可解釋性的分割方法。