基于卷積神經(jīng)網(wǎng)絡(luò)檢測頸動脈斑塊

賀楨，石蘊(yùn)玉，劉翔，楊少玲，牛嘉豐

1.上海工程技術(shù)大學(xué)電子電氣工程學(xué)院，上海 201620；2.上海市第八人民醫(yī)院超聲醫(yī)學(xué)科，上海 200235

前言

據(jù)《中國心血管健康與疾病報告2019》顯示，中國心血管病患病率處于持續(xù)上升階段，推算心血管病現(xiàn)患人數(shù)3.30 億［1］。動脈粥樣硬化指患者脂質(zhì)代謝出現(xiàn)問題，脂質(zhì)和復(fù)合糖類在動脈內(nèi)膜積聚形成纖維脂質(zhì)斑塊，最終導(dǎo)致血管壁中內(nèi)中膜厚度（Intima Media Thickness,IMT）增加的現(xiàn)象，它是心血管病的病理基礎(chǔ)［2］。早期檢測和診斷頸動脈斑塊對患者后期治療至關(guān)重要，目前超聲檢查已經(jīng)廣泛地應(yīng)用于心血管病的臨床診斷［3］。但是超聲圖像自身分辨率低，并且有斑塊噪聲，導(dǎo)致判讀圖像難度增大，且判讀的主觀性強(qiáng)，易出現(xiàn)漏診或誤診現(xiàn)象。對于早期診斷和治療與頸動脈相關(guān)疾病，已經(jīng)在不同的研究中嘗試了各種方法，這些研究主要使用不同的機(jī)器學(xué)習(xí)算法對不同數(shù)量的患者醫(yī)療圖像進(jìn)行分析處理。1986年P(guān)ignoli等首次使用計算機(jī)輔助測量IMT，自此許多學(xué)者對IMT 分割算法進(jìn)行研究，提出不同方案和算法代替手工實現(xiàn)自動測量IMT［4-7］。通過分析已有的測量方案和算法，可知目前常規(guī)思路為兩步：首先獲取感興趣區(qū)域（ROI），其次在初始輪廓線的基礎(chǔ)上獲得最終輪廓線并測量IMT。

深度學(xué)習(xí)這個概念在2006年第一次被提出［8］。目前，深度學(xué)習(xí)已經(jīng)被用在醫(yī)學(xué)領(lǐng)域進(jìn)行了不同的研究，它的出現(xiàn)為醫(yī)學(xué)圖像輔助診斷提供了新思路和研究手段。本研究提出利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）獲得穩(wěn)健可靠的頸動脈斑塊檢測模型，對頸動脈斑塊進(jìn)行輔助檢測，減輕放射科醫(yī)師負(fù)擔(dān)。實驗結(jié)果證實該模型對頸動脈斑塊輔助檢測有顯著意義。

1 設(shè)計與方法

檢測頸動脈斑塊可分為兩個部分：①ROI 提?。翰捎脠D像處理算法對待測的頸動脈超聲圖像進(jìn)行自動分割，獲得ROI，以便提高圖像分類的效率。②斑塊檢測：將分割好的圖像輸入到訓(xùn)練好的CNN 模型進(jìn)行檢測，得出檢測結(jié)果。流程圖見圖1。

圖1 頸動脈斑塊檢測流程圖Figure 1 Flow chart of carotid plaque detection

1.1 ROI提取

ROI提取可以提高圖像分類的效率，方便圖像處理。本研究使用的方法利用血管形態(tài)信息、IMT以及高斯混合模型（Gaussian Mixture Models,GMM）［9］，具體步驟見圖2。

圖2 ROI提取流程圖Figure 2 Flow chart of region of interest(ROI)extraction

頸動脈超聲圖像的尺寸為800×600，對其進(jìn)行裁剪，去除包含如日期、器械名稱、參數(shù)設(shè)置等很多無用信息的區(qū)域，只保留與頸動脈血管信息相關(guān)區(qū)域。裁剪后的超聲圖像尺寸為400×400。醫(yī)學(xué)超聲圖像雖然有實時、廉價、無損傷、無侵入等優(yōu)點，但其易受超聲儀器型號、本身成像原理等原因限制，導(dǎo)致超聲圖像分辨率不高。為了改善這個問題，本文采用圖像超分辨生成對抗網(wǎng)絡(luò)（SR-GAN）［10］提高超聲圖像的質(zhì)量。SR-GAN 由生成器和判別器構(gòu)成，判別器的主體是VGG（Visual Geometry Group Network）［11］，包含8個卷積層，選取帶泄露修正線性單元作為激活函數(shù)，最終通過兩個全連接層和Sigmoid 激活函數(shù)得到預(yù)測概率；生成器由多個殘差塊組成，每個殘差塊中包含卷積層、批量歸一化和參數(shù)修正線性單元激活函數(shù)，同時在模型后部加入了亞像素卷積層用于增加圖像分辨率，使得提升分辨率的同時減少了計算量。將超聲圖像轉(zhuǎn)為一維數(shù)據(jù)點作為聚類的元素，使用GMM 算法將圖像中所有點分為3 類，最后將數(shù)據(jù)點轉(zhuǎn)換為圖像并顯示。

GMM 是一種常用的變量分布模型，以概率模型為基礎(chǔ)進(jìn)行聚類，在數(shù)理統(tǒng)計領(lǐng)域有著廣泛的應(yīng)用。GMM分布為：

其中k為類別數(shù)，xi表示第i個對象，qk為像素屬于k類的概率，μk為第k類對應(yīng)的多元高斯分布的均值向量，φk為第k類對應(yīng)的多元高斯分布的協(xié)方差矩陣。

由期望最大化算法（EM）算法估計。

EA 算法是一種統(tǒng)計學(xué)方法，也是一種極大似然估計方法，可以幫助計算數(shù)學(xué)模型參數(shù)。這里用來計算GMM參數(shù)，具體步驟如下：

初始化模型參數(shù)qk(0)、μk(0)、φk(0)。

E步：

M步：

其中，

迭代以上步驟直到參數(shù)收斂。

以灰度值0～5為頸動脈管腔，灰度值180～190為頸動脈外膜［12］，按照血管的灰度值特性對聚類后的頸動脈超聲圖像進(jìn)行灰度分級，計算3張圖像像素值的平均值，值最低的圖像灰度值映射到0，另外2張灰度值映射到255，并將3張圖像進(jìn)行圖像融合。

最后對圖像進(jìn)行閉運算。它可以封閉融合后的圖像中細(xì)微連在一起的圖塊，從而填補(bǔ)圖像，與此同時能保持圖像內(nèi)容的位置和形狀不變。超聲圖像拍攝過程中，探頭掃描時遠(yuǎn)端血管壁因為受到小的增益影響，圖像會比較清晰，血管壁分層明顯，而近端由于被超聲波散射原理，內(nèi)中膜容易被影響，成像會變暗模糊，所以本實驗選取遠(yuǎn)端血管壁作為ROI［13］。由于近端和遠(yuǎn)端在形態(tài)上是連通的，保留近端遠(yuǎn)端兩個大的連通域，刪除圖像上過小的連通域。依據(jù)遠(yuǎn)端血管壁的質(zhì)心大的特點，刪去近端連通域，獲取最終ROI。

1.2 基于CNN的斑塊檢測

VGG 是CNN 中經(jīng)典模型之一，它是由牛津視覺幾何小組聯(lián)合谷歌人工智能公司共同研發(fā)的，并在2014年大規(guī)模視覺識別挑戰(zhàn)賽中獲得第2 名［14］。VGGNet 包含6 種CNN 框架，由卷積層、池化層和全連接層反復(fù)堆疊形成16～19 層的CNN，其特點為：卷積核為（3×3）或（2×2），池化核為（2×2）；網(wǎng)絡(luò)的整體不僅層數(shù)更深，而且特征圖更寬；測試階段可以輸入任意尺寸圖像進(jìn)行測試。總的來說，VGGNet泛化能力更好，是CNN中提取圖像特征的首選之法［15-16］。

本研究提出了一種基于CNN 的斑塊檢測算法（Detection of Carotid Plaque Based on Convolutional Neural Network,簡稱DCP），見圖3。DCP由VGGNet原始結(jié)構(gòu)改進(jìn)得來，其中包含9 個卷積層，它們每個卷積核的大小都是3×3，并在它們每層后面添加“ReLU”激活函數(shù)，將激活結(jié)果作為新層的輸入。添加4 個最大池化層防止過擬合，大小為2×2。最后把全部特征通過全連接層連接產(chǎn)生輸出值，并把輸出值輸入到給分類器得到最終分類結(jié)果。DCP 網(wǎng)絡(luò)的超參數(shù)經(jīng)過反復(fù)實驗和分析得以確定。

圖3 DCP網(wǎng)絡(luò)結(jié)構(gòu)Figure 3 DCP structure

將超聲圖像進(jìn)行標(biāo)定，其中有斑塊的ROI標(biāo)定為“1”，其余標(biāo)定為“0”，標(biāo)定完成之后，提取ROI并將分辨率調(diào)整為統(tǒng)一大?。?00×120），隨機(jī)混合存儲標(biāo)定圖像順序以防止模型記憶數(shù)據(jù)并提高模型準(zhǔn)確性。將標(biāo)定后的圖像作為DCP 的輸入進(jìn)行訓(xùn)練并提取特征。采用五折交叉驗證方法進(jìn)行訓(xùn)練，并且迭代50次，獲得最終頸動脈斑塊檢測模型。

2 實驗結(jié)果與分析

2.1 實驗環(huán)境

本研究實驗環(huán)境為Window10 操作系統(tǒng)，處理器為AMD Ryzen Threadripper 1900X 8-Core Processor，內(nèi)存為8 GB，GPU 顯卡為NVIDIA GeForce GTX 1080Ti。本研究DCP 模型使用Python Keras［17］編寫，使用TensorFlow［18］作為后端框架。在配置環(huán)境下，網(wǎng)絡(luò)訓(xùn)練時長為2 min。

2.2 數(shù)據(jù)集

使用的超聲圖像由上海市奉賢區(qū)中心醫(yī)院提供，包含45 位患者的頸動脈超聲圖像，共有467 張，尺寸為800×600。實驗儀器為GE Vivid E9（美國）超聲診斷儀，9L-D 探頭，探頭頻率（4～8）MHz。由兩位專家手動標(biāo)定，其中有斑塊樣本251 張，無斑塊樣本216 張。訓(xùn)練驗證集為416 張，其中有斑塊224 張，無斑塊192 張。測試集為51張，其中有斑塊27張，無斑塊24張。

2.3 實驗結(jié)果

ROI 提取可以提高圖像分類效率，方便圖像處理。本文超聲圖像獲取ROI 見圖1。通過五折交叉驗證訓(xùn)練網(wǎng)絡(luò)［19］，ROC曲線見圖4。模型訓(xùn)練準(zhǔn)確度已經(jīng)達(dá)到99.25%，最終采用的batch-size為32，學(xué)習(xí)率為0.001，迭代次數(shù)為50次。

圖4 五折交叉驗證訓(xùn)練過程ROC曲線Figure 4 ROC curves of 5-fold cross-validation

以病理結(jié)果為金標(biāo)準(zhǔn)，在測試集中分類器預(yù)測無斑塊為23次，有斑塊預(yù)測28次，實際樣本中有27張圖像有斑塊，24張無斑塊。檢測頸動脈斑塊分類器準(zhǔn)確度為94.12%（48/51）、敏感度為96.30%（26/27）、特異性為91.67%（22/24）、假陽性率為8.33%（2/24）。

2.4 網(wǎng)絡(luò)性能對比

Sava?等［20］同樣通過CNN檢測頸動脈斑塊，截去超聲圖像無關(guān)信息進(jìn)行預(yù)處理，通過7 層CNN 進(jìn)行訓(xùn)練。搭建文獻(xiàn)［20］的網(wǎng)絡(luò)，同時按照其方法對圖像預(yù)處理，只去除頸動脈超聲圖像中與頸動脈無關(guān)的信息，見圖1（截取冗余信息圖），將兩種ROI 分別用本文網(wǎng)絡(luò)和文獻(xiàn)［20］的網(wǎng)絡(luò)進(jìn)行訓(xùn)練。不同網(wǎng)絡(luò)、ROI對應(yīng)的訓(xùn)練準(zhǔn)確度見表1，準(zhǔn)確度和損失值每5個輪次變化見圖5。

圖5 模型損失收斂過程和精確度變化Figure 5 Model loss convergence process and changes in accuracy

表1 模型最終準(zhǔn)確度和損失值Table 1 Final accuracies and loss values of different models

研究顯示分別將本研究的ROI 和文獻(xiàn)［20］ROI作為DCP 網(wǎng)絡(luò)的訓(xùn)練集，使用本研究ROI 的模型得到的準(zhǔn)確度高于使用文獻(xiàn)［20］ROI的模型；同時分別將本研究ROI 和文獻(xiàn)［20］ROI 作為文獻(xiàn)［20］的斑塊檢測網(wǎng)絡(luò)的訓(xùn)練集，本研究ROI的模型得到的準(zhǔn)確度高于文獻(xiàn)［20］ROI的模型。綜上所述，本研究方法準(zhǔn)確率高于文獻(xiàn)［20］的方法，與之相比利用超聲血管形態(tài)的信息截取的圖像ROI提高了模型的準(zhǔn)確度，使模型具有更好的魯棒性。

3 結(jié)論

本研究提出一種自動、高效的檢測超聲圖像頸動脈斑塊分類方法，以便輔助早期診斷和治療心血管疾病，該算法采用SR-GAN 網(wǎng)絡(luò)提高超聲圖像質(zhì)量，利用超聲血管形態(tài)信息結(jié)合GMM 算法提取ROI，既能保留血管自身形態(tài)信息，又能提高斑塊分類效率，采用CNN 檢測頸動脈斑塊，模型魯棒性好。然而頸動脈斑塊有兩種，其中一種是易損斑塊，它容易發(fā)生破裂，很可能會栓塞腦動脈，繼而引起中風(fēng)等臨床事件，需要對篩選出來的頸動脈斑塊進(jìn)一步分類，以提高實用性，這是下一步的研究方向。