深度學(xué)習(xí)算法在頸動脈超聲圖像斑塊分割中的應(yīng)用研究

沈沖沖 周小安 安相靜 熊煜 吳濤

摘?要：近年來，隨著計算機技術(shù)的進步和數(shù)據(jù)集的大規(guī)?；?，越來越多的人把計算機視覺技術(shù)應(yīng)用到超聲醫(yī)學(xué)圖像中。但在超聲圖像方面卻存在低準(zhǔn)確度且不穩(wěn)定產(chǎn)生的模糊、偽影等使現(xiàn)有算法對模糊、噪聲圖像誤判較高。另外由于病例過多，人為的去檢測和識別斑塊過于繁瑣。為了緩解這些問題，提出了采用inception的網(wǎng)絡(luò)結(jié)構(gòu)方法快速準(zhǔn)確地獲取高噪聲的超聲圖像的關(guān)鍵特征，并通過數(shù)據(jù)增強和自適應(yīng)中值濾波的方法確保了分割的穩(wěn)定性。最后得到的頸動脈分割圖像，更有利于醫(yī)生去觀察和判斷病變體的嚴(yán)重程度，給醫(yī)護人員帶來了巨大的便利，實驗結(jié)果表明，本文的方法具有實用意義。

關(guān)鍵詞： 頸動脈超聲圖像;分割;inception;濾波

文章編號： 2095-2163（2021）01-0084-05 中圖分類號：TP391 文獻標(biāo)志碼：A

【Abstract】In recent years， with the advancement of computer technology and the large-scale data set， more and more people apply computer vision technology to ultrasound medical images. However， there are low accuracy and unstable blurs and artifacts in ultrasound images， which make existing algorithms misjudge blur and noise images higher. In addition， due to too many cases， it is too cumbersome to manually detect and identify plaques. In order to alleviate these problems， inception's network structure method is proposed to quickly and accurately obtain the key features of high-noise ultrasound images， and the stability of segmentation is ensured through data enhancement and adaptive median filtering. The final carotid artery segmentation image is more conducive to doctors to observe and judge the severity of the lesion， and it brings great convenience to medical staff. The experimental results show that the method in this paper has practical significance.

【Key words】carotid artery ultrasound image; segmentation; inception; filtering

1 概?述

事實上，頸部動脈斑塊是頸部動脈粥樣硬化的典型癥狀，一般會在頸部的動脈分叉處出現(xiàn)。目前醫(yī)學(xué)界認(rèn)為，其出現(xiàn)與缺血性腦卒中疾病密切相關(guān)。當(dāng)頸動脈斑塊或硬化出現(xiàn)時，血管內(nèi)壁的內(nèi)中膜結(jié)構(gòu)增厚后，一開始會導(dǎo)致頸動脈管腔明顯狹窄或閉塞。當(dāng)內(nèi)中膜厚度[1]（Intima-Media Thickness，IMT）增大到一定程度，頸動脈內(nèi)徑變窄造成顱內(nèi)流血消減，導(dǎo)致血管灌注區(qū)域內(nèi)的壓力減小血液流速變緩、血液的粘稠度增大，最后造成腦部區(qū)域供血量減少。隨著斑塊出現(xiàn)脫落，血液中形成的血小板和纖維素等成分會發(fā)生黏附、堆積現(xiàn)象，進而形成了血栓，造成遠(yuǎn)端動脈出現(xiàn)阻塞。這會使通往大腦的血液變少，從而引發(fā)大腦缺血、缺氧疾病，即血性腦卒中，也就是人們經(jīng)常說的腦梗死[2]。因此對心腦血管疾病等高危險人群進行早期準(zhǔn)備檢測和跟蹤可以對患者采取預(yù)防性（調(diào)整飲食作息習(xí)慣），治療性（使用藥物降脂治療）等措施進行治療。

研究表明，頸動脈的IMT可以作為心機梗死和腦卒中預(yù)測指標(biāo)，斑塊的總面積對斑塊的變化也非常敏感，因此醫(yī)生可以根據(jù)斑塊的面積來檢測斑塊的變化。通常情況下，頸動脈斑塊的分割都是由醫(yī)學(xué)專家手動完成的，可是手動進行分割比較耗時，并且分割效果多會依賴操作者的臨床經(jīng)驗。早期學(xué)者通過研究圖像處理方法中圖像分割等傳統(tǒng)算法嘗試去應(yīng)用到醫(yī)學(xué)斑塊分割中，并提出了一些能夠解決頸動脈斑塊分割的有效方法，其中部分方法盡管不是完全自動的，但是開啟了研究頸動脈斑塊分割的熱潮，使越來越多的人開始研究這個領(lǐng)域，并取得了相當(dāng)不錯的效果。例如文獻[3-6]的研究中認(rèn)為頸動脈超聲圖像是被圖像采集噪聲或半點噪聲破壞的普通高頻圖像，并且可能具有波干擾，為了濾除采集噪聲，一種解決方案是在分割之前對圖像進行平滑處理。在這種情況下，文獻[7]開發(fā)出了一種采用預(yù)處理的技術(shù)，通過采用中值濾波消除斑點噪聲。為了衰減噪聲信號并保留邊緣信息，文獻[8]采用了一種方法，結(jié)合了有效的主動輪廓分割來分割頸動脈超聲圖像，使用各向異性擴散濾鏡對圖像進行預(yù)處理以降低噪聲。Golemati等人[9]提出了一種基于霍夫變換分割頸動脈超聲圖像。但是由于頸動脈彎曲特性，霍夫變換可能不適合分割頸動脈斑塊。Loizou等人[10]提出了一種基于snake模型的頸動脈圖像綜合分割方案。但是該方法中涉及人工初始化snake，這可能導(dǎo)致錯誤的結(jié)果。Destrempes等人[11]使用3個Nakagami分布的組合來模擬頸動脈超聲圖像中目標(biāo)區(qū)域的回聲性，該圖像包含斑塊、血管腔和動脈壁外模，需要對圖像的第一幀進行手動分割。Athanasiou等人[12]也提出一種基于K均值聚類的全自動分割方法。本文采用實例分割領(lǐng)域的Mask-RCNN[13]算法作為頸動脈斑塊硬化自動化分割模型，該方法無需人工參與、實現(xiàn)了全自動的斑塊分割，并在網(wǎng)絡(luò)層中使用inception、resnet50網(wǎng)絡(luò)進行對比，實驗結(jié)果表明，采用inception具有較高的分割準(zhǔn)確性，而且訓(xùn)練收

斂更快，有效避免了過擬合發(fā)生的風(fēng)險。

2 相關(guān)工作

2.1 圖像預(yù)處理

一般來說，輸入的原始圖像含有復(fù)雜的噪聲，所以在進行圖像分割之前需要進行去噪預(yù)處理。本文中用到的超聲圖像就包含了大量的噪聲信息。因此，進行圖像的預(yù)處理是必不可少的一步。采用自適應(yīng)中值濾波進行去噪處理，流程如圖1所示。其中，Rxy表示以（x，y）為中心的濾波器覆蓋的范圍，Gmin、Gmax、Gmiddle分別表示覆蓋范圍中的最小灰度值、最大灰度值和平均灰度值，Gxy表示（x，y）處像素點的灰度值，Rmax表示設(shè)定的最大濾波覆蓋范圍。

2.2 頸動脈超聲圖像采集

本實驗使用的頸動脈超聲圖像主要來源于甲級醫(yī)院放射科診斷室的患者。一共包含284位不同病人頸部的568張超聲圖像，其中每個人有2條頸動脈。圖像分辨率大小為1024×768。圖像標(biāo)注由多位經(jīng)驗豐富的超聲科醫(yī)生完成。由于噪聲等因素的存在導(dǎo)致部分圖像手動去分割比較困難，所以通過篩選，最終留下了523張超聲圖像用于實驗研究。經(jīng)過標(biāo)注的數(shù)據(jù)通過VOE（volumetric overlap error）系數(shù)的計算來選定可信度最高的那組數(shù)據(jù)作為實驗金標(biāo)準(zhǔn)。VOE的公式如下：

其中，VDr.x表示由醫(yī)生x標(biāo)注的分割結(jié)果，VDr.y表示醫(yī)生y標(biāo)注的分割結(jié)果。

將每位醫(yī)生的標(biāo)注結(jié)果與其他幾位醫(yī)生的標(biāo)注結(jié)果進行VOE系數(shù)運算，最后選用的是VOE均值最低的那組數(shù)據(jù)作為用于模型訓(xùn)練的標(biāo)簽。圖像如圖2所示。

2.3 頸動脈斑塊的人工分割

對于深度學(xué)習(xí)分割算法來說，首先要確定用于訓(xùn)練和測試的標(biāo)準(zhǔn)，對自動分割的結(jié)果進行評價，必須以人工分割的結(jié)果為基準(zhǔn)。因此，對這些分割結(jié)果的可靠性進行評價是很有必要的。數(shù)據(jù)交由2位專業(yè)的超聲影像診斷醫(yī)生助理將對568張頸動脈超聲圖像中的斑塊進行手動分割，且兩人均對彼此的分割結(jié)果并不可見。為了達到更為可靠的評估標(biāo)準(zhǔn)，后期還會隨機抽取其中50張頸動脈超聲圖像并找其他2位有著多年工作經(jīng)驗的醫(yī)師，再次進行手動分割，通過計算這些分割結(jié)果中斑塊的差異并取平均，這些手工分割的結(jié)果就是本次研究中模型訓(xùn)練的標(biāo)簽。

2.4 數(shù)據(jù)增強

為了更好地降低訓(xùn)練誤差和泛化誤差，并優(yōu)化目標(biāo)使其達到最終想要的模型損失收斂到最佳位置，本次研究可以采用數(shù)據(jù)增強。而且，如果數(shù)據(jù)量少且參數(shù)多也極易導(dǎo)致欠擬合現(xiàn)象。常見的數(shù)據(jù)增強手段主要包括翻轉(zhuǎn)、縮放、旋轉(zhuǎn)、裁剪、變色、對比度增強等操作。

因為本實驗的超聲圖像雖然是彩色的3通道圖像，但由于實際圖像3個通道顏色一樣。另外，裁剪可能造成原圖像目標(biāo)丟失，所以在本實驗中，只是采用旋轉(zhuǎn)（旋轉(zhuǎn)90°）、翻轉(zhuǎn)、縮放（放大1.2倍）變換來增加訓(xùn)練數(shù)據(jù)的數(shù)量。經(jīng)過數(shù)據(jù)增強后的新數(shù)據(jù)為4 184張超聲圖像。

3 實驗方法

本實驗基礎(chǔ)網(wǎng)絡(luò)采用resnet50、inception_v3并結(jié)合RPN，分別用于超聲圖像的特征提取，使用RELU作為激活函數(shù)。采用數(shù)據(jù)增強之后的數(shù)據(jù)集用于訓(xùn)練和預(yù)測，并對實驗結(jié)果進行比較。

3.1 inception_3

inception塊的網(wǎng)絡(luò)實現(xiàn)的關(guān)鍵就是找到某些密集成分，來擬合網(wǎng)絡(luò)的局部稀疏結(jié)構(gòu)，為了做到這一點，網(wǎng)絡(luò)去除了全連接層，并在整體上體現(xiàn)了聚類的思維，這樣做增加了網(wǎng)絡(luò)的寬度，同時增加了網(wǎng)絡(luò)對多尺度的適應(yīng)性。inception_v3網(wǎng)絡(luò)結(jié)構(gòu)又進行了改進，主要有2個方面：將一個較大的二維卷積拆分成2個較小的一維卷積，比如將7×7的網(wǎng)絡(luò)拆分成1×7卷積和7×1卷積，將3×3卷積拆分成1×3卷積和3×1卷積，這可以節(jié)省大量參數(shù)，減小內(nèi)存開銷，出現(xiàn)網(wǎng)絡(luò)過擬合的可能性也隨之降低。同時也增加了一層非線性擴展模型的表達能力。另一方面，inception_v3優(yōu)化了inception塊的結(jié)構(gòu)，但是這些inception塊只在后部出現(xiàn)，前部還是普通的卷積層。并且inception_v3還在分支中使用了分支，可以說是網(wǎng)絡(luò)中的網(wǎng)絡(luò)（NiN）。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

將經(jīng)過濾波去噪處理后的數(shù)據(jù)送入設(shè)定好的網(wǎng)絡(luò)進行訓(xùn)練。網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖3所示。網(wǎng)絡(luò)Backbone分別采用inception_v3。

3.3 損失函數(shù)

在訓(xùn)練期間，將每個采樣的ROI上的多任務(wù)損失定義為：

掩碼分支對于每個ROI具有km2維輸出，其編碼分辨率為m×m的k個二進制掩碼，每個k類對應(yīng)一個。為此，使用每像素sigmoid，并將Lmask定義為平均二元交叉熵?fù)p失。對于與真實類k相關(guān)聯(lián)的ROI，Lmask僅在第k個掩碼上定義，因此其他掩碼輸出不會導(dǎo)致?lián)p失。

3.4 評價指標(biāo)

對于二分類問題，混沌矩陣是常用的評價指標(biāo)模型。為了避免受到主觀因素的影響，使評價結(jié)果更具真實性和可靠性，當(dāng)對本文基于深度學(xué)習(xí)算法在頸動脈超聲圖像中效果進行評估時，也可以采用常規(guī)的評價指標(biāo)，詳見表1。其中，TP表示真正例樣本的數(shù)量，F(xiàn)P表示假正例樣本的數(shù)量，TN表示真反例樣本的數(shù)量，F(xiàn)N表示假反例樣本的數(shù)量。根據(jù)混淆矩陣可以得到目標(biāo)的準(zhǔn)確率、精確度、召回率等評價指標(biāo)。參照表1則可計算得到目標(biāo)的精確度和召回率，具體如下：

其中，Precision是在識別出來的圖片中，True positives所占的比率，Recall是測試集的所有正樣本中，被正確識別為正樣本的比例。AP就是在一定閾值下Precision-recall曲線所包含的面積，可以估算為：

通常AP值越高，分類效果越好。對每個類別AP值的和求均值，就得到mAP值，Precision 和Recall 在 0-1 之間，故 mAP 的大小也在[0，1]區(qū)間內(nèi)。本實驗采用AP和準(zhǔn)確率作為模型評價工具。

4 實驗結(jié)果分析

本實驗使用inception_v3、resnet50作為模型，進行對比實驗，將前面介紹的經(jīng)過預(yù)處理和數(shù)據(jù)增強之后的超聲圖像用于網(wǎng)絡(luò)模型的訓(xùn)練，研究中采用留出法對網(wǎng)絡(luò)分別進行訓(xùn)練、驗證和測試，其中，85%圖像用于訓(xùn)練，5%用于驗證，10%用于預(yù)測。模型訓(xùn)練的硬件環(huán)境為Intel Core i7搭載Tesla K40c顯卡，在Ubuntu16.04LST系統(tǒng)中搭建Tensorflow的Python3.6環(huán)境進行訓(xùn)練，手動設(shè)置學(xué)習(xí)率為e-3，權(quán)重初始化為0，一共訓(xùn)練200 epoch。各部分的loss值隨訓(xùn)練步驟的變化如圖4所示。

inception_v3、resnet50的AP，準(zhǔn)確率指標(biāo)對比見表2。通過對比這兩個指標(biāo)，就可以得到本文提出的算法具有較好的自動分割能力，從測試集中隨機挑選出4張圖中與其對應(yīng)的分割圖如圖5所示。

5 結(jié)束語

本文通過調(diào)整深度學(xué)習(xí)中的mask-rcnn網(wǎng)絡(luò)使其應(yīng)用在場景復(fù)雜的頸動脈超聲醫(yī)學(xué)圖像病變體的自動化分割中，解決了已有文獻提出方法現(xiàn)存的一些問題。提高了分割的準(zhǔn)確性、不再需要人工標(biāo)注，大幅度節(jié)省了醫(yī)生的時間成本。在一定程度上為醫(yī)生提供了便利，但本文的方法也有一定的局限性。首先，由于樣本數(shù)量的限制，無法達到預(yù)期的效果，mask-rcnn算法雖然可以自動分割出頸動脈超聲圖像中的病變體，卻不能給出病變體的嚴(yán)重程度，這也是下一步的工作目標(biāo)。

參考文獻

[1]LORENZ M W， MARKUS H S， BOTS M L， et al. Prediction of clinical cardiovascular events with carotid intima-media thickness： A systematic review and meta analysis-response[J]. Circulation， 2007，115： 459-467.

[2]GOLLEDGE J， GREENHALGH R M， DAVIES A H. The symptomatic carotid plaque[J]. Stroke：A Journal of Cerebral Circulation， 2000， 31（3）：774-781.

[3]CHAUDHRY A， HASSAN M， KHAN A， et al. Automatic segmentation and decision making of Carotid Artery ultrasound images[M]//LEE S， CHO H， YOON K J， et al. Intelligent autonomous systems 12. Advances in Intelligent Systems and Computing. Berlin/ Heidelberg：Springer， 2012，194：185-196.

[4]HASSAN M， CHAUDHRY A， KHAN A， et al. Carotid artery image segmentation using modified spatial fuzzy c-means and ensemble clustering[J]. Computer Methods and Programs in Biomedicine， 2012，108 （3）： 1261-1276.

[5]CHAUDHRY A， HASSAN M， KHAN A， et al. Image clustering using improved spatial fuzzy C-Means[C]//ICUMIC'12. Kuala Lumpur， Malaysia：ACM， 2012：1-7.

[6]HASSAN M， CHAUDHRY A， KHAN A， et al. Robust information gain based fuzzy c-means clustering and classification of carotid artery ultrasound images[J]. Computer Methods and Programs in Biomedicine， 2014，113 （2）： 593-609.

[7]SANTHIYAKUMARI N， RAJENDRAN P， MADHESWARAN M. Medical decision-making system of ultrasound carotid artery intima–media thickness using neural networks[J]. Journal of Digital Imaging， 2011，224 ：1112-1125.

[8]SANTHIYAKUMARI N， RAJENDRAN P， MADHESWARAN M， et al. Detection of the intima and media layer thickness of ultrasound common carotid artery image using efficient active contour segmentation technique[J]. Medical& Biological Engineering& Computing， 2011， 49 ： 1299-1310.

[9]GOLEMATI S， STOITSIS J， SIFAKIS E， et al. Using the Hough transform to segment ultrasound images of longitudinal and transverse sections of the carotid artery[J]. Ultrasound in Medicine & Biology， 2007， 33 （12）：1918-1932.

[10]LOIZOU C P， PATTICHIS C S， PANTZIARIS M， et al. An integrated system for the segmentation of atherosclerotic carotid plaque[J]. IEEE Transactions on Information Technology in Biomedicine， 2007，11 （6）： 661-667.

[11]DESTREMPES F， MEUNIER J， GIROUX M F， et al . Segmentation of plaques in sequences of ultrasonic B-mode images of Carotid arteries based on motion estimation and a Bayesian model[J]. Proceedings of the IEEE Transactions on Biomedical Engineering， 2011， 58（8）： 2202-2211.

[12]ATHANASIOU L， BOURANTAS C V， RIGAS G， et al. Methodology for fully automated segmentation and plaque characterization in intracoronary optical coherence tomography images[J]. Journal of Biomedical Optics，2014，19（2）：26009.

[13]HE K， GKIOXARI G， DOLLR P， et al. Mask R-CNN [C]// Proceedings of the IEEE International Conference on Computer Vision. Venice：IEEE，2017： 2961-2969.