基于深度學(xué)習(xí)的超聲圖像左心耳自動分割方法

韓路易 黃韞梔 竇浩然 白文娟 劉奇

摘 要：從超聲圖像中分割出左心耳（LAA）是得出臨床診斷指標(biāo)的重要步驟，而準(zhǔn)確自動分割的首要步驟和難點(diǎn)就是實(shí)現(xiàn)目標(biāo)的自動定位。針對這一問題，提出了一種結(jié)合基于深度學(xué)習(xí)框架的自動定位和基于模型的分割算法的方法來實(shí)現(xiàn)超聲圖像中LAA的自動分割。首先，訓(xùn)練YOLO模型作為LAA自動定位的網(wǎng)絡(luò)架構(gòu);其次，通過驗(yàn)證集確定最優(yōu)的權(quán)重文件，并預(yù)測出LAA的最小包圍盒;最后，在正確定位的基礎(chǔ)上，將YOLO預(yù)測的最小包圍盒放大1.5倍作為初始輪廓，利用CV模型完成LAA的自動分割。分割結(jié)果用5項(xiàng)指標(biāo)加以評價(jià)：正確性、敏感性、特異性、陰性、陽性。實(shí)驗(yàn)結(jié)果表明，所提方法能夠?qū)崿F(xiàn)不同分辨率條件和不同顯示模式下LAA的自動定位，小樣本數(shù)據(jù)在1-000 次迭代時(shí)已經(jīng)達(dá)到最優(yōu)的定位效果，正確定位率達(dá)到72.25%，并且在正確定位的基礎(chǔ)上，CV模型的分割準(zhǔn)確率能夠達(dá)到98.09%。因此，深度學(xué)習(xí)技術(shù)在實(shí)現(xiàn)LAA超聲圖像的自動分割上具備較大的潛力，能夠?yàn)榛谳喞姆指钏惴ㄌ峁┝己玫某跏驾喞?/p>

關(guān)鍵詞：自動分割;深度學(xué)習(xí);CV模型;左心耳;超聲圖像

中圖分類號：TP391.1

文獻(xiàn)標(biāo)志碼：A

Automatic method for left atrial appendage segmentation from

ultrasound images based on deep learning

HAN Luyi1， HUANG Yunzhi1，2， DOU Haoran3， BAI Wenjuan4， LIU Qi1*

1. College of Electrical Engineering， Sichuan University， Chengdu Sichuan 610065， China;

2. College of Materials Science and Engineering， Sichuan University， Chengdu Sichuan 610065， China;

3. School of Biomedical Engineering， Shenzhen University， Shenzhen Guangdong 518060， China;

4. Department of Cardiology， West China Hospital of Sichuan University， Chengdu Sichuan 610000， China

Abstract：

Segmenting Left Atrial Appendage （LAA） from ultrasound image is an essential step for obtaining the clinical indicators， and the prerequisite and difficulty for automatic and accurate segmentation is locating the target accurately. Therefore， a method combining with automatic location based on deep learning and segmenting algorithm based on model was proposed to accomplish the automatic segmentation of LAA from ultrasound images. Firstly， You Only Look Once （YOLO） model was trained as the network structure for the automatic location of LAA. Secondly， the optimal weight files were determined by the validation set and the bounding box of LAA was predicted. Finally， based on the correct location， the bounding box was magnified 1.5 times as the initial contour， and CV （ChanVese） model was utilized to realize the automatic segmentation of LAA. The performance of automatic segmentation was evaluated by 5 metrics， including accuracy， sensitivity， specificity， positive， and negative. The experimental results show that the proposed method can achieve a good automatic segmentation in different resolutions and visual modes， small samples data achieve the optimal location performance at 1-000 iterations with a correct position rate of 72.25%， and CV model can reach the accuracy of 98.09% based on the correct location. Therefore， deep learning is a rather promising technique in the automatic segmentation of LAA from ultrasound images， and it can provide a good initial contour for the segmentation algorithm based on contour.

Key words：

automatic segmentation; deep learning; CV （ChanVese） model; Left Atrial Appendage （LAA）; ultrasound image

0?引言

房顫患者心房附壁血栓脫落可以導(dǎo)致體循環(huán)血栓栓塞，其中腦卒中是最常見和最嚴(yán)重的血栓栓塞事件[1]。最近研究顯示左心耳（Left Atrial Appendage， LAA）封堵術(shù)可以有效預(yù)防房顫患者血栓栓塞[2-5]，封堵術(shù)成功的關(guān)鍵在于左心耳形狀的準(zhǔn)確選擇。對左心耳圖像準(zhǔn)確的自動分割是自動計(jì)算封堵裝置的形狀參數(shù)以及判斷房顫的指標(biāo)的重要前提，具有重要的臨床意義。在分析大量醫(yī)學(xué)數(shù)據(jù)時(shí)，由醫(yī)生進(jìn)行人工分割LAA邊界繁雜耗時(shí)且主觀性強(qiáng)， 因此，需要設(shè)計(jì)重復(fù)性強(qiáng)、魯棒性高的自動分割算法，以實(shí)現(xiàn)后續(xù)的自動計(jì)算并同時(shí)減輕醫(yī)護(hù)人員的工作負(fù)擔(dān)。為此，LAA超聲圖像自動分割模型，需克服兩大難點(diǎn)：1）克服圖像中其他目標(biāo)的干擾，實(shí)現(xiàn)快速準(zhǔn)確地自動定位;2）克服超聲圖像中的固有斑噪和LAA內(nèi)部的梳狀肌和肌小梁所造成的影響，實(shí)現(xiàn)準(zhǔn)確的輪廓演化。

1?相關(guān)工作

目前，活動輪廓模型（Active Contour Model， ACM）已經(jīng)廣泛應(yīng)用于圖像自動分割的方案中，ACM的基本思想是通過演化目標(biāo)輪廓曲線來求解其能量泛函的最小值。常見的基本形變模型有：1）主動外觀模型（Active Appearance Model， AAM）;2）主動形狀模型（Active Shape Model，ASM）;3）模板模型（Atlas Model，AM）。由Chan等[6]提出的CV（ChanVese）模型是最受歡迎的模型之一，CV模型在邊界較弱的圖像上有更好的表現(xiàn)，但不能很好地適用于圖像強(qiáng)度不均勻的情況。Li等[7-8]提出由局部二值擬合（Local Binary Fitting，LBF）和局部擴(kuò)展擬合（RegionScalable Fitting，RSF）為能量驅(qū)動的方法。RSF在模型中引入了圖像局部區(qū)域的強(qiáng)度信息，從而實(shí)現(xiàn)對強(qiáng)度不均勻的圖像的有效分割。該類方法能夠克服基于圖像像素分類的分割算法的缺陷：1）魯棒性不高;2）需要大量的人工參與以提高準(zhǔn)確性。方法的計(jì)算量大，且如果初始輪廓選擇不當(dāng)，非凸的能量函數(shù)會導(dǎo)致模型陷入局部最小值，甚至分割失敗。對于LAA圖像，大部分研究采用一些基本幾何形狀作為初始輪廓，如果無法準(zhǔn)確定位會極大地延長收斂時(shí)間，甚至收斂出錯(cuò)誤的輪廓。因此，本文從提高分割精度和魯棒性角度出發(fā)，要實(shí)現(xiàn)自動分割，其首要步驟就是從超聲圖像中快速、自動定位出LAA。

基于特征工程的機(jī)器學(xué)習(xí)方法需要人工參與，設(shè)計(jì)有效良好的特征提取方案，以將原始數(shù)據(jù)轉(zhuǎn)換成可區(qū)分的特征向量。但是人工參與的工程技能和專業(yè)知識在量化過程中會有一定主觀差異，對于分類結(jié)果會有一定的影響?；诰矸e神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[9]的深度學(xué)習(xí)方法可以利用原始圖像數(shù)據(jù)作為輸入，通過組合每一層簡單的非線性模塊，就可以將輸入轉(zhuǎn)換成高層的表達(dá)輸出，且整個(gè)表達(dá)學(xué)習(xí)的過程幾乎不需要人工參與。在目標(biāo)檢測任務(wù)上，深度學(xué)習(xí)方法主要分為兩類：1）基于選擇性搜索的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Regionbased Convolutional Neural Network，RCNN）[10-13];2）實(shí)現(xiàn)端到端檢測的YOLO（You Only Look Once）[14-16]?；赗CNN的方法利用聚類方式，對圖像進(jìn)行分割分組，得到多個(gè)候選框的層次組。RCNN計(jì)算的候選框數(shù)量多且有大量重疊，冗余計(jì)算量非常大，為提高運(yùn)行速度，F(xiàn)ast RCNN[11]方案中候選框只經(jīng)過一個(gè)CNN，F(xiàn)aster RCNN[12]則直接利用CNN來計(jì)算候選框。然而，基于RCNN的方案，復(fù)雜的流程通常導(dǎo)致計(jì)算速度慢且很難實(shí)現(xiàn)優(yōu)化。而YOLO把物體框的選擇與識別進(jìn)行了結(jié)合，一步輸出，識別速度非?？?，達(dá)到每秒45～150幀。

目前針對LAA輪廓提取的研究和文獻(xiàn)非常少，現(xiàn)有的LAA定量分析軟件是以左室的形態(tài)結(jié)構(gòu)作為模型的。為減小所選封堵裝置的誤差，提高自動分割的運(yùn)算效率和準(zhǔn)確性，本文提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)和參數(shù)活動輪廓模型的全自動LAA提取方法，整個(gè)流程如圖1所示。

首先，利用深度學(xué)習(xí)網(wǎng)絡(luò)YOLO訓(xùn)練LAA超聲圖像得到網(wǎng)絡(luò)的權(quán)值參數(shù)，完成LAA的準(zhǔn)確自動定位;進(jìn)而，在只含有LAA單一目標(biāo)的有限范圍內(nèi)，利用改進(jìn)的CV模型[17-18]完成LAA的自動分割。

2?左心耳自動分割方法

2.1?基于YOLO模型的自動定位

通常，完成一個(gè)心動周期所需要的時(shí)間為0.8s， 由于人眼的視覺暫留效應(yīng)，當(dāng)幀率高于每秒24幀時(shí)，就認(rèn)為是連貫的，因此為滿足實(shí)時(shí)定位并識別超聲圖像中的LAA，采用YOLO的網(wǎng)絡(luò)架構(gòu)，即使不采用批處理，利用GPU加速模式，對于物體識別和定位的速度也可以達(dá)到每秒45～150幀[11]，能夠滿足對LAA的處理速度?；赮OLO網(wǎng)絡(luò)的LAA自動定位架構(gòu)如圖2所示，自動定位架構(gòu)主要分為訓(xùn)練和測試兩大模塊：訓(xùn)練時(shí)使用由醫(yī)生標(biāo)記的訓(xùn)練集對YOLO模型的權(quán)值參數(shù)進(jìn)行更新;測試時(shí)固定權(quán)值參數(shù)，對測試集圖像進(jìn)行預(yù)測，輸出LAA區(qū)域的位置估計(jì)與類別回歸得到的包圍盒。

圖2中所使用的YOLO網(wǎng)絡(luò)的具體結(jié)構(gòu)及參數(shù)設(shè)置如圖3所示，整個(gè)卷積神經(jīng)網(wǎng)絡(luò)包含了24個(gè)卷積層，并連接了2個(gè)全連接層。卷積層通過局部連接對圖像局部特征進(jìn)行提取;池化層降低圖像尺度同時(shí)增加了卷積層的感受野范圍;全連接層則整合了全局信息，能夠更好地預(yù)測LAA區(qū)域。YOLO網(wǎng)絡(luò)的具體參數(shù)設(shè)置如下：

1）網(wǎng)絡(luò)輸入縮放成統(tǒng)一大小，且輸入圖像矩陣分割成s×s 的單元格，通常將s設(shè)為7。

2）每個(gè)單元格負(fù)責(zé)輸出b個(gè)矩形框，其中共包含兩部分信息：①數(shù)組（x， y， w， h）表示其位置信息，x、 y表示中心相對于單元格左上角的位置偏移，記單元格左上角為（0， 0），右下角為（1， 1），w、 h表示矩形框的寬與高，都是相對于整個(gè)圖片的相對值，全幅圖片大小為（1， 1）。②概率P（object）表示該框是物體的概率。

3）每個(gè)單元格再負(fù)責(zé)輸出c個(gè)類別的概率，用概率P（class|object）表示，最終輸出時(shí)物體的概率乘以類別概率，才是整體識別到是一個(gè)物體的概率，即：

P（class）=P（class|object）×P（object）

如果一個(gè)物體的中心落入一個(gè)單元格，則該單元格上的b個(gè)矩形框的位置信息都為該物體的位置信息，c個(gè)概率中對應(yīng)該物體類別值為1，其他為0。由于訓(xùn)練的數(shù)據(jù)集分為左心耳和非左心耳兩類，所以將b、c均設(shè)為2。

4）最終輸出層共包含有s×s×（b×5+c）個(gè)單元。網(wǎng)絡(luò)每一層之間的連接，類比神經(jīng)元的稀疏激活性，輸入信號的稀疏特性使得學(xué)習(xí)網(wǎng)絡(luò)并不需要很強(qiáng)的線性可分機(jī)制，因此在網(wǎng)絡(luò)訓(xùn)練時(shí)，整個(gè)網(wǎng)絡(luò)除了最后一層為線性激活，其他層都采用如式（1）的泄露型線性矯正激活方式[19]：

Φ（x）=x，x>00.1x，其他 （1）

YOLO每一個(gè)單元格能夠預(yù)測多個(gè)包圍盒，在訓(xùn)練時(shí)，每一個(gè)物體只需要一個(gè)包圍盒，因此，根據(jù)當(dāng)前最高的交并比（Intersection over Union，IoU），指定一個(gè)預(yù)測的包圍盒對應(yīng)待檢測物體。但是，輸入圖片的大部分單元格中并沒有落入物體中心，為增強(qiáng)整個(gè)網(wǎng)絡(luò)的穩(wěn)定性，引入?yún)?shù)λcoord和λnoobj，對類別概率和最小包圍盒的誤差進(jìn)行分析。訓(xùn)練過程中，為使包圍盒的預(yù)測偏差受目標(biāo)大小的影響較小，最終優(yōu)化的損失函數(shù)如式（2）所示：

J=λcoord∑s×si=0∑2j=0[Tobji，j（xi-i）2+（yi-i）2]+

λcoord∑s×si=0∑2j=0[Tobji，j（wi-i）2+（hi-i）2]+

∑s×si=0∑2j=0Tobji，j（ci-i）2+λnoobj∑s×si=0∑2j=0Tnoobji，j（ci-i）2+

∑s×si=0Tobji∑c∈classes（pi（c）-i（c））2（2）

其中：Tobji表示是否出現(xiàn)在單元格i中，Tobji，j表示使用第i個(gè)單元格中第j個(gè)類別的預(yù)測器，數(shù)組（xi，yi，wi，hi）和（i，i，i，i）分別表示目標(biāo)在第i個(gè)單元格中的篩選框坐標(biāo)及其估計(jì)。針對同一個(gè)物體可能識別出來多個(gè)選框的情況，YOLO采用非極大值抑制（NonMaximum Suppression，NMS）去掉重復(fù)框。根據(jù)每一個(gè)框?qū)?yīng)的置信率，消除多余框的具體步驟如下：

1）按置信率排序由高到低排序;

2）取最大置信率的框?yàn)槲矬w框;

3）剩余多個(gè)框中，去掉與最大置信率框的重疊率大于特定閾值的框;

4）重復(fù)步驟3），直到?jīng)]有剩余框;

5）確定最終被標(biāo)記為物體的框。

2.2?基于CV模型的自動分割

由于YOLO學(xué)習(xí)網(wǎng)絡(luò)能夠輸出只包含單一目標(biāo)——LAA的最緊包圍盒，非左心耳區(qū)域所占比例較小，因此利用CV模型實(shí)現(xiàn)左心耳腔和其余組織的分離。作為幾何形變模型，CV模型并沒有用到圖像的梯度信息，而是利用了目標(biāo)和背景的灰度差異，因此，CV模型的一個(gè)優(yōu)勢是能夠分割出邊界梯度變化不明顯的結(jié)構(gòu)，并且能夠?qū)崿F(xiàn)多目標(biāo)分割，能夠滿足本實(shí)驗(yàn)中不同顯示模態(tài)和不同掃描條件下LAA的自動分割。CV模型的能量方程定義如式（3）所示：

E=μ·Length（L）+υ·Area（inside（L））+λ1∫inside（L）I（x，y）-l12dxdy+λ2∫outside（L）I（x，y）-l22dxdy（3）

其中：L表示演化輪廓，I表示圖像灰度，μ和υ為相應(yīng)項(xiàng)的非負(fù)系數(shù)，λ1和λ2為相應(yīng)項(xiàng)的正系數(shù)，l1和l2分別表示演化輪廓內(nèi)部和外部所有像素的平均灰度。前兩項(xiàng)為演化輪廓的內(nèi)部能量，用以正則化輪廓的幾何特性;后兩項(xiàng)為演化輪廓的外部能量，用以將輪廓收斂到正確的位置。

3?實(shí)驗(yàn)結(jié)果和分析

3.1?實(shí)驗(yàn)數(shù)據(jù)和實(shí)驗(yàn)平臺

1）實(shí)驗(yàn)數(shù)據(jù)。所有的LAA超聲圖片都是由四川大學(xué)華西醫(yī)院超聲心內(nèi)科提供，醫(yī)生利用Phillip iE33超聲診斷儀并配合經(jīng)食道的探頭X72t采獲。數(shù)據(jù)來自不同的患者，一共512例，每一例中有1張LAA圖像由醫(yī)生同時(shí)標(biāo)注包圍框和LAA輪廓。其中測試數(shù)據(jù)集包含192例，訓(xùn)練數(shù)據(jù)集320例，并從訓(xùn)練集中隨機(jī)選擇192例作為驗(yàn)證集。

2）實(shí)驗(yàn)平臺。硬件環(huán)境：Intel Xeon E52630 CPU 2.40GHz，8GB內(nèi)存，NIVIDIA GeForce GTX 1080Ti顯卡。軟件環(huán)境：權(quán)值參數(shù)訓(xùn)練在UBUNTU 14.0.4系統(tǒng)，Python 2.7環(huán)境下進(jìn)行;自動定位和自動分割實(shí)驗(yàn)在Windows 10系統(tǒng)，Matlab 2015a環(huán)境下進(jìn)行。

3.2?實(shí)驗(yàn)設(shè)置

在數(shù)據(jù)采集階段，共由3名醫(yī)生完成對超聲圖像LAA區(qū)域的標(biāo)記，標(biāo)記結(jié)果為LAA在診斷圖像中的最緊包圍盒。在訓(xùn)練數(shù)據(jù)階段，從采集數(shù)據(jù)中隨機(jī)抽取512張，其中320張用于訓(xùn)練YOLO網(wǎng)絡(luò)的權(quán)值，剩余192張作為該訓(xùn)練網(wǎng)絡(luò)的測試。為保證整個(gè)網(wǎng)絡(luò)架構(gòu)的迭代收斂，網(wǎng)絡(luò)參數(shù)設(shè)置如下：

1）統(tǒng)一圖像輸入尺寸為418×418;

2）由于本次的數(shù)據(jù)集有限，為了更好地引導(dǎo)網(wǎng)絡(luò)朝向極值所在的方向?qū)W習(xí)，因此采用全數(shù)據(jù)集的形式輸入;

3）為保證學(xué)習(xí)速度和學(xué)習(xí)的準(zhǔn)確率，最終能夠找到極值，YOLO網(wǎng)絡(luò)的訓(xùn)練使用了自適應(yīng)動量估計(jì)（Adaptive moment estimation，Adam）優(yōu)化方法，學(xué)習(xí)率設(shè)置為0.001，批處理個(gè)數(shù)設(shè)置為8。對于式（2）所示的損失函數(shù)，λcoord設(shè)置為5，λnoobj設(shè)置為0.5。

訓(xùn)練階段結(jié)束后，導(dǎo)出網(wǎng)絡(luò)的權(quán)重文件，并隨機(jī)抽取采集樣本數(shù)據(jù)輸入到訓(xùn)練網(wǎng)絡(luò)測試整個(gè)學(xué)習(xí)網(wǎng)絡(luò)性能。自動定位的輸出結(jié)果為包圍LAA的最小包圍盒，其中，定位結(jié)果只顯示置性度高于0.5的包圍盒。

3.3?定位結(jié)果

得益于多層卷積網(wǎng)絡(luò)，和傳統(tǒng)的基于灰度信息和機(jī)器學(xué)習(xí)分類的方法相比，基于深度學(xué)習(xí)的自動定位從圖像整體角度出發(fā)，從微觀到宏觀地分析圖像中的像素、邊、物體，因此能夠克服傳統(tǒng)超聲圖像固有的低分辨率缺陷。圖4展示了學(xué)習(xí)網(wǎng)絡(luò)在不同掃描條件下的定位結(jié)果，其中：圖4（a）為LAA處于舒張末期，雖然目標(biāo)明確，但掃描結(jié)果分辨率較低情況下自動定位的結(jié)果;圖4（b）為目標(biāo)占整幅圖像比例較小，但掃描結(jié)果分辨率較高情況下的結(jié)果;圖4（c）為目標(biāo)清晰，但為雙幀顯示模式下的定位結(jié)果;圖4（d）為分辨率中等水平、LAA處于收縮末期時(shí)邊界不明顯情況下的定位結(jié)果。因此，利用YOLO網(wǎng)絡(luò)，可以完成LAA在不同顯示模式、不同掃描條件下的自動定位。

3.4?定位誤差

為確定學(xué)習(xí)網(wǎng)絡(luò)的最優(yōu)迭代次數(shù)，提取出訓(xùn)練階段中在不同迭代次數(shù)下得到的權(quán)重文件進(jìn)行測試，并將自動定位的結(jié)果歸為以下4類：1）遺漏、2）錯(cuò)誤、3）部分重合、4）完全重合。其中：遺漏是指LAA區(qū)域并未出現(xiàn)包圍盒;錯(cuò)誤是指包圍盒出現(xiàn)在非左心耳區(qū)域;部分重合是指包圍盒未包含完全左心耳，但至少包含了90%的左心耳區(qū)域;完全重合是指包圍盒和醫(yī)生標(biāo)記的完全重合。遺漏和錯(cuò)誤歸為是偏差（NEGATIVE）定位，而部分重合和重合認(rèn)為是正確（POSTIVE）的定位。本次實(shí)驗(yàn)利用192例驗(yàn)證集樣本，對1-000 ～ 7-000次迭代得到的權(quán)值進(jìn)行驗(yàn)證，表1和圖5顯示了以上4類的統(tǒng)計(jì)結(jié)果。

若僅從完全重合率來看，在5-000次迭代時(shí)重疊的樣本數(shù)是最多的，但相應(yīng)的錯(cuò)誤率也較高，因此，從整體正確定位率可以看出，由于樣本數(shù)量有限，在1-000次迭代時(shí)，自動定位的效果最好。并且從圖5中可以看出，不同迭代次數(shù)下，統(tǒng)計(jì)結(jié)果差異變化較小，因此，1-000次迭代后，整個(gè)網(wǎng)絡(luò)都處于一個(gè)穩(wěn)定收斂的狀態(tài)。值得指出的是，本次實(shí)驗(yàn)中正確自動定位的概率不是很高，主要?dú)w結(jié)為以下3方面原因：1）醫(yī)學(xué)數(shù)據(jù)的訓(xùn)練樣本數(shù)有限;2）左心耳形狀的個(gè)體差異性;3）左心耳具有多樣化的病理形態(tài)，而訓(xùn)練樣本中只包括了一部分病理形態(tài)。

3.5?分割精度

針對192例測試樣本中完成正確定位的數(shù)據(jù)，利用CV模型的自動分割結(jié)果如圖6所示。其中，圖6（a）為在目標(biāo)定位結(jié)果與實(shí)際位置完全重合的情況下得到的分割結(jié)果，圖6（b）則為在目標(biāo)定位結(jié)果與實(shí)際位置部分重合的情況下得到的分割結(jié)果。為保證部分重合能夠包含所有的區(qū)域，在自動分割之前，將包圍盒自動擴(kuò)增1.5倍?？梢钥闯?，正確定位后的數(shù)據(jù)均能夠得到較好的分割結(jié)果。

將醫(yī)生勾勒的輪廓作為“金標(biāo)準(zhǔn)”，采用5個(gè)指標(biāo)：準(zhǔn)確性（Accuracy）、敏感性（Sensitivity）、特異性（Specificity）、陽性預(yù)測值（Positive）、陰性預(yù)測值（Negative）[15]為指標(biāo)，評價(jià)基于YOLO網(wǎng)絡(luò)自動定位的左心耳自動分割方案：

Accuracy=（TP+TN）/（TP+TN+FP+FN）

Sensitivity=TP/（TP+FN）

Specificity=TN/（TN+FP）

Positive=TP/（TP+TN）

Negtive=FP/（FP+FN）

從概率上講，TP（True Positive）表示正樣例分類成正樣例;TN（True Negative）表示負(fù)樣例分類成負(fù)樣例;FP（False Positive）表示負(fù)樣例分類成正樣例;FN（False Negative）表示正樣例分類成負(fù)樣例。

針對1-000次迭代權(quán)重下，192例測試樣本中正確定位的數(shù)據(jù)（共計(jì)138例），表2在各項(xiàng)指標(biāo)下對比了CV、LBF和RSF三種模型的分割效果。可以看出，在YOLO網(wǎng)絡(luò)提供自動定位的初始輪廓的情況下，三種模型的分割準(zhǔn)確率都非常高，且各項(xiàng)指標(biāo)均表現(xiàn)優(yōu)秀。表3中所示為三種模型的CPU耗時(shí)比較，CV模型耗時(shí)最少。因此，在三種模型精確度相近的情況下，CV模型更適用于左心耳分割任務(wù)。但是，當(dāng)左心耳接近收縮末期時(shí)，整個(gè)分割結(jié)果會受到其內(nèi)部的梳狀肌和肌小梁影響，因而仍會導(dǎo)致漏檢。在未來的工作中，將會為進(jìn)一步提高全自動分割的準(zhǔn)確性，結(jié)合其他技術(shù)和信息，對左心耳超聲圖像進(jìn)行分析。

4?結(jié)語

盡管超聲設(shè)備目前的應(yīng)用廣泛，但是超聲圖像的分割一直受限于圖像本身的質(zhì)量，雖然近年來已有相關(guān)的硬件改善，但是影響成像質(zhì)量仍受病人狀態(tài)、醫(yī)生經(jīng)驗(yàn)等多種因素制約。相較于目前大量的關(guān)于超聲圖像自動分割的研究，幾乎都是基于圖像本身的灰度、梯度、相位信息，或是解剖結(jié)構(gòu)的先驗(yàn)信息構(gòu)建出基于邊界或是區(qū)域的能量模型，通過求解得到使能量最小的值來完成分割工作，但是模型受限于目標(biāo)區(qū)域的局部特征，并且需要經(jīng)過較多的預(yù)處理步驟才能在特定條件的圖像上取得較為滿意的效果。

為盡量克服圖像質(zhì)量和個(gè)體差異帶來的自動分割的困難，并提高從超聲圖像中全自動分割出左心耳的準(zhǔn)確性，基于YOLO模型自動定位的自動分割方法主要的創(chuàng)新如下：

1）依托于深度學(xué)習(xí)的理念，應(yīng)用CNN結(jié)構(gòu)，根據(jù)YOLO搭建出的學(xué)習(xí)網(wǎng)絡(luò)，實(shí)現(xiàn)了左心耳超聲圖像中目標(biāo)的自動定位?；赮OLO模型的自動定位架構(gòu)能夠較好地克服超聲成像固有的低分辨率、斑點(diǎn)噪聲的干擾，成功定位出心動周期內(nèi)各種狀態(tài)下的左心耳，同時(shí)，能夠完成不同分辨率條件和不同顯示模式結(jié)果下的自動定位。

2）在定位準(zhǔn)確的基礎(chǔ)上，左心耳已經(jīng)被鎖定包含單一目標(biāo)的矩形框內(nèi)，利用CV模型能夠較為準(zhǔn)確分割出目標(biāo)。

由于醫(yī)學(xué)樣本量通常受限于患者意愿，因此測試數(shù)據(jù)量相對較小，在以后的工作中會進(jìn)一步收集樣本，擴(kuò)大訓(xùn)練和測試樣本數(shù)量，進(jìn)一步使得自動定位和分割的結(jié)果具有更強(qiáng)的魯棒性。

參考文獻(xiàn) （References）

[1]?ALSAADY N M， OBEL O A， CAMM A J. Left atrial appendage： structure， function， and role in thromboembolism[J]. Heart， 1999， 82（5）：547-554.

[2]?KONG B， LIU Y， HUANG H， et al. Left atrial appendage closure for thromboembolism prevention in patients with atrial fibrillation： advances and perspectives[J]. Journal of Thoracic Disease. 2015， 7（2）： 199-203.

[3]?LEAL S， MORENO R， de SOUSA ALMEIDA M， et al. Evidencebased percutaneous closure of the left atrial appendage in patients with atrial fibrillation[J]. Current Cardiology Reviews. 2012， 8（1）：37-42.

[4]?WHITLOCK R P， HEALEY J S， CONNOLLY S J. Left atrial appendage occlusion does not eliminate the need for warfarin [J]. Circulation， 2009， 120（19）：1927-1932.

[5]?ABDELMONEIM S S， MULVAGH S L. Techniques to improve left atrial appendage imaging[J]. Journal of Atrial Fibrillation， 2014， 7（1）： No.1059.

[6]?CHAN T F， VESE L A. Active contours without edges[J]. IEEE Transactions on Image Processing， 2001， 10（2）： 266-277.

[7]?LI C， KAO C Y， GORE J C， et al. Implicit active contours driven by local binary fitting energy[C]// Proceedings of the 2007 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2007： 1-7.

[8]?LI C， KAO C Y， GORE J C， et al. Minimization of regionscalable fitting energy for image segmentation[J]. IEEE Transactions on Image Processing， 2008， 17（10）： 1940-1949.

[9]?LeCUN Y， BENGIO Y， HINTON G. Deep learning[J]. Nature， 2015， 521（7553）： 436-444.

[10]?GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014：580-587.

[11]?GIRSHICK R. Fast RCNN[EB/OL]. [2019-04-20]. https：//arxiv.org/pdf/1504.08083.pdf.

[12]?REN S， HE K， GIRSHICK R， et al. Faster RCNN： towards realtime object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

[13]?GOULD S， GAO T， KOLLER D. Regionbased segmentation and object detection[C]// Advances in Neural Information Processing Systems 22. Cambridge， MA： MIT Press， 2009：655-663.

[14]?REDMON J，DIVVALA S，GIRSHICK R， et al. You only look once： unified， realtime object detection[EB/OL]. [2019-04-20]. https：//arxiv.org/pdf/1506.02640.pdf.

[15]?REDMON J， FARHADI A. YOLO9000： better， faster， stronger[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017：6517-6525.

[16]?REDMON J， FARHADI A. YOLOv3： an incremental improvement[EB/OL]. [2018-05-25]. https：//arxiv.org/pdf/1804.02767.pdf.

[17]?MAKA M， DANK O， GARASA S， et al. Segmentation and shape tracking of whole fluorescent cells based on the ChanVese model[J]. IEEE Transactions on Medical Imaging， 2013， 32（6）： 995-1006.

[18]?WANG X， ZHENG C， LI C. Automated CT liver segmentation using improved ChanVese model with global shape constrained energy[C]// Proceedings of the 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Piscataway： IEEE， 2011： 3415-3418.

[19]?MAAS A L， HANNUN A Y， NG A Y， et al. Rectifier nonlinearities improve neural network acoustic models[EB/OL]. [2018-05-28].http：//robotics.stanford.edu/～amaas/papers/relu_hybrid_icml2013_final.pdf

This work is partially supported by the Project of Chengdu Science and Technology Bureau （2015-HM01-00525-SF）.

HAN Luyi， born in 1995， M. S. candidate. His research interests include medical image processing.

HUANG Yunzhi， born in 1989， Ph. D. candidate. Her research interests include medical signal processing， medical image processing.

DOU Haoran， born in 1995， M. S. candidate. His research interests include medical image analysis.

BAI Wenjuan， born in 1982， Ph. D. candidate， associate senior doctor. Her research interests include dynamic evaluation of heart valve disease.

LIU Qi， born in 1966， Ph. D.， professor. His research interests include machine vision， medical image processing， medical information.