基于深度神經(jīng)網(wǎng)絡(luò)的冠狀動(dòng)脈造影圖像血管分割和節(jié)段識(shí)別

謝麗華，史曉彤，王筱斐，黃云飛，趙森祥，杜天明，管常東，張洪剛，徐波

心血管疾病是我國居民的首位死亡原因，其發(fā)病率和死亡率呈逐年上升趨勢(shì)[1]，其中冠心病是最常見的心血管疾病。冠狀動(dòng)脈造影是冠心病診斷和指導(dǎo)治療的重要工具[2]，中國近90%的經(jīng)皮冠狀動(dòng)脈介入治療（PCI）在冠狀動(dòng)脈造影診斷當(dāng)時(shí)完成[3]，因此快速而準(zhǔn)確的冠狀動(dòng)脈造影影像診斷十分重要。隨著我國冠心病患者逐年增加，大量的冠狀動(dòng)脈造影給臨床醫(yī)生造成了沉重的負(fù)擔(dān)。并且，冠狀動(dòng)脈造影診斷依賴于醫(yī)生的臨床經(jīng)驗(yàn)，不同醫(yī)生對(duì)同一影像的解讀往往存在一定的主觀差異性，從而影響治療決策。隨著技術(shù)的進(jìn)步，人工智能已在多個(gè)醫(yī)學(xué)影像領(lǐng)域證明其應(yīng)用潛力，如皮膚癌、糖尿病視網(wǎng)膜病變的分類診斷等[4-5]。深度學(xué)習(xí)作為人工智能強(qiáng)大算法之一，其自身可學(xué)習(xí)數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，在圖像識(shí)別方面具有較強(qiáng)的能力。在既往研究中，深度學(xué)習(xí)在冠心病圖像領(lǐng)域研究多集中于冠狀動(dòng)脈CT，比如冠狀動(dòng)脈中心線提取[6]、圖像的噪聲抑制[7]、病變狹窄程度測(cè)量及鈣化檢測(cè)[8]等。深度學(xué)習(xí)用于冠狀動(dòng)脈造影影像診斷的研究比較缺乏，Nasr-Esfahani 等[9]利用深度學(xué)習(xí)技術(shù)進(jìn)行冠狀動(dòng)脈造影血管分割，即從圖像中自動(dòng)提取血管結(jié)構(gòu)信息，研究使用圖片處理方法對(duì)圖像進(jìn)行對(duì)比度調(diào)整，但這一措施耗費(fèi)時(shí)間長，且將背景中與血管相似的結(jié)構(gòu)同步增強(qiáng)，引入干擾項(xiàng)。此外，要實(shí)現(xiàn)冠狀動(dòng)脈造影的人工智能診斷，模型還需具備節(jié)段識(shí)別能力，即在分割的冠狀動(dòng)脈結(jié)構(gòu)上識(shí)別各冠狀動(dòng)脈血管節(jié)段的解剖定位，以確定病變位置。本研究結(jié)合深度學(xué)習(xí)技術(shù)，旨在研發(fā)用于冠狀動(dòng)脈血管分割和節(jié)段識(shí)別的人工智能網(wǎng)絡(luò)。

1 資料與方法

研究對(duì)象：連續(xù)納入2018 年7 月于中國醫(yī)學(xué)科學(xué)院阜外醫(yī)院行冠狀動(dòng)脈造影檢查的患者2 834 例。排除標(biāo)準(zhǔn)：（1）既往行冠狀動(dòng)脈旁路移植術(shù)；（2）冠狀動(dòng)脈造影質(zhì)量差，血管輪廓顯示不清。標(biāo)注用于血管分割和節(jié)段識(shí)別任務(wù)的圖像12 900 張。圖像經(jīng)過隱私保護(hù)處理后，以512×512 像素的醫(yī)學(xué)數(shù)字成像和通信（DICOM）格式保存。冠狀動(dòng)脈造影多采用標(biāo)準(zhǔn)造影體位，以最好地展示血管和病變，標(biāo)注圖像信息如圖1A所示。其中11 900張圖像用于網(wǎng)絡(luò)訓(xùn)練，其余1 000 張圖像用于網(wǎng)絡(luò)測(cè)試。

圖像標(biāo)注：冠狀動(dòng)脈血管及節(jié)段的標(biāo)注由中國醫(yī)學(xué)科學(xué)院阜外醫(yī)院心血管介入診療影像分析核心實(shí)驗(yàn)室專業(yè)的影像分析師完成，當(dāng)標(biāo)注結(jié)果存在疑問時(shí)，需至少3 名分析師一起討論，直到達(dá)成共識(shí)。標(biāo)注過程如下（圖1B）：（1）獲取原始數(shù)據(jù)：圖像以512×512 像素保存；（2）數(shù)據(jù)粗標(biāo)注：影像分析師將冠狀動(dòng)脈各節(jié)段用不同顏色的線條標(biāo)記（圖1C）；（3）數(shù)據(jù)精標(biāo)注：經(jīng)過培訓(xùn)和考核的技術(shù)人員根據(jù)粗標(biāo)注圖像進(jìn)行像素級(jí)別的精確標(biāo)注，包含完整的血管輪廓及冠狀動(dòng)脈節(jié)段信息，用于血管節(jié)段識(shí)別任務(wù)；（4）制作血管二值圖：將精標(biāo)注的血管所對(duì)應(yīng)像素點(diǎn)更改為白色像素值，用于血管分割任務(wù)。

網(wǎng)絡(luò)模型：本研究提出了一種由人工神經(jīng)元組成的基于反向傳播算法的深度神經(jīng)網(wǎng)絡(luò)（DNN）。該模型結(jié)合冠狀動(dòng)脈造影的特點(diǎn)，完善了用于圖像分割的金字塔場景解析網(wǎng)絡(luò)[10]（pyramid scene parsing network，PSPNet，圖1D）。模型針對(duì)特定的目標(biāo)功能提取輸入影像的不同語義信息，包括血管邊緣和背景紋理在內(nèi)的低級(jí)特征，以及整體形狀在內(nèi)的高級(jí)特征。DNN 包含兩個(gè)任務(wù)：（1）血管分割任務(wù)：輸入造影圖像，輸出血管二值分割圖；（2）血管節(jié)段識(shí)別任務(wù)：輸入造影圖像，輸出標(biāo)記不同血管節(jié)段語義分割圖。

圖1 冠狀動(dòng)脈造影圖像標(biāo)注和網(wǎng)絡(luò)結(jié)構(gòu)

統(tǒng)計(jì)學(xué)方法：統(tǒng)計(jì)模型分割的真陽性像素點(diǎn)（TP）、假陽性像素點(diǎn)（FP）、真陰性像素點(diǎn)（TN）和假陰性像素點(diǎn)（FN）。在此基礎(chǔ)上，計(jì)算血管分割及節(jié)段識(shí)別的準(zhǔn)確度[（TP+TN）/（TP+FP+TN+FN）]、敏感度或召回率[TP/（TP+FN）]、特異度[TN/（TN+FP）]、陽性預(yù)測(cè)值或精確率[TP/（TP+FP）]、陰性預(yù)測(cè)值[TN/（TN+FN）]、F1 分?jǐn)?shù)[ 2×精確率×召回率/（精確率+召回率）]等指標(biāo)來評(píng)價(jià)DNN 的檢測(cè)性能。同時(shí)根據(jù)結(jié)果繪制ROC 曲線，計(jì)算AUC。所有數(shù)據(jù)采用SPSS 18.0 進(jìn)行分析，其中分類變量用百分比進(jìn)行描述，連續(xù)變量用均值±標(biāo)準(zhǔn)差描述，采用t 檢驗(yàn)進(jìn)行比較。假設(shè)檢驗(yàn)均為雙邊，P＜0.05 為差異有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果

2.1 DNN 對(duì)冠狀動(dòng)脈造影圖像血管分割的效果

DNN 血管分割網(wǎng)絡(luò)能夠?qū)⒀芡暾貜脑煊皥D像中分割出來，并保證血管的完整性和連續(xù)性（圖2）。整體血管分割的準(zhǔn)確度達(dá)99.2%（95% CI：99.1%～99.2%），敏感度、特異度、陽性預(yù)測(cè)值、陰性預(yù)測(cè)值分別為94.8%（95% CI：94.6%～95.0%）、99.4%（95% CI：99.3%～99.4%）、87.1%（95% CI：86.8%～87.4%）、99.8%（95% CI：99.7%～99.8%），見表1，精確率、召回率、F1 分?jǐn)?shù)分別為0.87±0.05、0.95±0.03、0.91±0.03（表2）。冠狀動(dòng)脈造影圖像血管分割網(wǎng)絡(luò)的ROC 曲線見圖3，整體血管分割的AUC 為0.987（95% CI：0.987～0.987）。

DNN 對(duì)冠狀動(dòng)脈各節(jié)段血管的分割效果（表2）：主支血管，包括左主干（LM）、左前降支（LAD）主支、左回旋支（LCX）主支、右冠狀動(dòng)脈（RCA）主支，DNN模型分割的F1 分?jǐn)?shù)分別為0.95±0.06、0.92±0.04、0.91±0.06、0.96±0.02；其對(duì)應(yīng)的分支，包括對(duì)角支、LCX 分支（鈍緣支、左心室后側(cè)支、中間支）、RCA分支（后降支、后側(cè)支），F(xiàn)1 分?jǐn)?shù)分別為0.87±0.06、0.87±0.06、0.85±0.07；主支血管的分割效果（F1 分?jǐn)?shù)）明顯優(yōu)于分支血管（P均＜0.05）。

圖2 冠狀動(dòng)脈造影圖像血管分割結(jié)果

表1 DNN 對(duì)冠狀動(dòng)脈造影圖像血管分割的效果[%（95%CI）]

表2 DNN 對(duì)冠狀動(dòng)脈造影圖像各節(jié)段血管分割的精確率、召回率及F1 分?jǐn)?shù)（）

表2 DNN 對(duì)冠狀動(dòng)脈造影圖像各節(jié)段血管分割的精確率、召回率及F1 分?jǐn)?shù)（）

注： DNN：深度神經(jīng)網(wǎng)絡(luò)；LM：左主干；LAD：左前降支；LCX：左回旋支；RCA：右冠狀動(dòng)脈。F1分?jǐn)?shù)=2×精確率×召回率/ （精確率+召回率）。與對(duì)應(yīng)一級(jí)分支血管比較*P＜0.05

圖3 深度神經(jīng)網(wǎng)絡(luò)對(duì)冠狀動(dòng)脈造影圖像血管分割結(jié)果的ROC 曲線

2.2 DNN 對(duì)冠狀動(dòng)脈造影圖像血管節(jié)段的識(shí)別效果

在冠狀動(dòng)脈造影圖像血管分割基礎(chǔ)上，本研究進(jìn)一步開發(fā)了血管節(jié)段識(shí)別的算法。冠狀動(dòng)脈節(jié)段識(shí)別的準(zhǔn)確度為98.6%（95%CI：98.6%～98.7%），敏感度、特異度、陽性預(yù)測(cè)值、陰性預(yù)測(cè)值分別為85.3%（95%CI：84.9%～85.7%）、99.1%（95%CI：99.1%～99.1%）、76.0%（95%CI：75.5%～76.4%）、99.5%（95%CI：99.5%～99.5%），見表3；精確率、召回率、F1分?jǐn)?shù)分別為0.76±0.08、0.85±0.06、0.80±0.05，見表4。圖4 展示了DNN 對(duì)冠狀動(dòng)脈血管節(jié)段的識(shí)別效果，輸出結(jié)果與專家標(biāo)注圖像具有較高的一致性。

DNN 對(duì)冠狀動(dòng)脈各節(jié)段的識(shí)別效果比較（表4）：LM、LAD、LCX、RCA 節(jié)段識(shí)別F1 分?jǐn)?shù)分別為0.85±0.12、0.83±0.06、0.81±0.08、0.84±0.06，而對(duì)應(yīng)的一級(jí)分支血管，包括對(duì)角支、LCX 分支、RCA 分支的F1 分?jǐn)?shù)分別為0.65±0.16、0.72±0.14、0.73±0.12。DNN 對(duì)冠狀動(dòng)脈主支血管、近段血管的識(shí)別能力（F1 分?jǐn)?shù)）分別優(yōu)于分支血管和遠(yuǎn)段血管（P均＜0.05）。

表3 DNN 對(duì)冠狀動(dòng)脈造影圖像血管節(jié)段的識(shí)別效果[%(95% CI)]

表4 DNN 對(duì)冠狀動(dòng)脈造影圖像血管節(jié)段識(shí)別的精確率、召回率及F1 分?jǐn)?shù)（）

表4 DNN 對(duì)冠狀動(dòng)脈造影圖像血管節(jié)段識(shí)別的精確率、召回率及F1 分?jǐn)?shù)（）

注： DNN：深度神經(jīng)網(wǎng)絡(luò)；LM：左主干；LAD：左前降支；LCX：左回旋支；RCA：右冠狀動(dòng)脈。F1分?jǐn)?shù)=2×精確率×召回率/ （精確率+召回率）。與對(duì)應(yīng)一級(jí)分支血管比較*P＜0.05，與對(duì)應(yīng)遠(yuǎn)段血管比較△P＜0.05

圖4 冠狀動(dòng)脈造影圖像血管節(jié)段識(shí)別結(jié)果

2.3 訓(xùn)練數(shù)據(jù)量對(duì)DNN 血管分割效果的影響

DNN 血管分割效果與訓(xùn)練數(shù)據(jù)量呈正相關(guān)。當(dāng)訓(xùn)練數(shù)據(jù)量從1 000 張?jiān)黾拥?1 900 張時(shí)，對(duì)應(yīng)的分割準(zhǔn)確度由74.9%上升至99.2%。而且，隨著訓(xùn)練數(shù)據(jù)量增加，網(wǎng)絡(luò)分割的血管具有更好的連續(xù)性和完整性（圖5）。

圖5 深度神經(jīng)網(wǎng)絡(luò)對(duì)冠狀動(dòng)脈造影圖像血管分割的準(zhǔn)確度與訓(xùn)練數(shù)據(jù)量呈正相關(guān)

3 討論

本研究利用DNN 實(shí)現(xiàn)了對(duì)冠狀動(dòng)脈造影圖像中血管的分割及節(jié)段識(shí)別，最終DNN 的整體血管分割準(zhǔn)確度達(dá)99.2%，節(jié)段識(shí)別準(zhǔn)確度達(dá)98.6%。由于冠狀動(dòng)脈造影圖像的陰性背景象素點(diǎn)明顯多于陽性血管點(diǎn)，大量真陰性象素點(diǎn)的存在可能使單純的準(zhǔn)確度不能真正反映DNN 的識(shí)別效果。因此，研究進(jìn)一步采用F1 分?jǐn)?shù)來評(píng)價(jià)模型，DNN 對(duì)冠狀動(dòng)脈造影圖像血管分割及節(jié)段識(shí)別的F1 分?jǐn)?shù)分別為0.91和0.80。以上結(jié)果說明，DNN 對(duì)冠狀動(dòng)脈造影圖像具有較好的血管分割及節(jié)段識(shí)別能力。

DNN 對(duì)不同冠狀動(dòng)脈的識(shí)別效果存在差異，對(duì)心外膜主支的識(shí)別效果優(yōu)于一級(jí)分支血管，對(duì)血管近、中段的識(shí)別效果優(yōu)于血管遠(yuǎn)段，可能的原因有：（1）主支血管直徑較大且形態(tài)結(jié)構(gòu)更為簡單、穩(wěn)定，網(wǎng)絡(luò)學(xué)習(xí)難度小；（2）分支血管易出現(xiàn)重疊，對(duì)網(wǎng)絡(luò)判斷血管走勢(shì)造成干擾；（3）分支和遠(yuǎn)段血管直徑較小，容易與造影背景中的陰影交混。臨床上在進(jìn)行冠狀動(dòng)脈造影診斷時(shí)，往往主要關(guān)注直徑較大的血管，比如SYNTAX 評(píng)分只把直徑＞1.5 mm 的血管病變納入計(jì)算[11]。因此本研究中常見的細(xì)小血管分割錯(cuò)誤對(duì)于冠狀動(dòng)脈造影的人工智能診斷影響較小。

研究調(diào)研了常用的圖像分割模型。全卷積網(wǎng)絡(luò)[12]（fully convolutional network,FCN）能夠?qū)D像進(jìn)行像素級(jí)的分類，但其結(jié)構(gòu)簡單，對(duì)細(xì)節(jié)信息不敏感；U-Net[13]引入橫向相加的結(jié)構(gòu)，將低級(jí)特征和高級(jí)特征進(jìn)行拼接，提高特征利用率，但該結(jié)構(gòu)也僅在少數(shù)特定數(shù)據(jù)集上有較高準(zhǔn)確度。本研究中的PSPNet 模型，包含了多尺度池化特征向量金字塔和上采樣后拼接，通過池化進(jìn)行維度約減，從而使模型在減少計(jì)算量的同時(shí)抽取更大范圍的特征。金字塔模型將不同級(jí)別的上采樣特征與原始特征融合在一起，形成全局先驗(yàn)，補(bǔ)充細(xì)節(jié)信息；之后對(duì)PSPNet 進(jìn)行適應(yīng)性調(diào)整，使其完成血管分割任務(wù)，并在此基礎(chǔ)上完成血管節(jié)段識(shí)別任務(wù)。

本研究將人工智能技術(shù)用于冠狀動(dòng)脈造影圖像血管分割和節(jié)段識(shí)別，為最終實(shí)現(xiàn)冠狀動(dòng)脈造影人工智能診斷提供基礎(chǔ)?；谀繙y(cè)的冠狀動(dòng)脈造影病變及狹窄程度診斷是目前臨床上指導(dǎo)血運(yùn)重建的主要依據(jù)，2017 年美國心臟病學(xué)會(huì)/美國心臟協(xié)會(huì)（ACC/AHA）關(guān)于穩(wěn)定性心絞痛患者合理血運(yùn)重建標(biāo)準(zhǔn)為血管直徑狹窄70%以上的病變，或者直徑狹窄40%～70%且血流儲(chǔ)備分?jǐn)?shù)≤0.8[14]。然而，由于醫(yī)生個(gè)體經(jīng)驗(yàn)差異，或因時(shí)間限制，臨床醫(yī)生目測(cè)診斷的準(zhǔn)確性存在不足。既往研究表明，醫(yī)生目測(cè)的血管狹窄程度明顯大于客觀的定量冠狀動(dòng)脈造影分析（QCA）[15]。但準(zhǔn)確的QCA 需要經(jīng)驗(yàn)豐富的專業(yè)人員，操作繁瑣也會(huì)延長手術(shù)時(shí)間，在臨床使用率不高。本研究研發(fā)了智能冠狀動(dòng)脈血管分割和節(jié)段識(shí)別算法，并獲得較高準(zhǔn)確度。在此基礎(chǔ)上，進(jìn)一步開發(fā)管腔直徑測(cè)量模型，實(shí)現(xiàn)人工智能QCA，可為臨床醫(yī)生制定治療決策提供客觀的參考信息。

中國是人口大國，心血管疾病發(fā)病率逐年上升，診療壓力不斷增加。隨著國家對(duì)分級(jí)診療制度的推進(jìn)，大量冠心病患者就診于基層醫(yī)院，可施行PCI 的醫(yī)療機(jī)構(gòu)及介入醫(yī)師也隨之增加。雖然政府在PCI 標(biāo)準(zhǔn)化方面做了相當(dāng)多的努力，包括對(duì)PCI醫(yī)療機(jī)構(gòu)及介入醫(yī)師的資質(zhì)認(rèn)定、規(guī)范化培訓(xùn)及質(zhì)量控制等[16]，但醫(yī)院的介入醫(yī)療水平仍存在地域差異[17]。因此，開發(fā)一個(gè)能推廣使用的冠狀動(dòng)脈造影智能診斷系統(tǒng)有利于實(shí)現(xiàn)基層醫(yī)療機(jī)構(gòu)和三甲醫(yī)院冠狀動(dòng)脈介入水平的同質(zhì)化。

本研究存在局限性。首先，DNN 在訓(xùn)練過程中輸入的是單幀靜態(tài)冠狀動(dòng)脈造影圖像，其提供的信息有限，尤其是在血管連續(xù)性和血管重疊問題上，單幀圖像不易區(qū)分，造成血管分割錯(cuò)誤。后期將繼續(xù)研發(fā)冠狀動(dòng)脈造影視頻的血管分割模型、血管樹三維重建方法，充分利用前后幀之間的信息及三維信息，解決血管不連續(xù)和重疊的問題。此外，DNN訓(xùn)練需要大量的訓(xùn)練數(shù)據(jù)，數(shù)據(jù)的缺乏會(huì)影響DNN的性能，研究將繼續(xù)開發(fā)數(shù)據(jù)的半自動(dòng)標(biāo)注算法，提高訓(xùn)練數(shù)據(jù)生成的效率。

總之，本研究顯示了DNN 用于冠狀動(dòng)脈造影圖像血管分割及節(jié)段識(shí)別的可行性，并獲得了較高的準(zhǔn)確度，為將來實(shí)現(xiàn)客觀、高效的冠狀造影人工智能病變?cè)\斷提供了基礎(chǔ)。

利益沖突：所有作者均聲明不存在利益沖突