結(jié)合極坐標(biāo)建模與神經(jīng)網(wǎng)絡(luò)的lVUS 圖像分割

劉靖雨，蔡懷宇*，郝文月，左廷濤，賈忠偉，汪毅，陳曉冬

1天津大學(xué)精密儀器與光電子工程學(xué)院光電信息技術(shù)教育部重點(diǎn)實驗室，天津 300072；

2 樂普(北京)醫(yī)療器械股份有限公司，北京 102200；

3 魯西南醫(yī)院，山東 聊城 252325

1 引言

血管內(nèi)超聲(Intravascular ultrasound,IVUS)技術(shù)作為一種斷層成像技術(shù)，可以提供準(zhǔn)確描述血管復(fù)雜解剖結(jié)構(gòu)的IVUS 圖像，被廣泛應(yīng)用于動脈粥樣硬化的診斷和介入式治療[1]。其中，血管主要解剖結(jié)構(gòu)的準(zhǔn)確識別是IVUS 圖像分析的重要過程之一，可為醫(yī)生提供可量化的臨床參數(shù)，作為評價病變程度的重要參考。血管主要解剖結(jié)構(gòu)由內(nèi)到外依次為管腔區(qū)域、內(nèi)膜邊界、斑塊區(qū)域和中-外膜邊界。由于外膜與周圍組織的回聲差異較小，沒有明顯邊界區(qū)分，為便于描述，將中-外膜邊界所包圍的區(qū)域稱為血管區(qū)域。

IVUS 圖像分割算法可用于血管主要解剖結(jié)構(gòu)的自動分割，可分為基于梯度的方法、基于主動輪廓的方法、基于概率的方法和基于深度學(xué)習(xí)的方法。1995 年，Sonka 等人提出了一種基于圖像梯度信息和啟發(fā)式圖形搜索的算法[2]。該算法構(gòu)建了一個包含圖像邊緣信息的成本矩陣，并設(shè)計了一個合適的成本函數(shù)來檢測內(nèi)膜和中-外膜的邊界。此類算法的后續(xù)研究大多集中在算法自動化[3]和損失函數(shù)的設(shè)計[4]?；谥鲃虞喞Ｐ偷姆椒ㄒ彩艿搅撕芏嚓P(guān)注。Kovalski等人通過優(yōu)化內(nèi)部和外部能量函數(shù)，在三維下實現(xiàn)了基于Snake 模型的內(nèi)膜和中-外膜邊界檢測[5]。Hernandez等人在應(yīng)用Snake 模型之前加入受限的各向異性擴(kuò)散過濾器對IVUS 圖像進(jìn)行濾波處理[6]。Giannoglou 等人則設(shè)計了不同的輪廓初始化方法[7]。與此同時，基于統(tǒng)計和概率的方法的效果正在逐漸被認(rèn)可。研究人員使用各種輪廓建模[8]和區(qū)域編碼[9-11]來尋找合適的表達(dá)血管區(qū)域的方式。然而，多數(shù)傳統(tǒng)分割算法仍面臨分割速度慢，易受血管分叉、鈣化斑塊等結(jié)構(gòu)影響的問題。

近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，基于深度學(xué)習(xí)的IVUS 圖像分割算法表現(xiàn)出更加優(yōu)秀和穩(wěn)健的性能，成為人們關(guān)注的目標(biāo)。這類算法大多以語義分割模型為基礎(chǔ)。Yang 等人提出了第一個 IVUS 圖像分割網(wǎng)絡(luò)，在U 型網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上引入了細(xì)化分支來獲取更豐富的圖像特征，并將其命名為 IVUSNet[12]。后來他們又在此基礎(chǔ)上進(jìn)行了網(wǎng)絡(luò)層數(shù)和卷積細(xì)節(jié)的改進(jìn)，提出了DPU-Net[13]，并通過設(shè)計實時增強(qiáng)控制器來改善訓(xùn)練策略，在分割精度上取得了有效提升。Zhu 等人也從IVUS-Net 中得到啟發(fā)，以UNet++為基本結(jié)構(gòu)提出了IVUS-U-Net++[14]。Kim 等人則將多尺度輸入應(yīng)用于網(wǎng)絡(luò)的U 形結(jié)構(gòu)[15]。在文獻(xiàn)[16]中，Xia 等人也利用了這種多尺度輸入的思想，通過添加深度監(jiān)控和雙向卷積LSTM 模塊來優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。為實現(xiàn)更高精度的IVUS 圖像分割，Bajaj 等人將Pix2pix 條件生成對抗網(wǎng)絡(luò)應(yīng)用到IVUS 圖像分割領(lǐng)域中，針對管腔和血管邊緣的不同形態(tài)分別設(shè)計數(shù)據(jù)擴(kuò)增方案并進(jìn)行訓(xùn)練[17]。Blanco 等人將IVUS 圖像進(jìn)行極坐標(biāo)變換，利用UNet 網(wǎng)絡(luò)提供初步分割結(jié)果，通過高斯過程回歸獲得最終的管腔和血管輪廓[18]。最近，根據(jù)問題針對性的算法受到關(guān)注，Bargsten 等人將膠囊網(wǎng)絡(luò)架構(gòu)應(yīng)用于IVUS 圖像分割，以應(yīng)對小規(guī)模數(shù)據(jù)集的問題[19]。Nishi 等人則針對性地探究了深度學(xué)習(xí)分割方法在含支架IVUS 圖像上的表現(xiàn)[20]。

上述分割網(wǎng)絡(luò)的研究重點(diǎn)多關(guān)注分割精度的提升，也確實取得了良好的效果。但以上算法均將IVUS 圖像的分割問題視為對每個像素的分類任務(wù)，從像素級層面對分割準(zhǔn)確性進(jìn)行單獨(dú)評估，而缺少對分割結(jié)果整體結(jié)構(gòu)的評價，導(dǎo)致此類算法的部分分割結(jié)果無法有效保持其主要血管解剖結(jié)構(gòu)的拓?fù)浣Y(jié)構(gòu)正確，具體情況包括但不限于：管腔或斑塊連通域數(shù)量不唯一、斑塊連通域未呈現(xiàn)閉合環(huán)狀、管腔連通域內(nèi)存在孔洞等。這些錯誤的拓?fù)浣Y(jié)構(gòu)不僅不利于管腔直徑、斑塊厚度等臨床參數(shù)的準(zhǔn)確測量，也不符合醫(yī)學(xué)先驗知識，影響醫(yī)生的后續(xù)診斷過程。部分文獻(xiàn)通過設(shè)計一定的后處理手段來應(yīng)對這一問題。常用的方法包括ROI區(qū)域選擇與填充、開閉操作、分割結(jié)果輪廓的橢圓擬合等。此類后處理的方式能夠顯著改善分割結(jié)果，但需要根據(jù)分割結(jié)果的表現(xiàn)具體定制，且計算量大，降低了處理速度。Sinha 等人嘗試將后處理步驟集成到網(wǎng)絡(luò)中[21]，使用基于VGG 的正則化網(wǎng)絡(luò)直接預(yù)測可以代表內(nèi)膜和中-外膜邊界的橢圓參數(shù)，再對預(yù)測結(jié)果進(jìn)行重建，得到了比較好的結(jié)果。但該算法仍然面臨以下兩個問題：1) 對于一些病變嚴(yán)重的血管，橢圓并不能很好地擬合血管的形狀；2) 分開預(yù)測代表內(nèi)膜和中-外膜邊界的橢圓參數(shù)仍無法保證斑塊區(qū)域拓?fù)浣Y(jié)構(gòu)的正確。針對以上問題，在一階段實例分割模型PolarMask[22]的啟發(fā)下，本文提出了一種基于極坐標(biāo)建模和密集距離回歸網(wǎng)絡(luò)的IVUS 圖像分割算法，用于提供準(zhǔn)確的、符合醫(yī)學(xué)先驗知識的血管、管腔和斑塊區(qū)域分割結(jié)果。

2 理論推導(dǎo)

本文算法包括以下幾個部分：基于先驗知識的極坐標(biāo)建模、密集距離回歸網(wǎng)絡(luò)，損失函數(shù)，以及預(yù)測結(jié)果重建。

2.1 基于先驗知識的極坐標(biāo)建模

在深度學(xué)習(xí)分割領(lǐng)域，極坐標(biāo)建模于2018 年首次應(yīng)用于顯微圖像的細(xì)胞分割[23]。該方法后在一階段實例分割方法PolarMask[22]中被證實其泛用性，具有良好的表現(xiàn)。這種建模理念與IVUS 成像中的超聲波發(fā)射模式具有極高的相似性，原理上適用于描述IVUS 圖像中的血管結(jié)構(gòu)，并對整體結(jié)構(gòu)具有約束作用?；诖?，結(jié)合IVUS 成像原理和血管解剖結(jié)構(gòu)先驗知識，本文提出一種適用于IVUS 圖像掩膜的極坐標(biāo)建模方式，以解決IVUS 圖像分割結(jié)果拓?fù)潢P(guān)系的保留問題。

2.1.1 先驗知識

基于IVUS 成像原理和血管解剖結(jié)構(gòu)的IVUS 圖像先驗知識總結(jié)如下：

1) 數(shù)量先驗：屬于管腔區(qū)域和斑塊區(qū)域的連通域數(shù)量唯一。根據(jù)IVUS 成像原理，超聲探頭位于管腔內(nèi)部，每次掃描僅對一根冠脈的橫斷面進(jìn)行完整成像，因此可以理想地認(rèn)為一張IVUS 圖像中具有唯一的管腔區(qū)域和唯一的斑塊區(qū)域。

2) 鄰接先驗：管腔區(qū)域一定不與非血管區(qū)域相鄰，且一定包含圖像中心。這由IVUS 技術(shù)成像方式和血管解剖結(jié)構(gòu)所決定。圖像中心即為導(dǎo)管中心，因此一定在管腔區(qū)域內(nèi)部。而管腔區(qū)域與周圍組織則由斑塊區(qū)域和膜結(jié)構(gòu)隔開。

3) 拓?fù)湎闰灒喊邏K區(qū)域一定為閉合連續(xù)的環(huán)狀區(qū)域，管腔區(qū)域一定為閉合的連通域。

2.1.2 極坐標(biāo)建模

極坐標(biāo)建模的目的是將先驗知識編碼成神經(jīng)網(wǎng)絡(luò)易于理解的形式。這一建模方式基于一種理想假設(shè)：內(nèi)膜邊界或中-外膜邊界到圖像中心上的任意一點(diǎn)均屬于管腔區(qū)域或血管區(qū)域。符合理想假設(shè)的情況如圖1(a)所示，不符合理想假設(shè)的情況如圖1(b)所示。

圖1 理想假設(shè)示意圖。(a) 符合理想假設(shè)；(b) 不符合理想假設(shè)Fig.1 Ideal hypothesis diagrams.(a) The mask image that meets the ideal hypothesis;(b) The situation that does not meet the ideal hypothesis

這一假設(shè)得到了專業(yè)醫(yī)生的認(rèn)同。僅有極少數(shù)存在血管異常壓迫或存在心肌橋時的IVUS 圖像可能出現(xiàn)不符合理想假設(shè)的情況，但由于此類圖像沒有分割需求，故不在本文算法的考慮范圍內(nèi)。因此，本文所用數(shù)據(jù)集中的所有標(biāo)準(zhǔn)二維掩膜圖像均滿足上述三類先驗知識及這一理想假設(shè)。

建模方式具體描述如下：模擬IVUS 圖像采集過程中超聲波的發(fā)射原理，以圖像中心為原點(diǎn)，發(fā)射角度間隔均勻的n條射線，射線分別與內(nèi)膜邊界和中-外膜邊界相交，得到 2n個交點(diǎn)。在各條射線上，以圖像中心到內(nèi)膜邊界交點(diǎn)的距離表示管腔區(qū)域，以內(nèi)膜邊界交點(diǎn)到中-外膜邊界交點(diǎn)之間的距離表示斑塊區(qū)域，如圖2 所示。通過這種方式，可以將IVUS 圖像的二維掩膜圖像轉(zhuǎn)換為一維距離向量：

圖2 建模示意圖。(a) IVUS 原圖；(b) 建模結(jié)果示意圖。內(nèi)膜邊界和中-外膜邊界分別用紅色和綠色曲線標(biāo)記，管腔區(qū)域和斑塊區(qū)域建模結(jié)果分別使用紅色和綠色線段標(biāo)記Fig.2 Modeling schematics.(a) Original image of IVUS;(b) Schematic diagram of modeling result.The intima contour and media contour are marked with red and green curves,respectively.The modeling results of the lumen area and plaque area are marked with red and green line segments,respectively

2.2 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計與建模方式密切相關(guān)。根據(jù)PCM-PK 特點(diǎn)，建模中心與射線角度和數(shù)量固定，網(wǎng)絡(luò)僅需要對一維距離向量進(jìn)行預(yù)測。因此本文將SEB 模塊[24]與殘差網(wǎng)絡(luò)ResNet[25]相結(jié)合，構(gòu)建一種密集距離回歸網(wǎng)絡(luò)，用于一維距離向量的學(xué)習(xí)與預(yù)測，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 密集距離回歸網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 The proposed dense distance of regression network

該網(wǎng)絡(luò)選擇經(jīng)過預(yù)訓(xùn)練的ResNet 骨架作為骨架網(wǎng)絡(luò)結(jié)構(gòu)，用于圖像特征提取。ResNet 骨架網(wǎng)絡(luò)不僅通過躍層傳播解決了深度網(wǎng)絡(luò)中梯度消失的問題，還有效減少了參數(shù)量，在多項任務(wù)中被證明具有優(yōu)秀的特征提取能力。另外，考慮到一維向量與空間位置息息相關(guān)，該網(wǎng)絡(luò)引入SEB 模塊[24]以提高網(wǎng)絡(luò)對空間信息的關(guān)注能力。具體地，SEB 模塊能夠利用深層特征抑制淺層特征中的背景噪聲，并實現(xiàn)二者的有效融合，為網(wǎng)絡(luò)提供更干凈的淺層特征，促使網(wǎng)絡(luò)關(guān)注更多的淺層空間信息。SEB 模塊越多，對淺層特征的關(guān)注度越高，但相應(yīng)的運(yùn)算量和參數(shù)量也越大。為了平衡運(yùn)算速度和對淺層特征的關(guān)注程度，算法最終選擇在網(wǎng)絡(luò)中加入2 個SEB 模塊。ResNet 結(jié)構(gòu)和SEB模塊的結(jié)合令網(wǎng)絡(luò)兼顧了特征提取能力和對空間信息的關(guān)注，有利于預(yù)測結(jié)果準(zhǔn)確率的提升。

2.3 損失函數(shù)

為有效衡量PCM-PK 建模方式下一維距離向量在網(wǎng)絡(luò)學(xué)習(xí)中的損失情況，本文受到離散交并比損失函數(shù)(Polar IoU Loss)[22]的啟發(fā)，構(gòu)建聯(lián)合損失函數(shù)IVUS Polar IoU Loss。相比于經(jīng)典的l1,l2和smoothl1等回歸損失函數(shù)，Polar IoU Loss 考慮了一維距離向量中屬于同一對象的元素之間的相關(guān)性，能夠有效表示一維距離向量管腔區(qū)域部分真值與預(yù)測結(jié)果的實際二維交并關(guān)系，因此，使用Ll表示管腔區(qū)域的損失函數(shù)。n表示建模時預(yù)設(shè)的射線數(shù)量，dl表示一維距離向量管腔區(qū)域的真值；表示一維距離向量管腔區(qū)域的預(yù)測值。

但對于一維距離向量中的斑塊區(qū)域來說，使用Polar IoU Loss 形式無法準(zhǔn)確反映真值與預(yù)測值中斑塊區(qū)域的二維交并關(guān)系，某一具體情況如圖4 所示,綠色區(qū)域表示真值，紫色區(qū)域表示預(yù)測值。二者相交的部分由紅色陰影表示。和分別表示第i條射線上管腔真值距離和預(yù)測值距離，和分別表示第i條射線上斑塊真值距離和預(yù)測值距離。盡管同一射線下真值和預(yù)測值內(nèi)表示斑塊區(qū)域的距離值接近，但其對應(yīng)的二維掩膜在該射線方向上實際并未相交。針對這一情況，本文設(shè)置代表血管區(qū)域真值和預(yù)測值的一維距離向量dm,輔助判斷。

圖4 真值與預(yù)測值斑塊區(qū)域交并情況示意圖。注：為便于觀察，將真值射線與預(yù)測值射線錯開一定角度表示，實際二者在同一射線上Fig.4 Schematic diagram of the intersection of the true value and the predicted value patch area.Note: For the convenience of observation,the true value ray and the predicted value ray are staggered by a certain angle,and the two are actually on the same ray

對于斑塊區(qū)域真值與預(yù)測值的實際相交情況，制定如下判定原則：第i條射線上，血管區(qū)域預(yù)測值距離與真值距離中的較小值，小于管腔區(qū)域預(yù)測值距離與真值距離中的較大值時，認(rèn)為斑塊區(qū)域在該射線方向上不相交，反之相交。據(jù)此，斑塊區(qū)域損失函數(shù)設(shè)計如下：

其中：n為建模過程中預(yù)設(shè)的射線數(shù)量，α表示第i(i=1,2,···,n)條射線上真值與預(yù)測值中斑塊區(qū)域的二維相交情況。另外，由于斑塊區(qū)域和管腔區(qū)域各自所占實際面積較小，初期收斂相對困難，為此加入血管區(qū)域損失函數(shù)Lm，以加快收斂速度。最終損失函數(shù)為管腔區(qū)域損失、斑塊區(qū)域損失和血管區(qū)域損失的集合，表示為IVUS Polar IoU Loss，在公式中簡寫為LU。

2.4 結(jié)果重建

為便于后續(xù)觀察與評價，還需對網(wǎng)絡(luò)預(yù)測結(jié)果進(jìn)行重建。本文根據(jù)預(yù)設(shè)的建模中心和射線數(shù)量，利用B 樣條曲線擬合對網(wǎng)絡(luò)預(yù)測出的一維掩膜向量進(jìn)行重建，獲得對應(yīng)的二維管腔區(qū)域和斑塊區(qū)域。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集與數(shù)據(jù)擴(kuò)增

為驗證所提算法的有效性，在來自4 位匿名患者的743 張臨床IVUS 圖像構(gòu)成的數(shù)據(jù)集上進(jìn)行了訓(xùn)練與測試評估。所有圖像由市售成像系統(tǒng)采集，采集所用的超聲換能器頻率為20 MHz，采集時的檢測深度為5 mm。原始圖像分辨率大小為 500×500。數(shù)據(jù)集的標(biāo)準(zhǔn)管腔區(qū)域和斑塊區(qū)域由兩名研究人員在心血管疾病專業(yè)醫(yī)生的指導(dǎo)下進(jìn)行手動標(biāo)注?？紤]到數(shù)據(jù)來源受限以及相同患者間IVUS 圖像的相似性，為確保算法的泛化性得到一定驗證，以患者為分折依據(jù)，采用四折交叉驗證作為訓(xùn)練與測試策略。客觀評價方面，各折下驗證結(jié)果評價指標(biāo)以驗證數(shù)據(jù)量占總數(shù)據(jù)量比例進(jìn)行加權(quán)求和作為最終評價結(jié)果?；颊吲c其圖像數(shù)量關(guān)系如表1 所示。

表1 IVUS 數(shù)據(jù)集信息Table 1 Information of the IVUS dataset

為緩解模型訓(xùn)練過程中的訓(xùn)練集過擬合問題，本文對訓(xùn)練集進(jìn)行了實時數(shù)據(jù)擴(kuò)增，具體方法如下：

1) 隨機(jī)翻轉(zhuǎn)：包括隨機(jī)水平翻轉(zhuǎn)和隨機(jī)垂直翻轉(zhuǎn)。

2) 隨機(jī)旋轉(zhuǎn)：在0～360°內(nèi)隨機(jī)旋轉(zhuǎn)一定角度。

3) 離散小波分解：將原圖放大到512×512 大小，再通過離散小波分解的手段對其進(jìn)行處理，將其處理為一個尺寸為256×256，通道數(shù)為4 的輸入圖像，每個通道分別對應(yīng)離散小波處理結(jié)果的低頻信息、垂直高頻信息、水平高頻信息和對角高頻信息。

值得說明的是，前兩步數(shù)據(jù)擴(kuò)增的方式僅在訓(xùn)練時進(jìn)行，而離散小波分解的處理在訓(xùn)練和測試時均需進(jìn)行。這一處理的根本目的是進(jìn)行圖像縮小的同時保留原始圖像的所有信息，尤其是對網(wǎng)絡(luò)學(xué)習(xí)具有積極影響的高頻部分[26]，保證IVUS 圖像中的信息得到充分利用。

3.2 訓(xùn)練

模型訓(xùn)練在Windows10、Pytorch1.9.0、Python3.6的環(huán)境下進(jìn)行，使用單個 NVIDIA GeForce RTX 3060 GPU 進(jìn)行加速。優(yōu)化器采用 AdamW，學(xué)習(xí)率設(shè)置為0.0001，訓(xùn)練批次大小設(shè)置為 4，根據(jù)網(wǎng)絡(luò)寬度和深度訓(xùn)練200～300 個epoch 不等。

3.3 評價指標(biāo)

本文采用Jaccard 測量(Jaccard measure,JM)、Hausdorff 距離(Hausdorff distance,HD)、面積比差異(percentage of area difference,PAD)[27]以及拓?fù)浣Y(jié)構(gòu)錯誤率(topology error rate,TER)[28]等4 個評價指標(biāo)，對本文算法的分割性能進(jìn)行綜合評價。

其中：JM 主要衡量分割結(jié)果和標(biāo)準(zhǔn)掩膜之間的區(qū)域差異，值越大越好。其公式中，Rtrue表示標(biāo)準(zhǔn)掩膜區(qū)域，Rpred表示分割結(jié)果區(qū)域。HD主要衡量分割結(jié)果輪廓與標(biāo)準(zhǔn)掩膜輪廓之間的差異，該結(jié)果越小越好。其公式中，a,b分別為預(yù)測結(jié)果邊界輪廓Cpred上的點(diǎn)和標(biāo)準(zhǔn)掩膜邊界輪廓Ctrue上的點(diǎn)。d(a,b)表示a與b之間的歐氏距離。PAD衡量的是分割結(jié)果與標(biāo)準(zhǔn)掩膜之間的面積差異，值越小越好。其公式中，Atrue表示標(biāo)準(zhǔn)掩膜的面積，Apred表示分割結(jié)果的面積。TER是衡量分割結(jié)果是否符合先驗知識的重要指標(biāo)，越小越好。其公式中，ET表示測試數(shù)據(jù)中具有錯誤拓?fù)浣Y(jié)構(gòu)的分割結(jié)果數(shù)量，T表示測試數(shù)據(jù)的數(shù)量。

3.4 射線數(shù)量選擇與建模精度

PCM-PK 建模是將二維掩膜抽象為一維距離向量的過程，難以避免一定程度上的精度損失。其中，射線數(shù)量的選擇決定了本文算法的精度上限。本文測試了從n=8到n=72 內(nèi)的多個射線數(shù)量對IVUS 數(shù)據(jù)集二維掩膜的建模情況，利用JM 評估建模方式的準(zhǔn)確度。JM 變化情況如圖5 所示。

圖5 JM 隨射線數(shù)量變化曲線圖Fig.5 The graph of JM changing with the number of rays

根據(jù)實驗結(jié)果，建模準(zhǔn)確度隨著射線數(shù)量的增多而上升。當(dāng)射線數(shù)量達(dá)到36 條及以上時，管腔、斑塊和血管區(qū)域的建模準(zhǔn)確度均超過0.93，重建效果良好。當(dāng)射線數(shù)量超過36 條時，各區(qū)域建模準(zhǔn)確度沒有明顯提升。為避免射線數(shù)量過多導(dǎo)致網(wǎng)絡(luò)收斂難度加大，本文最終選擇36 作為建模中預(yù)設(shè)的射線數(shù)量。

3.5 實驗結(jié)果及分析

實驗主要包括以下內(nèi)容：比較不同深度骨架網(wǎng)絡(luò)與不同數(shù)量SEB 模塊組合的分割結(jié)果，確定最佳網(wǎng)絡(luò)結(jié)構(gòu)，并分析SEB 模塊的引入對分割性能的影響；比較最佳網(wǎng)絡(luò)結(jié)構(gòu)下不同損失函數(shù)的分割結(jié)果，分析所提損失函數(shù)對網(wǎng)絡(luò)性能的影響；比較極坐標(biāo)建模與其他建模方式下的分割結(jié)果，驗證極坐標(biāo)建模方法的合理性；比較本文方法與其他分割網(wǎng)絡(luò)的分割效果，驗證本文算法的有效性；利用線性回歸分析和Bland-Altman(BA)分析評估本文算法分割結(jié)果所提供的關(guān)鍵臨床參數(shù)與標(biāo)準(zhǔn)掩膜所提供的關(guān)鍵臨床參數(shù)的相關(guān)性和一致性，驗證本文算法的可靠性。

3.5.1 不同深度骨架網(wǎng)絡(luò)與不同數(shù)量SEB 模塊組合的實驗結(jié)果比較

為明確該密集距離回歸任務(wù)對網(wǎng)絡(luò)深度以及SEB 模塊數(shù)量的實際需求，實驗了多種深度骨架網(wǎng)絡(luò)與不同數(shù)量SEB 模塊的組合。一般情況下，為合理應(yīng)用網(wǎng)絡(luò)中每個block 的特征信息，當(dāng)模塊數(shù)量增加時，SEB 模塊以深度遞進(jìn)的方式進(jìn)行疊加。如圖3 所示，當(dāng)SEB 數(shù)量為1 時，僅使用SEB1，當(dāng)SEB 數(shù)量為2 時，在SEB1 后疊加SEB2。當(dāng)SEB 數(shù)量為3 時，將在SEB2 后繼續(xù)疊加1 個SEB 模塊以應(yīng)用block1 提取到的特征。實驗結(jié)果如表2 所示。

表2 不同深度的骨架網(wǎng)絡(luò)與不同數(shù)量SEB 模塊組合實驗結(jié)果Table 2 The performance of the proposed method under different depths of backbone and different numbers of SEB modules

ResNet101 骨架網(wǎng)絡(luò)結(jié)合2 個SEB 模塊的結(jié)構(gòu)取得了綜合最優(yōu)的效果。在血管(media)、管腔(lumen)和斑塊(plaque)區(qū)域的JM 值分別達(dá)到0.8934、0.8738 和0.7430。實驗結(jié)果表明，當(dāng)骨架網(wǎng)絡(luò)深度較淺時，SEB 模塊的引入并無明顯影響規(guī)律。當(dāng)網(wǎng)絡(luò)達(dá)到一定深度后，SEB 模塊的加入表現(xiàn)出積極影響。分析認(rèn)為，相較于深層網(wǎng)絡(luò)，較淺的骨架網(wǎng)絡(luò)在抽象特征的提取方面略遜一籌，即使其最深層提取到的特征信息也無法保證在關(guān)注淺層特征的同時抑制噪聲干擾。但骨架網(wǎng)絡(luò)深度并非越深越好，SEB 模塊數(shù)量也并非越多越好。由于IVUS 圖像信息相對單一，過深的網(wǎng)絡(luò)結(jié)構(gòu)和過多的SEB 模塊也可能產(chǎn)生結(jié)構(gòu)冗余，無法進(jìn)一步提升預(yù)測性能。

3.5.2 不同損失函數(shù)的實驗結(jié)果比較

根據(jù)實驗一，明確最佳網(wǎng)絡(luò)結(jié)構(gòu)為ResNet101-2SEB。為驗證所提聯(lián)合損失函數(shù)對網(wǎng)絡(luò)約束的有效性，分析比較了最佳網(wǎng)絡(luò)結(jié)構(gòu)下不同損失函數(shù)的實驗結(jié)果，如表3 所示。其中，本文設(shè)計的聯(lián)合損失函數(shù)令網(wǎng)絡(luò)獲得了最好分割效果。聯(lián)合損失函數(shù)由管腔損失、斑塊損失以及血管損失函數(shù)共同組成。無論缺少哪一部分，均無法獲得最好的綜合評價。這是因為各部分損失函數(shù)僅對其相應(yīng)區(qū)域的學(xué)習(xí)方向具有約束能力，而管腔、斑塊和血管區(qū)域在結(jié)構(gòu)上卻存在相互依賴的關(guān)系，僅考慮其中兩種損失的組合無法有效保證結(jié)構(gòu)間的相互關(guān)系得到有效約束。因此在該任務(wù)下，使用聯(lián)合損失函數(shù)能夠獲得更高的綜合評價。此外，無論是聯(lián)合損失函數(shù)還是兩兩組合的其他損失函數(shù)，其綜合表現(xiàn)均優(yōu)于Smoothl1。這一結(jié)果表明，當(dāng)預(yù)測結(jié)果元素之間存在相關(guān)性時，聯(lián)合約束優(yōu)于獨(dú)立約束。

表3 不同損失函數(shù)下的實驗結(jié)果Table 3 Experimental results with different loss functions

3.5.3 建模方式比較

橢圓擬合(Ellipse)是保證IVUS 分割結(jié)果拓?fù)浣Y(jié)構(gòu)的另一處理手段，常見于分割結(jié)果的后處理，文獻(xiàn)[21]則將管腔與血管的橢圓擬合參數(shù)作為網(wǎng)絡(luò)預(yù)測的直接目標(biāo)。為驗證極坐標(biāo)建模方式的合理性，在橢圓擬合建模方式下進(jìn)行網(wǎng)絡(luò)訓(xùn)練并與其對比。實驗使用最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)與Smoothl1 損失函數(shù)，訓(xùn)練網(wǎng)絡(luò)同時預(yù)測管腔和血管的橢圓擬合參數(shù)，訓(xùn)練策略與極坐標(biāo)建模方式下相同。分割結(jié)果評價指標(biāo)比較情況如表4 所示。

表4 不同建模方式下的實驗結(jié)果Table 4 Experimental results with different modeling methods

PCM-PK 建模下的分割結(jié)果各指標(biāo)均優(yōu)于橢圓擬合的分割結(jié)果。橢圓擬合下需同時預(yù)測橢圓中心坐標(biāo)、旋轉(zhuǎn)角、長軸和短軸長度，導(dǎo)致橢圓重建結(jié)果對各參量預(yù)測結(jié)果誤差敏感，造成JM 等精度評價指標(biāo)不高。拓?fù)浼s束方面，橢圓擬合能夠保證管腔與血管各自的拓?fù)浣Y(jié)構(gòu)準(zhǔn)確，但無法實現(xiàn)相對位置關(guān)系的有效約束，造成部分斑塊區(qū)域拓?fù)浣Y(jié)構(gòu)有誤，如圖6 所示。極坐標(biāo)建模方式則解決了這些困擾，有效保留了管腔，血管以及斑塊的拓?fù)浣Y(jié)構(gòu)。

圖6 不同建模方式分割結(jié)果可視化Fig.6 Visualization of segmentation results of different modeling methods

3.5.4 與其他模型比較

如表5 所示，相比于SegNet 與UNet 模型，本文算法在管腔和斑塊的JM 值，管腔和血管的HD 值，管腔的PAD 值以及整體的TER 指標(biāo)上的表現(xiàn)更加突出，尤其是TER 方面，實現(xiàn)了0%的拓?fù)浣Y(jié)構(gòu)錯誤率，表明所提算法的分割結(jié)果的拓?fù)潢P(guān)系完全符合先驗知識。這得益于PCM-PK 建模方式對先驗知識的有效編碼，確保分割結(jié)果和標(biāo)準(zhǔn)掩膜具有拓?fù)浣Y(jié)構(gòu)一致性，解決了該任務(wù)下關(guān)注的首要問題。相比于Deeplabv3+[29]，在JM 和PAD 評價指標(biāo)方面，本文算法的部分指標(biāo)呈現(xiàn)輕微劣勢，分析認(rèn)為主要受到PCM-PK 建模精度損失的負(fù)面影響：抽象的表示方式造成固有損失，下降程度與建模損失成正相關(guān)。但在拓?fù)浣Y(jié)構(gòu)保留方面，本文算法仍占據(jù)優(yōu)勢。

表5 不同分割模型的性能比較Table 5 Performance comparison of different segmentation models

圖7展示了標(biāo)準(zhǔn)掩膜、SegNet[30]、UNet[31]、Deeplabv3+[29]及本文算法分割結(jié)果的視覺效果對比情況。如圖中箭頭所指，其他基于逐像素預(yù)測的分割網(wǎng)絡(luò)均出現(xiàn)了拓?fù)溴e誤的問題，例如第1 行第2、3 列中出現(xiàn)了數(shù)量大于1 的管腔連通域和斑塊連通域，第2 行第3 列出現(xiàn)了斑塊區(qū)域的閉合環(huán)形形態(tài)被破壞，以及第3 行第3 列出現(xiàn)了斑塊區(qū)域存在多余的孔洞等。誠然，部分拓?fù)溴e誤問題可以通過一些形態(tài)學(xué)后處理方法得到解決，但是對于斑塊區(qū)域的閉合形態(tài)被破壞的拓?fù)鋯栴}，仍沒有一個通用的解決辦法。而本文算法的分割結(jié)果則沒有出現(xiàn)任何拓?fù)溴e誤的問題。其中，對存在因聲影或鈣化影而造成局部成像缺陷的圖像改善更明顯，因為該算法考慮了一維向量之間的相關(guān)性，缺失部分可以通過周圍沒有缺陷的邊緣結(jié)構(gòu)進(jìn)行預(yù)測。但如果缺失范圍過大，導(dǎo)致血管區(qū)域定義模糊，算法分割性能將有所下降。此外，從視覺效果上來看，本文算法的分割結(jié)果也顯示出更為平滑流暢的邊緣，更符合實際血管形態(tài)。

圖7 分割結(jié)果視覺效果對比Fig.7 Comparison of the visual effects of the segmentation results

3.5.5 可靠性分析

IVUS 圖像分割的最終目的是提供可靠的臨床參數(shù)。為評估本文算法的分割結(jié)果在提供關(guān)鍵臨床參數(shù)方面的可靠性，對所有結(jié)果進(jìn)行關(guān)鍵臨床參數(shù)計算，并與標(biāo)準(zhǔn)掩膜提供的相應(yīng)參數(shù)進(jìn)行線性回歸分析和Bland-Altman 分析，以衡量參數(shù)的相關(guān)性和一致性。關(guān)鍵臨床參數(shù)選擇管腔橫截面積(Lumen crosssectional area,LCSA)、血管橫截面積(Vessel crosssectional area,VCSA)和斑塊橫截面積(Plaque crosssectional area,PCSA)。

關(guān)鍵臨床參數(shù)線性回歸分析如圖8 所示，結(jié)果如表6 所示。LCSA、VCSA 和PCSA 的Pearson 相關(guān)系數(shù)分別為0.9427，0.9626 和0.9432，表明本文算法的分割結(jié)果能夠提供和標(biāo)準(zhǔn)掩膜參數(shù)高度相關(guān)的三類關(guān)鍵臨床參數(shù)。其中，中膜區(qū)域相關(guān)性最高，這與JM等評價指標(biāo)的結(jié)果一致。

圖8 關(guān)鍵臨床參數(shù)線性回歸分析Fig.8 Linear regression analysis of key clinical parameters

表6 關(guān)鍵臨床參數(shù)線性回歸分析結(jié)果Table 6 Results of linear regression analysis of key clinical parameters

Bland-Altman(BA)分析作為臨床上常用的一種分析方法，能夠直觀反應(yīng)兩種測量方法的一致性程度。圖9 展示了本文算法和人工標(biāo)定法的關(guān)鍵臨床參數(shù)Bland-Altman 分析，結(jié)果如表7 所示。BA 分析結(jié)果顯示，本文算法對LCSA、VCSA 和PCSA 分別低估2.20%、3.56%和4.40%。分析認(rèn)為，該現(xiàn)象主要源于PCM-PK 建模方式的固有損失趨勢為重建結(jié)果面積的減小，屬于建模方式造成的系統(tǒng)誤差。但這些區(qū)域的估計誤差均屬于輕微偏移區(qū)間。此外，LCSA、VCSA 和PCSA 的異常值比例分別為5.25%、6.56%和7.27%，因此可以認(rèn)為本文算法分割結(jié)果所提供的關(guān)鍵臨床參數(shù)與人工掩膜的臨床參數(shù)具有一致性。高度的相關(guān)性和一致性表明，本文算法能夠提供可靠的關(guān)鍵臨床參數(shù)，對心血管疾病臨床診斷與研究具有積極影響。

圖9 關(guān)鍵臨床參數(shù) Bland-Altman 分析Fig.9 Bland-Altman analysis of key clinical parameters

表7 關(guān)鍵臨床參數(shù)Bland-Altman 分析結(jié)果Table 7 Results of Bland-Altman analysis of key clinical parameters

4 結(jié)論

針對現(xiàn)有分割網(wǎng)絡(luò)無法保證IVUS 圖像分割結(jié)果符合先驗知識的問題，本文提出一種基于極坐標(biāo)建模和密集距離回歸網(wǎng)絡(luò)的IVUS 圖像自動分割方法。該方法首先利用一種基于先驗知識的極坐標(biāo)建模方式將IVUS 圖像二維掩膜圖建模為一維歐氏距離向量，然后利用一種結(jié)合了語義嵌入模塊和殘差網(wǎng)絡(luò)的密集距離回歸網(wǎng)絡(luò)學(xué)習(xí)IVUS 圖像與一維距離向量的映射關(guān)系，并構(gòu)建了一種聯(lián)合損失函數(shù)IVUS-Polar IoU Loss 約束網(wǎng)絡(luò)學(xué)習(xí)方向。實驗結(jié)果表明，相較于其他分割網(wǎng)絡(luò)，本文算法不僅能夠100%保證分割結(jié)果拓?fù)潢P(guān)系符合先驗知識，并且分割結(jié)果具有良好的分割準(zhǔn)確率和視覺效果，能夠快速地提供可靠的關(guān)鍵臨床參數(shù)作為后續(xù)診斷的參考。