基于深度學(xué)習(xí)的冠狀動脈IVOCT 圖像中易損斑塊識別算法研究進(jìn)展

桂家輝，裘耀揚(yáng)，黃 林，虎學(xué)強(qiáng)，李 勤

（北京理工大學(xué)生命學(xué)院，北京100081）

0 引言

隨著生活水平的提高，冠心病已經(jīng)成為危害人類健康最嚴(yán)重的疾病之一[1]。其中，急性冠狀動脈綜合征（acute coronary syndrome，ACS）是最危險的，其致死、致殘率非常高，因而對于ACS 的防治非常重要[2]。多項研究表明，近70%的ACS 事件是由冠狀動脈粥樣硬化的易損斑塊破裂引起的[3]，因此盡早、準(zhǔn)確地檢測出這些易損斑塊對ACS 的防治具有重要作用[4]。目前，血管內(nèi)超聲（intravascular ultrasound，IVUS）[5]和血管內(nèi)光學(xué)相干斷層成像（intravascular optical coherence tomography，IVOCT）是針對易損斑塊最常用的影像診斷手段，且IVOCT 的分辨力要高于IVUS[6]。通常情況下，IVOCT 獲得的血管截面圖像由經(jīng)驗豐富的醫(yī)生標(biāo)注出斑塊位置，并判斷是否需要進(jìn)行經(jīng)皮冠狀動脈腔內(nèi)成形術(shù)（percutaneous transluminal coronary angioplasty，PTCA）治療[7]。這種流程會不可避免地受到醫(yī)生主觀判斷影響，表現(xiàn)為不同醫(yī)生和同一醫(yī)生不同時間都可能會有不同的判讀結(jié)果[8]。醫(yī)生的經(jīng)驗需要大量時間積累，且一次回撤掃描成像會得到數(shù)百張腔內(nèi)截面圖像[9]，手動判讀大大影響了易損斑塊的診斷速度和精度。因此，研究者們正試圖開發(fā)計算機(jī)輔助診斷（computer aided diagnosis，CAD）系統(tǒng)以緩解醫(yī)生壓力、提高診斷精度?；趥鹘y(tǒng)機(jī)器學(xué)習(xí)的斑塊識別算法受特征表征能力限制，很難在維持高準(zhǔn)確率的同時提高模型的泛化能力，只適用于特定數(shù)據(jù)集，在臨床使用時表現(xiàn)不佳，需要醫(yī)生做二次診斷[10]。而隨著深度學(xué)習(xí)技術(shù)的發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）為代表的深度神經(jīng)網(wǎng)絡(luò)在各種圖像任務(wù)上取得了傳統(tǒng)算法難以超越的成績[11]。與傳統(tǒng)機(jī)器學(xué)習(xí)算法相比，深度神經(jīng)網(wǎng)絡(luò)能從大量數(shù)據(jù)中自主學(xué)習(xí)并選擇合適的特征，泛化能力強(qiáng)、準(zhǔn)確率高。由于深度學(xué)習(xí)在表征醫(yī)學(xué)圖像復(fù)雜紋理方面的優(yōu)勢，越來越多的研究正嘗試將深度學(xué)習(xí)技術(shù)應(yīng)用于易損斑塊的識別與診斷，以下將對深度學(xué)習(xí)技術(shù)在易損斑塊分類、檢測和分割方面的應(yīng)用進(jìn)行綜述。

1 基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的斑塊識別技術(shù)

1.1 傳統(tǒng)機(jī)器學(xué)習(xí)算法識別流程

斑塊識別任務(wù)可分為分類、檢測和分割3 種。不同的任務(wù)類型有不同的邏輯流程，但模式識別算法一般包含數(shù)據(jù)預(yù)處理、特征設(shè)計、特征提取、分類器分類這4 個步驟[12]。圖1 展示了傳統(tǒng)分類算法的流程。在上述步驟中最重要的是特征設(shè)計和特征提取，即用某一映射或多種映射的組合將原始的圖像像素特征變換為較少的新特征。特征的選取需要對斑塊的圖像信息有先驗判斷，并根據(jù)研究者的經(jīng)驗和數(shù)據(jù)集的像素特征分布進(jìn)行選擇。在IVOCT 中，纖維斑塊表現(xiàn)為質(zhì)地均勻的高信號區(qū)域，鈣化斑塊表現(xiàn)為邊界清晰且不均質(zhì)的低信號區(qū)域，而脂質(zhì)斑塊則表現(xiàn)為邊界模糊的低信號區(qū)域[13]。相應(yīng)的，表征信號強(qiáng)度的像素值和表征邊界銳度的梯度便可作為區(qū)分不同斑塊的特征。目前的研究中，用于斑塊分類的特征通常包括定向梯度直方圖[14]、局部二值模式[14-15]、Fisher 向量[16]、卷積濾波[17]、光衰減系數(shù)[18]等。也有研究者嘗試了一些自定義特征，如表面粗糙度、表面亮度、內(nèi)部亮度[19]。提取到目標(biāo)特征后，需要選擇合適的特征分類器，包括線性和非線性支持向量機(jī)（support vector machine，SVM）[14，17]、決策樹[17]、隨機(jī)森林[18，20]等。這些分類器需要樣本標(biāo)簽已知，通過降低分類結(jié)果的交叉熵來優(yōu)化分類器。

圖1 基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的分類模型設(shè)計流程

1.2 傳統(tǒng)機(jī)器學(xué)習(xí)算法的局限性

傳統(tǒng)的機(jī)器學(xué)習(xí)算法需要人工選取特征，該過程容易受到主觀影響，導(dǎo)致特征提取片面，使特征提取算法在內(nèi)容表達(dá)上不夠好，識別率低[21]。同時，人工設(shè)計特征還限制了模型的復(fù)雜度，在低維特征上引入過多的模型參數(shù)會使模型過擬合，降低模型的泛化能力。因此，傳統(tǒng)機(jī)器學(xué)習(xí)算法的特征量小、模型簡單、泛化能力差，面對復(fù)雜的真實(shí)數(shù)據(jù)分布時，結(jié)果的準(zhǔn)確性和穩(wěn)定性較差[22]。此外，由于特征表征能力高度依賴于計算機(jī)視覺專家的精心設(shè)計，如何開發(fā)或選擇特定于任務(wù)的特征需要大量的經(jīng)驗積累。

2 基于深度學(xué)習(xí)算法的斑塊識別技術(shù)

為了避免傳統(tǒng)算法依賴于人工選取特征導(dǎo)致的特征表征能力、泛化能力不足的問題，研究者們正嘗試將深度學(xué)習(xí)技術(shù)應(yīng)用于易損斑塊的識別與診斷。相較于基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的斑塊識別技術(shù)，基于深度學(xué)習(xí)的算法可以直接從圖像復(fù)雜的特征空間中選擇并提取特定于任務(wù)的特征，且特征圖尺寸通常大于手動設(shè)計所得特征，表征能力更強(qiáng)。此外，深度學(xué)習(xí)算法可以將整個分析工作流程，包括特征提取、特征選擇和分類器訓(xùn)練都集成到一個神經(jīng)網(wǎng)絡(luò)模型中，只要提供足夠的訓(xùn)練樣本，其性能將通過端到端學(xué)習(xí)不斷提高[23]。隨著深度學(xué)習(xí)技術(shù)的逐漸成熟，神經(jīng)網(wǎng)絡(luò)的設(shè)計結(jié)構(gòu)也越來越模塊化，通常情況下一個端到端的神經(jīng)網(wǎng)絡(luò)包含Backbone、Neck、Head 3 個模塊。其中Backbone模塊負(fù)責(zé)從原圖中抽取高層次特征，降低特征維度；Neck 模塊負(fù)責(zé)進(jìn)一步處理特征圖，使其包含更豐富的信息，如對低維特征進(jìn)行融合；Head 模塊負(fù)責(zé)將特征圖映射至需要的輸出空間，如目標(biāo)位置和標(biāo)簽。根據(jù)Head 模塊輸出斑塊信息的精細(xì)程度，斑塊識別算法可分為分類、檢測和分割3 類。圖2 展示了斑塊分類、檢測和分割算法對應(yīng)的輸出形式。不同的輸出形式下，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)也會有相應(yīng)的不同設(shè)計。

圖2 不同任務(wù)的輸出形式

2.1 斑塊分類

圖3 展示了一個用于判別IVOCT 圖像中是否包含易損斑塊的簡單CNN[24]，在該網(wǎng)絡(luò)中，Backbone模塊由一系列串聯(lián)的卷積-池化層組成，通過逐層卷積抽取到高維特征。該網(wǎng)絡(luò)沒有引入Neck 模塊對特征進(jìn)行擴(kuò)展，而是直接在Backbone 模塊后接由2 層全連接層（full connection layer，F(xiàn)C layer）組成的分類Head 對抽取到的特征進(jìn)行分類。類似的結(jié)構(gòu)也可用于從血管內(nèi)超聲圖像和IVOCT 圖像中檢測鈣化斑塊[25-26]。

圖3 用于區(qū)分是否含有易損斑塊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[24]

在經(jīng)典分類神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，可基于IVOCT 圖像特征設(shè)計針對性模塊融入網(wǎng)絡(luò)當(dāng)中，如Cheimariotis等[27]根據(jù)旋轉(zhuǎn)掃描的成像方式，在執(zhí)行分類前先引入一個額外的預(yù)處理模塊對圖像進(jìn)行極坐標(biāo)變換，并通過簡單的閾值法去除血管腔內(nèi)區(qū)域，使得單條A-Scan包含的有用信息得到提升；Kolluru 等[28]選擇直接定義A-Scan 級的標(biāo)簽，對單條A-Scan 分類以提高斑塊分類準(zhǔn)確率；Shi 等[29]借鑒多任務(wù)CNN 的設(shè)計，在Head模塊額外引入一個分類頭對單條A-Scan 進(jìn)行分類，并綜合兩部分Loss 聯(lián)合更新網(wǎng)絡(luò)權(quán)重，以一種不同的方式利用A-Scan 標(biāo)簽；Gessert 等[30]融入雙通道并行設(shè)計，同時接收笛卡爾坐標(biāo)系下和極坐標(biāo)系下的單幀IVOCT 圖像，分別用2 種Backbone 模塊提取一維特征并融合，并綜合2 種表征形式下的信息，最后用分類頭對該幀圖像是否含有易損斑塊進(jìn)行分類。此類抽取特征再分類的方式，通過更換卷積模塊為3D 卷積模塊，可以很容易地遷移到不同模態(tài)的斑塊圖像中，如采用多任務(wù)CNN 對冠狀動脈CT 造影圖像[31-32]中冠狀動脈中心線的附近區(qū)域進(jìn)行檢測。

2.2 斑塊檢測

檢測任務(wù)除了判斷IVOCT 圖像中是否含有斑塊，還要提供斑塊的位置信息，相較分類任務(wù)更復(fù)雜。根據(jù)算法流程，目前主流的目標(biāo)檢測網(wǎng)絡(luò)可以分為2類：一類是雙階段目標(biāo)檢測網(wǎng)絡(luò)，如R-CNN 系列[33-34]，首先需要獲取候選區(qū)域，然后對候選區(qū)域進(jìn)行進(jìn)一步邊框回歸和分類；另一類是單階段目標(biāo)檢測網(wǎng)絡(luò)，直接在整個特征圖上得到目標(biāo)的位置和類別，如YOLO系列[35-36]。相比于雙階段目標(biāo)檢測網(wǎng)絡(luò)，單階段目標(biāo)檢測網(wǎng)絡(luò)的檢測速度快，但精度往往不足。因此，在醫(yī)學(xué)圖像領(lǐng)域常用雙階段目標(biāo)檢測網(wǎng)絡(luò)。圖4 展示了經(jīng)典雙階段目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)已被用于檢測血管圖像中的易損斑塊[37-38]和鈣化斑塊[39]。在Faster R-CNN 基礎(chǔ)上，Liu 等[40]引入反卷積層獲取低維信息，使合并后的特征能夠呈現(xiàn)語義信息和準(zhǔn)確定位，并利用多尺度特征映射在IVOCT 圖像中。也有研究采取并行設(shè)計，使用YOLO[35]、SSD[41]和Faster R-CNN[34]3 個檢測器分別對經(jīng)過極坐標(biāo)變換的圖像進(jìn)行目標(biāo)檢測，對檢測出的疑似目標(biāo)進(jìn)行并集運(yùn)算并去除重復(fù)率過高的目標(biāo)，最終得到比單個檢測器更精確的斑塊位置[42]。但由于包含了3 個獨(dú)立的檢測過程，處理流程更長、速度更慢，難以做到實(shí)時性。此外，Shi 等[43]使用弱監(jiān)督檢測網(wǎng)絡(luò)，將極坐標(biāo)下的IVOCT 圖像切分成多個圖像塊，對每個圖像塊單獨(dú)提取特征并分類，僅用圖像級別的標(biāo)簽就獲得了與Liu 等的方法[40，42]精度相當(dāng)?shù)囊讚p斑塊位置。

圖4 Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)[34]

2.3 斑塊分割

語義分割能提供目標(biāo)的明確邊界，信息更豐富，但同時對標(biāo)簽的邊界精度也有要求（如圖2 所示），目前將深度學(xué)習(xí)應(yīng)用于斑塊分割任務(wù)的研究較少，且都基于U-Net[44]結(jié)構(gòu)及變體。圖5 展示了U-Net 的網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)的Backbone 模塊為重復(fù)4 次的2層卷積層和1 層下采樣層，下采樣過程中使特征圖的尺寸逐步縮小，語義信息逐步增加，紋理信息逐步減少。Neck 模塊為與Backbone 模塊對稱的4 次上采樣層和卷積層，通過上采樣逐層擴(kuò)大特征圖，并與紋理信息更豐富的底層特征圖拼接，最后得到與原圖尺寸一致的特征圖并進(jìn)行單像素分類。網(wǎng)絡(luò)整體呈左右對稱的U 形結(jié)構(gòu)。使用U-Net 可以檢測IVOCT 圖像中的鈣化斑塊[45]，但原始IVOCT 圖像中斑塊所占區(qū)域很小，為防止前景和背景區(qū)域差別過大，需要事先裁剪管腔部分以及圓形光學(xué)相干斷層成像（opticalcoherence tomography，OCT）信號之外的區(qū)域。通過將U-Net 的卷積層替換為特征表征能力更強(qiáng)的殘差模塊，可以提升網(wǎng)絡(luò)性能[46]。Lee 等[47]則借鑒二階段目標(biāo)檢測網(wǎng)絡(luò)，開發(fā)了一種兩步式的斑塊分割算法：首先使用3D 卷積層堆疊而成的神經(jīng)網(wǎng)絡(luò)從整個回撤掃描中檢測到主要的鈣化病變，接著使用U-Net分割模塊對主要鈣化病變中的鈣化斑塊進(jìn)行分割。與之對應(yīng)的，先使用U-Net 去除血管內(nèi)區(qū)域和導(dǎo)絲偽影，再使用Faster R-CNN 輸出斑塊位置也是可行的斑塊檢測算法[38]。

圖5 U-Net 網(wǎng)絡(luò)結(jié)構(gòu)[44]

3 深度學(xué)習(xí)在斑塊識別方面的應(yīng)用前景分析

3.1 基于深度學(xué)習(xí)的局限性

盡管基于深度學(xué)習(xí)的識別算法在斑塊分類、檢測和分割任務(wù)上都取得了比基于傳統(tǒng)機(jī)器學(xué)習(xí)算法更好的性能，但其仍有不足：（1）需要大量數(shù)據(jù)。深度學(xué)習(xí)是數(shù)據(jù)驅(qū)動的，通常需要大量的訓(xùn)練樣本才能達(dá)到最佳結(jié)果。然而，冠狀動脈數(shù)據(jù)需要經(jīng)驗豐富的醫(yī)生判讀，且費(fèi)時費(fèi)力，因此，盡管臨床上有大量的患者數(shù)據(jù)，但標(biāo)記樣本的數(shù)量仍然非常有限。（2）可解釋性差。端到端的深度學(xué)習(xí)模型雖然省去了煩瑣的中間步驟，但也將整個過程封裝為一個黑盒，我們無法確切知道模型關(guān)注了數(shù)據(jù)的哪些特征。

目前有一些方案嘗試解決深度學(xué)習(xí)算法的上述缺點(diǎn)，例如，自然圖像處理算法中的半監(jiān)督深度學(xué)習(xí)可以解決帶標(biāo)注數(shù)據(jù)過少的問題[43]。此外，通過專家二次檢查結(jié)果[48]或?qū)⒏呔S特征空間投影到二維平面生成熱力圖以突出顯示網(wǎng)絡(luò)關(guān)注的區(qū)域[49]，來增強(qiáng)網(wǎng)絡(luò)的可解釋性。

3.2 展望

由于易損斑塊邊界模糊、內(nèi)部紋理復(fù)雜，特征難以定義，基于傳統(tǒng)機(jī)器學(xué)習(xí)算法的斑塊識別系統(tǒng)很難達(dá)到臨床應(yīng)用的要求，只能起提示作用，劃定出疑似幀或疑似區(qū)域，待醫(yī)生進(jìn)一步確認(rèn)結(jié)果。而深度學(xué)習(xí)技術(shù)發(fā)展迅速，除了能夠正確對圖像幀進(jìn)行分類，對于需要進(jìn)行PTCA 治療的易損斑塊，基于深度學(xué)習(xí)的分割和檢測網(wǎng)絡(luò)還能同時給出斑塊的位置信息和形態(tài)信息，指導(dǎo)治療過程。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，一些新的高性能神經(jīng)網(wǎng)絡(luò)[50-51]也被提出。將更先進(jìn)的模型應(yīng)用于易損斑塊識別，可能使性能進(jìn)一步提升?？梢灶A(yù)見，深度學(xué)習(xí)在斑塊識別領(lǐng)域的進(jìn)一步應(yīng)用，將大幅推動該領(lǐng)域智能診療的發(fā)展。從總體趨勢上分析，針對醫(yī)學(xué)圖像的細(xì)致紋理設(shè)計特殊網(wǎng)絡(luò)結(jié)構(gòu)，同時結(jié)合低層次紋理特征，能有效提高各類模型性能。因此，將深度學(xué)習(xí)算法與傳統(tǒng)機(jī)器學(xué)習(xí)算法結(jié)合，突破各自局限性，是未來斑塊識別系統(tǒng)進(jìn)一步發(fā)展的重要方向。如將先驗知識融入到神經(jīng)網(wǎng)絡(luò)模型的預(yù)處理過程，或?qū)⑹謩釉O(shè)計的特征分類作為網(wǎng)絡(luò)輸出，有望在維持高性能的同時增加網(wǎng)絡(luò)的可解釋性和結(jié)果的可靠性。此外，優(yōu)化模型結(jié)構(gòu)，提高硬件計算速度以降低模型的推理時間，做到實(shí)時診斷，將使基于深度學(xué)習(xí)的易損斑塊識別算法有更大的應(yīng)用空間。

4 結(jié)語

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，IVOCT 圖像中易損斑塊的識別算法也日新月異。從斑塊分類到斑塊檢測、分割，各類識別算法在提升算法識別準(zhǔn)確率的同時還提供了包括位置、形態(tài)在內(nèi)的更豐富的斑塊信息。IVOCT 已被證實(shí)能觀察到斑塊內(nèi)的部分生化反應(yīng)，如巨噬細(xì)胞浸潤。因此，后續(xù)研究除進(jìn)一步提升現(xiàn)有算法的識別精度，還應(yīng)更加深入地理解易損斑塊破裂機(jī)理，并將其融合到現(xiàn)有識別算法中以提升算法的可解釋性。易損斑塊識別算法的識別準(zhǔn)確率和輸出信息維度不斷提升，將為易損斑塊的智能診斷和PTCA 的自動化奠定基礎(chǔ)。