改進(jìn)的Libra區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的腦動(dòng)脈狹窄影像學(xué)檢測算法

劉漢卿，康曉東*，張福青，趙秀圓，楊靖怡，王笑天，李夢(mèng)凡

（1.天津醫(yī)科大學(xué)醫(yī)學(xué)影像學(xué)院，天津 300202；2.天津醫(yī)科大學(xué)第二附屬醫(yī)院，天津 300211；3.西交利物浦大學(xué)智能工程學(xué)院，江蘇蘇州 215123）

0 引言

腦血管疾病目前是世界上第二大常見死亡因素［1］，其中缺血性卒中的發(fā)病率最高，引起缺血性卒中的主要發(fā)病機(jī)制是由于頸內(nèi)動(dòng)脈或椎動(dòng)脈的狹窄或閉塞，動(dòng)脈粥樣硬化性疾病的結(jié)果是血管壁上積聚了鈣化斑塊，導(dǎo)致管腔狹窄。斑塊的存在易導(dǎo)致腦血管內(nèi)栓塞形成或長期處于缺血狀態(tài)進(jìn)而導(dǎo)致腦卒 中［2］。CT 血管造影（Computed Tomography Angiography，CTA）作為常見的影像學(xué)檢查，因其檢查快速、創(chuàng)傷性小和費(fèi)用低等特點(diǎn)，通常作為腦血管疾病的首選檢查方式。因此將計(jì)算機(jī)輔助診斷（Computer-Aided Diagnosis，CAD）結(jié)合CTA 圖像用于腦血管狹窄的自動(dòng)檢測，可以協(xié)助醫(yī)生進(jìn)行腦血管異常的診斷并指明患者的準(zhǔn)確病變位置。

傳統(tǒng)的血管狹窄檢測方法主要利用機(jī)器學(xué)習(xí)算法［3-6］，很大程度上依賴于人工預(yù)定義的特征，手工特征的設(shè)計(jì)和提取過程繁瑣且耗時(shí)，易產(chǎn)生人為誤差。此外，傳統(tǒng)機(jī)器學(xué)習(xí)算法缺少捕捉血管圖像特征語義信息，因此它們?cè)诳垢蓴_以及泛化能力方面表現(xiàn)不佳。

近年來，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的出現(xiàn)，大幅提高了目標(biāo)檢測的準(zhǔn)確性，為計(jì)算機(jī)視覺領(lǐng)域帶來顯著效果，加上海量數(shù)據(jù)、結(jié)構(gòu)化信息以及圖像處理器等硬件技術(shù)快速發(fā)展，使深度神經(jīng)網(wǎng)絡(luò)的實(shí)時(shí)應(yīng)用成為可能，且其精確度超過許多其他先進(jìn)方法。由于R-CNN（Region-Convolution Neural Network）的成功，兩階段檢測框架通過結(jié)合建議檢測器和區(qū)域分類器逐步成為主導(dǎo)地位，在過去為了減少R-CNN 中冗余的CNN 計(jì)算，提高運(yùn)算速度，SPPNet（Spatial Pyramid Pooling-Net）［7］和Fast R-CNN［8］引入了區(qū)域特征提取的思想。之后，F(xiàn)aster R-CNN［9］通過引入?yún)^(qū)域提議網(wǎng)絡(luò)（Region Proposal Network，RPN）實(shí)現(xiàn)了進(jìn)一步的加速，F(xiàn)aster R-CNN 的淺層網(wǎng)絡(luò)通常學(xué)習(xí)位置信息，深層網(wǎng)絡(luò)學(xué)習(xí)特征語義信息。Faster R-CNN 采用頂層特征預(yù)測，僅利用最后一層（即高層特征）進(jìn)行目標(biāo)檢測，因此并未充分考慮其他層的特征信息，導(dǎo)致其對(duì)小目標(biāo)的檢測能力明顯不足。特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）［10］將高層特征與低層特征信息融合得到融合特征，并進(jìn)一步提取該特征進(jìn)行預(yù)測，可以獲得更好的檢測效果。

結(jié)合深度學(xué)習(xí)在醫(yī)學(xué)圖像分析中同樣表現(xiàn)優(yōu)異，Joo等［11］利用3D 殘差網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合腦部磁共振成像（Magnetic Resonance Imaging，MRI）圖像進(jìn)行動(dòng)脈瘤的檢測；Smistad等［12］使用Fast R-CNN 進(jìn)行超聲圖中深靜脈血栓的檢測；Stib等［13］通過使用DenseNet 在多期CTA 圖像檢測顱內(nèi)血管栓塞部位；De Man 等［14］采用RED-CNN（Residual Encoder-Decoder Convolutional Neural Network）獲取冠狀動(dòng)脈的中心位置，并通過全連接神經(jīng)網(wǎng)絡(luò)評(píng)估管腔橫截面積；胡濤等［15］在煙霧病的數(shù)字減影血管造影圖像中，利用CNN 提取圖像特征，隨后輸入結(jié)合注意力機(jī)制的門控循環(huán)單元（Gated Recurrent Unit，GRU）中進(jìn)行腦動(dòng)脈狹窄的檢測；Dai 等［16］從3D CTA 圖像中提取2D 鄰近投影圖像，結(jié)合Faster R-CNN 完成顱內(nèi)動(dòng)脈瘤的檢測；Yang 等［17］向Resnet18 中添加注意力機(jī)制模塊，在編碼和解碼階段使用密集空洞卷積核以及殘差多核池，實(shí)現(xiàn)顱內(nèi)動(dòng)脈瘤風(fēng)險(xiǎn)評(píng)估；Shinohara 等［18］利用深度卷積神經(jīng)網(wǎng)絡(luò)在CT（Computed Tomography）平掃中識(shí)別大腦中動(dòng)脈高密度癥，用于檢測大腦中動(dòng)脈供血區(qū)域的急性腦梗死；衛(wèi)淵等［19］使用AlexNet，對(duì)不同部位的顱內(nèi)動(dòng)脈瘤CTA 圖像進(jìn)行識(shí)別；秦志光等［20］通過將多模態(tài)的腦部CTA 圖像輸入至多個(gè)并行的卷積神經(jīng)網(wǎng)絡(luò)中，有效提取腦血管結(jié)構(gòu)。雖然CTA作為腦血管狹窄的首選檢查方式，但其病灶部位通常并不明顯，因此在臨床診斷過程中仍然十分依賴醫(yī)生的經(jīng)驗(yàn)，而長時(shí)間影像診斷同樣會(huì)增加誤診或漏診的可能性。此外，腦血管可在不同斷層層面表現(xiàn)不同的形狀，如圓形、橢圓形、梭形或不規(guī)則形狀，加上不同患者間存在個(gè)體差異，因此要求特征圖在最大限度上獲取更多的語義信息來檢測血管的狀況；而狹窄區(qū)域較小將導(dǎo)致正負(fù)樣本采樣時(shí)出現(xiàn)樣本不均衡等問題。

Libra R-CNN 能有效解決采樣不均衡問題，針對(duì)上述問題，本文提出一種改進(jìn)的Libra R-CNN 算法用于輔助臨床腦血管狹窄的CTA 圖像診斷，在骨干網(wǎng)絡(luò)中加入可變卷積網(wǎng)絡(luò)（Deformable Convolutional Network，DCN），使骨干網(wǎng)絡(luò)能根據(jù)血管在不同層面CTA 圖像的形狀動(dòng)態(tài)學(xué)習(xí)語義特征；接著將從骨干網(wǎng)絡(luò)中提取的特征圖輸入至引入非局部神經(jīng)網(wǎng)絡(luò)的平衡特征金字塔（Balanced Feature Pyramid，BFP）中進(jìn)行進(jìn)一步的特征圖的融合；最后將融合后的特征圖輸入級(jí)聯(lián)檢測器進(jìn)行三次優(yōu)化后輸出最終檢測結(jié)果。

1 Libra R-CNN

目標(biāo)檢測模型的訓(xùn)練主要包括3 個(gè)步驟：候選區(qū)域的生成與選擇、特征提取、類別分類和檢測框回歸等多任務(wù)的訓(xùn)練與收斂。在檢測任務(wù)中，樣本、特征以及目標(biāo)級(jí)別的不均衡通常會(huì)限制模型性能的表現(xiàn)，因此Libra R-CNN 分別提出IoU（Intersection-over-Union）平衡采樣、平衡特征金字塔結(jié)構(gòu)和平衡L1 損失函數(shù)三種方法［21］。

1.1 IoU平衡采樣

通常損失函數(shù)較大的樣本被定義為困難樣本，損失函數(shù)較小的樣本為容易樣本。在采樣階段，困難樣本具有重要的價(jià)值，因?yàn)槔щy樣本對(duì)提高檢測性能更高效。在訓(xùn)練目標(biāo)檢測器并生成許多候選框后，如果采用隨機(jī)的方法挑選正負(fù)樣本，可能會(huì)導(dǎo)致大部分負(fù)樣本的候選框與真實(shí)框的IoU 位于較小的區(qū)域。假設(shè)在含有M個(gè)對(duì)應(yīng)的候選樣本中抽取N個(gè)負(fù)樣本，隨機(jī)抽樣下每個(gè)樣本的被選概率為：

為了提高困難負(fù)樣本被選中的概率，將IoU 閾值區(qū)間劃分為K份，在每個(gè)子區(qū)間都采樣相同數(shù)量的負(fù)樣本（如果達(dá)不到平均數(shù)量，則取所有在該子區(qū)間的樣本），最終可以保證采樣得到的負(fù)樣本在不同的IoU 子區(qū)間達(dá)到盡量均衡的狀態(tài)，IoU 平衡采樣概率為：

其中Mk為對(duì)應(yīng)間隔K內(nèi)的采樣候選個(gè)數(shù)。在實(shí)驗(yàn)中默認(rèn)為2，即將負(fù)樣本根據(jù)IoU 分為兩部分：大于或等于閾值的樣本，根據(jù)IoU 進(jìn)行分桶操作，計(jì)算應(yīng)該落在每個(gè)桶中的樣本數(shù)量，最后得到IoU 均勻分布的負(fù)樣本；低于閾值的樣本則進(jìn)行隨機(jī)采樣。

1.2 平衡特征金字塔

在FPN 結(jié)構(gòu)中使用橫向連接的操作融合骨干網(wǎng)絡(luò)的特征，在BFP 中依次使用縮放（Rescale）、融合（Integrate）、精煉（Refine）和強(qiáng)化（Strengthen）四步完成增強(qiáng)FPN 結(jié)構(gòu)輸出的特征圖。BFP 結(jié)構(gòu)如圖1 所示。

圖1 平衡特征金字塔結(jié)構(gòu)Fig.1 Structure of balanced feature pyramid

縮放 為了獲取均衡語義特征，首先需要對(duì)各層語義特征進(jìn)行縮放，依次將從｛C2，C3，C4，C5｝層輸出的特征圖分別進(jìn)行差值和下采樣的方法統(tǒng)一到C4層。

融合 將統(tǒng)一之后的特征圖進(jìn)行融合，不同層級(jí)特征融合表達(dá)式如：

其中：Cl表示分辨率級(jí)別l的特征，L表示多層級(jí)特征數(shù)，lmax和lmin分別表示最高層次和最低層次指數(shù)。

精煉 平衡語義特征可以使其更具有鑒別性，因此可以使用卷積核或非局部神經(jīng)網(wǎng)絡(luò)細(xì)化平衡語義特性。通常，卷積操作感受野較小，卷積操作學(xué)習(xí)圖像的局部特征，而非局部神經(jīng)網(wǎng)絡(luò)可以結(jié)合更多空間位置信息，利用局部特征和全局特征之間的差異找到圖像中更顯著的部分從而帶來更豐富的語義特征。

強(qiáng)化 將強(qiáng)化之后的特征圖與不同層級(jí)的原始特征圖加和，最終得到增強(qiáng)FPN 結(jié)構(gòu)輸出｛P2，P3，P4，P5｝的特征圖。

1.3 平衡L1損失函數(shù)

在目標(biāo)檢測任務(wù)中，損失函數(shù)為分類損失函數(shù)與邊框回歸損失函數(shù)之和，若分類得分很高時(shí)，即使邊框回歸效果差，最終的預(yù)測結(jié)果也會(huì)有較高的精度，因此需要考慮增加回歸損失函數(shù)的權(quán)重。Smooth L1 損失函數(shù)常在RPN 中用于計(jì)算回歸分支，Smooth L1 中困難樣本對(duì)應(yīng)的梯度相對(duì)于容易樣本的梯度更大，導(dǎo)致不同樣本學(xué)習(xí)能力的不平衡。平衡L1損失函數(shù)在Smooth L1 上做出改進(jìn)，在平衡L1 損失函數(shù)中，困難樣本和容易樣本界限處的梯度更加平滑，平衡L1 損失函數(shù)的表達(dá)式如式（4）所示：

其中定義γ=αln(b+1)，通過調(diào)節(jié)α和γ的值實(shí)現(xiàn)分類與回歸損失函數(shù)間的平衡。

2 相關(guān)工作

2.1 可變卷積網(wǎng)絡(luò)

CNN 可以通過多層的堆疊自動(dòng)學(xué)習(xí)高層語義特征，但是CNN 的卷積核和池化算子不能根據(jù)空間特征進(jìn)行自適應(yīng)性調(diào)整，傳統(tǒng)卷積核中的卷積單元對(duì)輸入的特征圖進(jìn)行固定位置采樣，并且典型的池化層（例如，平均或最大池化層）也是固定的，不能以自適應(yīng)方式學(xué)習(xí)用于特征下采樣，因此難以適應(yīng)不同尺度或形變的物體。由于血管結(jié)構(gòu)的復(fù)雜性，若采用標(biāo)準(zhǔn)卷積操作，同一卷積層的激活單元的感受野尺寸都相同，這對(duì)于編碼位置信息的淺層神經(jīng)網(wǎng)絡(luò)并不可取，因?yàn)椴煌奈恢每赡軐?duì)應(yīng)不同尺度或者不同形變的物體，這些層需要能夠自動(dòng)調(diào)整尺度或者感受野的方法?？勺兙矸e網(wǎng)絡(luò)在感受野中通過學(xué)習(xí)偏移量，使得感受野與血管的實(shí)際形狀貼近。引入可變卷積網(wǎng)絡(luò)，大小和形狀可以根據(jù)血管空間環(huán)境自適應(yīng)調(diào)整。具體地，為了創(chuàng)建可變形采樣點(diǎn)位置，首先為輸入圖像的每個(gè)像素計(jì)算二維的偏移量，具有計(jì)算的偏移的每個(gè)像素的采樣位置可以覆蓋具有相似特征的其他相鄰像素的位置；其次利用可變形采樣點(diǎn)，將相鄰像素的相似結(jié)構(gòu)信息壓縮成固定的網(wǎng)格；最后生成可變形特征圖像。因此，對(duì)可變形特征圖像進(jìn)行規(guī)則卷積可以更有效地反映復(fù)雜結(jié)構(gòu)，可變卷積網(wǎng)絡(luò)的結(jié)構(gòu)形式如圖2 所示。

圖2 可變卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Structure of deformable convolutional network

假設(shè)規(guī)則的卷積是在一個(gè)規(guī)則的網(wǎng)格R上操作的，表達(dá)式如式（5）所示：

對(duì)R進(jìn)行可變形卷積運(yùn)算，但每個(gè)點(diǎn)都增加一個(gè)可學(xué)習(xí)的偏移Δpn，可變卷積表示為如式（6）：

卷積生成2N個(gè)特征圖，對(duì)應(yīng)N個(gè)2D 個(gè)偏移量Δpn（每個(gè)偏移量對(duì)應(yīng)有x方向和y方向）。本文使用可變卷積層表現(xiàn)為在卷積核大小為3 × 3、卷積步長為2 × 2、特征圖填充寬度為1 的2D 卷積層前，加入輸出通道數(shù)為18、卷積核大小為3 × 3、卷積步長為2 × 2、特征圖填充寬度為1 的2D 卷積層作為偏移量。

2.2 非局部神經(jīng)網(wǎng)絡(luò)

CNN 通過神經(jīng)元的連接，以卷積核窗口滑動(dòng)的形式實(shí)現(xiàn)，感知圖片局部的語義信息，在更高層將局部信息整合得到全局信息。為了更好學(xué)習(xí)圖片全局的語義信息，Wang等［22］和Shokri 等［23］將CNN 與傳統(tǒng)非局部均值相結(jié)合構(gòu)成非局部模塊的網(wǎng)絡(luò)結(jié)構(gòu)，利用特征圖的位置信息融合全局信息，通過重復(fù)卷積運(yùn)算提取傳統(tǒng)模型所不能捕獲的全局特征，擁有更多的全局特征有助于利用局部特征和全局特征之間的差異找到圖像中更顯著的部分，可以為高層帶來更豐富的語義表征，從而提高現(xiàn)有方法的性能。非局部神經(jīng)網(wǎng)絡(luò)（Non-local Neural Network，Non-local NN）結(jié)構(gòu)如圖3 所示，C、H、W分別對(duì)應(yīng)維度，其中N=H×W。非局部模塊的表示式如式（7）所示：

圖3 非局部神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of non-local neural network

其中：（i，j）為待計(jì)算響應(yīng)的位置坐標(biāo)；（k，l）為輸入圖片中所有可能位置的坐標(biāo)；x表示輸入圖片或其特征圖，y表示與x相同維度的輸出信號(hào)；函數(shù)f（·）計(jì)算（i，j）與（k，l）之間的標(biāo)量；函數(shù)g（·）表示在（k，l）位置輸入信號(hào)的一元函數(shù)；C（x）表示響應(yīng)因子，對(duì)輸出值進(jìn)行歸一化計(jì)算。一元函數(shù)g（·）的表達(dá)式為：

其中：Wg為權(quán)重矩陣，g（·）的實(shí)現(xiàn)使用大小為1 × 1 的二維卷積。

2.3 級(jí)聯(lián)檢測器

在目標(biāo)檢測網(wǎng)絡(luò)中，大于IoU 閾值為正樣本，小于IoU 閾值為負(fù)樣本。如果選用較低的IoU 閾值，則會(huì)導(dǎo)致抽取的正樣本中含有較多的背景，容易產(chǎn)生誤檢；而采用較高IoU 閾值可以減少誤檢，但隨著IoU 閾值的提高，選取正樣本的數(shù)量也會(huì)隨之減少，從而導(dǎo)致過擬合。當(dāng)一個(gè)檢測模型采用某個(gè)閾值u（假設(shè)u=0.5）來界定正負(fù)樣本時(shí)，那么當(dāng)輸入目標(biāo)候選區(qū)的IoU 在這個(gè)閾值附近時(shí)，該檢測模型比基于其他閾值訓(xùn)練的檢測模型的效果要好［24］。

級(jí)聯(lián)檢測器（Cascade Detector）的核心是Cascade RCNN［24］（如圖4 所示），是由一系列的檢測頭組成，每個(gè)檢測頭都基于不同IoU 閾值的正負(fù)樣本訓(xùn)練得到。Cascade RCNN 在Faster R-CNN 的基礎(chǔ)上通過對(duì)RPN 輸出的感興趣區(qū)域（Region Of Interest，ROI）進(jìn)行3 次微調(diào)，將每次檢測頭輸出的偏移量和ROI 解碼作為下一階段ROI 的輸入，而且越往后的檢測頭，其界定正負(fù)樣本的IoU 閾值是不斷上升的。采用級(jí)聯(lián)檢測器的方法能夠讓每一個(gè)階段的檢測頭專注于檢測IoU 在某一范圍內(nèi)的建議候選區(qū)并達(dá)到最佳，通過不斷提高預(yù)測框的質(zhì)量，滿足不同階段ROI 輸入的變化，提高ROI的質(zhì)量以保證每個(gè)檢測頭有足夠的訓(xùn)練樣本避免過擬合問題。

圖4 級(jí)聯(lián)檢測器結(jié)構(gòu)Fig.4 Structure of cascade detector

級(jí)聯(lián)檢測器包括以下兩個(gè)部分：

1）多級(jí)邊框回歸：回歸分支是計(jì)算候選框到真實(shí)框的偏移量，候選框的向量用b=(xb，yb，wb，hb)表示，其中xb、yb分別表示候選框的中心點(diǎn)位置，wb、hb分別表示候選框的寬度和高度；真實(shí)框的向量用b*=(x*，y*，w*，h*)表示，其中x*、y*分別表示候選框的中心點(diǎn)位置，w*、h*分別表示候選框的寬度和高度。候選框到真實(shí)框的偏移量t*的表達(dá)式如式（9）：

使用回歸器f(x，b)將候選框向真實(shí)框b*進(jìn)行回歸，其中損失函數(shù)的表達(dá)式為：

級(jí)聯(lián)回歸采用一系列特定的回歸量來實(shí)現(xiàn)，公式如式（12）：

其中：T表示級(jí)聯(lián)階段的總數(shù)，fT表示對(duì)應(yīng)階段a的回歸。

2）分類：分類函數(shù)定義為h(x)，分類器將樣本分為K+1類，其中第0 類包含背景信息以及待檢測的目標(biāo)。給定的訓(xùn)練樣集（xi，yi）通過學(xué)習(xí)最小化分類風(fēng)險(xiǎn)，公式為：

其中：Lcls為交叉熵?fù)p失函數(shù)，yi為對(duì)應(yīng)圖片xi所屬類的標(biāo)簽。

級(jí)聯(lián)檢測器通過將前一階段預(yù)測框回歸的輸出結(jié)果作為下一階段的輸入，在每個(gè)階段t中分類器ht和回歸器ft用于最小化多任務(wù)損失目標(biāo)函數(shù)，用于優(yōu)化IoU 的閾值ut（ut＞ut-1），多任務(wù)損失目標(biāo)函數(shù)表達(dá)式如式（14）所示：

其中：bt=ft-1(xt-1，bt-1)，g表示檢測目標(biāo)xt的真實(shí)框，yt為xt的預(yù)測標(biāo)簽，λ為權(quán)衡系數(shù)。

本文算法結(jié)構(gòu)如圖5 所示，在Libra R-CNN 的網(wǎng)絡(luò)框架中，以ResNet50 為骨干網(wǎng)絡(luò)。首先，分別在骨干網(wǎng)絡(luò)的3、4、5 階段引入可變卷積網(wǎng)絡(luò)，通過學(xué)習(xí)偏移量提取血管形變?cè)诓煌瑪鄬用娴男螒B(tài)特征；其次，將從骨干網(wǎng)絡(luò)中學(xué)習(xí)的特征圖分別輸入至RPN 進(jìn)行候選區(qū)域的篩選，以及引入非局部神經(jīng)網(wǎng)絡(luò)的平衡特征金字塔網(wǎng)絡(luò)中，利用全局信息進(jìn)行更深層的特征融合；最后，通過不斷提高IoU 閾值的級(jí)聯(lián)檢測器進(jìn)行三次分類與回歸分支的調(diào)整，優(yōu)化其最終預(yù)測結(jié)果。

圖5 改進(jìn)的Libra R-CNN算法結(jié)構(gòu)Fig.5 Structure of improved Libra R-CNN algorithm

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

腦動(dòng)脈狹窄CTA 數(shù)據(jù)集來自天津市第二附屬醫(yī)院，由79 位患者組成，首先對(duì)數(shù)據(jù)進(jìn)行脫敏處理，由具有醫(yī)師資質(zhì)且工作年限大于5 年的醫(yī)生使用Labelme 標(biāo)注為PASCAL VOC2012 數(shù)據(jù)格式，最后轉(zhuǎn)換成COCO 數(shù)據(jù)格式。數(shù)據(jù)集按訓(xùn)練集與測試集進(jìn)行劃分，其中：821 幅圖像作為訓(xùn)練集，標(biāo)注物體數(shù)量為879；200 幅圖像作為測試集，標(biāo)注物體數(shù)為219。為了檢驗(yàn)本文算法的泛化能力，選用來自Aistudio 平臺(tái)公開的結(jié)腸息肉CT 數(shù)據(jù)集進(jìn)行驗(yàn)證，其中：800 幅圖像作為訓(xùn)練集，標(biāo)注物體數(shù)為800；57 幅圖像作為測試集，標(biāo)注物體數(shù)為57。

本文實(shí)驗(yàn)環(huán)境實(shí)現(xiàn)是在PaddlePaddle 框架下進(jìn)行的，操作系統(tǒng)Ubuntu18.04，顯卡Tesla V100，內(nèi)存為32 GB。實(shí)驗(yàn)采用的骨干網(wǎng)絡(luò)為ResNet50，目標(biāo)檢測網(wǎng)絡(luò)均使用FPN 結(jié)構(gòu)。學(xué)習(xí)率采用分段衰減，總訓(xùn)練次數(shù)epoch=20，初始學(xué)習(xí)率為0.001 25，分別在epoch=12 和epoch=19 時(shí)學(xué)習(xí)率分別下降至初始學(xué)習(xí)率的1/10，batch size=2。模型參數(shù)的優(yōu)化方法均為隨機(jī)梯度下降法（Stochastic Gradient Descent，SGD），圖像未采用數(shù)據(jù)增強(qiáng)方式，輸入圖像大小為512× 512。

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)使用平均準(zhǔn)確率（Average Precision，AP）、每秒幀率（Frames Per Second，F(xiàn)PS）、AP50、AP75和APS，其中AP 表示測試集中預(yù)測框平均準(zhǔn)確率，F(xiàn)PS 表示每秒預(yù)測圖片的數(shù)量，AP50表示在IoU=0.50 下的平均準(zhǔn)確率，AP75表示在IoU=0.75 下的平均準(zhǔn)確率，APS表示小目標(biāo)物體（面積＜32×32）的平均準(zhǔn)確率。對(duì)于類別為C的物體，其AP 的計(jì)算公式如式（15）和（16）所示：

其中：N(TruePositives)C表示正確檢測目標(biāo)的個(gè)數(shù)，N(TotalObjects)C表示待檢測目標(biāo)的總數(shù)，N(TotalImages)C表示待檢測圖片的總數(shù)。

實(shí)驗(yàn)1 對(duì)腦動(dòng)脈狹窄CTA 數(shù)據(jù)集進(jìn)行驗(yàn)證，為了充分驗(yàn)證本文算法的可靠性和有效性，分別采用單階段目標(biāo)檢測網(wǎng)絡(luò)YOLOv3（You Only Look Once version 3），兩階段目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN、Libra R-CNN 和Cascade R-CNN 進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)1 的對(duì)比結(jié)果如表1 所示。

表1 實(shí)驗(yàn)1的對(duì)比結(jié)果Tab.1 Comparison results of experiment 1

對(duì)比實(shí)驗(yàn)表明，在腦動(dòng)脈狹窄的CTA 數(shù)據(jù)集上，本文算法效果最優(yōu)，AP 分別在Libra R-CNN 和Cascade R-CNN 的基礎(chǔ)上提升4.3 和2.1 個(gè)百分點(diǎn)；對(duì)比Libra R-CNN，本文算法在AP50、AP75和APS上的指標(biāo)分別提升1.3、6.9 和4.0 個(gè)百分點(diǎn)，F(xiàn)PS 降低10.8；相比Cascade R-CNN，在AP50、AP75和APS上的指標(biāo)分別提升2.5、0.9 和1.8 個(gè)百分點(diǎn)，F(xiàn)PS 降低3.2。

在實(shí)驗(yàn)1 中，通過不同模型的對(duì)比，證實(shí)了本文算法的有效性。為了進(jìn)一步解析本文算法的DCN、級(jí)聯(lián)檢測器Cascade 以及非局部神經(jīng)網(wǎng)絡(luò)3 個(gè)模塊對(duì)實(shí)驗(yàn)結(jié)果的貢獻(xiàn)，進(jìn)行了消融實(shí)驗(yàn)。通過添加某個(gè)模塊后與Libra R-CNN 進(jìn)行橫向?qū)Ρ?，評(píng)估模塊的重要性。

表2 給出了消融實(shí)驗(yàn)的仿真結(jié)果。整體來看，所有模塊對(duì)本文的實(shí)驗(yàn)結(jié)果都起著積極作用。當(dāng)本研究添加DCN 模塊，與Libra R-CNN 相比，AP、AP75和APS分別提高了0.2、1.0和0.3 個(gè)百分點(diǎn)，F(xiàn)PS 下降1.7。由此可見，使用DCN 模塊有助于學(xué)習(xí)血管形態(tài)變化，但是整體提升并不明顯。在本研究中繼續(xù)添加級(jí)聯(lián)檢測器時(shí)，發(fā)現(xiàn)AP、AP75和APS分別大幅度改善了2.9、7.0 和3.2 個(gè)百分點(diǎn)，F(xiàn)PS 降低11.0。說明級(jí)聯(lián)檢測器通過提高IoU 閾值進(jìn)而提升輸出框的質(zhì)量。當(dāng)繼續(xù)添加Non-local NN 時(shí)，發(fā)現(xiàn)實(shí)驗(yàn)結(jié)果AP、AP50、AP75和APS分別提升了4.3、1.3、6.9 和4.0 個(gè)百分點(diǎn)，F(xiàn)PS 降低10.8。說明通過非局部神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)全局特征，為高層帶來更豐富的語義表征。

表2 實(shí)驗(yàn)1的消融結(jié)果Tab.2 Ablation results of experiment 1

AP 與訓(xùn)練步數(shù)結(jié)果如圖6 所示，橫坐標(biāo)步數(shù)表示每隔4輪訓(xùn)練輸出一次結(jié)果。由圖6 可知本文算法在每一步中的AP 均為最高。

圖6 幾種方法的訓(xùn)練步數(shù)與平均準(zhǔn)確率結(jié)果對(duì)比Fig.6 Results comparison of training steps and average accuracy among several methods

圖7 表示預(yù)測速度與AP 結(jié)果，圖7 中單階段檢測網(wǎng)絡(luò)YOLOv3 的檢測速度最快，但是AP 值最低。在Libra R-CNN上添加DCN，AP 的上升和FPS 的下降不是十分顯著。通過繼續(xù)添加級(jí)聯(lián)檢測器和非局部神經(jīng)網(wǎng)絡(luò)，AP 的上升和FPS的下降表現(xiàn)比較顯著。

圖7 幾種方法的預(yù)測速度與準(zhǔn)確率結(jié)果對(duì)比Fig.7 Results comparison of prediction speed and average precision among several methods

對(duì)比實(shí)驗(yàn)中預(yù)測結(jié)果如圖8 所示，列表示同一層面不同算法的血管狹窄的預(yù)測圖，行表示同一算法不同層面血管狹窄的預(yù)測圖，不同模型輸出結(jié)果均用不同顏色預(yù)測框表示，并輸出置信區(qū)間。本文算法輸出置信區(qū)間結(jié)果最優(yōu)，與Faster R-CNN 置信區(qū)間結(jié)果近似，但是對(duì)比其預(yù)測框結(jié)果發(fā)現(xiàn)本文算法的預(yù)測框回歸效果優(yōu)于Faster R-CNN。

圖8 實(shí)驗(yàn)1中不同算法的檢測效果對(duì)比Fig.8 Detection effects comparison of different algorithms in experiment 1

為了驗(yàn)證本文算法的泛化能力，實(shí)驗(yàn)2 對(duì)公開的結(jié)腸息肉CT 數(shù)據(jù)集上驗(yàn)證，同樣采用單階段目標(biāo)檢測網(wǎng)絡(luò)YOLOv3，兩階段目標(biāo)檢測網(wǎng)絡(luò)Faster R-CNN、Libra R-CNN 和Cascade R-CNN 進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)比實(shí)驗(yàn)結(jié)果如表3 所示。

表3 實(shí)驗(yàn)2的對(duì)比結(jié)果Tab.3 Comparison results of experiment 2

通過向Libra R-CNN 中依次添加DCN、級(jí)聯(lián)檢測器Cascade 以及非局部神經(jīng)網(wǎng)絡(luò)3 個(gè)模塊進(jìn)行消融實(shí)驗(yàn)，消融實(shí)驗(yàn)結(jié)果如表4 所示。

表4 實(shí)驗(yàn)2的消融結(jié)果Tab.4 Ablation results of experiment 2

在結(jié)腸息肉CT 數(shù)據(jù)集中，對(duì)比實(shí)驗(yàn)表明本文算法效果最優(yōu)，AP、AP50、AP75和APS分別為59.8%、99.3%、66.9%和59.8%，與Libra R-CNN 相比，AP、AP50、AP75和APS分別提高6.6、3.6、13.0 和6.4 個(gè)百分點(diǎn)，F(xiàn)PS降低10.9。相 比Cascade R-CNN，在AP、AP50、AP75和APS上的指標(biāo)分別提升3.7、8.3、3.5 和3.7 個(gè)百分點(diǎn)。消融實(shí)驗(yàn)結(jié)果表明，加入DCN 后，與Libra R-CNN 相比AP 提升0.7 個(gè)百分點(diǎn)，F(xiàn)PS 降低1.1。通過繼續(xù)添加級(jí)聯(lián)檢測器發(fā)現(xiàn)，與Libra R-CNN 相比，AP、AP75和APS分別提升2.4、4.3 和2.2 個(gè)百分點(diǎn)，F(xiàn)PS 降低10.2。通過繼續(xù)添加非局部神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)，與Libra R-CNN相比，AP、AP50、AP75和APS分別提升6.6、3.6、13.0 和6.4 個(gè)百分點(diǎn)，F(xiàn)PS 降低10.9。對(duì)比實(shí)驗(yàn)中預(yù)測結(jié)果如圖9 所示，本文算法檢測效果優(yōu)于其他算法。

圖9 實(shí)驗(yàn)2中不同算法的檢測效果對(duì)比Fig.9 Detection effects comparison of different algorithms in experiment 2

綜上所述，通過添加可變卷積網(wǎng)絡(luò)、級(jí)聯(lián)檢測器以及非局部神經(jīng)網(wǎng)絡(luò)三個(gè)模塊對(duì)實(shí)驗(yàn)結(jié)果有顯著提升。此外，3 個(gè)模塊均會(huì)導(dǎo)致網(wǎng)絡(luò)計(jì)算復(fù)雜度增加，其中級(jí)聯(lián)檢測器最為顯著。

4 結(jié)語

本文采用結(jié)合多模塊的Libra R-CNN 目標(biāo)檢測算法用于檢測腦動(dòng)脈狹窄，該模型在骨干網(wǎng)絡(luò)中使用可變卷積網(wǎng)絡(luò)通過學(xué)習(xí)偏移量提取血管在不同斷層面的形態(tài)特征，同時(shí)在平衡金字塔網(wǎng)絡(luò)中加入非局部神經(jīng)網(wǎng)絡(luò)，通過特征圖的位置信息融合全局信息，學(xué)習(xí)更深層的語義表征，最后級(jí)聯(lián)檢測器通過提高IoU 閾值優(yōu)化最終預(yù)測結(jié)果。

在腦動(dòng)脈狹窄CTA 和結(jié)腸息肉CT 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文算法檢測效果均優(yōu)于現(xiàn)有主流目標(biāo)檢測算法，在客觀指標(biāo)（AP、AP75和APS等）和預(yù)測結(jié)果都有顯著提升。通過多種網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化，本文算法在小目標(biāo)的準(zhǔn)確率也有顯著提升。

盡管本文算法優(yōu)于Faster R-CNN 和Cascade R-CNN 等主流兩階段目標(biāo)檢測方法，但所提出的檢測方法由多種網(wǎng)絡(luò)堆疊，網(wǎng)絡(luò)結(jié)構(gòu)冗余且參數(shù)量增加，導(dǎo)致檢測速度減慢。在未來的工作中，將進(jìn)一步研究如何簡化網(wǎng)絡(luò)結(jié)構(gòu)及減少參數(shù)量，并提高檢測的準(zhǔn)確率和檢測速度。