Faster RCNN 和LGDF 結(jié)合的肝包蟲病CT 圖像病灶分割*

劉志華 ，王正業(yè) ，李豐軍 ，嚴(yán)傳波

（1.新疆醫(yī)科大學(xué) 公共衛(wèi)生學(xué)院，新疆 烏魯木齊 830011；2.新疆醫(yī)科大學(xué) 醫(yī)學(xué)工程技術(shù)學(xué)院，新疆 烏魯木齊 830011）

0 引言

肝包蟲?。℉epatic Echinococcosis，HE）又稱棘球幼病，是一種人畜共患寄生蟲病，主要流行于畜牧業(yè)發(fā)達(dá)地區(qū)[1-3]。肝包蟲病患者在患病初期無(wú)特異性的癥狀及體征，隨著包囊的生長(zhǎng)，患者出現(xiàn)臨床癥狀，引起自身機(jī)體的感染并發(fā)生一些并發(fā)癥，其中部分并發(fā)癥可能危及患者生命，需要醫(yī)生的及時(shí)診斷和緊急干預(yù)[4-5]。醫(yī)學(xué)影像學(xué)檢查是診斷疾病的一種方式，能夠?yàn)榛颊叩牟∏樘峁┯杏玫男畔?，?duì)于肝包蟲病的影像學(xué)診斷是由醫(yī)生查看拍攝的CT 圖片診斷患者是否發(fā)生疾病。隨著影像設(shè)備的更新和發(fā)展，醫(yī)院每天產(chǎn)出大量的醫(yī)學(xué)圖片，醫(yī)生閱片時(shí)容易發(fā)生視覺疲勞現(xiàn)象，往往出現(xiàn)診斷效率低下、漏檢、誤判等問(wèn)題。因此，本文基于目標(biāo)檢測(cè)方法實(shí)現(xiàn)肝包蟲病病灶的檢測(cè)，從而輔助醫(yī)生智能診斷疾病。

隨著計(jì)算機(jī)視覺的發(fā)展，深度學(xué)習(xí)方法特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）在計(jì)算機(jī)視覺領(lǐng)域上取得顯著成果，同時(shí)基于卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)結(jié)構(gòu)，衍生出了許多應(yīng)用于圖像分類、目標(biāo)檢測(cè)和分割的網(wǎng)絡(luò)。2014 年GIRSHICK R[6]將深度學(xué)習(xí)方法應(yīng)用于目標(biāo)檢測(cè)中，提出了R-CNN模型，是深度學(xué)習(xí)應(yīng)用于目標(biāo)檢測(cè)的開山之作；2015 年GIRSHICK R 和HE K[7]提出Faster RCNN模型，增加了Region Proposal Networks（RPN）網(wǎng)絡(luò)，使用網(wǎng)絡(luò)生成候選區(qū)域，實(shí)現(xiàn)端到端訓(xùn)練。隨著卷積神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展，越來(lái)越多的研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于醫(yī)學(xué)圖像目標(biāo)檢測(cè)。如卞景帥等人[8]針對(duì)結(jié)核桿菌尺度小的問(wèn)題，提出一種重疊子圖劃分策略應(yīng)用于Faster RCNN 網(wǎng)絡(luò)解決小目標(biāo)檢測(cè)問(wèn)題，取得了較好的檢測(cè)結(jié)果；王黎等人[9]通過(guò)添加卷積層、調(diào)試網(wǎng)絡(luò)超參數(shù)等方法，提高了Faster RCNN 網(wǎng)絡(luò)對(duì)癌癥影像檢測(cè)的精度，提高了診斷效率；Ma Shaolong 等人[10]將Faster RCNN 網(wǎng)絡(luò)和ResNet50 及VGG16 結(jié)合檢測(cè)頸脊髓MRI病變，其檢測(cè)平均精度分別為88.6%和72.3%，在某種程度上，可以幫助放射科醫(yī)生和脊柱外科醫(yī)生的診斷；Liu Bin 等人[11]使用新的損失函數(shù)及較大的錨點(diǎn)改進(jìn)Faster RCNN 目標(biāo)檢測(cè)模型來(lái)檢測(cè)膝關(guān)節(jié)骨性關(guān)節(jié)炎病變，平均精度接近0.82，可作為臨床應(yīng)用的計(jì)算機(jī)輔助診斷工具。針對(duì)上述研究結(jié)果，本文將Faster RCNN 網(wǎng)絡(luò)應(yīng)用于肝包蟲病CT 圖像的目標(biāo)檢測(cè)，使用兩種特征提取網(wǎng)絡(luò)提取圖像的特征，并通過(guò)數(shù)據(jù)增強(qiáng)方法增加樣本量，最后根據(jù)病灶的坐標(biāo)點(diǎn)信息進(jìn)一步分割病灶，從而輔助醫(yī)生更高效地診斷疾病。

1 Faster RCNN 基本結(jié)構(gòu)與原理

Faster RCNN 是在Fast RCNN 網(wǎng)絡(luò)的基礎(chǔ)上增加了一個(gè)區(qū)域建議網(wǎng)絡(luò)（Region Proposal Networks，RPN），通過(guò)RPN 網(wǎng)絡(luò)生成候選區(qū)域，相比于傳統(tǒng)的Selective Search、Edge Boxes 等方法，有明顯的速度提升[7]。卷積神經(jīng)網(wǎng)絡(luò)將整個(gè)圖像作為網(wǎng)絡(luò)的輸入，通過(guò)多層卷積設(shè)計(jì)特征，能夠更好地提取特征，增強(qiáng)圖像的特征表達(dá)能力。常見的CNN模型有AlexNet、LeNet、VGG16、ResNet等，本文選擇VGG16[12]和ResNet101 網(wǎng)絡(luò)進(jìn)行圖像的特征提取。VGG網(wǎng)絡(luò)是在AlexNet 基礎(chǔ)上做了改進(jìn)，整個(gè)網(wǎng)絡(luò)使用同樣大小的3×3 卷積核，通過(guò)逐漸增加卷積核數(shù)量來(lái)加深網(wǎng)絡(luò)。然而VGG 網(wǎng)絡(luò)在達(dá)到一定深度后，訓(xùn)練效果反而變差?；赩GG 網(wǎng)絡(luò)的缺點(diǎn)，HE K 等[13]提出了深度殘差網(wǎng)絡(luò)，ResNet 網(wǎng)絡(luò)是每隔幾層進(jìn)行跳躍連接，不產(chǎn)生額外的參數(shù)，不增加計(jì)算復(fù)雜度，在優(yōu)化較深層模型時(shí)更為簡(jiǎn)單。Faster RCNN 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1 所示。

圖1 Faster RCNN 網(wǎng)絡(luò)結(jié)構(gòu)圖

2 LGDF模型

局部高斯分布擬合（Local Gaussian Distribution Fitting，LGDF）模型，是經(jīng)典的基于水平集活動(dòng)輪廓模型的分割算法之一[14]。LGDF模型利用局部圖像灰度均值和方差信息構(gòu)造能量泛函，能量泛函由局部圖像輪廓內(nèi)外的高斯分布擬合項(xiàng)和正則項(xiàng)構(gòu)成，擬合項(xiàng)驅(qū)使演化曲線向目標(biāo)輪廓演化，正則項(xiàng)則保持演化曲線的光滑度以及避免重新初始化水平集函數(shù)[15]，LGDF模型表達(dá)式如下：

式中，第1、2 項(xiàng)為局部圖像輪廓內(nèi)外高斯分布擬合項(xiàng)，后兩項(xiàng)為長(zhǎng)度項(xiàng)和懲罰項(xiàng)，共同構(gòu)成正則項(xiàng)；μ 為長(zhǎng)度項(xiàng)系數(shù)，v 為距離懲罰項(xiàng)系數(shù)，φ 為水平集函數(shù)，▽為哈密頓算子，▽?duì)?是φ 的梯度，I（y）為輸入圖像的灰度值，ω（x-y）為窗函數(shù)，pi，x（I（y））為概率密度函數(shù)，Hε（φ（y））和δε（φ）分 別為Heaviside 函數(shù)、Dirac 函數(shù)的正則化形式。其中窗函數(shù)和概率密度函數(shù)表達(dá)式分別如式（2）、式（3）所示：

式中，a 為常數(shù)，|x-y|為像素距離，σ2為局部灰度方差，ρ為窗函數(shù)半徑。

式中，μ1（x）、μ2（x）為局部圖像輪廓內(nèi)外灰度均值，σ1（x）2、σ2（x）2分別為局部圖像輪廓內(nèi)外灰度方差。

通過(guò)最小化能量方程（1），可得到水平集演化方程，表達(dá)式如下：

其中，div（·）為散度算子，且有：

3 數(shù)據(jù)預(yù)處理

在放射科醫(yī)師的指導(dǎo)下，本文選取單囊型和多囊型肝包蟲病CT 圖像應(yīng)用于實(shí)驗(yàn)研究，實(shí)驗(yàn)數(shù)據(jù)均來(lái)自新疆醫(yī)科大學(xué)各附屬醫(yī)院放射科。由于圖像攝片時(shí)各種噪聲的干擾造成圖像質(zhì)量下降、清晰度不高等，本實(shí)驗(yàn)對(duì)肝包蟲病CT 圖像進(jìn)行了一系列預(yù)處理操作：（1）對(duì)圖像進(jìn)行歸一化處理，進(jìn)一步對(duì)圖像進(jìn)行灰度轉(zhuǎn)換以減少后續(xù)計(jì)算量；（2）使用改進(jìn)的中值濾波算法[16-17]對(duì)肝包蟲病CT 圖像進(jìn)行去噪；（3）使用翻轉(zhuǎn)的方法對(duì)肝包蟲病CT圖像進(jìn)行數(shù)據(jù)增強(qiáng)操作。本文實(shí)驗(yàn)數(shù)據(jù)共3 000 張肝包蟲病CT 圖片，圖片尺寸為500×500。

4 評(píng)價(jià)準(zhǔn)則

為了定量評(píng)價(jià)模型的性能，采用平均精度（Average Precision，AP）、均值平均精度（mean Average Precision，mAP）作為評(píng)價(jià)指標(biāo)。

4.1 精確率、召回率

精確率、召回率的計(jì)算依賴于正確檢測(cè)（TP）、錯(cuò)檢（FP）、漏檢（FN）3 個(gè)參數(shù)，其混肴矩陣如表1 所示。

表1 混肴矩陣

精確率計(jì)算公式如式（7）所示：

召回率計(jì)算公式如式（8）所示：

4.2 平均精度

AP 是評(píng)價(jià)模型性能的重要指標(biāo)，一個(gè)模型在不同的R 下能保持較高的P，則AP 值就越高，模型對(duì)此類檢測(cè)的表現(xiàn)較好，計(jì)算公式如下：

式中，P 為精確率，R 為召回率。

4.3 均值平均精度

mAP 是所有類別的平均精度的均值，計(jì)算公式如下：

式中，Nc為檢測(cè)類別數(shù)，AP 能綜合考慮精確率和召回率兩方面的影響，以精確率為縱軸、召回率為橫軸可以得到PR 曲線。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 實(shí)驗(yàn)平臺(tái)和參數(shù)設(shè)置

本實(shí)驗(yàn)的實(shí)驗(yàn)操作平臺(tái)為Ubuntu18.04 計(jì)算機(jī)，Intel Core i7 -7700k CPU@ 4.20 GHz，NVIDIA GeForce CTX 1080TiGPU，深度學(xué)習(xí)框架為TensorFlow。一些參數(shù)設(shè)置為：迭代次數(shù)設(shè)置為2 000 次，學(xué)習(xí)率為0.001，batch_size為256，學(xué)習(xí)率的衰減系數(shù)和動(dòng)量項(xiàng)分別為0.1 和0.9，NMS 閾值為0.7，置信度閾值為0.8。

5.2 目標(biāo)檢測(cè)模型識(shí)別結(jié)果

本實(shí)驗(yàn)?zāi)繕?biāo)檢測(cè)模型的檢測(cè)結(jié)果使用平均精度、PR曲線等評(píng)價(jià)指標(biāo)進(jìn)行模型性能評(píng)價(jià)。模型PR 曲線如圖2 所示，模型性能評(píng)價(jià)結(jié)果見表2。圖2（a）表示基于VGG16 特征提取網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型在肝包蟲病兩類中的PR 曲線，圖2（b）表示基于ResNet101 特征提取網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型在肝包蟲病兩類中的PR 曲線。圖2 中，“單囊”線代表單囊型肝包蟲病的PR 曲線，“多囊”線代表多囊型肝包蟲病的PR 曲線。

由表2 可知，使用ResNet101 網(wǎng)絡(luò)代替原來(lái)的VGG16網(wǎng)絡(luò)作為特征提取網(wǎng)絡(luò)，綜合平均識(shí)別率提高了2.1%，由原來(lái)的0.875 提高至0.896；同時(shí)對(duì)于兩種類型肝包蟲病CT 圖像的平均識(shí)別率均有所提高，尤其是對(duì)于多囊型肝包蟲病CT 圖像的平均識(shí)別率提高了3.5%，由0.870 提高至0.905。

表2 模型對(duì)肝包蟲病CT 圖像的平均識(shí)別率

由圖2 可知，圖2（b）中兩類肝包蟲病的PR 曲線均在圖2 （a） 兩類肝包蟲病PR 曲線的上方，因此基于ResNet101 特征提取網(wǎng)絡(luò)的Faster RCNN 目標(biāo)檢測(cè)模型具有較好的檢測(cè)精度。圖2（a）中的兩條PR 曲線均低于圖2（b）中的兩條PR 曲線，隨著召回率（Recall）的增加，圖2（a）的精確率（Precision）快速下降，而圖2（b）仍能保持較高的Precision。在單囊型和多囊型兩類上的PR 曲線表明，隨著迭代次數(shù)的增加，基于ResNet101 特征提取網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型能夠有效提取目標(biāo)的特征，因此在這兩類上具有較好的檢測(cè)精度。圖3 所示為模型對(duì)兩類肝包蟲病CT 圖像的檢測(cè)結(jié)果。圖3（a）為單囊型肝包蟲病CT 圖像檢測(cè)結(jié)果，圖3（b）多囊型肝包蟲病CT 圖像檢測(cè)結(jié)果。

圖2 模型PR 曲線

圖3 模型檢測(cè)結(jié)果

5.3 病灶坐標(biāo)信息

基于Faster RCNN 目標(biāo)檢測(cè)模型檢測(cè)結(jié)果可得到病灶矩形框的兩個(gè)坐標(biāo)點(diǎn)，根據(jù)中點(diǎn)公式可得病灶中點(diǎn)坐標(biāo)，部分圖片坐標(biāo)信息如表3 所示。

表3 部分圖片坐標(biāo)信息

5.4 病灶分割結(jié)果

LGDF模型進(jìn)行圖像分割時(shí)，選取的輪廓不合適會(huì)造成分割失敗，針對(duì)此問(wèn)題，本文采用Faster RCNN模型檢測(cè)出的病灶信息作為L(zhǎng)GDF模型的初始輪廓，避免算法曲線演化過(guò)程中不是收斂于全局最優(yōu)而是陷入局部最小值，這一步驟提高了水平集算法的精度。本文使用準(zhǔn)確率和文獻(xiàn)[18]中的Dice 系數(shù)作為病灶分割精度的評(píng)價(jià)指標(biāo)，迭代時(shí)間作為分割效率的評(píng)價(jià)指標(biāo)，Dice 相似性系數(shù)定義如下：

式中，|A|表示真實(shí)輪廓區(qū)域的像素個(gè)數(shù)，|B|表示實(shí)際分割輪廓區(qū)域的像素個(gè)數(shù)，|A∩B|表示A 與B 交集區(qū)域的像素個(gè)數(shù)。Dice 相似性系數(shù)值越大，表示分割結(jié)果越好，分割精度越高。

對(duì)于肝包蟲病CT 圖像病灶的分割，本文將原始的LGDF模型與基于病灶坐標(biāo)信息的LGDF模型進(jìn)行比較，實(shí)驗(yàn)比較結(jié)果如圖4、圖5 所示，同時(shí)對(duì)分割算法的評(píng)價(jià)指標(biāo)結(jié)果如表4 所示。

表4 模型分割性能評(píng)價(jià)指標(biāo)

圖4 LGDF模型分割結(jié)果

圖5 本文方法分割結(jié)果

從圖4 可以看出，針對(duì)模型的初始輪廓，原始的LGDF模型單囊型肝包蟲病CT 圖像分割結(jié)果較好，存在小程度的過(guò)分割現(xiàn)象，對(duì)于多囊型肝包蟲病CT 圖像，分割結(jié)果不理想，存在過(guò)分割和欠分割現(xiàn)象。而由圖5 可知，基于病灶坐標(biāo)信息的LGDF模型對(duì)兩種類型的肝包蟲病CT 圖像分割結(jié)果較好，同時(shí)從表4 分割性能評(píng)價(jià)指標(biāo)可以看出，對(duì)于兩種類型的病灶分割，本文分割方法的Dice 系數(shù)和準(zhǔn)確率均高于原始的LGDF模型，Dice 系數(shù)均提高了5%。對(duì)于多囊型的肝包蟲病CT 圖像病灶分割，本文分割方法的準(zhǔn)確率相比于原始的LGDF模型提高了14.04%，說(shuō)明本文分割方法對(duì)多囊型肝包蟲病CT 圖像病灶分割效果較好。從表4 中迭代時(shí)間可以看出，本文分割方法運(yùn)行時(shí)間低于原始的LGDF模型，算法分割性能較好。

6 結(jié)論

本文將Faster RCNN 網(wǎng)絡(luò)應(yīng)用于肝包蟲病CT 圖像的目標(biāo)檢測(cè)，使用ResNet101 網(wǎng)絡(luò)代替VGG16 作為特征提取網(wǎng)絡(luò)提取圖像的特征，實(shí)驗(yàn)結(jié)果表明基于ResNet101特征提取網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型能夠有效提取目標(biāo)的特征，在兩類肝包蟲病CT 圖像的檢測(cè)上具有較好的檢測(cè)精度，模型檢測(cè)準(zhǔn)確率達(dá)到了89.6%，可以輔助醫(yī)生診斷疾病，減少漏檢、錯(cuò)檢的發(fā)生，從而做到早發(fā)現(xiàn)、早診斷、早治療。然后，根據(jù)目標(biāo)檢測(cè)模型檢測(cè)出的病灶坐標(biāo)點(diǎn)信息引入LGDF模型進(jìn)一步分割病灶，基于病灶坐標(biāo)信息的分割方法，在Dice 系數(shù)及準(zhǔn)確率評(píng)價(jià)指標(biāo)上均高于原始的LGDF模型，迭代時(shí)間也低于原始的LGDF模型，因此，該方法對(duì)肝包蟲病CT 圖像具有較好的分割結(jié)果，分割性能較好，可以進(jìn)一步輔助醫(yī)生更高效地診斷疾病。