Faster RCNN模型和SCP方法在肝包蟲病病灶位置估計中的研究

劉志華，卡迪力亞·庫爾班，李豐軍，嚴(yán)傳波

新疆醫(yī)科大學(xué) a. 公共衛(wèi)生學(xué)院；b. 醫(yī)學(xué)工程技術(shù)學(xué)院，新疆 烏魯木齊 830011

引言

肝包蟲病又稱作肝棘球蚴病，是一種因棘球絳蟲的幼蟲寄生于人體肝臟而導(dǎo)致的寄生蟲病[1-2]。肝包蟲病是牧區(qū)常見的人畜共患寄生蟲疾病，在我國多見于新疆、西藏、青海、甘肅、寧夏、內(nèi)蒙古、四川等西北農(nóng)牧區(qū), 嚴(yán)重危害人體健康和畜牧業(yè)的發(fā)展, 是嚴(yán)重的公共衛(wèi)生問題[3]。肝包蟲病患者在患病初期無特異性的癥狀及體征，隨著包囊的生長，患者出現(xiàn)腹部不適、疼痛、惡心、嘔吐等臨床體征表現(xiàn)，當(dāng)囊腫破裂時，將會引發(fā)機(jī)體感染甚至發(fā)生過敏反應(yīng)等并發(fā)癥，對人體健康造成極大危害。如今，治療肝包蟲病的首選方案是手術(shù)，但無論何種手術(shù)方式其術(shù)后并發(fā)癥的發(fā)生率都達(dá)到了60%[4-5]，對人體產(chǎn)生極大危害，然而通過對醫(yī)學(xué)圖像進(jìn)行病灶檢測可以協(xié)助醫(yī)生診斷疾病，有效減少疾病的死亡率。在病灶檢測方面，國外研究學(xué)者做了一些研究，提出一個深度目標(biāo)檢測網(wǎng)絡(luò)定位視盤和視杯來進(jìn)行青光眼的篩查和診斷[6]。有研究提出一種改進(jìn)的自動腦腫瘤分割和識別方法，利用人工神經(jīng)網(wǎng)絡(luò)和灰度特征對腦瘤進(jìn)行分析診斷，區(qū)分良惡性病例[7]。Yahalomi等[8]訓(xùn)練了一種更快的用于目標(biāo)檢測的機(jī)器視覺神經(jīng)網(wǎng)絡(luò)，來識別和定位前后X射線圖像中的橈骨遠(yuǎn)端骨折，對骨折的識別正確率為96%。除此之外，國內(nèi)許多學(xué)者在肝包蟲病分類[9-10]、分割[11-13]方面做了一些研究，但存在超參數(shù)調(diào)整困難、模型預(yù)測存在很多假陽性、誤分較多、需要人工交互、相鄰器官之間邊界輪廓分割不精確等問題。以上僅僅是對肝包蟲病病灶分類、分割方面的研究，并沒有對肝包蟲病在肝臟發(fā)病的位置進(jìn)行統(tǒng)計學(xué)意義的研究，然而統(tǒng)計常發(fā)病的位置對區(qū)分鑒別肝硬化、肝囊腫等病變具有指導(dǎo)意義。因此，本文提出使用深度學(xué)習(xí)的方法對肝包蟲CT圖像進(jìn)行病灶檢測，然后統(tǒng)計并分析病灶區(qū)域在肝臟左右葉發(fā)生的位置，確定了常發(fā)病的位置，有助于輔助醫(yī)生快速診斷疾病，增強(qiáng)診斷準(zhǔn)確性和減少漏診率，為后續(xù)對病灶區(qū)域進(jìn)行紋理分析提供幫助。

1 方法

1.1 數(shù)據(jù)處理

在放射科醫(yī)師的指導(dǎo)下，本文選取單囊型和多囊型肝包蟲病CT圖像1000張，實驗數(shù)據(jù)均來自新疆醫(yī)科大學(xué)各附屬醫(yī)院放射科。在獲取肝包蟲病CT圖像后，需要對圖像進(jìn)行預(yù)處理操作，使圖像盡可能地反映診斷時所需的圖像信息。本實驗對圖像進(jìn)行以下預(yù)處理操作：① 對圖像進(jìn)行灰度歸一化，減少后續(xù)計算量；② 使用改進(jìn)的中值濾波算法對圖像進(jìn)行去噪；③ 常用的數(shù)據(jù)增強(qiáng)方法有添加噪聲、旋轉(zhuǎn)、翻轉(zhuǎn)、平移等[14]。圖像翻轉(zhuǎn)是在幾乎不改變圖像數(shù)據(jù)分布的情況下，數(shù)據(jù)翻倍。本文使用垂直翻轉(zhuǎn)、水平翻轉(zhuǎn)的方法[15]對圖像進(jìn)行數(shù)據(jù)增強(qiáng)，增強(qiáng)后的圖像共3000張。以單囊型肝包蟲病CT圖像為例，圖像預(yù)處理后的效果及圖像增強(qiáng)后的效果如圖1所示。

圖1 圖像預(yù)處理效果

1.2 目標(biāo)檢測模型

卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)主要包括卷積層、池化層、全連接層及輸出層。卷積神經(jīng)網(wǎng)絡(luò)根據(jù)圖像數(shù)據(jù)逐層抽象提取原始醫(yī)學(xué)圖像中隱藏的數(shù)據(jù)信息，隨著特征提取網(wǎng)絡(luò)層數(shù)越深，提取出來的特征越豐富，提取特征的效果就越好。Faster RCNN常用的特征提取網(wǎng)絡(luò)主要有ZFNet、VGGNet、ResNet等。ResNet網(wǎng)絡(luò)在2015年首次提出，在ImageNet比賽分類任務(wù)上獲得第一名，之后許多方法基于ResNet網(wǎng)絡(luò)在圖像檢測、分割等領(lǐng)域得到廣泛應(yīng)用。ResNet網(wǎng)絡(luò)常被用于骨干網(wǎng)絡(luò)對輸入圖像進(jìn)行特征提取，為解決深度網(wǎng)絡(luò)訓(xùn)練過程中的退化問題，其將殘差思想引入網(wǎng)絡(luò)結(jié)構(gòu)中，在深層網(wǎng)絡(luò)與淺層網(wǎng)絡(luò)間引入跳躍連接增加網(wǎng)絡(luò)層[16]。ResNet101采用bottleneck結(jié)構(gòu)搭建更深的網(wǎng)絡(luò)層，增強(qiáng)學(xué)習(xí)能力，利用1×1卷積減少通道數(shù)以降低計算量，采用恒等快捷連接實現(xiàn)跳躍連接，加快收斂速度。因此，本文將ResNet101網(wǎng)絡(luò)代替原始的VGG16網(wǎng)絡(luò)作為肝包蟲病CT圖像檢測的特征提取網(wǎng)絡(luò)，對肝包蟲病CT圖像進(jìn)行病灶檢測。bottleneck結(jié)構(gòu)圖如圖2所示。

圖2 殘差塊結(jié)構(gòu)圖

1.3 建立肝臟分區(qū)標(biāo)準(zhǔn)

在影像科醫(yī)師的指導(dǎo)下，找到肝包蟲病CT圖像的八個解剖標(biāo)志：下腔靜脈、肝右靜脈、肝中靜脈、肝左靜脈等，以肝左靜脈和下腔靜脈連線作為縱軸，同時建立坐標(biāo)系，以肝臟八段劃分法標(biāo)準(zhǔn)建立肝臟分區(qū)，并找到每一區(qū)域的質(zhì)心點。圖中紅色縱軸以肝左靜脈為界限分為Ⅰ、Ⅱ、Ⅲ段和Ⅳ段，紫色射線以肝中靜脈為界限分為Ⅳ段和Ⅴ/Ⅷ段，綠色射線以門靜脈為界限分為Ⅴ/Ⅷ段和Ⅵ/Ⅶ段，坐標(biāo)系中紅點為所在區(qū)域質(zhì)心點。肝臟分區(qū)圖如圖3所示，建立坐標(biāo)系分區(qū)圖如圖4所示，肝臟分區(qū)標(biāo)準(zhǔn)信息如表1所示。

圖3 肝臟分區(qū)圖

圖4 坐標(biāo)系圖

表1 肝臟分區(qū)標(biāo)準(zhǔn)信息

1.4 SCP方法

關(guān)于目標(biāo)檢測模型的定位問題，不少的研究者進(jìn)行過相關(guān)研究，如一些學(xué)者首先使用Canny算子識別目標(biāo)區(qū)域的輪廓，再使用Hough梯度圓變換算法、最小二乘法、形心偏差法等方法定位目標(biāo)，該方法取得了不錯的效果，但定位結(jié)果存在一定的偏差[17-19]。蔣蕓等[20]利用YOLO算法對眼底圖像視盤定位，該方法檢測效果較好，但對目標(biāo)的標(biāo)注花費(fèi)大量時間。李傳朋[21]通過計算目標(biāo)檢測框中心的方法實現(xiàn)定位，然而該方法對位置的統(tǒng)計存在一定的誤差。由于肝包蟲病病灶大小不一，拍攝CT圖像時每個人的體位不同，僅僅通過計算目標(biāo)檢測框的中心不足以說明病灶在肝臟每一區(qū)域的位置。針對上述問題本文提出一種Sobel算子和連通區(qū)域與極坐標(biāo)融合的方法（Sobel Operator and Connected Component and Polar Coordinate Fusion Method，SCP）對病灶在肝臟區(qū)域的位置進(jìn)行統(tǒng)計。本文基于CT圖像器官輪廓的質(zhì)心點和病灶的質(zhì)心點構(gòu)建極坐標(biāo)系，以水平方向為單位始向量，利用空間余弦定理計算目標(biāo)向量和單位始向量的夾角，單位始向量的夾角即為極角，目標(biāo)向量的模即極徑。

2 實驗結(jié)果與分析

2.1 目標(biāo)檢測結(jié)果

本實驗?zāi)繕?biāo)檢測模型的檢測結(jié)果使用平均精度、均值平均精度等評價指標(biāo)進(jìn)行模型性能評價，模型性能評價結(jié)果如表2所示。圖5所示為模型對兩類肝包蟲病CT圖像的檢測結(jié)果。圖5a為單囊型肝包蟲病CT圖像檢測結(jié)果，圖5b多囊型肝包蟲病CT圖像檢測結(jié)果。

表2 模型對肝包蟲病CT圖像的性能評價

圖5 目標(biāo)檢測模型檢測結(jié)果

由表2可知，對于兩種類型的肝包蟲病CT圖像病灶檢測，基于ResNet101的特征提取網(wǎng)絡(luò)比基于VGG16的特征提取網(wǎng)絡(luò)在AP、mAP指標(biāo)上都取得了較好的效果，說明更深層的網(wǎng)絡(luò)在肝包蟲病檢測任務(wù)上具有更優(yōu)秀的特征表達(dá)能力?；赗esNet101特征提取網(wǎng)絡(luò)的兩種類型肝包蟲病CT圖像的平均識別率均有所提高，然而對于多囊型肝包蟲病CT圖像的平均識別率提高了3.5%，由0.870提高至0.905，說明基于ResNet101的特征提取網(wǎng)絡(luò)對多囊型肝包蟲病CT圖像的檢測識別效果較好。由表2可知，基于ResNet101特征提取網(wǎng)絡(luò)的漏檢率、錯檢率均低于基于VGG16的特征提取網(wǎng)絡(luò)，說明基于ResNet101的特征提取網(wǎng)絡(luò)病灶檢測結(jié)果較好，對病灶檢測時存在的錯檢及漏檢率較小，使用深度學(xué)習(xí)方法對肝包蟲病的病灶檢測具有一定的可行性，在測試集上取得了良好的效果。

2.2 SCP方法結(jié)果

使用計算機(jī)估計某病常發(fā)位置，必須以器官CT輪廓為參考建立坐標(biāo)系，常見的坐標(biāo)系有直角坐標(biāo)系、極坐標(biāo)系，又由于從醫(yī)學(xué)角度對器官分區(qū)時某分區(qū)可能跨直角坐標(biāo)系的兩個象限，不易估計病灶位置。因此，本實驗采用極坐標(biāo)系來描述病灶在器官中的位置。為了構(gòu)建極參考系，必須確定極點和極徑，本實驗采用器官CT輪廓質(zhì)心點作為極點，病灶的質(zhì)心點作為終點。本實驗基于這兩個質(zhì)心點構(gòu)建目標(biāo)向量，以水平方向為單位始向量，利用空間余弦定理計算目標(biāo)向量和單位始向量的夾角，即為極角，目標(biāo)向量模即極徑。

本實驗使用Sobel算子提取CT圖像器官輪廓，并使用連通域方法得到CT圖像器官輪廓的質(zhì)心點，圖6所示為Sobel算子提取CT圖像器官輪廓邊緣的結(jié)果，圖7所示為使用連通域方法得到的CT圖像器官輪廓質(zhì)心點位置，圖8所示為病灶質(zhì)心點與CT圖像器官輪廓質(zhì)心點在CT圖像中的位置，表3所示為部分圖像器官輪廓質(zhì)心點坐標(biāo)。

圖6 Sobel算子邊緣提取結(jié)果

圖7 CT圖像器官輪廓質(zhì)心點

圖8 質(zhì)心點位置圖

表3 多例圖片名稱對應(yīng)的圖像質(zhì)心點

基于兩個質(zhì)心點建立極坐標(biāo)系，如圖9所示為建立的極徑極角圖，根據(jù)肝臟分區(qū)標(biāo)準(zhǔn)信息，可以得到各區(qū)域圖像數(shù)量以及極徑極角范圍。本研究使用秩和檢驗方法對不同區(qū)域的極徑和極角進(jìn)行統(tǒng)計學(xué)意義的研究，表4所示為肝包蟲病CT圖像在各區(qū)域的極坐標(biāo)信息統(tǒng)計結(jié)果。

圖9 極徑極角圖

表4 CT圖像在各區(qū)域的極坐標(biāo)信息統(tǒng)計結(jié)果

本研究對測試集中的數(shù)據(jù)使用秩和檢驗方法統(tǒng)計得到了表4所示的單囊型和多囊型肝包蟲病的極徑和極角信息在肝臟分區(qū)中的統(tǒng)計分析結(jié)果，從表4可知，H=402.25，P＜0.001，四個區(qū)域的極角之間具有顯著性差異，四個區(qū)域的極角大小不全相同；H=39.69，P＜0.001，四個區(qū)域的極徑之間具有顯著性差異，四個區(qū)域的極徑大小不全相同。

2.3 統(tǒng)計肝包蟲病常發(fā)位置

基于肝包蟲病CT圖像在各區(qū)域的極徑極角范圍，可以得到單囊型和多囊型肝包蟲病CT圖像在各區(qū)域的數(shù)量，從而可以得到肝包蟲病在各區(qū)域的百分比。根據(jù)在各區(qū)域占比大小可以得出肝包蟲病在肝臟區(qū)域常發(fā)位置。表5所示為肝包蟲病CT圖像各區(qū)域數(shù)量一般統(tǒng)計結(jié)果，表6所示為肝包蟲病CT圖像各區(qū)域百分比統(tǒng)計結(jié)果。

表5 肝包蟲病CT圖像各區(qū)域數(shù)量一般統(tǒng)計結(jié)果[n（%）]

表6 肝包蟲病CT圖像各區(qū)域占比統(tǒng)計結(jié)果

本研究使用卡方檢驗方法對得到的極坐標(biāo)進(jìn)行統(tǒng)計，得出表5所示的單囊型和多囊型肝包蟲病CT圖像在肝臟各區(qū)域的數(shù)量，由表5可知，單囊型肝包蟲病在Ⅱ區(qū)、Ⅴ區(qū)/Ⅷ區(qū)的數(shù)量多于多囊型肝包蟲病，而多囊型肝包蟲病在Ⅳ區(qū)、Ⅵ/Ⅶ區(qū)的數(shù)量多于單囊型肝包蟲病?；诒?統(tǒng)計結(jié)果，本文使用卡方檢驗方法得到表6所示的單囊型和多囊型肝包蟲病CT圖像在肝臟各個區(qū)域的占比，由表6可知，χ2=20.896，P＜0.001，差異有統(tǒng)計學(xué)意義，單囊型和多囊型肝包蟲病在肝臟各個區(qū)域的占比不全相同。經(jīng)過兩兩比較后，單囊型肝包蟲病在Ⅳ區(qū)和Ⅴ/Ⅷ區(qū)、Ⅴ/Ⅷ區(qū)和Ⅵ/Ⅶ區(qū)的占比有差異，在Ⅱ區(qū)和Ⅳ區(qū)、Ⅴ/Ⅷ區(qū)、Ⅵ/Ⅶ區(qū)的占比無差異；多囊型肝包蟲病在Ⅳ區(qū)和Ⅴ/Ⅷ區(qū)、Ⅴ/Ⅷ區(qū)和Ⅵ/Ⅶ區(qū)的占比有差異，在Ⅱ區(qū)和Ⅳ區(qū)、Ⅴ/Ⅷ區(qū)、Ⅵ/Ⅶ區(qū)的占比無差異，且單囊型和多囊型肝包蟲病在肝臟的Ⅳ區(qū)占比較高，Ⅵ/Ⅶ區(qū)次之。又由于單囊型肝包蟲病囊壁發(fā)生破裂后，會逐步增長為多囊型肝包蟲病，因此在單囊型肝包蟲病囊壁無破裂的情況下，單囊型和多囊型肝包蟲病常發(fā)病位置分別在肝臟的Ⅳ區(qū)、Ⅵ/Ⅶ區(qū)，Ⅴ區(qū)/Ⅷ區(qū)次之，在單囊型肝包蟲病破裂的情況下，肝包蟲病的常發(fā)位置主要在Ⅳ區(qū)、Ⅵ/Ⅶ區(qū)。

3 討論

本研究使用Faster RCNN模型和SCP方法統(tǒng)計肝包蟲病在肝臟區(qū)域常發(fā)病位置，基于ResNet101的目標(biāo)檢測模型對肝包蟲病病灶的檢測準(zhǔn)確率達(dá)到了89.6%，說明該模型能夠有效地檢測出病灶從而可以得到病灶的質(zhì)心點坐標(biāo)；然后使用SCP方法統(tǒng)計出肝包蟲病常發(fā)病位置主要發(fā)生在肝臟的Ⅳ區(qū)、Ⅵ/Ⅶ區(qū)。一些學(xué)者在目標(biāo)定位方面使用邊緣檢測、目標(biāo)檢測等方法來確定目標(biāo)位置，然而這些研究方法存在一些問題，如耗費(fèi)時間、計算量大、定位結(jié)果有誤差等，因此，以往的研究方法對目標(biāo)位置的定位具有一定的局限性。本研究將目標(biāo)檢測方法和極坐標(biāo)系相結(jié)合來確定病灶的發(fā)病位置，相比于使用直角坐標(biāo)系中的坐標(biāo)點確定常發(fā)位置更具有可靠性。除此之外，該方法使用極徑和極角確定病灶常發(fā)病位置結(jié)果更加精確，并且具有統(tǒng)計學(xué)意義。因此，本文方法相比于前人的研究具有一定的創(chuàng)新性。

4 結(jié)論

本文將Faster RCNN網(wǎng)絡(luò)應(yīng)用于肝包蟲病CT圖像的目標(biāo)檢測，并使用SCP方法統(tǒng)計肝包蟲病在肝臟的發(fā)病位置，該方法可以輔助醫(yī)生診斷疾病，減少漏檢、錯檢的發(fā)生，同時能夠為醫(yī)生診斷提供導(dǎo)向，更高效地診斷疾病，做到早發(fā)現(xiàn)、早診斷、早治療。本研究使用基于ResNet101網(wǎng)絡(luò)的目標(biāo)檢測模型能夠較好地檢測肝包蟲病病灶，模型檢測準(zhǔn)確率達(dá)到了89.6%，并使用 SCP 方法統(tǒng)計出肝包蟲病常發(fā)位置在肝臟的Ⅳ區(qū)、Ⅵ區(qū)/Ⅶ區(qū)。然而該方法對肝包蟲病CT圖像器官輪廓的質(zhì)心點位置確定存在一定的偏差，本文后續(xù)將繼續(xù)研究對器官輪廓質(zhì)心點的精確位置定位，通過大量數(shù)據(jù)對CT圖像器官輪廓的質(zhì)心點進(jìn)行聚類，以求得精確的質(zhì)心點位置。除此之外，該方法具有一定的普適性，可以將肝包蟲病常發(fā)病位置估計方法應(yīng)用于其他疾病的研究，通過確定疾病常發(fā)病的位置，對早期發(fā)現(xiàn)疾病具有一定的臨床價值，即能減輕患者病痛，又能節(jié)省醫(yī)療資源。