基于Mask RCNN的橋小腦角區(qū)腦膜瘤與聽神經(jīng)瘤分類定位研究

劉 穎，陳靜聰，胡小洋，章浩偉

基于Mask RCNN的橋小腦角區(qū)腦膜瘤與聽神經(jīng)瘤分類定位研究

劉 穎*，陳靜聰，胡小洋，章浩偉

上海理工大學(xué) 醫(yī)療器械與食品學(xué)院，醫(yī)學(xué)影像工程研究所，上海 200093

由于人體橋小腦角區(qū)的腦膜瘤與聽神經(jīng)瘤在影像學(xué)的表現(xiàn)以及發(fā)病位置極其相似，所以臨床診斷極易發(fā)生誤診．針對(duì)此問題，本文應(yīng)用掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask RCNN）對(duì)兩類腫瘤進(jìn)行分類定位研究．首先采集89名腦膜瘤與218名聽神經(jīng)瘤患者的T1WI-SE序列的磁共振圖像，對(duì)其進(jìn)行預(yù)處理，再結(jié)合改進(jìn)的特征金字塔網(wǎng)絡(luò)（FPN）算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練．本文對(duì)比了三種不同的Mask RCNN主干網(wǎng)絡(luò)對(duì)兩者分類定位的效果．結(jié)果表明，結(jié)合改進(jìn)的FPN算法和ResNet101作為主干網(wǎng)絡(luò)的Mask RCNN分類定位模型能夠有效實(shí)現(xiàn)對(duì)兩類腫瘤的分類定位，精確率為0.918 2、召回率為0.856 9、特異性為0.876 2、均值平均精度（）為0.90．

掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask RCNN）；特征金字塔網(wǎng)絡(luò)（FPN）算法；分類定位；腦膜瘤；聽神經(jīng)瘤

引 言

顱內(nèi)腫瘤是一種常見的神經(jīng)外科疾病，多數(shù)由顱內(nèi)各組織病變引起．其中，腦膜瘤的發(fā)病率約占所有顱內(nèi)腫瘤的12.5%[1]；聽神經(jīng)瘤發(fā)病率約占顱內(nèi)腫瘤的7%~12%，占橋小腦角區(qū)（Cerebellopontine Angle，CPA）腫瘤的70%~80%[2]．

磁共振成像（Magnetic Resonance Imaging，MRI）因具有簡(jiǎn)單無創(chuàng)的特點(diǎn)，而被廣泛用于CPA腫瘤的醫(yī)學(xué)診斷和鑒別[3]．醫(yī)生大多依據(jù)聽神經(jīng)瘤會(huì)出現(xiàn)不同程度的聽道擴(kuò)大，磁共振圖像中1呈低信號(hào)、2呈混雜信號(hào)；而腦膜瘤會(huì)出現(xiàn)“腦膜尾征”，磁共振圖像中1呈等信號(hào)、2呈略高信號(hào)的特點(diǎn)；再結(jié)合臨床經(jīng)驗(yàn)來鑒別兩類腫瘤[4]．在腦部腫瘤的定位領(lǐng)域中，室間孔旁經(jīng)常會(huì)出現(xiàn)腦脊液流動(dòng)偽影，對(duì)不明顯病灶的高信號(hào)可靠性分析造成影響．若僅靠醫(yī)生的經(jīng)驗(yàn)判斷，則人工干擾成分較大，甚至容易發(fā)生誤診．馬云濤等[5]通過對(duì)29例聽神經(jīng)瘤和7例腦膜瘤的磁共振影像特征進(jìn)行分析，得出腦膜瘤影像學(xué)表現(xiàn)與聽神經(jīng)無關(guān)，腦膜瘤患者內(nèi)聽道正常，且腦膜瘤多發(fā)于顳骨巖部后方進(jìn)內(nèi)聽道口，依此可與聽神經(jīng)瘤區(qū)分，但兩者仍易發(fā)生誤診．張敏等[6]收集并探討了80例CPA腫瘤患者的病情，發(fā)現(xiàn)MRI是鑒別診斷CPA腫瘤的最佳方式：腦膜瘤出現(xiàn)的磁共振影像特征包括幕上腦室積水、內(nèi)聽道擴(kuò)張、彌散加權(quán)成像（Diffusion Weighted Imaging，DWI）呈高信號(hào)、周圍蛛網(wǎng)膜下腔擴(kuò)張；聽神經(jīng)瘤出現(xiàn)的磁共振影像特征包括囊變、內(nèi)聽道擴(kuò)張等，可根據(jù)上述特征來區(qū)分兩者，但準(zhǔn)確率仍待提高．

目前，應(yīng)用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)對(duì)兩種腫瘤的定位鑒別的研究還尚少．徐楠楠等[7]發(fā)現(xiàn)支持向量機(jī)分類器（Support Vector Machine，SVM）能夠有效提取腦部紋理特征，并提出了一種基于SVM和非下采樣輪廓波變換（Nonsubsampled Contourlet，NSCT）的算法，可有效識(shí)別腦部腫瘤磁共振圖像，為醫(yī)生的鑒別診斷提供了良好的依據(jù)．Lavanyadevi等[8]首先用主成分分析法（Principal Component Analysis，PCA）完成磁共振圖像的預(yù)處理，然后應(yīng)用灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）提取腦部紋理特征信息，最后通過概率神經(jīng)網(wǎng)絡(luò)（Probabilistic Neural Network，PNN）實(shí)現(xiàn)對(duì)腦腫瘤的分類鑒別，結(jié)果表明雖然此方法能夠有效鑒別腦部腫瘤，但是圖像特征提取忽略了腫瘤邊界信息，所以鑒別準(zhǔn)確率仍然有待提高．Li等[9]提出了一種用于醫(yī)學(xué)圖像領(lǐng)域的自適應(yīng)框架，稱其為聚集卷積神經(jīng)網(wǎng)絡(luò)（Clustering Convolutional Neural Networks，CLU-CNNs），結(jié)合全卷積網(wǎng)絡(luò)（Fully Convolutional Networks，F(xiàn)CN）對(duì)醫(yī)學(xué)圖像病灶區(qū)域進(jìn)行識(shí)別檢測(cè)，結(jié)果表明檢測(cè)速率雖高達(dá)9.09幀/s，但是準(zhǔn)確率仍然有提升空間．Yang等[10]應(yīng)用協(xié)同訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對(duì)多參數(shù)前列腺磁共振影像進(jìn)行癌變區(qū)域的檢測(cè)，結(jié)果表明對(duì)于T2W檢測(cè)率為86.7%，表觀彌散系數(shù)（Apparent Diffusion Coefficient，ADC）檢測(cè)率為91.7%．Feldman等[11]應(yīng)用掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Mask Region Convolutional Neural Network，Mask RCNN），對(duì)目標(biāo)進(jìn)行分類、回歸以及分割任務(wù)，實(shí)現(xiàn)了對(duì)于前列腺癌的定位檢測(cè)，結(jié)果表明此方法對(duì)前列腺癌的整體檢測(cè)率為81%，相比醫(yī)生提高14%．

更快速的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Faster Region Convolutional Neural Network，F(xiàn)aster-RCNN）是一種可以對(duì)目標(biāo)進(jìn)行分類及回歸的檢測(cè)網(wǎng)絡(luò)，而Mask RCNN是Faster-RCNN的擴(kuò)展，添加了一個(gè)額外的掩膜（Mask）分支對(duì)目標(biāo)進(jìn)行并行預(yù)測(cè)，可實(shí)現(xiàn)對(duì)目標(biāo)的分類、回歸和分割，因具有高速、簡(jiǎn)單直觀、高準(zhǔn)確率（高分類準(zhǔn)確率、高實(shí)例分割準(zhǔn)確率、高定位檢測(cè)準(zhǔn)確率）等優(yōu)點(diǎn)，而被廣泛應(yīng)用于多個(gè)領(lǐng)域．歐攀等[12]利用實(shí)驗(yàn)證明，經(jīng)過大量數(shù)據(jù)訓(xùn)練的Mask RCNN網(wǎng)絡(luò)模型可以識(shí)別多類特征差異很大的目標(biāo)物體，且可以達(dá)到較高的準(zhǔn)確率，在目標(biāo)檢測(cè)領(lǐng)域有廣闊的應(yīng)用前景．張博等[13]提出了基于Mask RCNN的檢測(cè)與識(shí)別方法，成功應(yīng)用于觸摸屏玻璃疵病的檢測(cè)中，其準(zhǔn)確率高達(dá)96.7%．但此技術(shù)在醫(yī)學(xué)領(lǐng)域的應(yīng)用還尚少．

本文首先對(duì)共1 806張（腦膜瘤606張，聽神經(jīng)瘤1 200張）磁共振圖像進(jìn)行預(yù)處理，包括數(shù)據(jù)集的圖像處理、運(yùn)用圖像標(biāo)注工具—labelme對(duì)數(shù)據(jù)集進(jìn)行勾畫、制作數(shù)據(jù)集標(biāo)簽等；然后利用改進(jìn)的特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，其可將網(wǎng)絡(luò)底層到高層的特征融合起來，從而充分提取各個(gè)階段的特征值；再將Mask RCNN主干網(wǎng)絡(luò)分別設(shè)置為殘差神經(jīng)網(wǎng)絡(luò)（Residual Neural Network，ResNet）——ResNet101、ResNet50，以及視覺幾何群網(wǎng)絡(luò)（Visual Geometry Group Network，VGG）——VGG16，并進(jìn)行分類定位效果的對(duì)比；最后通過精確率（Precision）、召回率（Recall）、特異性（Specificity），以及均值平均精度（Mean Average Precision，）衡量模型的有效性．綜合評(píng)價(jià)上述模型對(duì)于腦膜瘤與聽神經(jīng)瘤的分類及定位效果，為臨床醫(yī)生的診斷提供更為可靠的依據(jù)．

1 實(shí)驗(yàn)部分

1.1 實(shí)驗(yàn)數(shù)據(jù)的來源

研究對(duì)象為經(jīng)過病例金標(biāo)準(zhǔn)驗(yàn)證后，并在上海市華山醫(yī)院申請(qǐng)頭部MRI掃描CPA腦膜瘤和聽神經(jīng)瘤患者．所有患者均簽訂了知情同意書，由于T1WI-SE（1-Weighted Spin-Echo）序列能夠更好地呈現(xiàn)病灶區(qū)域的特征，使其更易與周圍鄰近組織區(qū)分開，所以本文選用T1WI-SE增強(qiáng)掃描圖像作為影像數(shù)據(jù)．圖像采集設(shè)備為GE Signa HDxt 1.5T MRI掃描儀，掃描層厚為2 mm，重復(fù)時(shí)間（Repetition Time，）為580 ms，層間隔為2 mm，采集矩陣（Acquisition Matric）為256*256，回波時(shí)間（Echo Time，）為8 ms．經(jīng)過數(shù)據(jù)篩選后，保留79例腦膜瘤患者圖像共606張、196例聽神經(jīng)瘤患者圖像共1 200張，訓(xùn)練集、驗(yàn)證集與測(cè)試集的比例為6:2:2．采用精確率、召回率、特異性以及四個(gè)指標(biāo)對(duì)模型性能進(jìn)行評(píng)估．實(shí)驗(yàn)編譯環(huán)境為Python 3.6，操作系統(tǒng)為ubuntu 16.04 LTS，硬件環(huán)境為Intel(R)Core(TM)i5-6500 CPU，內(nèi)存為8.0 G．

1.2 實(shí)驗(yàn)流程

首先對(duì)原始數(shù)據(jù)集進(jìn)行篩選，剔除不包含腫瘤的影像數(shù)據(jù)并對(duì)其進(jìn)行病例編號(hào)；然后將DICOM圖片轉(zhuǎn)化為JPG格式；運(yùn)用圖像標(biāo)準(zhǔn)工具——labelme對(duì)病灶區(qū)域進(jìn)行勾畫，記錄下坐標(biāo)數(shù)據(jù)，生成json文件，再將json文件轉(zhuǎn)化為coco數(shù)據(jù)集輸入分類定位網(wǎng)絡(luò)中；最后，實(shí)驗(yàn)對(duì)比了FPN+ResNet101、FPN+ResNet50、FPN+VGG16模型的分類定位效果，并使用精確率、召回率、特異性以及對(duì)模型進(jìn)行評(píng)估，實(shí)驗(yàn)流程如圖1所示．

1.3 數(shù)據(jù)預(yù)處理

第一步：對(duì)比度受限的自適應(yīng)直方圖均衡化（Contrast Limited Adaptive Histogram Equalization，CLAHE）算法預(yù)處理

經(jīng)過CLAHE算法預(yù)處理的圖片，其局部細(xì)節(jié)更加清晰、腫瘤病灶區(qū)域信息更加明顯、灰度范圍得到擴(kuò)展、圖像更加平滑且噪聲減少，能夠提高神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的準(zhǔn)確率[14]．這是因?yàn)镃LAHE算法對(duì)噪聲敏感程度最小，噪聲在此算法中增強(qiáng)幅度較小，因而能增強(qiáng)圖像對(duì)比度[15]．因此本文采用了CLAHE算法對(duì)原始數(shù)據(jù)集進(jìn)行處理，處理前后的磁共振圖像及其灰度直方圖的對(duì)比如圖2和圖3所示．

圖1 本文實(shí)驗(yàn)流程

圖2 原始圖像與預(yù)處理后圖像的對(duì)比.(a)原始圖像；(b) CLAHE算法預(yù)處理圖像

圖3 原始圖像與預(yù)處理圖像灰度直方圖的對(duì)比. (a)原始圖像的灰度直方圖；(b) CLAHE算法預(yù)處理后圖像的灰度直方圖

第二步：制作包含腫瘤位置信息的json文件

運(yùn)用labelme對(duì)預(yù)處理后的數(shù)據(jù)集進(jìn)行勾畫，然后記腦膜瘤標(biāo)簽為meningioma,聽神經(jīng)瘤標(biāo)簽為acoustic neuroma．勾畫完成后，對(duì)于生成的json文件再進(jìn)行格式轉(zhuǎn)化，生成coco數(shù)據(jù)集．勾畫結(jié)果如圖4所示．

圖4 數(shù)據(jù)集勾畫結(jié)果. (a)腦膜瘤；(b)聽神經(jīng)瘤

1.4 基于改進(jìn)FPN算法的Mask RCNN分類定位模型

1.4.1 Mask RCNN模型與FPN算法

Mask RCNN模型首先提取輸入圖片的特征圖，同時(shí)經(jīng)過區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）產(chǎn)生兩個(gè)輸出，分別是anchor類別（判斷為前景或背景）以及邊框精調(diào)結(jié)果（使邊界框能更好地?cái)M合目標(biāo)）；然后經(jīng)過感興趣區(qū)域特征聚集（Region of Interest Align，ROI Align）層，即感興趣區(qū)域池化（ROI Pooling）的改進(jìn)，從源頭上解決了ROI Pooling的局限性，取消了量化操作，保留了像素值的浮點(diǎn)數(shù)坐標(biāo)，并應(yīng)用雙線性插值解決了在實(shí)例分割中掩膜無法對(duì)齊的問題，進(jìn)一步改善了掩膜質(zhì)量．其實(shí)現(xiàn)步驟如下所示：第一步，遍歷每個(gè)候選區(qū)域，并且保證像素邊界的浮點(diǎn)值，不對(duì)其進(jìn)行量化處理．第二步，將候選區(qū)域劃分子區(qū)域，其邊界也不做量化處理．第三步，每個(gè)子區(qū)域中包含4個(gè)采樣點(diǎn)（每個(gè)采樣點(diǎn)的位置為將子區(qū)域平均分配為4個(gè)小矩形后的中心點(diǎn)），用雙線性內(nèi)插值的方法計(jì)算出這4個(gè)點(diǎn)的值，然后進(jìn)行最大池化操作[16]；最后經(jīng)過掩膜分支，以及ROI分類器與邊界框回歸器，產(chǎn)生3個(gè)輸出，分別是目標(biāo)的具體類別、更加精確的邊框精調(diào)結(jié)果，以及掩膜圖像．Mask RCNN的網(wǎng)絡(luò)結(jié)構(gòu)具體如圖5所示[17]．

圖5 Mask RCNN的網(wǎng)絡(luò)結(jié)構(gòu)圖

FPN算法不僅解決了如何處理大范圍尺度變化物體的問題，而且能夠使Faster-RCNN中RPN網(wǎng)絡(luò)的召回率提高8%，coco數(shù)據(jù)集的檢測(cè)性能提升2.3%[18]．FPN算法包含兩部分：第一部分簡(jiǎn)述為自底向上的過程，與普通的CNN網(wǎng)絡(luò)沒有區(qū)別；第二部分為自頂向下的過程，而此過程中最重要的部分即是側(cè)向連接，通過上采樣的方式不僅能夠很好地利用高層的語義特征（益于分類），而且能結(jié)合底層的高分辨率細(xì)節(jié)特征（益于定位），使得高級(jí)特征與低級(jí)特征相互融合，提高了檢測(cè)的準(zhǔn)確率．FPN算法的原理如圖6所示．

圖6 FPN算法的結(jié)構(gòu)圖

1.4.2 腦膜瘤與聽神經(jīng)瘤的分類定位模型

任之俊等[19]提出了一種改進(jìn)的FPN算法，并在coco數(shù)據(jù)集上得以驗(yàn)證，改進(jìn)后的在目標(biāo)預(yù)測(cè)區(qū)域與實(shí)際區(qū)域之間的重疊度，即交并比（Intersection Over Union，IOU）閾值為0.75時(shí)的提高更加顯著，檢測(cè)準(zhǔn)確率提高3.9%．為了進(jìn)一步提高檢測(cè)準(zhǔn)確率，本文基于FPN算法建立了腦膜瘤與聽神經(jīng)瘤分類定位模型，根據(jù)文獻(xiàn)[20]得到了改進(jìn)FPN的思路，添加了一個(gè)自下而上的反向側(cè)面連接，進(jìn)一步對(duì)模型進(jìn)行了完善，總體框架如圖7所示．首先輸入經(jīng)過預(yù)處理的磁共振圖像（訓(xùn)練集中輸入腦膜瘤361張，聽神經(jīng)瘤723張）；然后將添加反向側(cè)面連接的FPN算法應(yīng)用至主干網(wǎng)絡(luò)ResNet101中，然后由RPN層評(píng)估目標(biāo)候選框的百分?jǐn)?shù)，保留最高值并輸出；最后利用雙線性插值進(jìn)一步精調(diào)候目標(biāo)選框、輸出目標(biāo)掩膜圖像和目標(biāo)類別．

此外，圖7檢測(cè)網(wǎng)絡(luò)框架中損失函數(shù)采用的為多任務(wù)損失函數(shù)，如(1)式所示：

代表分類損失，代表回歸損失，代表掩膜損失，代表分類種類個(gè)數(shù)，代表目標(biāo)框個(gè)數(shù)，代表掩膜個(gè)數(shù)，i為小批量中anchor的一個(gè)索引，系數(shù)取值為1，向量代表的是目標(biāo)框預(yù)測(cè)的偏移量，向量代表的是目標(biāo)框相對(duì)于真實(shí)標(biāo)簽（Ground Truth，GT）的實(shí)際偏移量．代表的是目標(biāo)預(yù)測(cè)的概率值．代表若目標(biāo)框內(nèi)物體為正例，則值為1；目標(biāo)框內(nèi)物體為負(fù)例，則值為0．代表的是物體被預(yù)測(cè)為目標(biāo)的置信度．

分類損失計(jì)算如(2)式所示：

回歸損失計(jì)算如(3)式所示：

網(wǎng)絡(luò)中的掩膜分支對(duì)于每個(gè)ROI的輸出為m2（個(gè)分辨率為*的二值掩膜，其中為分類種類數(shù)目），然后對(duì)其每個(gè)像素點(diǎn)均利用sigmoid函數(shù)，將平均二值交叉損失熵定義為整體損失值，掩膜損失計(jì)算如(5)式所示：

2 實(shí)驗(yàn)結(jié)果

2.1 勾畫范圍擴(kuò)大前與擴(kuò)大后的對(duì)比結(jié)果

數(shù)據(jù)集經(jīng)過預(yù)處理后，在進(jìn)行coco數(shù)據(jù)集制作中，我們發(fā)現(xiàn)目標(biāo)的勾畫范圍對(duì)于最終輸出的掩膜質(zhì)量有所影響．如圖8所示，若擴(kuò)大數(shù)據(jù)集的勾畫范圍，則測(cè)試腫瘤的定位效果更佳、腫瘤邊界更清晰、病灶區(qū)域包裹更完善、目標(biāo)擬合更完善．而勾畫范圍擴(kuò)大前的數(shù)據(jù)集測(cè)試結(jié)果顯示腫瘤定位區(qū)域未包裹完善、邊界信息欠缺、目標(biāo)框以及掩膜均未更佳地?cái)M合目標(biāo)物．

2.2 主干網(wǎng)絡(luò)ResNet101、ResNet50以及VGG16的對(duì)比

在三種不同的主干網(wǎng)絡(luò)模型驗(yàn)證集的損失曲線[圖9(a)]中，訓(xùn)練設(shè)定為10輪，每一輪訓(xùn)練經(jīng)過100次迭代中．ResNet101作為主干網(wǎng)絡(luò)最為穩(wěn)定，收斂效果最好；ResNet50作為主干網(wǎng)絡(luò)，其損失曲線下降不平緩，收斂不穩(wěn)定；VGG16作為主干網(wǎng)絡(luò)，其損失曲線下降緩慢且收斂值相對(duì)于其他兩種主干網(wǎng)絡(luò)較大，收斂不佳．并且從模型對(duì)于腦膜瘤以及聽神經(jīng)瘤的預(yù)測(cè)結(jié)果[圖9(b)]中，也可以看出FPN+ResNet101輸出的目標(biāo)掩膜圖像質(zhì)量最佳，腫瘤邊界信息清晰，定位準(zhǔn)確，而其他兩種主干網(wǎng)絡(luò)模型輸出的目標(biāo)框以及掩膜均未更好地?cái)M合目標(biāo)物，包含的信息不完善．這證明應(yīng)用添加了反向側(cè)面連接的FPN算法結(jié)合ResNet101建立的腦膜瘤與聽神經(jīng)瘤分類定位模型能夠?qū)崿F(xiàn)對(duì)兩類腫瘤的有效判別以及準(zhǔn)確定位，從而可以為臨床醫(yī)生的診斷提供可靠的依據(jù)．

圖8 調(diào)整勾畫范圍前后的結(jié)果對(duì)比

圖9 各主干網(wǎng)絡(luò)的(a)驗(yàn)證集模型損失曲線和(b)輸出的目標(biāo)掩膜圖像

2.3 評(píng)估模型

物體檢測(cè)過程中會(huì)產(chǎn)生多個(gè)目標(biāo)框，Mask RCNN中采取非極大值抑制（Non-Maximum Suppression，NMS）的方法清除多余的目標(biāo)框[21]．經(jīng)實(shí)驗(yàn)效果論證，本文中將設(shè)為0.5，即當(dāng)0.5<<1時(shí)，視為檢測(cè)正確，保留目標(biāo)框；反之為檢測(cè)錯(cuò)誤．其計(jì)算原理如圖10所示，其中A與B分別表示檢測(cè)過程中產(chǎn)生的目標(biāo)框以及原標(biāo)記框．

為了驗(yàn)整本文研究提出的模型有效性，將未經(jīng)訓(xùn)練的121張腦膜瘤以及240張聽神經(jīng)瘤圖像輸入模型中進(jìn)行測(cè)試（設(shè)定腦膜瘤為正樣本，聽神經(jīng)瘤為負(fù)樣本），并用精確率（Precision）、召回率（Recall）、特異性（Specificity）以及對(duì)其進(jìn)行評(píng)價(jià)．精確率、召回率、特異性以及的計(jì)算如(6)~(9)所示：

其中，代表樣本為正，檢測(cè)結(jié)果也為正；代表樣本為負(fù)，檢測(cè)結(jié)果為正；代表樣本為負(fù)，檢測(cè)結(jié)果也為負(fù)；代表樣本為正，檢測(cè)結(jié)果為負(fù)．代表一個(gè)類別的平均精度，即為測(cè)試集中所有圖像對(duì)于此類別的精度之和與包含此類目標(biāo)的所有圖像數(shù)量的比值．代表所有類別的平均精度求和與類別數(shù)量的比值．表1為三類模型的評(píng)價(jià)指標(biāo)比較．

表1 三類模型評(píng)價(jià)指標(biāo)對(duì)比

由表1數(shù)據(jù)綜合得知本文提出的基于添加了反向側(cè)面連接的FPN算法與ResNet101作為主干網(wǎng)絡(luò)的Mask RCNN模型對(duì)腦膜瘤與聽神經(jīng)瘤的分類定位效果最好，性能最穩(wěn)定，能有效輔助臨床診斷．

3 結(jié)論與展望

臨床上腦膜瘤與聽神經(jīng)瘤的鑒別一直以來都是依靠醫(yī)生人工閱片結(jié)合經(jīng)驗(yàn)判斷，但是人工干擾成分大，容易發(fā)生誤診，且定位病灶區(qū)域時(shí)可能與腦脊液運(yùn)動(dòng)偽影混淆．基于此，本文應(yīng)用深度學(xué)習(xí)方法結(jié)合改進(jìn)的FPN算法構(gòu)建了一個(gè)能自動(dòng)區(qū)分兩類腫瘤且精確定位的Mask RCNN模型，效果顯著，能較好地輔助臨床醫(yī)生進(jìn)行診斷．

實(shí)驗(yàn)首先對(duì)比了數(shù)據(jù)集的勾畫范圍對(duì)模型的定位效果產(chǎn)生的影響，結(jié)果表明勾畫范圍擴(kuò)大后能包含病灶區(qū)域中更廣泛的圖像像素特征信息，使定位邊界清晰，掩膜質(zhì)量更佳．然后對(duì)比了三類主干網(wǎng)絡(luò)結(jié)合添加了反向側(cè)面連接的改進(jìn)FPN算法所建立的Mask RCNN分類定位模型的效果，結(jié)果表明ResNet101作為主干網(wǎng)絡(luò)，分類定位模型的損失曲線更為穩(wěn)定，收斂更佳，可達(dá)全局較優(yōu)解；而且改進(jìn)FPN+ResNet101分類定位模型效果最好：精確率為0.918 2、召回率為0.856 9、特異性為0.876 2、為0.90．但該模型對(duì)聽神經(jīng)瘤的識(shí)別定位效果稍高于腦膜瘤，考慮可能是樣本數(shù)據(jù)量的原因（聽神經(jīng)瘤圖像總量約為腦膜瘤的兩倍）．后續(xù)研究中，若能夠不斷擴(kuò)大樣本量，完善實(shí)驗(yàn)的不足，則可以一定程度提高檢測(cè)模型的精確率[22]，使其能更好的應(yīng)用至臨床領(lǐng)域．

利益沖突

無

[1] NIU L, ZHOU X M, DUAN C F, et al. Differentiation researches on the meningioma subtypes by radiomics from contrast enhanced MRI, a preliminary study[J]. World Neurosurg, 2019, 126: e646-e652.

[2] YE D S, XU S H, HUANG Y C, et al.MRI diagnostic value of cerebellopontine angle tumors[J].Chinese and Foreign Medical Research, 2017, 15(1): 50-51. 葉德湫, 許淑惠, 黃永礎(chǔ), 等. 橋小腦角區(qū)腫瘤的MRI診斷價(jià)值[J]. 中外醫(yī)學(xué)研究, 2017, 15(1): 50-51.

[3] MA Y, GUO H, WANG Q S, et al. Correlations between morphological characteristics and expression levels of specific molecular biomarkers in glioblastoma[J]. Chinese J Magn Reson, 2018, 35(1): 22-30. 馬蕓, 郭虹, 王秋實(shí), 等. 基于影像的形態(tài)學(xué)特征與膠質(zhì)母細(xì)胞瘤特征分子表達(dá)的相關(guān)性研究[J]. 波譜學(xué)雜志, 2018, 35(1): 22-30.

[4] ZHANG Q. CT and MRI imaging analysis of occupying lesions in the cerebellar horn region[J]. Journal of Medical Imaging, 2019, 29(6): 913-916. 張芹. 橋小腦角區(qū)占位性病變CT和MRI影像學(xué)分析[J]. 醫(yī)學(xué)影像學(xué)雜志, 2019, 29(6): 913-916.

[5] MA Y T, CHEN X Y, TIAN G S, et al. MRI characteristics of space-occupying lesions in the cerebellopontine angle region[J]. Chinese Clinical Research, 2017, 30(6): 838-840. 馬云濤, 陳秀艷, 田貴森, 等. 橋小腦角區(qū)占位性病變核磁共振影像學(xué)特征[J]. 中國臨床研究, 2017, 30(6): 838-840.

[6] ZHANG M, ZHANG H Q. The application of MRI in the diagnosis of cerebellopontine angle tumor patients and its clinical value analysis[J]. China Medical Innovation, 2018, 15(34): 25-29. 張敏, 張海青. MRI在橋小腦角區(qū)腫瘤患者病情診斷中的應(yīng)用及其臨床價(jià)值分析[J]. 中國醫(yī)學(xué)創(chuàng)新, 2018, 15(34): 25-29.

[7] XU N N, GE Y R, WANG J Y. Medical image recognition of brain MRI based on NSCT and SVM[J]. Modern Electronic Technology, 2014, 37(12): 63-66+69. 徐楠楠, 葛玉榮, 王佳奕. 基于NSCT和SVM的腦MRI醫(yī)學(xué)圖像識(shí)別[J]. 現(xiàn)代電子技術(shù), 2014, 37(12): 63-66+69.

[8] LAVANYADEVI R, MACHAKOWSALYA M, NIVETHITHA J, et al. Brain tumor classification and segmentation in MRI images using PNN[C]. IEEE International Conference on Electrical. IEEE, 2017.

[9] LI Z N, DONG M H, WEN S P, et al. CLU-CNNs: Object detection for medical images[J]. Neurocomputing, 2019, 350: 53-59.

[10] YANG X, LIU C Y, WANG Z W, et al. Co-trained convolutional neural networks for automated detection of prostate cancer in multi-parametric MRI[J]. Med Image Anal, 2017, 42: 212-227.

[11] FELDMAN A M, DAI Z, CARVER E, et al. Utilizing a deep learning-based object detection and instance segmentation algorithm for the delineation of prostate and prostate cancer segmentation[J]. Int J Radiat Oncol, 2019, 105(1): S197-S198.

[12] OU P, LU K, ZHANG Z, et al. Object recognition and spatial localization based on Mask RCNN[J]. Computer Measurement & Control, 2019, 27(6): 172-176. 歐攀, 路奎, 張正, 等. 基于Mask RCNN的目標(biāo)識(shí)別與空間定位[J]. 計(jì)算機(jī)測(cè)量與控制, 2019, 27(6): 172-176.

[13] ZHANG B, ZHOU J, WANG F, et al. Detection and recognition of touch screen glass defects based on Mask R-CNN[J]. Software Guide, 2019, 18(2): 64-67, 71. 張博, 周軍, 王芳, 等. 基于Mask R-CNN的觸摸屏玻璃疵病檢測(cè)與識(shí)別[J]. 軟件導(dǎo)刊, 2019, 18(2): 64-67, 71.

[14] WANG F, LU J D, SHEN G R, et al. Image segmentation of green apple based on CLAHE and open-close operation[J]. Computer Measurement and Control, 2017, 25 (2): 141-145. 王帆, 呂繼東, 申根榮, 等. 基于CLAHE和開閉運(yùn)算的綠色蘋果圖像分割[J]. 計(jì)算機(jī)測(cè)量與控制, 2017, 25(2): 141-145.

[15] LI L, LI W J, WU Y Z. Underwater image enhancement algorithm based on red dark channel prior theory and CLAHE algorithm[J]. China Ship Research, 2019, 14(S1): 175-182. 李煉, 李維嘉, 吳耀中. 基于紅色暗通道先驗(yàn)理論與CLAHE算法的水下圖像增強(qiáng)算法[J]. 中國艦船研究, 2019, 14(S1): 175-182.

[16] BAI T, PANG Y, WANG J C, et al. An optimized faster R-CNN method based on DRNet and ROI align for building detection in remote sensing images[J]. Remote Sens, 2020, 12(5): 762.

[17] HE K M, GKIOXARI G, DOLLáR P, et al. Mask R-CNN[C]. Proceedings of the IEEE international conference on computer vision. 2017: 2961-2969.

[18] MALHOTR K R, DAVOUDI A, SIEGEL S, et al. Autonomous detection of disruptions in the intensive care unit using deep mask R-CNN[C]. IEEE/CVF Conference on Computer Vision & Pattern Recognition Workshops. IEEE Computer Society, 2018.

[19] REN Z J, YUN S Z, LI D W, et al. Mask R-CNN target detection method based on improved feature pyramid[J]. Laser & Optoelectronics Progress, 2019, 56(4): 174-179. 任之俊, 藺素珍, 李大威, 等. 基于改進(jìn)特征金字塔的Mask R-CNN目標(biāo)檢測(cè)方法[J]. 激光與光電子學(xué)進(jìn)展, 2019, 56(4): 174-179.

[20] CHANG S, ZHANG F, HUANG S, et al. Siamese feature pyramid network for visual tracking[C]. 2019 IEEE/CIC International Conference on Communications Workshops in China (ICCC Workshops). IEEE, 2019.

[21] 黃澤桑. 基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)研究[D]. 北京: 北京郵電大學(xué), 2019.

[22] WANG H Z, ZHAO D, YANG L Q, et al. An approach for training data enrichment and batch labeling in AI+MRI aided diagnosis[J]. Chinese J Magn Reson, 2018, 35(4): 50-59.汪紅志, 趙地, 楊麗琴, 等. 基于AI+MRI的影像診斷的樣本增廣與批量標(biāo)注方法[J]. 波譜學(xué)雜志, 2018, 35(4): 50-59.

Classification and Localization of Meningioma and Acoustic Neuroma in Cerebellopontine Angle Based on Mask RCNN

*，，，

Institute of Medical Imaging Engineering, School of Medical Instrument and Food Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China

Differential diagnosis of meningioma and acoustic neuroma can be difficult because these two tumors have similar locations and appearances on medical images. To address this problem, mask region convolutional neural network (Mask RCNN) was used to classify and diagnose those two types of tumors. First, magnetic resonance images acquired with1-weighted spin-echo (T1WI-SE) sequence of 89 meningioma and 218 acoustic neuroma patients were collected and preprocessed. Then the improved feature pyramid networks (FPN) algorithm was used for model network training. The effects of three different backbone feature extraction layers on classification and location were compared. It was demonstrated that Mask RCNN model with improved FPN and ResNet101 as backbone network is able to effectively classify and locate meningioma and acoustic neuroma, the values of precision, recall, specificity, and mean average precision () are 0.918 2, 0.856 9, 0.876 2, and 0.90, respectively.

Mask RCNN, FPN algorithm, classification and localization, meningioma, acoustic neuroma

R739.41; O482.53

A

10.11938/cjmr20202825

2020-04-04;

2020-05-22

微創(chuàng)勵(lì)志創(chuàng)新基金資助項(xiàng)目(182702156).

* Tel: 18602168660, E-mail: ling2431@163.com.