基于Mask R-CNN的胃腸息肉圖像增強(qiáng)檢測(cè)

胡一凡，肖滿生，范明凱，吳宇杰

(湖南工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，湖南 株洲 412007)

0 引 言

內(nèi)窺鏡檢查是耗費(fèi)精力的一個(gè)項(xiàng)目，息肉檢查通常也通過(guò)內(nèi)窺鏡實(shí)現(xiàn)，醫(yī)生人為的內(nèi)窺鏡檢查需要高度的手眼協(xié)調(diào)，耗費(fèi)時(shí)間與精力，通過(guò)計(jì)算機(jī)技術(shù)輔助并減輕人為負(fù)擔(dān)是一個(gè)發(fā)展的趨勢(shì)。近幾年深度學(xué)習(xí)技術(shù)給計(jì)算機(jī)輔助診斷帶來(lái)了新的契機(jī)，目前一些在通用檢測(cè)領(lǐng)域使用的深度學(xué)習(xí)模型，如：Faster R-CNN[1]、SSD[2]、YOLO[3]、RetinaNet[4]等，都在目標(biāo)檢測(cè)上有著優(yōu)良的表現(xiàn)，能夠很好地遷移到醫(yī)學(xué)領(lǐng)域。

目前，息肉圖像檢測(cè)的方法分為傳統(tǒng)圖像處理方法和深度學(xué)習(xí)方法。傳統(tǒng)的圖像處理方法需要對(duì)采集的息肉圖像做一定的預(yù)處理排除干擾，同時(shí)需要進(jìn)行手工特征提取以找出息肉特征，最后采用分類器進(jìn)行分類。傳統(tǒng)圖像處理中提取的特征通常有SIFT特征[5]、HOG特征[6]等，這些特征提取方法需要依靠人為的先驗(yàn)知識(shí)進(jìn)行設(shè)計(jì)，缺乏通用性，魯棒性差，難以實(shí)現(xiàn)方法的遷移以及端到端學(xué)習(xí)。深度學(xué)習(xí)方法目前是以CNN(卷積神經(jīng)網(wǎng)絡(luò))為基礎(chǔ)進(jìn)行拓展的目標(biāo)檢測(cè)網(wǎng)絡(luò)，深度學(xué)習(xí)的優(yōu)點(diǎn)在于不需要人工設(shè)計(jì)算法去提取圖像的特征，通過(guò)CNN多次卷積和池化能夠提取出圖像不同的特征，CNN的深度決定了能否提取更多的特征，目前在圖像的分類[7]、檢測(cè)[8]和分割[9]領(lǐng)域都有許多成熟的應(yīng)用。同時(shí)近年來(lái)出現(xiàn)的以Vision Transformer[10]為主的方法，將Transformer[11]從自然語(yǔ)言處理領(lǐng)域遷移到了計(jì)算機(jī)視覺(jué)領(lǐng)域，提出了一種新的檢測(cè)思路，具有代表性的檢測(cè)方法有DETR[12], 也是一種極具發(fā)展?jié)摿Φ哪繕?biāo)檢測(cè)模型。

在醫(yī)學(xué)息肉的目標(biāo)檢測(cè)方面，Mo X等人[13]使用了Faster R-CNN在內(nèi)窺鏡息肉數(shù)據(jù)集上進(jìn)行檢測(cè)，獲得了較高的精確度，實(shí)驗(yàn)結(jié)果對(duì)檢測(cè)中等和大面積的息肉效果較好，但是對(duì)小目標(biāo)息肉的檢測(cè)效果不佳，并且在對(duì)比度不高和含有鏡面反光的區(qū)域中也無(wú)法正確地識(shí)別息肉。Ohrenstein DC等[14]提出了一種SSD聯(lián)合GAN的檢測(cè)方法，GAN[15]用于提升數(shù)據(jù)集中小目標(biāo)的分辨率，在保證SSD檢測(cè)的速度上，提升了檢測(cè)小目標(biāo)息肉的精確度，但依舊有可提升的空間。王博等人[16]提出了一種改進(jìn)的M2det的內(nèi)窺鏡息肉檢測(cè)方法，使用了FFMs模塊融合主干網(wǎng)絡(luò)特征，充分利用了圖像特征，同時(shí)增加了scSENet注意力機(jī)制保留了有效特征，使得檢測(cè)效率優(yōu)于許多息肉檢測(cè)方法，但是模型對(duì)一些對(duì)比度低且形狀不規(guī)則的息肉圖像依然存在誤檢。Shen Zhiqiang等人[17]使用了一種COTR方法，將CNN和Transformer結(jié)合用于息肉檢測(cè)，該方法促進(jìn)了特征重建并且加速了模型的收斂，獲得了與CNN檢測(cè)相當(dāng)?shù)男阅?，但這種方法檢測(cè)固著性息肉時(shí)產(chǎn)生的置信度較低，可能會(huì)導(dǎo)致模型漏檢。

手術(shù)切除是根治粘液腺囊腫最傳統(tǒng)的方法，但手術(shù)治療只適應(yīng)囊腫與粘膜無(wú)粘連的患者。它的不足之處在于：切除囊腫對(duì)組織的創(chuàng)傷大，局部易形成疤痕，術(shù)中出血明顯止血困難；有些病變部位操作不便，術(shù)后易復(fù)發(fā)。并且，患者普遍對(duì)手術(shù)有恐懼心理，一般不愿接受。術(shù)后疼痛明顯，影響病人飲食、生活。所以目前不建議首選手術(shù)治療。

實(shí)驗(yàn)所需的藥材于2016年6月采于新疆伊寧，經(jīng)鑒定為車(chē)前屬(Plantago)植物巨車(chē)前(Plantago maxima Juss. ex Jacq.)，憑證標(biāo)本(TLM-201601)存放于塔里木大學(xué)生物資源保護(hù)利用兵團(tuán)重點(diǎn)實(shí)驗(yàn)室天然產(chǎn)物研究室。

依據(jù)上述的研究現(xiàn)狀，提出了一種基于Mask R-CNN胃腸息肉增強(qiáng)檢測(cè)方法。在Mask R-CNN的特征提取網(wǎng)絡(luò)上提出替換部分卷積采用可變形卷積從而自適應(yīng)特征采樣的范圍，模型之外提出了一種增強(qiáng)圖像邊緣強(qiáng)度的增強(qiáng)檢測(cè)模塊(CLAHE Enhanced Detection，CED)，通過(guò)滑動(dòng)窗口的方式對(duì)原圖進(jìn)行切分和對(duì)比度增強(qiáng)，有效地對(duì)息肉圖像中的中小目標(biāo)和不顯著目標(biāo)進(jìn)行檢測(cè)。

1 Mask R-CNN模型介紹

該文采用了Kvasir-SEG[27]數(shù)據(jù)集與CVC-ClinicDB[28]2個(gè)胃腸息肉圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。Kvasir-SEG數(shù)據(jù)集包含1 000張息肉類的原始圖像并提供分割掩碼圖片和邊界框標(biāo)簽，由經(jīng)驗(yàn)豐富的胃腸病學(xué)家手動(dòng)注釋和驗(yàn)證，適用于圖像逐像素分割與目標(biāo)檢測(cè)。CVC-ClinicDB是一個(gè)公開(kāi)的內(nèi)窺鏡圖像數(shù)據(jù)集，包含來(lái)自31個(gè)結(jié)腸鏡序列的612張分辨率為384×288的圖像，圖像提取來(lái)自結(jié)腸鏡息肉檢測(cè)視頻，并提供原圖和息肉相應(yīng)區(qū)域的掩碼信息，此數(shù)據(jù)集常用于醫(yī)學(xué)圖像分割，也是MICCAI 2015 Sub-Challenge on Automatic Polyp Detection Challenge in Colonoscopy Videos使用的官方數(shù)據(jù)集。

圖1 Mask R-CNN模型結(jié)構(gòu)

特征提取網(wǎng)絡(luò)主要使用CNN進(jìn)行多層的卷積獲取輸入圖像的特征圖。Mask R-CNN采用了ResNet(殘差網(wǎng)絡(luò))[22]和FPN(特征金字塔網(wǎng)絡(luò))[23]組成特征提取網(wǎng)絡(luò)，F(xiàn)PN能夠輸出不同尺度的特征，提供了多尺度的特征圖，ResNet具有更好的語(yǔ)義特征提取性能，能夠保證一定網(wǎng)絡(luò)深度的同時(shí)避免網(wǎng)絡(luò)退化，同時(shí)ResNet中Residual block(殘差塊)的簡(jiǎn)易結(jié)構(gòu)，使得ResNet能夠很好地與其他特征提取模塊結(jié)合。ResNet和FPN的模塊組合，使得模型在圖像中夠提取到更加豐富的特征，對(duì)各類目標(biāo)的檢測(cè)率都有提升。

文中Mask R-CNN使用了ResNet50作為特征提取網(wǎng)絡(luò)，ResNet50被分為5個(gè)部分，每個(gè)部分由多個(gè)不同通道數(shù)的Residual block疊加，如圖3所示。模型改進(jìn)使用可變形卷積來(lái)替換原網(wǎng)絡(luò)中的標(biāo)準(zhǔn)卷積，由于可變形卷積引入的偏移量ΔPn需要通過(guò)特征提取網(wǎng)絡(luò)反向傳播學(xué)習(xí)來(lái)確定，引入了一定的計(jì)算量，因而不適合將所有的標(biāo)準(zhǔn)卷積進(jìn)行替換，經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，最后將ResNet50中后三個(gè)卷積組中的標(biāo)準(zhǔn)卷積替換成可變形卷積能獲得比較好的效果。替換的可變形卷積增強(qiáng)了模型本身適應(yīng)尺度變換的能力，模型可以更好地提取圖像中目標(biāo)形狀的完整特征。

(4)將步驟(3)增強(qiáng)檢測(cè)的結(jié)果與步驟(1)初步檢測(cè)的結(jié)果融合，過(guò)濾檢測(cè)框重疊的結(jié)果，取置信度較高的檢測(cè)框，調(diào)整大小最后輸出增強(qiáng)檢測(cè)結(jié)果。

德國(guó)水兵俱樂(lè)部舊址1層門(mén)廳、大廳、走廊區(qū)域、3層?xùn)|北角房間遺存有德租時(shí)期鋪裝的釉面磚.門(mén)廳位置保存較完整，由于使用頻繁，部分磚材出現(xiàn)污跡、裂紋、失光以及缺失，對(duì)保存較好的地磚進(jìn)行溫水擦洗，清除表面污垢.

2 可變形卷積Mask R-CNN

直方圖均衡化是一種提升對(duì)比度的常用方法，通過(guò)灰度直方圖的分布得到映射曲線，再通過(guò)灰度概率分布實(shí)現(xiàn)圖像的空間映射。對(duì)于離散的一幅灰度圖像gray，計(jì)算圖像中灰度值為i的像素出現(xiàn)的概率有公式(3)，其中L是圖像所有的灰度數(shù)，N是圖像中所有的像素?cái)?shù)，ni為像素值為i的像素?cái)?shù)，計(jì)算所得Pgray(i)是像素值為i的圖像直方圖。將Pgray應(yīng)用于累積分布函數(shù)可得公式(4)，即為灰度圖像的累計(jì)歸一化直方圖。

二維卷積在特征圖上作用分兩步：(1)在輸入的特征圖上使用標(biāo)準(zhǔn)的網(wǎng)格R進(jìn)行采樣；(2)將采樣的結(jié)果乘上對(duì)應(yīng)的權(quán)重w并進(jìn)行求和。一個(gè)標(biāo)準(zhǔn)3×3的二維卷積如圖2(a)所示，網(wǎng)格R代表了二維卷積的采樣范圍，R為{(-1,-1),(-1,0),…,(0,1),(1,1)}，對(duì)于特征圖Y上每個(gè)位置P0，都由公式(1)表示，其中Pn對(duì)應(yīng)了二維卷積中R每一個(gè)位置?？勺冃尉矸e在公式(1)的基礎(chǔ)上增加了偏移量{ΔPn|n=1,2,…,N},且N=|R|,如公式(2)所示,原二維卷積的采樣范圍中增加了不規(guī)則的偏移ΔPn，隨著偏移量的取值和方向不同，使得二維卷積的采樣范圍隨給定的偏移量變化。

圖2 特征圖中二維卷積的采樣范圍(a)和可變形卷積的其中一種情況，通過(guò)引入偏移量ΔPn擴(kuò)大了采樣范圍(b)

(1)

(2)

RPN是由全卷積組成的網(wǎng)絡(luò)，它為圖像生成一系列目標(biāo)候選框，以便后續(xù)進(jìn)一步篩選，保證模型檢測(cè)精確度。RPN預(yù)先定義一系列的候選框，通過(guò)錨點(diǎn)滑動(dòng)窗口的方式，在特征圖的每一個(gè)區(qū)域上滑過(guò)，并由特征圖映射回原圖，在原圖上生成候選框，并判斷哪些候選框中包含目標(biāo)，這樣能較精準(zhǔn)地確定圖片中目標(biāo)的位置。RPN默認(rèn)定義了3種尺度的候選框，每一種尺度的候選框設(shè)置了3種比例，能夠生成9種不同比例尺度的候選框，能夠覆蓋到絕大多數(shù)的目標(biāo)。

圖3 ResNet50特征提取網(wǎng)絡(luò)(a)和替換了可變形卷積的ResNet50分別在后三個(gè)卷積組上使用了可變形卷積(b)

3 增強(qiáng)檢測(cè)模塊

3.1 對(duì)比度限制的自適應(yīng)直方圖均衡化(CLAHE)

一些胃腸息肉圖像中，檢測(cè)目標(biāo)與背景有極其相似的特征，這類目標(biāo)稱為不顯著目標(biāo)，目視檢測(cè)的方法很難察覺(jué)到這些特征，對(duì)于通用的目標(biāo)檢測(cè)模型而言檢測(cè)此類目標(biāo)也有一定的難度。因此采取調(diào)整對(duì)比度的方法增強(qiáng)不顯著目標(biāo)與背景的邊緣強(qiáng)度，擴(kuò)大不顯著目標(biāo)與背景的差異，能有效提高模型的檢測(cè)率。

可變形卷積(Deformable Convolution)[24]是應(yīng)用在特征提取網(wǎng)絡(luò)中的一種特殊卷積，它增加了CNN的幾何變換能力。通常CNN中卷積的結(jié)構(gòu)是固定的，卷積在圖像中滑動(dòng)采樣的過(guò)程中，受限于標(biāo)準(zhǔn)卷積的結(jié)構(gòu)，模型的特征提取范圍存在局限性，對(duì)未知目標(biāo)的變化適應(yīng)性差，泛化能力弱?？勺冃尉矸e在標(biāo)準(zhǔn)卷積的結(jié)構(gòu)上引入了偏移量來(lái)增加空間采樣范圍，在原卷積核的每一個(gè)元素上增加了一個(gè)方向參數(shù)，使得卷積核在模型訓(xùn)練時(shí)自適應(yīng)地?cái)U(kuò)大采樣范圍。

(3)

(4)

將公式(4)的直方圖運(yùn)用于RGB三個(gè)圖像通道上，可對(duì)彩色圖像進(jìn)行直方圖均衡化，能很好地提高圖像整體的對(duì)比度。

在直方圖均衡化的基礎(chǔ)上，CLAHE[25]是自適應(yīng)直方圖均衡方法上的改進(jìn)，CLAHE在應(yīng)用累積分布函數(shù)前對(duì)直方圖進(jìn)行了預(yù)定義值的裁剪，從而限制了高頻噪聲區(qū)域的局部信息增強(qiáng)，從而抑制噪聲。對(duì)息肉圖像而言，R通道的像素與彩色圖像原圖接近，所以使用CLAHE對(duì)圖像的G、B二通道進(jìn)行增強(qiáng)，使目標(biāo)的顏色發(fā)生一定偏移，從而減小息肉目標(biāo)與背景的相似度。圖4是使用CLAHE方法對(duì)部分息肉圖像的增強(qiáng)效果，對(duì)一些不顯著的息肉目標(biāo)可以起到很好的增強(qiáng)邊緣效果。

圖4 息肉數(shù)據(jù)集中原圖像(a)(b)和使用了CLAHE增強(qiáng)后的息肉圖像(c)(d)

3.2 增強(qiáng)邊緣強(qiáng)度的檢測(cè)模塊(CED)

(3)對(duì)切片的圖像采用雙線性插值進(jìn)行適當(dāng)上采樣，上采樣后的圖片進(jìn)行CLAHE增強(qiáng)后分別送入模型進(jìn)行增強(qiáng)檢測(cè)。

(5)

(6)

(7)

雙線性插值上采樣后像素的填充可能導(dǎo)致圖像的邊緣強(qiáng)度減弱，通過(guò)CLAHE提升對(duì)比度同時(shí)對(duì)圖像邊緣進(jìn)行增強(qiáng)，從而能夠使模型更好地檢測(cè)小目標(biāo)和不顯著目標(biāo)。綜上所述，增強(qiáng)檢測(cè)模塊的具體流程(見(jiàn)圖5)如下：

(1)檢測(cè)圖像先輸入Mask R-CNN模型進(jìn)行初步識(shí)別，得到部分檢測(cè)結(jié)果。

表1為不同施鉀肥處理對(duì)甜玉米苗期和抽穗期葉片數(shù)、株高、莖粗及SPAD值的影響。施用鉀肥明顯促進(jìn)了玉米苗期葉片數(shù)、株高、莖粗和SPAD值的增加，與不施鉀（NP）處理相比，增幅分別為10.8%～23.2%、19.2%～40.0%、21.7%～40.1%和 8.5%～26.1%，等施鉀量不同處理的葉片數(shù)沒(méi)有顯著差異。其他施鉀處理的株高和莖粗均顯著高于全部施用有機(jī)鉀處理（100%OF），增幅分別為 10.0%～17.5%和 10.4%～15.1%。有機(jī)無(wú)機(jī)鉀肥配合施用處理的SPAD值顯著高于100%OF處理。

(2)根據(jù)輸入圖像的大小，確定合適的滑動(dòng)窗口大小n，使用n×n的滑動(dòng)窗口對(duì)原圖像進(jìn)行切片操作。

總體來(lái)講,多重隨機(jī)森林加權(quán)大數(shù)投票對(duì)于動(dòng)態(tài)行為分類效果較好,分析原因是使用多組最佳參數(shù)組合使波動(dòng)誤差縮小,同時(shí)加權(quán)投票機(jī)制使最終決策更加穩(wěn)定。但是在實(shí)際的應(yīng)用中,隨著基分類器個(gè)數(shù)增多,模型訓(xùn)練及行為識(shí)別過(guò)程中時(shí)間消耗也會(huì)越多,應(yīng)當(dāng)根據(jù)實(shí)際場(chǎng)景去選擇基分類器的個(gè)數(shù)。

在目標(biāo)檢測(cè)任務(wù)中小目標(biāo)的檢測(cè)是一個(gè)難點(diǎn)[26]，目標(biāo)檢測(cè)的定義中小目標(biāo)是指像素面積小于32×32個(gè)像素點(diǎn)，難點(diǎn)在于小目標(biāo)所占的像素點(diǎn)非常少，傳統(tǒng)模型的檢測(cè)框通常針對(duì)中等目標(biāo)和大型目標(biāo)設(shè)計(jì)，無(wú)法很好地定位，且一些小目標(biāo)在圖像上的特征表現(xiàn)過(guò)于稀少且不顯著，檢測(cè)模型在定位的過(guò)程中很難判斷是目標(biāo)還是背景，導(dǎo)致檢測(cè)閾值過(guò)低而被模型過(guò)濾。針對(duì)這個(gè)問(wèn)題，在Mask R-CNN模型的基礎(chǔ)上提出了一種結(jié)合CLAHE的滑動(dòng)窗口增強(qiáng)檢測(cè)模塊，模型首先對(duì)圖像全局進(jìn)行檢測(cè)，找出中等、大型息肉，在此基礎(chǔ)上對(duì)圖像進(jìn)行滑動(dòng)切片操作，將圖像分成若干個(gè)區(qū)域，再對(duì)若干區(qū)域進(jìn)行雙線性插值。雙線性插值是一種圖像上采樣的方法，該方法通過(guò)圖像已知的像素點(diǎn)進(jìn)行插值計(jì)算確定出未知的像素點(diǎn)，目的是為了放大小目標(biāo)特征。圖像的雙線性插值操作如下：已知圖像中四個(gè)點(diǎn)的像素值f(P11),f(P12),f(P21),f(P22)和位置P11=(x1,y1),P12=(x1,y2),P21=(x2,y1),P22=(x2,y2)要計(jì)算上述四個(gè)點(diǎn)所包含的未知點(diǎn)Q(x,y)的像素值。首先通過(guò)公式(5)和公式(6)對(duì)Q的x方向進(jìn)行插值，算出與Q點(diǎn)在相同x坐標(biāo)下的Q1、Q2點(diǎn)的像素值，再通過(guò)公式(7)對(duì)Q的y方向進(jìn)行插值，即可算出Q點(diǎn)位置上的像素值。

ROIAlign是Mask R-CNN模型對(duì)ROIPooling結(jié)構(gòu)的改進(jìn)，RPN在特征圖上生成候選框后通過(guò)ROIPooling將對(duì)應(yīng)的候選框位置池化為固定大小的特征圖，再輸入后續(xù)的全連接層進(jìn)行目標(biāo)分類和邊框坐標(biāo)回歸，ROIPooling在池化操作中采取了取整的步驟，使得池化后的特征圖丟失了部分細(xì)節(jié)，對(duì)Mask R-CNN的分割操作有很大的影響，ROIAlign通過(guò)雙線性插值的方法算出特征圖對(duì)應(yīng)的像素值，避免了ROIPooling的取整步驟，優(yōu)化了模型結(jié)構(gòu)。

4 實(shí)驗(yàn)及結(jié)果

4.1 數(shù)據(jù)集

Mask R-CNN[18]是一個(gè)能進(jìn)行多任務(wù)的圖像檢測(cè)模型[19]，模型能同時(shí)進(jìn)行目標(biāo)檢測(cè)任務(wù)和實(shí)例分割[20]任務(wù)。Mask R-CNN主要部分由特征提取網(wǎng)絡(luò)、RPN(區(qū)域候選網(wǎng)絡(luò))、ROI Align和全連接網(wǎng)絡(luò)四個(gè)部分組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。Mask R-CNN從整體上可以看作為Faster R-CNN與FCN(全卷積網(wǎng)絡(luò))[21]的組合，模型先對(duì)圖像做目標(biāo)檢測(cè)，圖像經(jīng)過(guò)特征提取網(wǎng)絡(luò)進(jìn)行多尺度特征提取，并通過(guò)RPN確定目標(biāo)的種類和候選框，得到每個(gè)息肉的具體位置與特征圖，在此基礎(chǔ)上通過(guò)FCN執(zhí)行語(yǔ)義分割，使每一個(gè)檢測(cè)框內(nèi)對(duì)應(yīng)生成當(dāng)前類別的目標(biāo)分割結(jié)果。

4.2 數(shù)據(jù)預(yù)處理

Kvasir-SEG和CVC-ClinicDB數(shù)據(jù)集是從人體的腹腔中采集而來(lái)，腹腔中存在著大量粘液，在采集過(guò)程中由于光照會(huì)產(chǎn)生反光，反光現(xiàn)象一定程度上遮擋了圖像的部分特征，引入了過(guò)多噪聲。為了改善這種現(xiàn)象，使用了一種圖像去反光的算法[29]進(jìn)行預(yù)處理，對(duì)一些具有強(qiáng)烈反光影響的息肉圖像修復(fù)效果較好。該算法主要步驟是檢測(cè)息肉圖像中具有強(qiáng)烈反光的部分，然后計(jì)算周邊非反光部分的像素值，并將這些像素值進(jìn)行加權(quán)平均對(duì)反光部分進(jìn)行填充。

4.3 評(píng)價(jià)指標(biāo)

4.4 實(shí)驗(yàn)環(huán)境與訓(xùn)練過(guò)程

實(shí)驗(yàn)環(huán)境為Ubuntu20.04，Intel Xeon E5-2678 v3(6)@ 3.300 GHz，GPU NVIDIA RTX 2080Ti ，CUDA 10.2，深度學(xué)習(xí)框架為Pytorch，在Kvasir-SEG數(shù)據(jù)集上訓(xùn)練了4 800個(gè)迭代數(shù)，在CVC-ClinicDB數(shù)據(jù)集上訓(xùn)練了2 400個(gè)迭代數(shù)，初始學(xué)習(xí)率設(shè)為0.02，隨訓(xùn)練緩慢遞減。

改進(jìn)后Mask R-CNN模型在兩個(gè)數(shù)據(jù)集上訓(xùn)練情況曲線記錄在圖6，模型在兩個(gè)訓(xùn)練集上的loss值隨著訓(xùn)練迭代數(shù)的增加由急劇下降過(guò)渡到逐漸平緩，表明模型在不斷的擬合訓(xùn)練集樣本，有利于提升模型對(duì)測(cè)試集樣本的檢測(cè)精確度。

秀容川栽落草地，不動(dòng)了。老砍頭走上前，略一探查，發(fā)覺(jué)秀容川心不跳了，脈搏也停止了，再看他眼睛，兩只瞳孔也散了。

圖6 改進(jìn)后的Mask R-CNN在數(shù)據(jù)集上的訓(xùn)練損失值

4.5 實(shí)驗(yàn)結(jié)果與分析

模型對(duì)Kvasir-SEG與CVC-ClinicDB數(shù)據(jù)集分別實(shí)驗(yàn)，訓(xùn)練集和測(cè)試集比例設(shè)為8∶2，在Kvasir-SEG數(shù)據(jù)集的實(shí)驗(yàn)中隨機(jī)選取了800張圖片作為訓(xùn)練集，200張圖片作為測(cè)試集，實(shí)驗(yàn)中由于Kvasir-SEG數(shù)據(jù)集中小目標(biāo)的數(shù)量較少，評(píng)測(cè)代碼無(wú)法對(duì)APs進(jìn)行計(jì)算。在CVC-ClinicDB數(shù)據(jù)集中隨機(jī)選擇了489張圖片作為訓(xùn)練集，122張圖片作為測(cè)試集。對(duì)于目標(biāo)檢測(cè)任務(wù)，選擇了5個(gè)其他檢測(cè)模型進(jìn)行評(píng)測(cè)對(duì)比，同時(shí)還做了三個(gè)基于Mask R-CNN的改進(jìn)對(duì)比實(shí)驗(yàn)。對(duì)于實(shí)例分割任務(wù)只進(jìn)行了Mask R-CNN改進(jìn)對(duì)比實(shí)驗(yàn)，目標(biāo)檢測(cè)和實(shí)例分割的試驗(yàn)結(jié)果分別由表1、表2所示。

不同于R-CNN類算法需要先使用啟發(fā)式方法得到候選區(qū)域,然后在候選區(qū)域上做分類和回歸進(jìn)行目標(biāo)的定位和檢測(cè),Yolov2僅使用CNN網(wǎng)絡(luò)一步預(yù)測(cè)待檢測(cè)目標(biāo)的位置和類別,提供車(chē)牌端到端的預(yù)測(cè),如圖1所示。

表2 實(shí)例分割實(shí)驗(yàn)結(jié)果

表1 目標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果

紙產(chǎn)品主要通過(guò)造紙機(jī)來(lái)生產(chǎn)制造，生產(chǎn)過(guò)程包括漿料準(zhǔn)備、成形、壓榨和干燥等主要工序。干燥因其體積最大、固定資產(chǎn)投資最大、能源消耗最高，被認(rèn)為是最關(guān)鍵的工序。因此，本研究選擇紙張干燥過(guò)程作為切入點(diǎn)，總結(jié)紙張干燥過(guò)程建模與智能模擬技術(shù)的研究進(jìn)展，為建立紙張干燥過(guò)程系統(tǒng)模型，實(shí)現(xiàn)智能模擬紙張干燥生產(chǎn)過(guò)程并最終助力傳統(tǒng)造紙工業(yè)轉(zhuǎn)型升級(jí)、實(shí)現(xiàn)智能制造，積累技術(shù)力量。

圖7可視化了Mask R-CNN(DCN+CED)在不同IOU閾值下的PR曲線，可以看出在IOU值為0.5和0.75時(shí)模型在兩個(gè)數(shù)據(jù)集上的表現(xiàn)良好，在IOU值為0.9時(shí)，模型表現(xiàn)欠佳，可以說(shuō)明Mask R-CNN(DCN+CED)在較嚴(yán)格的測(cè)試條件下對(duì)兩個(gè)數(shù)據(jù)集仍有較好的檢測(cè)性能。

圖7 Kvasir-SEG數(shù)據(jù)集在IOU分別為0.5、0.75、0.9時(shí)的PR曲線(a)和CVC-ClinicDB數(shù)據(jù)集在IOU分別為0.5、0.75、0.9時(shí)的PR曲線(b)

圖8展示了Mask R-CNN(DCN+CED)在兩個(gè)數(shù)據(jù)集上的檢測(cè)結(jié)果的可視化圖，上三幅圖來(lái)源于Kvasir-SEG數(shù)據(jù)集，下三幅圖來(lái)源于CVC-ClinicDB數(shù)據(jù)集。從可視化結(jié)果可以看出，模型對(duì)不同形狀大小的息肉檢測(cè)效果良好，且對(duì)一些具有反光干擾下的息肉圖片也有較好的檢測(cè)效果，凸顯了改進(jìn)的有效性。

帶著群眾的殷切期望，青州市歷史上首次鎮(zhèn)人大專題詢問(wèn)拉開(kāi)序幕。詢問(wèn)代表的提問(wèn)樸實(shí)、直接，貼近實(shí)際，應(yīng)詢?nèi)藛T的回答實(shí)在、透徹，直面問(wèn)題。能馬上辦好的，都當(dāng)場(chǎng)做了答復(fù)；需要長(zhǎng)期辦理的，明確了工作措施和完成時(shí)限。整個(gè)過(guò)程環(huán)環(huán)相扣、有條不紊、合法合規(guī)。

圖8 Kvasir-SEG和CVC-ClinicDB部分測(cè)試集檢測(cè)結(jié)果

5 結(jié)束語(yǔ)

該文提出了一種基于Mask R-CNN的增強(qiáng)檢測(cè)模型用于更好地對(duì)息肉圖像進(jìn)行檢測(cè)和分割，在特征提取網(wǎng)絡(luò)中引入了可變形卷積提高了模型對(duì)圖片的特征提取范圍，同時(shí)設(shè)計(jì)了一種增強(qiáng)檢測(cè)模塊，在兩個(gè)數(shù)據(jù)集上的驗(yàn)證實(shí)驗(yàn)和模型對(duì)比實(shí)驗(yàn)均表明可變形卷積和所提出的增強(qiáng)檢測(cè)模塊對(duì)小面積息肉和不顯著息肉的檢測(cè)有明顯的提升效果。另外提出的增強(qiáng)檢測(cè)模塊在理論上能夠遷移到其他檢測(cè)模型，需要根據(jù)不同任務(wù)做出一定的參數(shù)和方法調(diào)整，增強(qiáng)檢測(cè)需要花費(fèi)多余的時(shí)間進(jìn)行切分和檢測(cè)，后續(xù)將針對(duì)檢測(cè)時(shí)間較長(zhǎng)的問(wèn)題進(jìn)行一定的改進(jìn)，同時(shí)也將繼續(xù)研究將模塊進(jìn)一步融入模型以獲得更好的兼容性。