基于Faster-RCNN的結(jié)核桿菌自動(dòng)檢測(cè)方法研究與應(yīng)用

卞景帥，盧家品，羅月童，張 敏

基于Faster-RCNN的結(jié)核桿菌自動(dòng)檢測(cè)方法研究與應(yīng)用

卞景帥1，盧家品1，羅月童1，張 敏2

(1. 合肥工業(yè)大學(xué)可視化與協(xié)同計(jì)算研究室，安徽 合肥 230009；2. 合肥思潤(rùn)生物科技有限公司，安徽 合肥 230601)

染色處理可使結(jié)核桿菌在顯微鏡拍攝的醫(yī)學(xué)圖像中顯現(xiàn)，醫(yī)生通過(guò)檢測(cè)圖像中的結(jié)核桿菌輔助診斷結(jié)核病。近年來(lái)卷積神經(jīng)網(wǎng)絡(luò)(CNN)在目標(biāo)檢測(cè)上取得了突破性進(jìn)展，但結(jié)核桿菌存在圖像上尺度小，構(gòu)造標(biāo)注數(shù)據(jù)難，不適用遷移學(xué)習(xí)等問(wèn)題，使得基于CNN的目標(biāo)檢測(cè)方法在結(jié)核桿菌檢測(cè)方面尚存在一定的困難。為此，以Faster-RCNN目標(biāo)檢測(cè)算法為基礎(chǔ)，研究在醫(yī)學(xué)圖像上的結(jié)核桿菌檢測(cè)問(wèn)題。針對(duì)結(jié)核桿菌尺度小，提出重疊子圖劃分策略；針對(duì)標(biāo)注數(shù)據(jù)構(gòu)造難，提出分塊、迭代標(biāo)注策略。實(shí)踐證明，該方法有較高的準(zhǔn)確度以及可接受的速度，已構(gòu)建了13 261個(gè)結(jié)核桿菌的訓(xùn)練數(shù)據(jù)，應(yīng)用于合作單位的醫(yī)療檢測(cè)產(chǎn)品，能滿足實(shí)際應(yīng)用需求。

小目標(biāo)檢測(cè)；醫(yī)學(xué)圖像；結(jié)核桿菌；CNN

據(jù)報(bào)道，我國(guó)肺結(jié)核的發(fā)病人數(shù)和死亡人數(shù)一直居甲乙類傳染病之首，我國(guó)也是全球22個(gè)結(jié)核病負(fù)擔(dān)最高的國(guó)家之一[1]，因此我國(guó)對(duì)高效的結(jié)核病檢測(cè)手段有迫切需求。檢測(cè)結(jié)核桿菌是診斷肺結(jié)核病的重要依據(jù)。對(duì)結(jié)核桿菌進(jìn)行染色，然后觀察確定其數(shù)量是進(jìn)行肺結(jié)核診斷的基本方法。傳統(tǒng)檢測(cè)由醫(yī)生通過(guò)顯微鏡觀察染色結(jié)核桿菌，存在工作量大、醫(yī)生容易疲勞，易漏檢等問(wèn)題。因此通過(guò)特殊設(shè)備拍攝結(jié)核桿菌的染色圖像，基于目標(biāo)檢測(cè)技術(shù)自動(dòng)檢測(cè)、統(tǒng)計(jì)結(jié)核桿菌的數(shù)量，進(jìn)而實(shí)現(xiàn)自動(dòng)、智能診斷具有重要的應(yīng)用價(jià)值，是醫(yī)學(xué)檢測(cè)的重要發(fā)展方向，也正是本文所要研究的內(nèi)容。

目標(biāo)檢測(cè)(object detection)廣泛存在于人臉識(shí)別[2]、手勢(shì)識(shí)別[3]、自動(dòng)駕駛等任務(wù)中，是機(jī)器視覺(jué)領(lǐng)域最基礎(chǔ)、最重要的技術(shù)之一。視覺(jué)檢測(cè)包括候選區(qū)域提取和目標(biāo)類別判別[4]2個(gè)步驟，其中目標(biāo)類別判斷是各種檢測(cè)方法之間的主要差別所在。在深度學(xué)習(xí)方法出現(xiàn)之前，研究人員構(gòu)造如HOG[5-6](histogram of oriented gradient)、LPB[7](local binary pattern)等特征，并使用規(guī)則匹配、支持向量機(jī)、人工神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行分類識(shí)別。但人工構(gòu)造特征往往受目標(biāo)圖像的多變性等因素困擾，很多情況下檢測(cè)效果并不理想。結(jié)核桿菌，存在尺度小、形態(tài)多變等特點(diǎn)，基于傳統(tǒng)的檢測(cè)方法效果不理想，因此本文探索使用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)進(jìn)行結(jié)核桿菌檢測(cè)。

Alexnet在ImageNet競(jìng)賽上，將分類的錯(cuò)誤率從26%降至15%，展示出CNN在圖像識(shí)別領(lǐng)域中的巨大優(yōu)勢(shì)[8]。此后CNN逐漸應(yīng)用于各種視覺(jué)識(shí)別領(lǐng)域中，其發(fā)展推動(dòng)了目標(biāo)檢測(cè)技術(shù)的進(jìn)步。CNN的一個(gè)重要特點(diǎn)是通過(guò)訓(xùn)練能提取多層次特征[9]，無(wú)需人工設(shè)計(jì)特征，較為有效地避免了人工設(shè)計(jì)的特征對(duì)原始圖像表達(dá)得不完全的不足，同時(shí)實(shí)踐證明這一特性能取得更高的分類檢測(cè)準(zhǔn)確度。主流的目標(biāo)檢測(cè)技術(shù)有Faster-RCNN[10]、R-FCN(ResNet版本)[11]、SSD[12]、YOLOv2[13]。本文在分析結(jié)核桿菌檢測(cè)問(wèn)題和各種檢測(cè)方法特點(diǎn)的基礎(chǔ)上，以Faster-RCNN為基礎(chǔ)開(kāi)展結(jié)核桿菌的檢測(cè)方法研究。

1 結(jié)核桿菌圖像與檢測(cè)方法特點(diǎn)分析

診斷結(jié)核病時(shí)，需收集就診者的痰液并將其放入載玻片中，然后通過(guò)特定試劑對(duì)其染色，圖1(a)為使用顯微設(shè)備進(jìn)行拍攝制作出結(jié)核桿菌圖像。本文實(shí)驗(yàn)所用結(jié)核桿菌圖像的分辨率為1920×1200，結(jié)核桿菌在圖像中呈現(xiàn)偏紫的顏色，如圖1(b)中圓圈所標(biāo)記的即為結(jié)核桿菌。

(a) 載玻片與拍攝設(shè)備

(b) 設(shè)備拍攝的圖像

圖1 待測(cè)圖像來(lái)源

通過(guò)對(duì)大量圖像的觀察及與領(lǐng)域?qū)＜业慕涣?，本文總結(jié)出結(jié)核桿菌在圖像中呈現(xiàn)如下特點(diǎn)：

(1) 尺度較小，且在一定范圍內(nèi)變化。對(duì)1 900張圖像的3 657個(gè)結(jié)核桿菌樣本進(jìn)行分析，發(fā)現(xiàn)其在圖像上的區(qū)域長(zhǎng)度大多在40像素左右，最小為11像素，最大為135像素。其中最小11像素的結(jié)核桿菌相對(duì)于原始圖像1920×1200的分辨率而言過(guò)小。

(2) 結(jié)核桿菌形狀多變。圖2(a)展示了多種不同形態(tài)的結(jié)核桿菌，并未呈現(xiàn)出特別的規(guī)律。

(3) 部分結(jié)核桿菌與無(wú)結(jié)核桿菌的區(qū)域類似。圖2(b)為無(wú)結(jié)核桿菌的區(qū)域，觀察易得，圖2(a)的某些結(jié)核桿菌容易和圖2(b)部分區(qū)域混淆。

擬南芥中的BR合成與信號(hào)轉(zhuǎn)導(dǎo)相關(guān)研究已開(kāi)展地較為深入，近年來(lái)在水稻(Oryza sativa L.)、大豆(Glycine max (L.) Merr.)等重要作物中的研究也取得了一定進(jìn)展[18-22]。目前針對(duì)油菜BR基因也開(kāi)展了相關(guān)研究，有研究表明使用外源BR處理可以增加油菜單株籽粒產(chǎn)量[23]；施加外源油菜素內(nèi)脂(eBL)可以增加油菜幼苗根的細(xì)胞呼吸速率，增強(qiáng)抗逆性[24, 25]；甘藍(lán)型油菜(Brassica napus L.)過(guò)表達(dá)擬南芥的AtDWF4基因能夠提高油菜種子的產(chǎn)量，并增強(qiáng)油菜的抗逆性[26]。

(4) 顏色是重要特征，但形態(tài)也是判斷依據(jù)。結(jié)核桿菌會(huì)呈現(xiàn)紫色是檢測(cè)的重要依據(jù)，但醫(yī)生還會(huì)結(jié)合一些諸如形狀、背景等其他特征綜合判斷。

(a) 結(jié)核桿菌樣例

(b) 無(wú)結(jié)核桿菌區(qū)域樣例 圖2 結(jié)核桿菌圖像示例 因?yàn)榻Y(jié)核桿菌圖像特征復(fù)雜多變，難以準(zhǔn)確刻畫，使得基于顏色、形態(tài)等特征的傳統(tǒng)檢測(cè)方法效果并不理想。而基于CNN的方法可以從樣本數(shù)據(jù)中學(xué)習(xí)特征，能提取出與數(shù)據(jù)更相符的特征，進(jìn)而獲得更高的檢測(cè)準(zhǔn)確度。 一是大力推動(dòng)金融扶貧工作。充分發(fā)揮各金融機(jī)構(gòu)在政策、資金、資源上的優(yōu)勢(shì)，進(jìn)一步改善貧困地區(qū)金融服務(wù)水平，不斷增加貧困地區(qū)資金供給，加大貧困地區(qū)基礎(chǔ)設(shè)施建設(shè)、產(chǎn)業(yè)扶貧、易地扶貧搬遷等方面的投入。重點(diǎn)抓好扶貧小額信貸工作，及時(shí)籌集落實(shí)財(cái)政貼息資金和風(fēng)險(xiǎn)補(bǔ)償資金，加強(qiáng)小額信貸審核、發(fā)放及監(jiān)管，特別是強(qiáng)化對(duì)戶貸企用資金的跟蹤監(jiān)管。妥善處理好對(duì)脫貧戶、錯(cuò)評(píng)戶和死亡貧困戶的財(cái)政貼息及貸款收回工作，按要求及時(shí)啟動(dòng)風(fēng)險(xiǎn)補(bǔ)償機(jī)制，切實(shí)保證扶貧小額信貸風(fēng)險(xiǎn)始終處于可控范圍。 基于ResNet[14]的目標(biāo)檢測(cè)算法是目前效果最好的方法，但其需要大量高質(zhì)量訓(xùn)練數(shù)據(jù)，構(gòu)建大量結(jié)核桿菌訓(xùn)練數(shù)據(jù)非常困難。遷移學(xué)習(xí)技術(shù)是解決訓(xùn)練數(shù)據(jù)不足的有效手段，但前提是需要遷移的源數(shù)據(jù)和目的域數(shù)據(jù)比較類似[15]，而結(jié)核桿菌圖像難以滿足該條件，因此本文未使用基于ResNet的檢測(cè)方法。VGG16[16]網(wǎng)絡(luò)的結(jié)構(gòu)相對(duì)簡(jiǎn)單，不需要大量的訓(xùn)練數(shù)據(jù)即可達(dá)到較高的準(zhǔn)確度。文獻(xiàn)[17]指出在沒(méi)有預(yù)訓(xùn)練的情況下ResNet比VGG16的性能差很多，基于以上分析，選擇VGG16網(wǎng)絡(luò)更合適。SSD[12]和YOLO2[13]2種方法在小目標(biāo)的檢測(cè)上表現(xiàn)不佳。因此本文選擇小目標(biāo)檢測(cè)上表現(xiàn)相對(duì)較好的Faster-RCNN，作為基本的目標(biāo)檢測(cè)方法。 2 基于重疊子圖的肺結(jié)核桿菌檢測(cè) 2.1 Faster-RCNN簡(jiǎn)介與分析 Faster-RCNN的基本結(jié)構(gòu)如圖3(a)所示，輸入圖像經(jīng)過(guò)底部CNN (conv layers)提取特征得到特征圖(feature map)，RPN (region proposal network)利用特征圖生成候選區(qū)域，用分類器(classifier)對(duì)RPN提取出的候選區(qū)域進(jìn)行分類，最后通過(guò)判斷候選區(qū)域中是否含有目標(biāo)實(shí)現(xiàn)目標(biāo)檢測(cè)。 (a) Faster-RCNN基本結(jié)構(gòu) (b) anchor結(jié)構(gòu) 圖3 Faster-RCNN結(jié)構(gòu)[10] 將Faster-RCNN直接應(yīng)用在肺結(jié)核圖像檢測(cè)上，表現(xiàn)較差，大部分結(jié)核桿菌均不能被識(shí)別出來(lái)。經(jīng)研究發(fā)現(xiàn)，F(xiàn)aster-RCNN的RPN使用名為錨(anchor)的結(jié)構(gòu)生成候選區(qū)域，該結(jié)構(gòu)如圖3(b)所示。輸入圖像經(jīng)過(guò)底部CNN以后，得到長(zhǎng)寬為M×N的特征圖，其蘊(yùn)含的信息是其對(duì)應(yīng)感受野(receptive field)的信息[10]。若將輸入圖像無(wú)重疊劃分成M×N個(gè)小格，則得到的特征圖上每個(gè)點(diǎn)的感受野為該點(diǎn)對(duì)應(yīng)的CNN覆蓋的輸入圖像的區(qū)域，感受野的中心點(diǎn)為劃分小格的中心。Faster-RCNN用預(yù)定義的k個(gè)固定大小的錨盒(anchor boxes)來(lái)決定使用某個(gè)中心點(diǎn)的感受野中的區(qū)域生成候選區(qū)域，再通過(guò)分類器判斷這些區(qū)域中哪些為候選區(qū)域。 圖4中粗線代表劃分格邊界，細(xì)框代表錨盒，粗線代表結(jié)核桿菌。當(dāng)定義的錨盒尺寸小于劃分格的尺寸，如圖4細(xì)框a，b所示，則錨盒與錨盒之間會(huì)出現(xiàn)一定的間隙，形成不檢測(cè)區(qū)域，造成漏檢目標(biāo)落入該區(qū)域。當(dāng)定義的錨盒尺寸大于劃分格的尺寸，如圖4中的細(xì)框c所示。則由于目標(biāo)過(guò)小，前景與背景的比例過(guò)小，造成誤判，從而造成漏識(shí)別。 圖4 錨盒與小目標(biāo)與漏識(shí)別 提高小目標(biāo)的識(shí)別準(zhǔn)確度有2種思路：①縮小劃分的小格尺寸。劃分小格的尺寸是由CNN的結(jié)構(gòu)所決定，因此通過(guò)改變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)縮小劃分小格的尺寸，必然會(huì)導(dǎo)致網(wǎng)絡(luò)其他性能的改變。如何選擇最適合的劃分小格尺寸是一個(gè)復(fù)雜的最優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)問(wèn)題。②用一定的方法(如高斯金字塔)來(lái)放大結(jié)核桿菌在輸入網(wǎng)絡(luò)圖像中的占比，通過(guò)犧牲速度來(lái)?yè)Q取精度。本文選擇后一種思路。 2.2 基于重疊策略的子圖生成 本文考慮將大的原始的檢測(cè)圖片分成多個(gè)大小相等的子圖片，目的是為了便于后續(xù)的批處理。將原始圖像劃分成子圖時(shí)，易將某個(gè)結(jié)核桿菌被劃分到2個(gè)子圖中，將會(huì)對(duì)結(jié)果造成影響。已知結(jié)核桿菌區(qū)域的長(zhǎng)度有上界，故采用重疊策略生成子圖，同時(shí)需考慮子圖的分辨率問(wèn)題。分辨率過(guò)大，可能導(dǎo)致結(jié)核桿菌檢測(cè)不到；分辨率過(guò)小可能導(dǎo)致檢測(cè)結(jié)果無(wú)法滿足實(shí)時(shí)性要求。同時(shí)還需考慮到重疊區(qū)域，因此需要通過(guò)一定的方法來(lái)生子圖，解決該問(wèn)題。 4.I give milk.I have a horn.I’m not a cow.Who am I? 圖5為有重疊區(qū)域的滑動(dòng)窗口提取子圖過(guò)程。重疊區(qū)域的寬度略大于結(jié)核桿菌的最大尺寸，度量尺寸的基本單位為像素。Wr為原始圖像的寬；Hr為原始圖像的高；Srmax為結(jié)核桿菌的最大尺寸；R為生成子圖的行數(shù)；C為生成子圖的列數(shù)，Mw為滑動(dòng)窗口橫向移動(dòng)的步長(zhǎng)；Mh為滑動(dòng)窗口縱向移動(dòng)的步長(zhǎng)，計(jì)算如下 (1) (2) 度量尺寸的基本單位為像素，結(jié)果用進(jìn)一法取整。子圖的寬Ws和高Hs分別為 (3) (4) 則第i+1列第j+1行個(gè)子圖相對(duì)原圖的坐標(biāo)范圍可表示為 (5) 其中，。 徽章紋是廣彩中的典型代表，一般為皇族或貴族等上流社會(huì)人群把象征自己身份地位的徽章作為圖案，作為獨(dú)有的標(biāo)志定制廣彩瓷，顯示出符號(hào)特征與特殊性。圖3為景德鎮(zhèn)窯白胎，廣彩繪制的徽章紋盤，盤折沿、淺腹、圈足。盤沿以礬紅、金彩繪制花卉，盤壁以彩折枝花卉為地，開(kāi)光部分紋折枝菊花圖案，盤心為奈威爾（Neufville）家族紋章。此徽章紋盤的邊飾為中式風(fēng)格，盤心為西式徽章，中西結(jié)合的組合方式是清代早期紋章瓷器的特征，乾隆之后邊飾紋樣同樣趨于西化。 圖5 生成子圖過(guò)程示意圖 在實(shí)際應(yīng)用中由原始圖像的分辨率確定Wr，Hr，由檢測(cè)目標(biāo)的最大尺寸確定Svmax，使用交叉驗(yàn)證法根據(jù)檢測(cè)結(jié)果選擇最合適的R和C。該方法將復(fù)雜的子圖劃分問(wèn)題簡(jiǎn)化為R和C 2個(gè)超參數(shù)的選擇問(wèn)題，極大地降低了問(wèn)題的復(fù)雜性。該方法也可以推廣到其他類似的問(wèn)題中。 應(yīng)用該方法的檢測(cè)軟件對(duì)子圖進(jìn)行檢測(cè)，得到的坐標(biāo)為子圖上的坐標(biāo)，需要將其還原為原圖中的坐標(biāo)。設(shè)對(duì)于第i+1列第j+1行個(gè)子圖，得到的檢測(cè)結(jié)果中的某個(gè)坐標(biāo)為(xs,ys)，則其在原始圖像上的坐標(biāo)(x,y)為 (6) 其中，。 由于采用了重疊策略生成子圖，得到的結(jié)果中必然會(huì)出現(xiàn)某些目標(biāo)有多個(gè)可能的位置區(qū)域。為了消除同一個(gè)目標(biāo)的多余位置區(qū)域，使用非極大值抑制算法(non-maximum suppression，NMS)[18]。NMS屬于同一類別目標(biāo)的多個(gè)重疊檢測(cè)結(jié)果，取其中未遍歷過(guò)的概率最大的那個(gè)結(jié)果，當(dāng)某一其他的檢測(cè)結(jié)果與概率最大的檢測(cè)結(jié)果的重疊面積大于一定的比例值，則刪除其結(jié)果，循環(huán)迭代至遍歷所有檢測(cè)結(jié)果，效果示意圖如圖6所示。 圖6 NMS效果示意圖 3 訓(xùn)練數(shù)據(jù)構(gòu)建策略 3.1 基于分塊采樣的快速標(biāo)注 在使用神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法之前，需要用一定的數(shù)據(jù)訓(xùn)練。以往的經(jīng)驗(yàn)表明，神經(jīng)網(wǎng)絡(luò)檢測(cè)的準(zhǔn)確度依賴于大量、準(zhǔn)確的訓(xùn)練數(shù)據(jù)。結(jié)核桿菌由人工來(lái)完成檢測(cè)較為困難，需要長(zhǎng)期從事該工作的專家來(lái)完成標(biāo)注，且收集大量標(biāo)注數(shù)據(jù)成本極高。人長(zhǎng)期從事單調(diào)乏味的工作易疲勞，進(jìn)而使人工檢測(cè)的準(zhǔn)確度下降，導(dǎo)致收集準(zhǔn)確標(biāo)注數(shù)據(jù)存在一定的困難。而常用的解決數(shù)據(jù)量不足的方法—遷移學(xué)習(xí)中的預(yù)訓(xùn)練法[19]和交叉學(xué)習(xí)法[20]不適用于本問(wèn)題。 針對(duì)本問(wèn)題的特殊性，根據(jù)同一批生物樣本中結(jié)核桿菌取樣所得的圖像及背景有較大的相似性，本文認(rèn)為該相似性導(dǎo)致標(biāo)注工作存在很大的冗余，實(shí)際上使用更少的標(biāo)注數(shù)據(jù)就能達(dá)到近似的結(jié)果。運(yùn)用局部性原理，將大量數(shù)據(jù)等分成若干小塊，只取每小塊數(shù)據(jù)的前部分進(jìn)行標(biāo)注作為訓(xùn)練集，即可達(dá)到用更少的數(shù)據(jù)取得和大量數(shù)據(jù)接近的結(jié)果。構(gòu)造數(shù)據(jù)的示意圖如圖7所示，紅色部分為需要標(biāo)注的數(shù)據(jù)，而藍(lán)色部分則為不需要標(biāo)注的數(shù)據(jù)。使用更少的數(shù)據(jù)獲得了和大量數(shù)據(jù)相當(dāng)?shù)慕Y(jié)核桿菌圖像分布律信息。合理運(yùn)用此方法即可構(gòu)造蘊(yùn)含更全面信息的數(shù)據(jù)集，進(jìn)而獲得更高的準(zhǔn)確度和泛化性，有效性將通過(guò)實(shí)驗(yàn)進(jìn)行檢驗(yàn)。 3、整體嬰兒車智能安全系統(tǒng)的邏輯框圖如下圖所示，本設(shè)計(jì)利用指紋和觸摸式傳感器對(duì)嬰兒車剎車系統(tǒng)進(jìn)行綜合控制，利用指紋識(shí)別對(duì)嬰兒車的安全帶進(jìn)行安全加固，利用太陽(yáng)能電源監(jiān)控對(duì)嬰兒車智能安全系統(tǒng)進(jìn)行供電，用以加強(qiáng)嬰兒車的安全性以及防盜性。 圖7 基于分塊采樣的快速標(biāo)注 3.2 漸進(jìn)性訓(xùn)練數(shù)據(jù)優(yōu)化策略 肺結(jié)核桿菌檢測(cè)圖片標(biāo)注難度大，需要相關(guān)領(lǐng)域的專業(yè)知識(shí)，即使是專業(yè)人員，長(zhǎng)時(shí)間從事枯燥的標(biāo)注工作也較易犯錯(cuò)，出現(xiàn)漏標(biāo)情況，即使要求二次校驗(yàn)，錯(cuò)誤仍舊不可避免。少量的、隨機(jī)的漏標(biāo)對(duì)實(shí)驗(yàn)結(jié)果影響不大，但如果漏標(biāo)的數(shù)據(jù)是具有某一特點(diǎn)的數(shù)據(jù)，則對(duì)檢測(cè)結(jié)果的影響很大。在實(shí)踐過(guò)程中發(fā)現(xiàn)，顏色較淡的和形狀較小的肺結(jié)核桿菌容易漏標(biāo)，導(dǎo)致訓(xùn)練好的檢測(cè)軟件無(wú)法檢測(cè)到這2類錯(cuò)誤。針對(duì)該問(wèn)題，本文采取如下漸進(jìn)標(biāo)注措施： (1) 使用訓(xùn)練好的模型進(jìn)行檢測(cè)，對(duì)未成功檢測(cè)的肺結(jié)核桿菌進(jìn)行人工分析； 據(jù)介紹，自3月起，中糧與黑龍江省牡丹江市寧安市共同推廣打造農(nóng)業(yè)綜合服務(wù)平臺(tái)。前期中糧8位小組成員4次赴寧安調(diào)研，歷時(shí)33天深入35個(gè)村、8個(gè)合作社、38個(gè)種植農(nóng)戶，實(shí)地考察、組織農(nóng)戶、訪談客戶，逐一落實(shí)合作社和土地面積。 儲(chǔ)存4個(gè)月后，低溫避光的熱榨與冷榨漢麻籽油顏色、透明度基本不變，設(shè)為對(duì)照油脂；室溫避光下熱榨油外觀顏色為深墨綠色，油脂透明，冷榨油外觀顏色為淺墨綠色，油脂透明，瓶口有部分油脂顏色發(fā)生變化；烘箱環(huán)境顏色變化不明顯，但有微濁現(xiàn)象，底部也有少量沉淀黏稠油脂；室內(nèi)環(huán)境油脂顏色變淺，均有微濁現(xiàn)象，底部也有少量沉淀黏稠油脂；室外環(huán)境油脂顏色變淺發(fā)亮，底部均有少量沉淀現(xiàn)象，底部也有少量沉淀黏稠油脂。 同時(shí)還需要結(jié)合農(nóng)村目前的經(jīng)濟(jì)狀況以及未來(lái)的發(fā)展方向，制定統(tǒng)一的報(bào)表時(shí)間，無(wú)論是哪一級(jí)統(tǒng)計(jì)部門，都要銜接好報(bào)表的時(shí)間和內(nèi)容，保證統(tǒng)計(jì)報(bào)表的質(zhì)量。 (2) 根據(jù)分析結(jié)果再人為構(gòu)造少量的此類樣本； (3) 將新構(gòu)建樣本加入訓(xùn)練集重新訓(xùn)練，更新模型； (4) 重復(fù)(1)~(3)過(guò)程直至檢測(cè)結(jié)果滿足要求。 4 實(shí)驗(yàn)結(jié)果 4.1 子圖的劃分及分塊采樣 實(shí)驗(yàn)采用LabelImg[21]對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)注。標(biāo)注訓(xùn)練數(shù)據(jù)時(shí)，可直接在原圖上完成。劃分子圖時(shí)，子圖的范圍由式(5)確定。分割子圖采用超參數(shù)R=3, C=4。 在訓(xùn)練時(shí)，直接舍棄超出圖片范圍的結(jié)核桿菌樣本。由于肺結(jié)核桿菌樣本有最大范圍，所以在某張子圖中丟棄的目標(biāo)標(biāo)注會(huì)完全包含在下一張子圖中。在訓(xùn)練過(guò)程中不會(huì)漏訓(xùn)標(biāo)注樣本，但有可能不能識(shí)別位于圖像邊界的不完整的結(jié)核桿菌，這一點(diǎn)在實(shí)際應(yīng)用中可以接受。若有檢測(cè)邊界病菌的需求，可用一些簡(jiǎn)單的方法對(duì)訓(xùn)練過(guò)程做一定的約束。不含結(jié)核桿菌的子圖不參與訓(xùn)練。由于在計(jì)算子圖的大小時(shí)采用了進(jìn)一法，邊界區(qū)的子圖可能會(huì)與原子圖大小不一致，不利于批處理。對(duì)于邊界情況，將截取框向內(nèi)移位，以保證所有子圖大小一致。在測(cè)試時(shí)分別對(duì)每張子圖進(jìn)行檢測(cè)，所得結(jié)果根據(jù)式(6)轉(zhuǎn)換為原圖的結(jié)果，再用NMS消除多余重復(fù)結(jié)果。 分塊采取每200個(gè)數(shù)據(jù)分成一個(gè)數(shù)據(jù)塊，取前50個(gè)數(shù)據(jù)作為訓(xùn)練集，后150個(gè)數(shù)據(jù)作為驗(yàn)證集。對(duì)于不足200個(gè)數(shù)據(jù)的數(shù)據(jù)塊，按1:3的比例劃分訓(xùn)練集和測(cè)試集。 4.2 實(shí)驗(yàn)結(jié)果與分析 本文提出的方法在Linux系統(tǒng)下，用caffe實(shí)現(xiàn)CNN，用python實(shí)現(xiàn)訓(xùn)練程序的編寫。實(shí)驗(yàn)使用I7-7700K CPU，Titan X GPU，32 GB內(nèi)存的計(jì)算機(jī)。為驗(yàn)證本文各部分提出方法的有效性，設(shè)置不同情況進(jìn)行多組測(cè)試。測(cè)試結(jié)果見(jiàn)表1。 表1 實(shí)驗(yàn)結(jié)果 情況分割子圖漸進(jìn)標(biāo)注分塊采樣訓(xùn)練集數(shù)目測(cè)試集數(shù)目準(zhǔn)確率運(yùn)行時(shí)間(ms) 情況1×××4 2015000.58884 情況2√××4 2015000.803600 情況3√√×4 2015000.863600 情況4√√×1 1853 5260.762600 情況5√√√1 1853 5260.853600 情況6√√√4 2015000.893600 情況1和情況2結(jié)果對(duì)比，可以看出將原始圖片分割成多個(gè)子圖可以有效解決小目標(biāo)識(shí)別問(wèn)題。相應(yīng)的代價(jià)是運(yùn)行速度的大幅下降。為滿足實(shí)際應(yīng)用的需要，要求結(jié)核桿菌檢測(cè)軟件在2 s以內(nèi)處理完一張圖片。從實(shí)驗(yàn)結(jié)果可看出，本文提出的方法，滿足該要求。情況2和情況3對(duì)比，可以發(fā)現(xiàn)用漸進(jìn)策略構(gòu)造難識(shí)別樣本來(lái)解決初始標(biāo)注質(zhì)量不高的問(wèn)題是有效的。生物醫(yī)學(xué)領(lǐng)域樣本標(biāo)注十分困難，即使是該領(lǐng)域的專家，也無(wú)法做到不漏標(biāo)。而目標(biāo)檢測(cè)的精準(zhǔn)度十分依賴于標(biāo)注樣本的質(zhì)量，因此需要漸進(jìn)地進(jìn)行標(biāo)注。情況4和情況3表明要達(dá)到較高的檢測(cè)精度需要大量的數(shù)據(jù)。情況5在情況4的基礎(chǔ)上采用了分塊采樣法構(gòu)造訓(xùn)練集，其余數(shù)據(jù)作為測(cè)試集。結(jié)果準(zhǔn)確度有很大的提升，證明了分塊采樣法能有效降低所需訓(xùn)練數(shù)據(jù)量，提升數(shù)據(jù)蘊(yùn)含信息的全面性。在實(shí)際應(yīng)用中，采用分塊采樣法構(gòu)造訓(xùn)練數(shù)據(jù)，可以極大地減少標(biāo)注數(shù)據(jù)的工作量，有助于達(dá)到更高的準(zhǔn)確度。分塊采樣法的核心思想是局部性原理，對(duì)于不滿足這一條件的應(yīng)用場(chǎng)景，其效果會(huì)相應(yīng)地降低。情況6則是綜合各種方法后達(dá)到的最終精度。 (3)防治工程坡體巖體工程地質(zhì)特征。強(qiáng)風(fēng)化片麻巖黏聚力0 MPa，內(nèi)摩擦角35°，容重21 kN/m3，承載力特征值為300 kPa。根據(jù)取樣試驗(yàn)，強(qiáng)風(fēng)化片麻巖天然單軸抗壓強(qiáng)度為28.6～38.2 MPa，飽和抗壓強(qiáng)度為19.1 MPa；中風(fēng)化片麻巖天然單軸抗壓強(qiáng)度為109.0～113.0 MPa，飽和抗壓強(qiáng)度為92.3 MPa。 本文提出的方法的最終檢測(cè)效果如圖8所示。圖8(a)是本問(wèn)題的一個(gè)檢測(cè)難點(diǎn)，2個(gè)目標(biāo)較小切與背景顏色相似，圖8(b)是小目標(biāo)的放大圖。該檢測(cè)結(jié)果表明，本方法可以較好地檢測(cè)出小目標(biāo)。圖8(c)則是另一個(gè)檢測(cè)難點(diǎn)，即樣本染色程度較輕，不易識(shí)別，但本文方法仍能較好地完成檢測(cè)。圖8(d)左則是圖8(c)結(jié)核桿菌檢測(cè)結(jié)果的放大圖，右側(cè)則是來(lái)自其他檢測(cè)圖中顏色較淡樣本的檢測(cè)結(jié)果。本研究開(kāi)始時(shí)采用傳統(tǒng)圖像處理方法，無(wú)法解決這2類結(jié)核桿菌的識(shí)別問(wèn)題。如果通過(guò)設(shè)定相應(yīng)閾值檢測(cè)出這2類樣本，則會(huì)極大地增加誤檢率。即使是人工檢測(cè)，也容易漏檢，通過(guò)使用本文方法，能較好地檢測(cè)出來(lái)。但目前本文方法漏識(shí)別的樣本仍集中在特別小的目標(biāo)和顏色很淡的樣本中。 圖8(e)和圖8(f)則是本方法對(duì)于含有較多結(jié)核桿菌圖的檢測(cè)效果，證明了本方法對(duì)于各類結(jié)核桿菌均有較好的檢測(cè)效果。圖9則是本方法誤檢的樣本，這2個(gè)檢測(cè)出來(lái)的目標(biāo)是將細(xì)胞的邊緣效應(yīng)誤判成了結(jié)核桿菌。但由于這類結(jié)果極少，且實(shí)際應(yīng)用中對(duì)誤判的容忍程度較高，不影響實(shí)際使用。 (a) 檢測(cè)較小目標(biāo)結(jié)果(b) 小目標(biāo)放大結(jié)果 (c) 檢測(cè)顔色較淡目標(biāo)結(jié)果(d) 淡目標(biāo)放大結(jié)果 (e) 多目標(biāo)檢測(cè)(f) 多目標(biāo)檢測(cè) 圖8 最終檢測(cè)效果 圖9 邊緣效應(yīng)導(dǎo)致的誤檢 5 總結(jié)與展望 結(jié)核桿菌的檢測(cè)是典型的小目標(biāo)、無(wú)明顯特征的目標(biāo)檢測(cè)問(wèn)題。傳統(tǒng)的圖像檢測(cè)方法無(wú)法有效解決該問(wèn)題。而基于CNN的目標(biāo)檢測(cè)方法雖能在一定程度上解決這一問(wèn)題，卻又要面對(duì)標(biāo)注數(shù)據(jù)難的問(wèn)題。本文分析了基于CNN的目標(biāo)檢測(cè)方法，提出了采用VGG16結(jié)構(gòu)的Faster-RCNN技術(shù)作為基礎(chǔ)的目標(biāo)檢測(cè)技術(shù)，并采用重疊子圖解決小目標(biāo)檢測(cè)問(wèn)題。由于遷移學(xué)習(xí)不適用于本問(wèn)題，本文提出采用分塊采樣和漸進(jìn)標(biāo)注解決獲取大量、準(zhǔn)確標(biāo)注數(shù)據(jù)難的問(wèn)題。綜合多種方法的優(yōu)勢(shì)最終解決了傳統(tǒng)圖像檢測(cè)技術(shù)不易處理的結(jié)核桿菌檢測(cè)問(wèn)題，并集成至相關(guān)單位的醫(yī)療檢測(cè)產(chǎn)品。本文方法有助于提高醫(yī)生診斷結(jié)核病的準(zhǔn)確度，有利于疾病的早發(fā)現(xiàn)，早治療。本文在解決問(wèn)題過(guò)程中提出的相關(guān)方法易于應(yīng)用到類似的場(chǎng)景，為解決類似問(wèn)題提供一定的思路。 基于CNN的目標(biāo)檢測(cè)方法在小目標(biāo)檢測(cè)問(wèn)題上乏力的根本原因是錨結(jié)構(gòu)。如果能改進(jìn)這一機(jī)制，或者提出更加有效的候選區(qū)域提取方法，則能從根本上解決小目標(biāo)檢測(cè)問(wèn)題，得到更具通用性的目標(biāo)檢測(cè)方法，提高程序的運(yùn)行速度。另外醫(yī)學(xué)圖像領(lǐng)域?qū)τ趫D像中病毒或細(xì)菌的判斷標(biāo)準(zhǔn)有人類已知和未知標(biāo)準(zhǔn)。而基于有監(jiān)督的人工標(biāo)注數(shù)據(jù)的檢測(cè)算法，只能學(xué)習(xí)和利用人類已知的知識(shí)來(lái)檢測(cè)結(jié)核桿菌，方法很難超越人檢病毒的極限準(zhǔn)確度。但由于人長(zhǎng)時(shí)間從事某項(xiàng)工作容易疲勞準(zhǔn)確度下降，本方法仍具有較高的研究應(yīng)用價(jià)值。而研究出能利用未知的知識(shí)來(lái)診斷疾病的機(jī)器學(xué)習(xí)算法，超越人的檢測(cè)能力，是未來(lái)的研究方向。 參考文獻(xiàn) [1] World Health Organization. Global tuberculosis report 2017 [EB/OL]. [2018-05-20]. https://www.who.int/tb/publications/2017/en/. [2] JAFRI R, ARABNIA H R. A survey of face recognition techniques [J]. Journal of Information Processing Systems, 2009, 5(2): 41-68. [3] RAUTARAY S S, AGRAWAL A. Vision based hand gesture recognition for human computer interaction: a survey [J]. Artificial Intelligence Review, 2015, 43(1): 1-54. [4] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 580-587. [5] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). New York: IEEE Press, 2005: 886-893. [6] FELZENSZWALB F, GIRSHICK B, MCALLESTER D, et al. Object detection with discriminatively trained part-based models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645. [7] 董恩增, 魏魁祥, 于曉, 等. 一種融入PCA的LBP特征降維車型識(shí)別算法[J]. 計(jì)算機(jī)工程與科學(xué), 2017, 39(2): 359-363. [8] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks [J]. Communications of the ACM, 2017, 60(6): 84-90. [9] LECUN Y, BENGIO Y, HINTON G. Deep learning [J]. Nature, 2015, 521(7553): 436-444. [10] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. [11] DAI J F, LI Y, HE K M, et al. R-FCN: Object detection via region-based fully convolutional networks [C]//Advances in Neural Information Processing Systems. Cambridge: MIT Press 2016: 379-387. [12] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single shot MultiBox detector [C]//European Conference on Computer Vision – ECCV 2016. Heidelberg: Springer, 2016: 21-37. [13] REDMON J, FARHADI A. YOLO9000: Better, faster, stronger [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017:6517-6525. [14] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 770-778. [15] PAN S J, YANG Q. A survey on transfer learning [J]. IEEE Transactions on Knowledge and Data Engineering, 2010, 22(10): 1345-1359. [16] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2014-09-04) [2018-05-03]. https://arxiv.org/abs/1409.1556. [17] SHEN Z Q, LIU Z, LI J G, et al. DSOD: Learning deeply supervised object detectors from scratch [C]//2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017:1937-1945. [18] NEUBECK A, VAN GOOL L. Efficient non-maximum suppression [C]//ICPR'06 Proceedings of the 18th International Conference on Pattern Recognition. Washington, DC: IEEE Computer Society Press, 2006: 850-855. [19] DONAHUE J, JIA Y Q, VINYALS O, et al. DeCAF: A deep convolutional activation feature for generic visual recognition [C]//Proceedings of the 31st International Conference on International Conference on Machine Learning. New York: ACM Press, 2014: 647-655. [20] MISRA I, SHRIVASTAVA A, GUPTA A, et al. Cross-stitch networks for multi-task learning [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society Press, 2016: 3994-4003. [21] Tzutalin. LabelImg: A graphical image annotation tool [EB/OL]. (2017-09-03) [2018-05-03]. https://github.com/tzutalin/labelImg. Research and Application of Faster-RCNN Based M. Tuberculosis Detection Method BIAN Jing-shuai1, LU Jia-pin1, LUO Yue-tong1, ZHANG Min2 (1. Visualization & Cooperative Computing, Hefei University of Technology, Hefei Anhui 230009, China; 2. Hefei Sirun Biological Technology Co. Ltd, Hefei Anhui 230601, China) Abstract: Through sputum-smear staining, mycobacterium tuberculosis can be shown on microscope image, which makes it possible to detect M. tuberculosis on the image for facilitating tuberculosis diagnosis. On the microscope image, M. tuberculosis is characterized with diverse color saturation, various shape, and undistinguishable appearance confused with background, which make it a great challenge for traditional object detection methods. As convolutional neural networks (CNN) has achieved great success in object detection recently, we study CNN-based method, for instance, Faster-RCNN for M. tuberculosis detection. Nevertheless, there are still some problems with CNN-based tuberculosis detection: a) Size of M. tuberculosis on image is too small, b) Constructing enough accurate labeled data is difficult, and c) Transfer learning does not work for tuberculosis detection. All of those make it hard to apply CNN-based method to M. tuberculosis detection directly. To overcome these problems, we adopt two strategies. We present overlapping sub-image partition strategy for the small-size problem caused by anchor structure which is component of prevalent CNN-based object-detection method. The partition strategy overlappingly partition raw image into sub-images as per a formula presented by us. After partitioning, the proportion of M. tuberculosis on input image of model have been increased, that improving detecting accurate but reducing detecting speed. According to practice, we deem it acceptable. By cooperating with the co-author, 13 261 labeled data of M. tuberculosis have been constructed. Through a series of experiments, it has proved that our method is effective not only in improving detecting accurate and generalization of the model, but also in reducing necessary labeled data. The methods have been integrated into medical inspection products and confirmed to satisfy practical application requirements. Keywords: small target detection; medical image; M. Tuberculosis; convolutional neural networks 中圖分類號(hào)：TP 391 DOI：10.11996/JG.j.2095-302X.2019030608 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-302X(2019)03-0608-08 收稿日期：2018-07-02； 定稿日期：2018-07-17 第一作者：卞景帥(1992-)，男，安徽阜陽(yáng)人，碩士研究生。主要研究方向圖像處理與模式識(shí)別。E-mail：bianjingshuai@163.com 通信作者：羅月童(1978-)，男，安徽合肥人，教授，博士，碩士生導(dǎo)師。主要研究方向?yàn)閿?shù)據(jù)可視化、可視分析、計(jì)算機(jī)圖形學(xué)。 E-mail：ytluo@hfut.edu.cn