融合位置尺度信息的胸部X光肺結(jié)節(jié)檢測(cè)

焦慶磊,陳宇彤,朱 明

1(中國(guó)科學(xué)技術(shù)大學(xué) 自動(dòng)化系, 合肥 230027)2(南京醫(yī)科大學(xué) 附屬口腔醫(yī)院, 南京 210000)

1 概 述

早期肺癌往往表現(xiàn)為肺結(jié)節(jié)的形式.肺結(jié)節(jié)作為肺部常見(jiàn)的病灶,可能是良性病變、轉(zhuǎn)移瘤或者就是肺癌.肺癌確診后5年存活率僅為15%,但如果在早期尚未擴(kuò)散時(shí)被檢測(cè)出來(lái),這個(gè)比率能上升到49%[1].因此在日常體檢中能夠準(zhǔn)確檢測(cè)出肺結(jié)節(jié),是治療肺癌的關(guān)鍵所在.

準(zhǔn)確地在日常檢查中發(fā)現(xiàn)這些病灶,對(duì)醫(yī)生來(lái)說(shuō)也是很大的挑戰(zhàn),尤其在學(xué)生或者職工體檢時(shí),往往人數(shù)眾多,醫(yī)生的工作量很大,很難保證沒(méi)有遺漏.肺結(jié)節(jié)檢測(cè)的計(jì)算機(jī)輔助診斷(Computer Aided Diagnosis, CAD)系統(tǒng)能夠從醫(yī)學(xué)影像中找到疑似結(jié)節(jié),給醫(yī)生提供參考,一定程度上減輕他們的工作負(fù)擔(dān).

X光和CT是兩種常見(jiàn)的醫(yī)學(xué)影像,X光的肺結(jié)節(jié)檢測(cè)對(duì)于醫(yī)生來(lái)說(shuō)難度較大,漏檢率較高,漏檢大多因?yàn)槔吖擎i骨遮擋以及心臟等器官的重疊,導(dǎo)致X光片中的肺結(jié)節(jié)特征不明顯,因此良好的X光片的肺結(jié)節(jié)檢測(cè)系統(tǒng)能夠提高肺結(jié)節(jié)的檢出率.隨著現(xiàn)代醫(yī)學(xué)技術(shù)的發(fā)展,Computed Tomography(CT)逐漸成為肺癌檢測(cè)的主要方法,CT不同于X光,為橫斷面圖像,能夠提供3維信息,對(duì)于小結(jié)節(jié)和一些隱蔽位置的結(jié)節(jié)具有更高的檢出率.但是CT成本較高,放射劑量也較大,而且在一些欠發(fā)達(dá)的基層醫(yī)院沒(méi)有相關(guān)設(shè)備,X光片仍然在體檢中占據(jù)著重要地位.

本文針對(duì)X光肺結(jié)節(jié)檢測(cè)任務(wù)的特點(diǎn),對(duì)CNN中的目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行改進(jìn),得到了一個(gè)端到端的目標(biāo)檢測(cè)模型,相較于前人的研究,本文主要有以下貢獻(xiàn):

1)不同于當(dāng)前X光主流的3步檢測(cè)算法,本文使用目標(biāo)檢測(cè)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn),包含較多的共享特征層,比提取候選區(qū)域然后再進(jìn)行細(xì)分的方法有著更少的計(jì)算時(shí)間.

2)將肺結(jié)節(jié)檢測(cè)結(jié)果的位置坐標(biāo)信息,輸入目標(biāo)區(qū)域分類的子網(wǎng)絡(luò)中,能夠?qū)Y(jié)節(jié)位置進(jìn)行一定約束,減少假陽(yáng)性樣本結(jié)果,表現(xiàn)超出了基礎(chǔ)網(wǎng)絡(luò).

3)對(duì)于肺結(jié)節(jié)檢測(cè)的回歸框定義不嚴(yán)格的特點(diǎn),使用對(duì)小誤差更加不敏感的坐標(biāo)回歸的損失函數(shù),最終在較低假陽(yáng)性結(jié)果比例的情況下,取得了JSRT上的最佳結(jié)果.

專家共識(shí)推薦:建議視情況采用不同的切除方式，除TaG1/LG(低級(jí)別)腫瘤外，所有標(biāo)本中都要求有逼尿肌組織。

CT中的肺結(jié)節(jié)都會(huì)存在于肺部可視范圍內(nèi),不會(huì)有器官重疊的影響,所以在針對(duì)CT的研究中,肺部分割[9]是有必要的.然而不同于CT影像,如圖1所示,由于隔膜等組織結(jié)構(gòu)的重疊,導(dǎo)致有些結(jié)節(jié)不在分割得到的區(qū)域內(nèi),因此如果只檢測(cè)分割出的肺部區(qū)域?qū)?huì)使一部分結(jié)節(jié)無(wú)法被檢測(cè)到.

2 相關(guān)工作

2.1 X光肺結(jié)節(jié)檢測(cè)

肺結(jié)節(jié)檢測(cè)一直以來(lái)都是計(jì)算機(jī)輔助診斷技術(shù)的研究熱點(diǎn),但是大多數(shù)研究都是針對(duì)CT影像[2],前文也提到,CT影像相對(duì)而言容易得到比較令人滿意的結(jié)果,X光片的肺結(jié)節(jié)檢測(cè)任務(wù)相比CT有著更大的難度.但是胸部X線憑借著費(fèi)用低廉,更低放射劑量的優(yōu)勢(shì),在職工和學(xué)生體檢中仍占有較高的比重,因此針對(duì)X光的肺結(jié)節(jié)研究依然有著重要意義.

目前的肺結(jié)節(jié)檢測(cè)的CAD系統(tǒng)模型基本上都是圖像處理算法和機(jī)器學(xué)習(xí)算法相結(jié)合,大多分為3個(gè)步驟[3, 4]:分割肺部可視區(qū)域;產(chǎn)生候選肺結(jié)節(jié)結(jié)果;減少假陽(yáng)性結(jié)果.Wang C等[3]在肺部分割之前使用基于主成分分析(PCA)的方法降低肋骨遮擋對(duì)肺結(jié)節(jié)檢測(cè)的影響,并使用擴(kuò)展拉普拉斯高斯算子[5]提取候選區(qū)域;最后將人工特征和深度網(wǎng)絡(luò)特征融合對(duì)候選區(qū)域進(jìn)行分類.Li X等[4]提出的肺結(jié)節(jié)檢測(cè)模型也用了基于PCA的方法在X光片中剔除肋骨[6],在最后的分類階段,他們通過(guò)多特征融合并用支持向量機(jī)(SVM)來(lái)做最終的分類.采用這種流程的模型,每一個(gè)過(guò)程的性能都非常依賴于上一個(gè)步驟的結(jié)果,而且每一步都會(huì)一定程度上有幾率降低模型敏感度.除此之外,這類方法相當(dāng)于把候選區(qū)域單獨(dú)取出,然后使用分類模型進(jìn)行判斷,會(huì)丟失一部分上下文信息,在鎖骨手臂等部位容易出現(xiàn)假陽(yáng)性結(jié)果,這也是采用這種流程的模型大都要做肺部區(qū)域分割的原因.

針對(duì)肋骨與肺結(jié)節(jié)重合的問(wèn)題,除了前文中提到的無(wú)監(jiān)督學(xué)習(xí)方法,Yang W[7]等人使用卷積神經(jīng)網(wǎng)絡(luò)CamsNet取得了更好的效果,有效降低了肋骨重合對(duì)檢測(cè)結(jié)果的影響.

針對(duì)肺部區(qū)域分割問(wèn)題,Dai W等[8]采用生成對(duì)抗網(wǎng)絡(luò)的思想,用一個(gè)分割網(wǎng)絡(luò)和一個(gè)判別網(wǎng)絡(luò)對(duì)肺部區(qū)域和心臟區(qū)域進(jìn)行分割,在有限的訓(xùn)練數(shù)據(jù)上取得了較好的效果.

圖1 結(jié)節(jié)與肺實(shí)質(zhì)分割區(qū)域Fig.1 Nodules and pulmonary segmented areas

本文第2部分闡述了相關(guān)研究工作.第3部分詳細(xì)闡述本文提出的肺結(jié)節(jié)檢測(cè)算法.第4部分為實(shí)驗(yàn)部分,首先將本文的方法與基本的目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行對(duì)比,然后選出3個(gè)在JSRT上取得優(yōu)異表現(xiàn)的研究成果與本文方法進(jìn)行對(duì)比,然后進(jìn)行討論.第5部分總結(jié)全文并確定未來(lái)工作內(nèi)容.

我們使用FROC曲線評(píng)價(jià)肺結(jié)節(jié)檢測(cè)算法的有效性,曲線的橫坐標(biāo)是平均每張X光圖像的假陽(yáng)性結(jié)節(jié)數(shù)量(Mean False Positives),縱坐標(biāo)為敏感度(Sensitivity),肺結(jié)節(jié)檢測(cè)任務(wù)的目標(biāo)是獲得較高的敏感度,同時(shí)假陽(yáng)性樣本率也要保證較低,較多的假陽(yáng)性樣本會(huì)對(duì)醫(yī)生產(chǎn)生誤導(dǎo),FROC曲線下的面積越大,說(shuō)明模型性能越好.平均假陽(yáng)性數(shù)和敏感度定義分別如公式(5)(6)所示:

2.2 目標(biāo)檢測(cè)網(wǎng)絡(luò)

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法目前分為兩大類,分別為以Faster RCNN[12]為代表的兩階段檢測(cè)器和Yolo[13]為代表的單階段檢測(cè)器.特征金字塔[14]結(jié)構(gòu)提升了目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)小目標(biāo)檢測(cè)的性能,RetinaNet[15]通過(guò)Focal loss損失函數(shù)將單階段檢測(cè)器的準(zhǔn)確率提升到了兩階段檢測(cè)器的水平,同時(shí)保持了單階段檢測(cè)器的計(jì)算速度,由于其同樣具有特征金字塔結(jié)構(gòu),使得對(duì)于小目標(biāo)檢測(cè)同樣有著較優(yōu)表現(xiàn).

首爾君悅酒店為中國(guó)游客開(kāi)通了通往明洞、梨泰院地區(qū)的免費(fèi)班車。王子酒店在首爾站及機(jī)場(chǎng)大巴停車站提供免費(fèi)接送的服務(wù)。首爾希爾頓酒店為中國(guó)游客開(kāi)通了通往弘益大學(xué)的免費(fèi)班車。

X光片的肺結(jié)節(jié)檢測(cè)也屬于對(duì)微小目標(biāo)的檢測(cè),因此本文基于RetinaNet實(shí)現(xiàn)肺結(jié)節(jié)檢測(cè)功能.因?yàn)榉谓Y(jié)節(jié)只會(huì)存在肺部區(qū)域,而不會(huì)在手臂或者肩膀或者腹部,而且肺結(jié)節(jié)在胸部的每個(gè)位置并不是等概率出現(xiàn)的,因此針對(duì)這個(gè)特點(diǎn),本文在分類子網(wǎng)絡(luò)中融合矩形框的坐標(biāo)和尺度信息輔助分類.實(shí)驗(yàn)結(jié)果表明融合結(jié)節(jié)位置和尺度相關(guān)信息對(duì)于肺結(jié)節(jié)檢測(cè)有促進(jìn)作用,性能超過(guò)了原網(wǎng)絡(luò).本文方法在公開(kāi)數(shù)據(jù)集JSRT上平均每張圖像4.5個(gè)假陽(yáng)性結(jié)果時(shí)敏感度為92%,2個(gè)假陽(yáng)性結(jié)果時(shí)敏感度為88%,在保證較低的假陽(yáng)性率的情況下,獲得了較高的敏感度,超出了前人的研究成果.

3 檢測(cè)算法

3.1 圖像預(yù)處理及算法流程

肺結(jié)節(jié)檢測(cè)算法的輸入圖像是12位深的X光圖像,因此在訓(xùn)練前不宜直接將其轉(zhuǎn)化成JPEG格式的8位圖片,那樣會(huì)丟失數(shù)據(jù)的精度.

(1)

我們直接將原圖用矩陣的形式讀入,由于X光片的亮度集中在一個(gè)范圍,為了增強(qiáng)圖像對(duì)比度,對(duì)其按公式(1)的方式進(jìn)行直方圖均衡化,不但能夠降低亮度變化的影響,而且將數(shù)據(jù)標(biāo)準(zhǔn)化到[0,1]范圍內(nèi).其中L=4096,表示像素值范圍,ni表示像素值為i的像素?cái)?shù)量,n為像素總數(shù),Ik就是像素值為k的像素經(jīng)過(guò)均衡化后的結(jié)果.然后把圖像矩陣變?yōu)?通道,存入磁盤中,供訓(xùn)練使用.

圖2 算法流程圖Fig.2 Algorithm flow chart

檢測(cè)時(shí),將DICOM格式的X光圖像以矩陣的形式輸入,經(jīng)過(guò)數(shù)據(jù)預(yù)處理后,輸入檢測(cè)網(wǎng)絡(luò),輸出為肺結(jié)節(jié)的預(yù)測(cè)結(jié)果,結(jié)果由外接矩形框(Bounding box,Bbox)和得分組成,同時(shí)對(duì)得分要事先設(shè)置一個(gè)閾值,當(dāng)矩形框的得分大于閾值時(shí)輸出,肺結(jié)節(jié)檢測(cè)的流程如圖2所示.

3.2 卷積神經(jīng)網(wǎng)絡(luò)

肺結(jié)節(jié)在胸片中呈現(xiàn)的是一個(gè)孤立的橢圓形高亮區(qū)域,因此具有較為明顯的局部特征,但因?yàn)橹車蓴_以及尺寸和形態(tài)不一導(dǎo)致難以檢測(cè).卷積神經(jīng)網(wǎng)絡(luò)由于卷積核權(quán)重共享,而且每層都有多個(gè)卷積核提取圖像特征,所以對(duì)于肺結(jié)節(jié)這種具有一定的共性特征的目標(biāo),經(jīng)過(guò)訓(xùn)練能夠使結(jié)節(jié)區(qū)域產(chǎn)生響應(yīng).檢測(cè)任務(wù)在CNN的特征層上進(jìn)行,由于CNN感受野的作用,使得輸出層的一個(gè)像素對(duì)應(yīng)著原圖的較大一塊區(qū)域,因此包含了上下文信息.肺結(jié)節(jié)檢測(cè)雖然也是一個(gè)目標(biāo)檢測(cè)任務(wù),但是有一定的區(qū)別,一般的檢測(cè)目標(biāo)本身具有一定的內(nèi)部特征,例如人有軀干四肢等部位,而肺結(jié)節(jié)在X光影像中表現(xiàn)為孤立的近似為圓形的像素高亮區(qū)域,判斷是否是肺結(jié)節(jié)依靠的是中心區(qū)域與周邊區(qū)域的像素灰度對(duì)比,而且通過(guò)形狀和周圍紋理來(lái)區(qū)分出是否是肺結(jié)節(jié),上下文信息尤為重要.CNN能夠同時(shí)滿足局部特征提取和保證上下文信息兩個(gè)要求,因此CNN模型能夠解決此問(wèn)題.

由于肺結(jié)節(jié)相對(duì)于整幅圖像來(lái)說(shuō)尺寸較小,Faster RCNN[12]僅在卷積網(wǎng)絡(luò)的最后一層上進(jìn)行候選區(qū)域提取然后再分類,這種深層特征更加抽象,傾向于語(yǔ)義級(jí)的描述,因此會(huì)忽略一些微小結(jié)節(jié).基于特征金字塔網(wǎng)絡(luò)[14]的檢測(cè)模型比較適用于小目標(biāo)檢測(cè), 它將深層卷積層的特征圖進(jìn)行上采樣,同時(shí)融合淺層卷積層特征,形成特征金字塔.金字塔頂端的特征圖有著更大的感受野,更抽象的語(yǔ)義表示,底端的特征圖有著更豐富的紋理等形態(tài)信息,能夠表示更多細(xì)節(jié).因此小目標(biāo)在金字塔底部的特征圖上進(jìn)行預(yù)測(cè),大的目標(biāo)在金字塔頂部的特征圖上預(yù)測(cè),這樣檢測(cè)網(wǎng)絡(luò)能夠覆蓋更大的尺度范圍.因此在肺結(jié)節(jié)檢測(cè)任務(wù)中,基于特征金字塔的網(wǎng)絡(luò)能夠?qū)ξ⑿∧繕?biāo)有著更敏感的響應(yīng).

針對(duì)同步交流發(fā)電機(jī)旋轉(zhuǎn)整流器故障[11-12]，擬考慮開(kāi)路故障模式，即分為3大類：正常工作模式、單管開(kāi)路故障模式和雙管開(kāi)路故障模式，具體見(jiàn)表1。

圖3 卷積神經(jīng)網(wǎng)絡(luò)特征金字塔結(jié)構(gòu)Fig.3 Feature pyramid structure of CNN

3.3 分類和Bbox回歸子網(wǎng)絡(luò)

目標(biāo)檢測(cè)網(wǎng)絡(luò)中候選區(qū)域分類結(jié)果和矩形框回歸都是獨(dú)立進(jìn)行預(yù)測(cè)的,雖然yolo系列[13, 17]的目標(biāo)檢測(cè)網(wǎng)絡(luò)在輸出層同時(shí)得到分類結(jié)果和位置信息,但是這兩者之間并沒(méi)有體現(xiàn)出因果關(guān)系.而肺結(jié)節(jié)檢測(cè)和普通的目標(biāo)檢測(cè)任務(wù)有些區(qū)別,肺結(jié)節(jié)只會(huì)出現(xiàn)在一定的區(qū)域內(nèi),也就是說(shuō)結(jié)節(jié)在圖像中每個(gè)位置出現(xiàn)的概率是不相同的,而且結(jié)節(jié)的大小也會(huì)在一定的范圍內(nèi),所以在分類子網(wǎng)絡(luò)中加入位置和尺度信息能夠?qū)︻A(yù)測(cè)結(jié)果進(jìn)行一定的限制,從而減少在不可能出現(xiàn)結(jié)節(jié)的位置如手臂或者肩膀上出現(xiàn)的假陽(yáng)性結(jié)果.

傳統(tǒng)外貿(mào)企業(yè)要想做好跨境電子商務(wù)，一方面需要國(guó)家的政策支持；另一方面需要企業(yè)自身的努力，方能在國(guó)際市場(chǎng)中取得成功。綜述學(xué)者們的建議，主要有復(fù)合型跨境電商人才的培養(yǎng)、跨境物流的完善、跨境平臺(tái)的選擇、支付方式的選擇、信用安全體系的完善等。

檢測(cè)網(wǎng)絡(luò)的結(jié)構(gòu)如圖4所示,此網(wǎng)絡(luò)與特征金字塔的每一層對(duì)應(yīng),我們?cè)谂袛喈?dāng)前區(qū)域是否為肺結(jié)節(jié)的時(shí),加入矩形框的信息,其中一維的卷積操作都使用size=1,stride=1的卷積核.我們采用Faster RCNN[12]中的使用錨點(diǎn)(anchor)在原始圖像上生成初步的候選區(qū)域,anchor的面積從162至2562像素大小,分別對(duì)應(yīng)p3至p7的特征金字塔層.由于肺結(jié)節(jié)幾乎都是圓形區(qū)域,因此設(shè)定anchor的長(zhǎng)寬比為[0.8,1,1.25],為了使得尺度更加緊湊,每一個(gè)長(zhǎng)寬比都有[20,21/5,22/5,23/5,24/5]不同的尺度,以較高的anchor密度,盡可能地覆蓋所有的肺結(jié)節(jié)區(qū)域,每一個(gè)檢測(cè)網(wǎng)絡(luò)的anchor的數(shù)量為W*H*15,其中W,H分別為輸入的特征圖的寬和高.特征金字塔總共有5層,對(duì)應(yīng)5個(gè)檢測(cè)子網(wǎng)絡(luò),網(wǎng)絡(luò)的輸出為每個(gè)anchor對(duì)應(yīng)的坐標(biāo)大小以及得分.

坐標(biāo)回歸網(wǎng)絡(luò)在訓(xùn)練時(shí)需要進(jìn)行歸一化,因?yàn)榻Y(jié)節(jié)有大小之分,而且尺寸相差也比較懸殊,不能統(tǒng)一按照坐標(biāo)差來(lái)衡量誤差.因此,采用如下方法對(duì)檢測(cè)網(wǎng)絡(luò)的坐標(biāo)輸出進(jìn)行變換:

珠江黃金水道的跨越式發(fā)展，首先得益于頂層設(shè)計(jì)的日臻完善。珠江航務(wù)管理局（以下簡(jiǎn)稱“珠航局”）緊緊抓住部黨組提出建設(shè)“第二條黃金水道”的歷史機(jī)遇，圍繞《若干意見(jiàn)》《規(guī)劃綱要》以及《行動(dòng)計(jì)劃》三大頂層設(shè)計(jì)文件狠抓督辦。截至目前，《行動(dòng)計(jì)劃》明確的62項(xiàng)重點(diǎn)任務(wù)中59項(xiàng)已正式啟動(dòng)，規(guī)劃中的美好愿景正慢慢照進(jìn)現(xiàn)實(shí)。

圖4 檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Detection network structure

(2)

在科學(xué)技術(shù)部、住房和城鄉(xiāng)建設(shè)部有關(guān)司局，中國(guó)BIM標(biāo)委會(huì)、中國(guó)城市科學(xué)研究會(huì)BIM專委會(huì)的大力支持下，聯(lián)盟開(kāi)展機(jī)構(gòu)和制度建設(shè)、標(biāo)準(zhǔn)研制、課題研究、行業(yè)交流、宣傳推廣等工作，創(chuàng)新運(yùn)行機(jī)制，取得較好成效。

3.4 損失函數(shù)

訓(xùn)練檢測(cè)網(wǎng)絡(luò)的時(shí)候,所有的anchor中,有目標(biāo)的僅占極小一部分,類別極度不平衡,因此采用focal loss損失函數(shù):

鑒于RetinaNet在coco數(shù)據(jù)集和Pascal VOC數(shù)據(jù)集上的優(yōu)秀表現(xiàn)以及其基于特征金字塔的特點(diǎn),我們采用其作為本文基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu),如圖3所示,Conv1-Conv5分別為Resnet[16]的5個(gè)卷積層輸出的特征圖,p5由Conv5經(jīng)過(guò)1*1的卷積得到,卷積核數(shù)目為256,p4由p5上采樣并與Conv4經(jīng)過(guò)1*1卷積后相加得到,p3與p4操作相同.而p6由p5經(jīng)過(guò)3*3,步長(zhǎng)為2的卷積核卷積所得,檢測(cè)任務(wù)在特征金字塔每一層的特征圖上進(jìn)行.

其中(X1,Y1)為原圖中矩形框的左上角坐標(biāo)，(X2，Y2)為矩形框的右下角坐標(biāo)，Wa和Ha為anchor的寬和高，數(shù)據(jù)集中的標(biāo)簽在網(wǎng)絡(luò)訓(xùn)練時(shí)也同樣按照公式(2)轉(zhuǎn)化。

(3)

從表1中可以看出,在敏感度相同時(shí),本文的方法能夠帶來(lái)更低的假陽(yáng)性率.我們將候選區(qū)域得分的閾值設(shè)置為0.1,我們選擇其中的一例樣本,標(biāo)注如圖6所示.

我陡然意識(shí)到內(nèi)心不安的另一個(gè)理由，我把跟葉靄玲的約會(huì)忘記了。她曾跟我說(shuō)過(guò)，情人節(jié)去大華電影院看通宵電影，可是此時(shí)我卻在這兒。雖然我清楚地知道今天是情人節(jié)，可是我裝出一副忘記了的樣子，所以我沒(méi)有帶來(lái)任何禮物，我說(shuō)，你想要什么？

(4)

如前文所述,肺結(jié)節(jié)的矩形框并不是嚴(yán)格意義上的外接矩形,能夠?qū)⒎谓Y(jié)節(jié)區(qū)域包含進(jìn)去,并且大小并沒(méi)有差太多的都可以認(rèn)為是正確的檢測(cè).在給anchor打標(biāo)簽的時(shí)候,我們也沒(méi)有像普通的目標(biāo)檢測(cè)任務(wù)那樣嚴(yán)格,因此坐標(biāo)損失函數(shù)定義如公式(4).使用4階SmoothL1損失函數(shù)可以使得損失值在矩形框坐標(biāo)接近標(biāo)簽的時(shí)候更加平滑,使得整個(gè)網(wǎng)絡(luò)更加專注于對(duì)anchor的分類結(jié)果.

酒店實(shí)行收支兩條線，會(huì)計(jì)核算模塊與現(xiàn)金收入模塊存在著相互核對(duì)的作用，而成本控制對(duì)商品采購(gòu)業(yè)務(wù)也起著監(jiān)督作用。各業(yè)務(wù)流程中的各個(gè)崗位職責(zé)明確、資格要求清楚，對(duì)各個(gè)崗位日常工作范圍作了十分詳細(xì)的規(guī)定，使各崗位的工作制度化，不會(huì)因人員變動(dòng)而影響，也有利于分清責(zé)任，便于對(duì)各個(gè)崗位工作進(jìn)行考核和監(jiān)督。

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)集

我們采用兩個(gè)不同的數(shù)據(jù)集來(lái)驗(yàn)證算法的有效性.數(shù)據(jù)集A來(lái)自安徽省中醫(yī)院的病例數(shù)據(jù),數(shù)據(jù)集含有2954張帶有肺結(jié)節(jié)的來(lái)自不同患者的胸部正面X光圖片,尺寸在2048至3000之間,灰度深度為12位,每一個(gè)病例樣本與由4位放射科專家標(biāo)注的JPEG格式相同尺寸的標(biāo)注圖對(duì)應(yīng),每個(gè)病例樣本中都至少有一個(gè)肺結(jié)節(jié).

數(shù)據(jù)集B是公開(kāi)的胸部正面X光數(shù)據(jù)集JSRT,此數(shù)據(jù)集是由CT影像診斷出的肺結(jié)節(jié)在X光圖片中進(jìn)行標(biāo)注,包含257張X光圖片,其中154張是帶有結(jié)節(jié)的樣本,而且每張圖片僅有一個(gè)肺結(jié)節(jié),尺寸都是2048*2048像素,灰度深度同樣為12位.

4.2 評(píng)價(jià)指標(biāo)

候選區(qū)域提取很難保證所有的結(jié)節(jié)區(qū)域都能夠作為候選區(qū)域,Li C等[10]為了提高結(jié)節(jié)檢測(cè)的敏感度,使用了較為傳統(tǒng)的方法:多尺度滑動(dòng)窗口,不僅保證了在這一步盡可能不丟失任何結(jié)節(jié),同時(shí)多尺度也保證上下文信息.然后使用集成學(xué)習(xí)的方法,將候選區(qū)域變換成3種尺寸,輸入3個(gè)不同的CNN模型,最后將3個(gè)模型的結(jié)果進(jìn)行投票得到最終結(jié)果.這種集成學(xué)習(xí)的方法能夠提升算法的效果.因此在公開(kāi)數(shù)據(jù)集JSRT[11]上,取得了最高的敏感度94%.但是多尺寸滑動(dòng)窗口的方法有些暴力,其中有過(guò)多的冗余計(jì)算.而且為了提高性能使用了3個(gè)CNN模型,導(dǎo)致計(jì)算量異常大.

(5)

(6)

但在訓(xùn)練的時(shí)候我們使用目標(biāo)檢測(cè)中常用的評(píng)估指標(biāo)mAP(Mean Average Precision)來(lái)判斷模型的性能,能夠更加簡(jiǎn)單有效地評(píng)估實(shí)驗(yàn)結(jié)果.

4.3 數(shù)據(jù)擴(kuò)充

兩個(gè)數(shù)據(jù)集加起來(lái)只有3000多例樣本,對(duì)于深度學(xué)習(xí)來(lái)說(shuō)樣本量并不充足,因此我們?cè)谠袠颖镜幕A(chǔ)上進(jìn)行了數(shù)據(jù)擴(kuò)充.

在原圖上,我們對(duì)圖片進(jìn)行了隨機(jī)的水平鏡像、小角度旋轉(zhuǎn),以及縮放等操作.除此之外,對(duì)于樣本標(biāo)簽,我們也對(duì)其采用了0.1比例的隨機(jī)平移和縮放,保證結(jié)節(jié)在bbox內(nèi)部,而且尺度上又沒(méi)有相差很大.這兩種方式相結(jié)合,解決了數(shù)據(jù)樣本不足的問(wèn)題,同時(shí)也能夠提高模型的泛化能力.

4.4 實(shí)驗(yàn)結(jié)果及分析

首先驗(yàn)證本文提出方法的有效性.我們以原始的RetinaNet作為比較對(duì)象,在數(shù)據(jù)集A上對(duì)比這兩個(gè)模型的性能.兩個(gè)網(wǎng)絡(luò)模型的卷積層都使用ResNet152[16],圖像預(yù)處理和數(shù)據(jù)擴(kuò)充都與前文所述一致,而且兩個(gè)網(wǎng)絡(luò)所用的anchor參數(shù)與本文第3.3節(jié)一致.

訓(xùn)練時(shí)我們令公式(3)中的α=0.5，γ=2，公式(4)中的σ=4，使用Adam優(yōu)化器，初始學(xué)習(xí)率=1e-4，batch size=2。每當(dāng)mAP 4輪訓(xùn)練都不再提升時(shí)，將學(xué)習(xí)率衰減0.1，經(jīng)過(guò)50個(gè)訓(xùn)練周期，取其中最優(yōu)的模型。

我們隨機(jī)從數(shù)據(jù)集A中抽取了148張有結(jié)節(jié)的樣本作為測(cè)試集,其余2806個(gè)樣本圖片作為訓(xùn)練集,分別訓(xùn)練上述2個(gè)模型.最終得到兩個(gè)模型的FROC曲線如圖5所示.

圖5中LSFNet(Location and Scale Information Fusion Network)是本文提出的融合位置尺度信息的卷積神經(jīng)網(wǎng)絡(luò).我們從結(jié)果中可以看出,本文針對(duì)肺結(jié)節(jié)檢測(cè)任務(wù),提出的算法是有效的,優(yōu)于RetinaNet,從曲線中我們選取敏感度為0.9和0.95的兩個(gè)點(diǎn)進(jìn)行具體比較,如表1所示.

其中,y是當(dāng)前anchor的標(biāo)簽,p為神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值,這個(gè)損失函數(shù)相當(dāng)于對(duì)每個(gè)樣本依據(jù)預(yù)測(cè)結(jié)果加了一個(gè)自適應(yīng)權(quán)重,對(duì)于與目標(biāo)相差較大的,損失權(quán)重較大,也就是說(shuō)這個(gè)損失函數(shù),能夠讓模型更加重視一些困難樣本.

圖5 數(shù)據(jù)集A上FROC曲線比較Fig.5 FROC courve compar i son on data set A

表1 RetinaNet與本文方法性能對(duì)比
Table 1 Performance comparison between
RetinaNet and our method

模型mAPFP per imageSens=0.9Sens=0.95RetinaNet0.79031.793.77LSFNet0.81991.623.28

圖7為兩個(gè)模型在同一分?jǐn)?shù)閾值下的檢測(cè)結(jié)果對(duì)比.我們的方法能夠巧妙地避開(kāi)肩膀上的假陽(yáng)性樣本,模型更加具有“大局觀”,兼顧上下文信息,降低了假陽(yáng)性樣本數(shù)量.

2017年采集保山市昌寧縣植煙區(qū)域土壤樣品共230個(gè)，其中珠街彝族鄉(xiāng)72個(gè)、柯街鎮(zhèn)18個(gè)、耈街彝族苗族鄉(xiāng)40個(gè)、翁堵鄉(xiāng)14個(gè)、雞飛鄉(xiāng)21個(gè)、溫泉鄉(xiāng)7個(gè)、卡斯鎮(zhèn)18個(gè)、更戛鄉(xiāng)24個(gè)、大田壩鄉(xiāng)16個(gè)。

圖6 訓(xùn)練樣本標(biāo)注Fig.6 Training label

我們隨機(jī)將數(shù)據(jù)集B中帶有結(jié)節(jié)的154例樣本劃分為15份,進(jìn)行交叉驗(yàn)證.使用數(shù)據(jù)集A上的訓(xùn)練模型進(jìn)行參數(shù)初始化,然后將初始學(xué)習(xí)率設(shè)置為1e-5,學(xué)習(xí)率衰減機(jī)制同上,本文方法在數(shù)據(jù)集B上的FROC曲線如圖8所示.

那段時(shí)間，日子是灰色的。錢海燕覺(jué)得自己的整個(gè)世界都坍塌了?；楹筮@一年，周啟明將她寵得像個(gè)孩子，現(xiàn)在他倒下了，她只能扛起所有的事。

2.2.4 健康宣教 ①告訴患者和家屬保持個(gè)人衛(wèi)生，在治療期間禁止性生活，不互穿內(nèi)衣褲，不使用公共浴盆、浴巾。每天做好座便器的消毒，防止疾病傳播和預(yù)防。②貴重物品交與家屬管理，不隨意打開(kāi)約束器具、安全房門。③當(dāng)患者有無(wú)理要求時(shí)，不要輕易答應(yīng)，如出去買報(bào)紙、買彩票、要5元錢等，都會(huì)導(dǎo)致患者逃離病區(qū)不能按時(shí)接受治療，而使療程中斷。

課題二：設(shè)計(jì)一臺(tái)兩級(jí)軸流式渦輪，設(shè)計(jì)點(diǎn)給定參數(shù)：進(jìn)口流量53.69 kg/s，進(jìn)口總壓：1.72×106 Pa,進(jìn)口總溫：1 330 K，渦輪出口靜壓：4.54×105 Pa，出口總壓5.11×105 Pa，滯止效率0.865，轉(zhuǎn)速1.26×104 r/min，燃?xì)饨^熱指數(shù)：1.33，燃?xì)鈿怏w常數(shù)287.3。

圖7 檢測(cè)結(jié)果對(duì)比Fig.7 Comparison of detection results

下面我們?cè)诠_(kāi)數(shù)據(jù)集JSRT上將本文方法與先前的研究進(jìn)行對(duì)比,詳細(xì)數(shù)據(jù)指標(biāo)如表2所示.

到達(dá)陣地后，夏國(guó)忠指揮士兵們抓緊時(shí)間搶修工事。他讓戰(zhàn)士們利用地勢(shì)地形，構(gòu)筑起一條環(huán)山掩體，每隔幾米挖一個(gè)防空洞，以防鬼子飛機(jī)大炮的轟炸。

圖8 模型在JSRT上的FROC曲線Fig.8 FROC curve of model on JSRT

在前文中提到,通過(guò)肺實(shí)質(zhì)分割來(lái)減少假陽(yáng)性樣本數(shù)量的方法對(duì)于器官重疊區(qū)域的結(jié)節(jié)無(wú)效,在JSRT中有154個(gè)有結(jié)節(jié)的病例,其中有14個(gè)結(jié)節(jié)在器官重疊位置,因此他們?cè)谧詈髾z測(cè)的時(shí)候剔除了這14個(gè)樣本,本文的方法就沒(méi)有這個(gè)限制.

表2 方法性能對(duì)比
Table 2 Performance comparison of methods

方法敏感度mFP 數(shù)據(jù)集JSRTWang C[3]0.691.2140 of 154Li X[4]0.782.0140 of 1540.904.0140 of 154Li C[10]0.842.0All 0.944.6AllLSFNet(本文方法)0.820.91540.872.01540.914.01540.882.0All0.924.5All

Li C[10]的方法雖然在JSRT上敏感度最高可以達(dá)到0.94,但是本文的方法在較低假陽(yáng)性樣本率時(shí)的敏感度更高,據(jù)醫(yī)生反饋,當(dāng)每張X光片假陽(yáng)性結(jié)果數(shù)目超過(guò)3個(gè)時(shí),在實(shí)際應(yīng)用中會(huì)給醫(yī)生帶來(lái)更多的困擾.而且他們基于滑動(dòng)窗口生成候選區(qū)域,使用3個(gè)卷積神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)行投票,計(jì)算量很大,相比之下我們的算法前面的卷積層在計(jì)算每個(gè)候選區(qū)域時(shí)是共享的,能夠節(jié)省大量的時(shí)間.經(jīng)我們實(shí)測(cè),本文的方法在配置英偉達(dá)GTX-1080Ti的計(jì)算機(jī)上平均一張X光片的檢測(cè)時(shí)長(zhǎng)僅為0.17秒,時(shí)間優(yōu)勢(shì)非常明顯.

從兩個(gè)實(shí)驗(yàn)中能夠看出,模型在數(shù)據(jù)集A上的效果要優(yōu)于數(shù)據(jù)集B,這是因?yàn)閿?shù)據(jù)集A由4位影像科專家手工標(biāo)注的,而數(shù)據(jù)集B是經(jīng)過(guò)CT診斷后,重新對(duì)應(yīng)到X光圖片中,由此看來(lái),基于X光的肺結(jié)節(jié)檢測(cè),只適用于疾病的初篩,在日常體檢中發(fā)現(xiàn)疑似問(wèn)題,然后還是要經(jīng)過(guò)CT進(jìn)一步確認(rèn),畢竟在準(zhǔn)確方面CT有著更大的優(yōu)勢(shì).

5 總結(jié)與展望

本文針對(duì)X光肺結(jié)節(jié)檢測(cè)任務(wù)的特點(diǎn),基于目標(biāo)檢測(cè)網(wǎng)絡(luò)RetinaNet進(jìn)行了改進(jìn),在判斷時(shí)融合了結(jié)節(jié)檢測(cè)的位置和尺度信息,不需要事先對(duì)輸入圖片進(jìn)行肺實(shí)質(zhì)分割,既簡(jiǎn)化了算法流程,又起到了降低假陽(yáng)性結(jié)果比例的效果.實(shí)驗(yàn)證明,融合的特征對(duì)于檢測(cè)結(jié)果有幫助,而且本文方法在保證較高敏感度的同時(shí),極大地降低了假陽(yáng)性結(jié)果的比例,而且在器官重疊區(qū)域也能保證檢測(cè)效果.本文算法與那些先取候選區(qū)域,再用CNN分類的方法相比,具有更好的時(shí)間復(fù)雜度.我們的方法在較低假陽(yáng)性結(jié)果比例的情況下,在JSRT上獲得了比之前研究更高的敏感度.

經(jīng)過(guò)我們對(duì)未檢出樣本的復(fù)核,發(fā)現(xiàn)肋骨陰影會(huì)對(duì)檢測(cè)結(jié)果產(chǎn)生負(fù)面影響.我們接下來(lái)將會(huì)重點(diǎn)研究肋骨剔除的算法,將其加入現(xiàn)有方法中,實(shí)現(xiàn)一個(gè)效果更優(yōu)的X光肺結(jié)節(jié)檢測(cè)系統(tǒng).