基于D-UNET的胎兒產(chǎn)前超聲檢測

李志昂， 馬宗慶， 王 艷， 張 波， 羅 紅， 周激流

(1.四川大學(xué)電子信息學(xué)院， 成都610065； 2.四川大學(xué)計(jì)算機(jī)學(xué)院， 成都 610065；3.四川大學(xué)華西第二醫(yī)院超聲科， 成都 610065)

1 引 言

出生缺陷會(huì)導(dǎo)致新生兒死亡，會(huì)給新生兒家庭帶來沉重打擊與負(fù)擔(dān).產(chǎn)前檢查可以及早發(fā)現(xiàn)胎兒缺陷，對判斷是否繼續(xù)妊娠具有較高的應(yīng)用價(jià)值.超聲成像是利用超聲聲束掃描人體，通過對反射信號的接收、處理，以獲得體內(nèi)器官的圖像.醫(yī)學(xué)超聲成像無輻射、實(shí)時(shí)且廉價(jià),已成為胎兒產(chǎn)前診斷的首選影像模式.通過超聲檢查不僅可以及時(shí)發(fā)現(xiàn)胎兒的體表缺陷，還可對胎兒的解剖結(jié)構(gòu)進(jìn)行測量，進(jìn)而發(fā)現(xiàn)潛在異常.產(chǎn)前超聲診斷通過對解剖結(jié)構(gòu)的標(biāo)準(zhǔn)切面定位以及腹圍，股骨，頭臀徑等生物學(xué)參數(shù)的測量，可以對胎兒的生長狀況進(jìn)行檢測以及早發(fā)現(xiàn)異常，從而減少嬰兒先天畸形率、嬰兒和孕婦的死亡率.產(chǎn)前超聲診斷的關(guān)鍵在于對超聲圖像檢查的準(zhǔn)確性.在實(shí)際超聲檢測中，檢測結(jié)果通常依賴于醫(yī)生手動(dòng)進(jìn)行檢測，該方法操作重復(fù)且效率低下同時(shí)嚴(yán)重依賴醫(yī)生的經(jīng)驗(yàn)，這些缺點(diǎn)常常會(huì)導(dǎo)致檢測的準(zhǔn)確率下降.因此，迫切需要針對胎兒生物參數(shù)的自動(dòng)測量方法來減輕對醫(yī)師的依賴，從而降低誤診率.

目前，在醫(yī)學(xué)圖像領(lǐng)域，已有大量的傳統(tǒng)算法和機(jī)器學(xué)習(xí)模型用于檢測胎兒的生物參數(shù).Chalana等[1-3]提出基于活動(dòng)輪廓模型的方法來檢測頭圍，但其檢測不能全自動(dòng)進(jìn)行并且在訓(xùn)練輪廓各點(diǎn)時(shí)對手工操作要求高.Shan等[4-5]提出了基于可形變模型的方法檢測頭圍，但該方法沒有考慮紋理結(jié)構(gòu)的空間特征從而檢測準(zhǔn)確率并不高.另外，Zhang等[6]提取了胎兒超聲的紋理特征，根據(jù)紋理特征檢測邊緣，再根據(jù)距離計(jì)算股骨長.Wang等[7]利用最大熵分割法計(jì)算股骨區(qū)域中最大矩陣的對角長作為股骨長.羅娜等[8]提出一種基于Frangi濾波器的股骨自動(dòng)測量方法，能自動(dòng)檢測股骨區(qū)域，并對股骨進(jìn)行定位.李璟等[9]提出了一種基于隨機(jī)森林的算法從超聲圖像中檢測感興趣部位.這些方法雖然能在一定程度上檢測感興趣部位但也普遍存在一定的局限性，即無法保證精度與自動(dòng)化測量同時(shí)達(dá)到較高的要求.

近年來，隨著深度學(xué)習(xí)的發(fā)展，基于深度卷積神經(jīng)網(wǎng)絡(luò)的算法在各個(gè)領(lǐng)域都得到了廣泛的應(yīng)用且取得了較好的效果[10-12].而在醫(yī)學(xué)圖像中，醫(yī)學(xué)圖像分割是最為常見的基于深度卷積神經(jīng)網(wǎng)絡(luò)的研究課題.胡光亮等[13]和?zgün等[14]分別提出了基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)和UNET[15]的分割算法來完成鼻咽腫瘤的區(qū)域分割任務(wù)和腎臟分割任務(wù).Zhang等[16]提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)對多模態(tài)腦部圖像進(jìn)行分割.Brosch等人[17]針對多發(fā)性硬化癥提出了一種三維類UNET網(wǎng)絡(luò)結(jié)構(gòu).

雖然深度卷積神經(jīng)網(wǎng)絡(luò)被廣泛用于醫(yī)學(xué)圖像任務(wù)中，但針對胎兒超聲圖像的分割與參數(shù)檢測的算法模型還很少.基于此，本文提出一種新型的D-UNET網(wǎng)絡(luò)結(jié)構(gòu)來進(jìn)行胎兒超聲圖像感興趣部位的自動(dòng)分割以及相應(yīng)的生物參數(shù)測量.該結(jié)構(gòu)基于UNET，保留了UNET具有代表性的跳躍連接結(jié)構(gòu)，并采用擴(kuò)張卷積增大卷積核的感受野，使得在特征提取的過程中，網(wǎng)絡(luò)能提取更多的上下文信息，從而消除局部歧義，得到更精確的分割結(jié)果，對股骨，腹圍以及頭臀徑等結(jié)構(gòu)進(jìn)行更精準(zhǔn)的定位，進(jìn)而得到更加精準(zhǔn)的生物參數(shù)測量值.

2 方 法

2.1 擴(kuò)張卷積

近來的研究方法指出，上下文信息對圖像分割的精確度有著至關(guān)重要的作用.然而，基于傳統(tǒng)的卷積核，獲得更多的上下文信息就要使用更大的卷積核，由此也會(huì)增加更多的參數(shù)，帶來更多的時(shí)間和顯存的消耗.針對這一問題，Yu等[18]提出了一種新的擴(kuò)張卷積(Dilation Convolution)方式.擴(kuò)張卷積原理如圖1所示.圖1中的圓點(diǎn)表示三種卷積方式的卷積核，大小都為3×3卷積，灰色區(qū)域表示感受野大小.圖1(a)中擴(kuò)張率為1，感受野大小為3×3，相當(dāng)于普通卷積；圖1(b)中擴(kuò)張率為2，感受野大小為7×7.若采用圖1(a)中卷積策略，要獲得7×7大小的感受野，則需要7×7大小的卷積核，此時(shí)會(huì)相應(yīng)增加參數(shù)量.類似的；圖1(c)圖的擴(kuò)張率為4，感受野大小為15×15，若采用圖1(a)卷積策略，要獲得15×15的感受野，則需要15×15大小的卷積核.對比圖2(a)～(c)可以看出，相比于普通卷積，擴(kuò)張卷積在不增加參數(shù)數(shù)量的情況下具有更大的感受野，并能保證輸出的特征映射大小保持不變.即擴(kuò)張卷積在不增加參數(shù)的情況下能比普通卷積獲得更多的上下文信息，進(jìn)而得到更好的分割效果.

圖1 擴(kuò)張卷積示意圖Fig.1 The schematic of dilation convolution

圖2 D-UNET網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 The architecture of D-UNET

2.2 帶參數(shù)的線性整流激活函數(shù)

激活函數(shù)的加入能使網(wǎng)絡(luò)的輸出具有非線性表達(dá)能力，理論上可以近似擬合任意函數(shù).在傳統(tǒng)的的網(wǎng)絡(luò)模型中每一層卷積后通常采用ReLU激活函數(shù)，其表達(dá)式如下.

(1)

ReLU在訓(xùn)練過程中收斂速度較快，因此被廣泛應(yīng)用于各類網(wǎng)絡(luò)模型中.但觀察式(1)可以發(fā)現(xiàn)，當(dāng)ReLU函數(shù)對應(yīng)輸入小于零時(shí)，函數(shù)輸出均為0，從而導(dǎo)致神經(jīng)元處于非激活狀態(tài)，造成網(wǎng)絡(luò)參數(shù)無法更新的問題.針對這一問題PReLU激活函數(shù)被提出.PReLU將小于0部分設(shè)置一個(gè)相對小的且雖數(shù)據(jù)變化的權(quán)值.從而避免神經(jīng)元處于非激活狀態(tài)，其表達(dá)式如下式.

(2)

式(2)中的a是可學(xué)習(xí)的參數(shù).

2.3 D-UNET

本文提出的D-UNET網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，該網(wǎng)絡(luò)結(jié)構(gòu)基于UNET，由圖中左側(cè)的收縮編碼部分以及右側(cè)的解碼器部分組成，其中跳躍連接用以保存收縮編碼過程中可能丟失的編碼路徑信息.收縮編碼部分包括4個(gè)卷積塊.每個(gè)卷積塊包含3個(gè)3×3的卷積層，每個(gè)卷積層后面都會(huì)經(jīng)過一個(gè)批標(biāo)準(zhǔn)化[19](Batch Normalization, BN)和一個(gè)帶參數(shù)的線性整流(Parametric Rectified Linear Unit, PreLU)激活函數(shù).批標(biāo)準(zhǔn)化的加入可以加快網(wǎng)絡(luò)的收斂速度并控制過擬合，激活函數(shù)可以使網(wǎng)絡(luò)具有非線性表達(dá)能力.每個(gè)卷積塊將加倍特征圖的數(shù)量.經(jīng)過4個(gè)卷積塊，特征圖數(shù)量增加到512.另外，與傳統(tǒng)的UNET不一樣，每個(gè)卷積塊的卷積都采用擴(kuò)張卷積的策略，擴(kuò)張大小分別為3,6,12,18(如圖2所示)，如2.1節(jié)介紹，擴(kuò)張卷積的策略能在不增加參數(shù)量的前提下提高網(wǎng)絡(luò)上下文信息的提取能力.對編碼得到的特征圖，一方面我們將其經(jīng)過一次全局池化以提供全局上下文信息，另一方面我們將特征空圖通過上采樣并和全局上下文信息一起通過跳躍連接與對應(yīng)編碼端部分級聯(lián)，在經(jīng)過一層1*1的卷積對特征圖進(jìn)行壓縮，從而減少參數(shù)數(shù)量.通過逐層上采樣，最終恢復(fù)到與輸入圖像同樣大小，最后經(jīng)過sigmoid層將輸出結(jié)果放縮至0～1范圍內(nèi)，以輸出最終的概率圖，每個(gè)像素點(diǎn)的值對應(yīng)表示屬于分割部分的概率.

3 實(shí)驗(yàn)準(zhǔn)備與實(shí)驗(yàn)結(jié)果

3.1 數(shù)據(jù)集準(zhǔn)備

本文實(shí)驗(yàn)數(shù)據(jù)集來自四川大學(xué)華西醫(yī)院，主要包括三個(gè)不同部位的數(shù)據(jù)：腹圍、頭臀徑以及股骨.圖3為本文所使用數(shù)據(jù)集的圖像示例，圖3(a)～(c)為胎兒腹圍、頭臀徑以及股骨的標(biāo)準(zhǔn)切面，(d)～(f)是專家醫(yī)師手動(dòng)標(biāo)注圖，圖3(g)～(i)是通過專家醫(yī)師手動(dòng)標(biāo)注圖生成的標(biāo)準(zhǔn)灰度掩模圖.將圖3(a)～(c)的標(biāo)準(zhǔn)切面圖輸入模型進(jìn)行訓(xùn)練并將得到的結(jié)果與圖3(g)～(i)的灰度掩模圖進(jìn)行損失計(jì)算，以此來計(jì)算損失并優(yōu)化網(wǎng)絡(luò).

圖3 標(biāo)準(zhǔn)切面與對應(yīng)掩模圖示例Fig.3 Examples of standard planes and corresponding mask

三個(gè)不同部位的數(shù)據(jù)集分別包含800張圖片，其中560張作為訓(xùn)練集，240張作為測試集.數(shù)據(jù)集在未經(jīng)處理之前在圖片上都含有一些病人的敏感信息，包括病人的姓名性別等，經(jīng)過裁剪將不必要的部分去掉.另外，為了增加數(shù)據(jù)量，提高網(wǎng)絡(luò)的性能，減小過擬合的風(fēng)險(xiǎn)，本文做了相應(yīng)的數(shù)據(jù)增強(qiáng)：首先對圖片做固定裁剪，將大小為1716*1076的原圖以不同的中心位置將其裁剪成5張512*512大小的圖片，然后再隨機(jī)水平翻轉(zhuǎn)與或垂直翻轉(zhuǎn).

3.2 對比方法與評價(jià)指標(biāo)

為了驗(yàn)證本文提出的D-UNET的性能，本文與三種深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對比，三者分別為：FCN[20]，Segnet[21]以及UNET[15].FCN是一種端對端的模型，對任意的輸入大小可以產(chǎn)生相應(yīng)大小的輸出，具有高效的推理和學(xué)習(xí)能力.Segnet采用Encoder-Decoder結(jié)構(gòu)，并且在每次池化時(shí)都會(huì)保存max選出的權(quán)值在卷積核中的相對位置從而在上采樣時(shí)進(jìn)行恢復(fù).UNET由兩條路徑組成:一條收縮路徑和一條擴(kuò)展路徑.前者將輸入圖像編碼成一組高級特征，構(gòu)成輸入的緊湊的中間表示，后者則利用這些特征生成一個(gè)像素級的分割掩碼.此外，它還包括跳接連接，它將淺層的輸出連接到后續(xù)層的輸入，目的是傳遞在編碼過程中可能丟失的信息.

為了定量的評估算法的分割性能，本文共采用了三種評價(jià)指標(biāo)對本文模型性能進(jìn)行定量的分析.

DSC(Dice Similarity Coefficient)用于度量實(shí)際分割結(jié)果與理論結(jié)果的重合程度.

(3)

其中，G表示醫(yī)生手動(dòng)標(biāo)注的掩模圖；P表示我們模型生成的掩模圖；M(G∩P)表示模型分割區(qū)域與目標(biāo)區(qū)域重合部分的大小，即分割正確的像素點(diǎn)個(gè)數(shù)；M(G)表示目標(biāo)區(qū)域大小，即目標(biāo)區(qū)域的像素點(diǎn)個(gè)數(shù)；M(P)表示模型分割區(qū)域大小.

PM(Prevent Match)可以度量漏分割的情況，而CR(Correspondence Ratio)可以度量誤分割的情況.

(4)

(5)

其中，TPs表示模型分割正確的區(qū)域，即模型分割結(jié)果中分類正確的像素點(diǎn)的個(gè)數(shù)；FPs表示錯(cuò)誤分割的區(qū)域，即模型分割結(jié)果中分類錯(cuò)誤的像素點(diǎn)個(gè)數(shù)；G表示醫(yī)生手動(dòng)標(biāo)注的掩模圖；三者都是值越大評價(jià)結(jié)果越好.另一方面，自動(dòng)參數(shù)測量有臨床診斷的需要，本文還做了參數(shù)測量的評價(jià).本文將計(jì)算不同模型分割得到的目標(biāo)與專家手工標(biāo)注的目標(biāo)長度之間的差異，差異越小，說明模型效果越好.

3.3 胎兒腹圍超聲圖像分割結(jié)果

本文所提方法及方法在腹圍上的分割結(jié)果示例如圖4所示.其中，較亮的線表示醫(yī)師標(biāo)注的結(jié)果，較暗的線表示各方法生成的分割結(jié)果.從圖中的結(jié)果來看，F(xiàn)CN和Segnet的方法存在一些肉眼可見的缺陷，分割得到的邊緣并不平滑.在測量對應(yīng)的腹圍周長時(shí)，這可能會(huì)帶來較大的測量誤差.而本文提出的D-UNET在邊緣重合以及邊緣平滑度上都優(yōu)于其他三種算法.表1展示了各方法在胎兒腹圍超聲圖像分割任務(wù)中各個(gè)指標(biāo)的均值和標(biāo)準(zhǔn)差.通過觀察表1可以發(fā)現(xiàn)，相較于其他三種方法，本文提出的D-UNET結(jié)構(gòu)在DSC,PM,CR三個(gè)定量指標(biāo)上都有較大程度的提升.總的來說，本文提出的D-UNET方法在分割準(zhǔn)確性以及邊緣平滑度上都得到了很高的提升.由此說明我們提出的D-UNET方法在經(jīng)過網(wǎng)絡(luò)改進(jìn)后確實(shí)提升了分割的性能.

(a) source (b) FCN (C) Segnet (d) UNET (e) D-UNET

圖4 腹圍分割效果圖

Fig.4 Segmentation results of abdominal circumference

(a) source (b) FCN (C) Segnet (d) UNET (e)D-UNET

圖5 頭臀徑分割效果圖

Fig.5 Segmentation results of crown-rump length

表1 各方法在腹圍數(shù)據(jù)集上的性能比較

Tab.1 Comparison of different methods on abdominal circumference

腹圍DSCPMCRFCN0.962(0.038)0.966(0.038)0.945(0.057)SEGNET0.973(0.018)0.974(0.019)0.960(0.024)UNET0.965(0.030)0.965(0.041)0.947(0.046)D-UNET0.975(0.018)0.981(0.015)0.966(0.022)

3.4 胎兒頭臀徑超聲圖像分割結(jié)果

本文所提方法及方法在頭臀徑上的分割結(jié)果示例如圖5所示.相對于股骨，頭臀徑是更困難的分割任務(wù)，主要表現(xiàn)在頭臀徑的形狀更復(fù)雜，邊緣變化更多.此外，頭臀徑的左下方部分的像素值與周圍組織接近.在該分割任務(wù)中，F(xiàn)CN,Segnet,UNET都出現(xiàn)了比腹圍更嚴(yán)重的邊緣不平滑問題，F(xiàn)CN方法甚至出現(xiàn)了誤分類的情況.本文提出的D-UNET雖然分割的總體輪廓與專家醫(yī)師標(biāo)注得到的(圖中較亮的線)區(qū)域非常接近，但在下方頭頸部也出現(xiàn)了小的粗糙邊界，其可能的原因在于源圖中該部位的像素點(diǎn)與周圍組織過于接近導(dǎo)致分割偏差，但其它部位邊界依舊較為平滑.在表2中，D-UNET依舊獲得了總體來看最好的分割結(jié)果.雖然Segnet方法在PM指標(biāo)上與D-UNET有一樣高的值，但Segnet網(wǎng)絡(luò)相較本文的方法帶來了更多的時(shí)間和空間的消耗.總的來說，在頭臀徑數(shù)據(jù)分割任務(wù)中，本文的D-UNET方法在保持邊界相對平滑的情況下也達(dá)到了最佳的分割效果.

表2 各方法在頭臀徑數(shù)據(jù)集上的性能比較

Tab.2 Comparison of different methods on crown-rump

頭臀徑DSCPMCRFCN0.897(0.034)0.919(0.021)0.853(0.045)SEGNET0.942(0.017)0.928(0.014)0.907(0.021)UNET0.915(0.033)0.925(0.017)0.876(0.041)D-UNET0.957(0.009)0.928(0.013)0.922(0.014)

3.5 胎兒股骨超聲圖像分割結(jié)果

本文所提方法及方法在股骨上的分割結(jié)果示例如圖6所示.股骨的測量相對其他兩個(gè)數(shù)據(jù)集更難，一方面，股骨相對腹圍以及頭臀徑，分割的區(qū)域更小，另一方面，股骨形態(tài)各異，長短不一，位置不固定.由圖6可以看出，除本文提出的D-UNET外，其他三個(gè)方法分割的邊界都不平滑，都出現(xiàn)了明顯的鋸齒狀邊界，兩條線與兩條線未重合的部分明顯增多.由于分割區(qū)域的復(fù)雜性，分割的結(jié)果存在著更多的誤分類與漏分類的情況.表3中的的各項(xiàng)指標(biāo)遠(yuǎn)低于表1和表2中的相應(yīng)指標(biāo)也說明了這一點(diǎn)，其原因在于股骨的分割區(qū)域更小以及股骨形態(tài)與位置的不固定.總體來說，本文提出的D-UNET結(jié)構(gòu)分割的結(jié)果無論在視覺效果上還是指標(biāo)上都優(yōu)于其他三種算法.由此說明本文的改進(jìn)是有效的.

表3 各方法在股骨數(shù)據(jù)集上的性能比較

Tab.3 Comparison of different methods on femur

股骨DSCPMCRFCN0.697(0.044)0.548(0.062)0.538(0.054)SEGNET0.717(0.032)0.560(0.048)0.559(0.041)UNET0.725(0.034)0.587(0.051)0.572(0.044)D-UNET0.760(0.031)0.625(0.049)0.616(0.043)

(a) source (b) FCN (C) Segnet (d) UNET (e) D-UNET

圖6 股骨分割效果圖

Fig.6 Segmentation results of femur

圖7 腹圍長(AC)，頭臀徑長(CRL)以及股骨長(FL)的測量值

4 臨床指標(biāo)

DSC，PM,CR等指標(biāo)關(guān)注的是對結(jié)構(gòu)的定位是否準(zhǔn)確，并不凸顯其臨床意義.腹圍的周長，頭臀徑以及股骨的長度等實(shí)際生物參數(shù)的測量具有更明顯的臨床診斷的價(jià)值.長度測量結(jié)果是否在正常范圍內(nèi)，對判斷或預(yù)測孕婦孕期，估計(jì)胎兒尺寸和質(zhì)量具有十分重要的意義.因此，長度測量越準(zhǔn)確，對醫(yī)生的參考性就越大.圖7展示了各方法在每個(gè)生物參數(shù)上的測量值以及醫(yī)生手動(dòng)標(biāo)注的標(biāo)準(zhǔn)測量值.

圖7中，橫軸為測試樣本數(shù)，縱軸為長度.三個(gè)測量值中，UNET和FCN的測量值偏離標(biāo)準(zhǔn)測量值較大，而Segnet與本文提出的D-UNET的方法測量值與標(biāo)準(zhǔn)測量值接近.在腹圍和頭臀徑的測量中，D-UNET方法的測量值幾乎等同于醫(yī)生手工標(biāo)注的標(biāo)準(zhǔn)測量值(D-UNET曲線幾乎將標(biāo)準(zhǔn)測量值曲線所覆蓋).對于股骨的測量，D-UNET的測量值雖與標(biāo)準(zhǔn)測量值存在一些偏差，但能保持較好的總體一致性.比如在股骨長度測量圖的末端，其他三個(gè)對比方法都出現(xiàn)了不同程度的偏差，而本文中提出的D-UNET方法仍能保持與標(biāo)準(zhǔn)測量值相近的測量值.通過上述生物參數(shù)測量值的比較，證明了本文算法能實(shí)現(xiàn)很好的精度，在臨床上可以很好的輔助醫(yī)生進(jìn)行測量工作.

5 結(jié) 論

本文針對胎兒生物參數(shù)的自動(dòng)測量問題提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法D-UNET來輔助醫(yī)生進(jìn)行自動(dòng)測量.本文提出的D-UNET結(jié)構(gòu)，在保留了UNET優(yōu)點(diǎn)的同時(shí)，會(huì)考慮更多圖像上下文信息并且不會(huì)增加網(wǎng)絡(luò)的計(jì)算量，不會(huì)增大網(wǎng)絡(luò)的空間和時(shí)間消耗.

該D-UNET算法解決了一些其他深度卷積神經(jīng)網(wǎng)絡(luò)分割算法存在的一些問題，如邊緣不夠平滑，誤分類樣本多等，提高了分割的精度.通過與三個(gè)先進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)做對比，說明了D-UNET的有效性.通過在腹圍頭臀徑以及股骨三個(gè)數(shù)據(jù)集上的定量和定性的比較，本文提出的D-UNET結(jié)構(gòu)都表現(xiàn)了最好的性能.但在實(shí)驗(yàn)中也發(fā)現(xiàn)，在面對分割區(qū)域更小，更復(fù)雜的分割任務(wù)時(shí)，現(xiàn)有的方法仍存在漏分類與誤分類的情況，有很大的改進(jìn)空間，擬在后續(xù)實(shí)現(xiàn)更高精度的自動(dòng)分割算法.