基于Mask R-CNN的超聲圖像中胎兒頭圍測(cè)量方法

李宗桂 張俊華 梅禮曄

(云南大學(xué)信息學(xué)院，昆明 650500)

引言

用超聲圖像中的胎兒生物測(cè)量結(jié)果作為評(píng)估胎兒發(fā)育和胎齡的標(biāo)準(zhǔn)，其準(zhǔn)確性對(duì)確保母親和胎兒在懷孕期間和之后的持續(xù)健康至關(guān)重要。其中，頭圍(head circumference, HC)是妊娠中末期測(cè)量的最重要的生物特征之一，與胎兒腦重量的評(píng)估以及出生后前兩年的生長(zhǎng)發(fā)育密切相關(guān)[1]。若頭圍值偏低，則與胎兒的神經(jīng)系統(tǒng)障礙和發(fā)育不良有關(guān)[2]。在臨床上，頭圍定義為外顱骨橢圓的周長(zhǎng)[3](見圖1(a)中的紅色輪廓)。在臨床實(shí)踐中，醫(yī)生通過標(biāo)記橢圓短軸和長(zhǎng)軸的兩個(gè)端點(diǎn)來計(jì)算橢圓周長(zhǎng)，手動(dòng)測(cè)量頭圍。

圖1 超聲胎兒頭部圖像。(a)紅色輪廓表示頭圍，定義為外顱骨橢圓周長(zhǎng)；(b)胎兒頭骨邊界模糊；(c)胎兒頭骨邊界缺失；(d) 存在與頭骨相似的其他解剖結(jié)構(gòu)Fig.1 Ultrasound fetal head images. (a)The red contour indicates the HC, defined as the circumference of the outer skull ellipse; (b) The boundary of fetal skull is fuzzy; (c) Fetal skull boundary is missing; (d) There are other anatomical structures similar to the skull

由于超聲圖像信噪比低，胎兒頭骨常常出現(xiàn)邊界模糊(見圖1(b))或者邊界缺失(見圖1(c)中的箭頭)，且子宮內(nèi)胎兒姿勢(shì)復(fù)雜，超聲圖像中可能包括與頭骨相似的其他解剖結(jié)構(gòu)(見圖1(d)中箭頭所指的肢體)，導(dǎo)致用許多方法也難以精確地提取完整的胎兒頭骨進(jìn)行頭圍測(cè)量。即使是有經(jīng)驗(yàn)的醫(yī)生，手工測(cè)量胎兒頭圍仍然是一項(xiàng)耗時(shí)的任務(wù)，而且由于存在操作者的誤差，可能會(huì)導(dǎo)致后續(xù)的診斷誤差。

近期已出現(xiàn)不少超聲圖像中自動(dòng)測(cè)量胎兒頭圍的方法。Lu等[4]在利用K均值算法和形態(tài)學(xué)方法提取顱骨節(jié)段后，使用Hough變換擬合頭部橢圓，但K均值算法難以有效地從噪聲較多的圖像中提取顱骨節(jié)段，導(dǎo)致Hough變換擬合精度降低。Carneiro等[5]利用大型數(shù)據(jù)庫(kù)開發(fā)了自動(dòng)檢測(cè)胎兒解剖結(jié)構(gòu)的系統(tǒng)，但由于測(cè)試圖像和訓(xùn)練圖像外觀差異較大，導(dǎo)致20%的測(cè)量結(jié)果有較大的誤差。Stebbing等[6]提出了基于隨機(jī)森林邊緣分類的邊界片段模型，但由于存在與頭骨強(qiáng)度相似的其他解剖結(jié)構(gòu)，會(huì)導(dǎo)致該方法的穩(wěn)定性降低。Ciurte等[7]提出將分割任務(wù)劃分為連續(xù)最小切割問題，但該方法需要用戶輔助標(biāo)記初始化分割，使得測(cè)量過程較為繁瑣。在Foi等[8]提出的方法中，損失函數(shù)基于頭骨強(qiáng)度平均大于周圍組織強(qiáng)度的假設(shè)，但由于存在周圍組織具有高強(qiáng)度的情況，使得損失函數(shù)假設(shè)并不完全正確。此外，已有利用機(jī)器學(xué)習(xí)中的隨機(jī)森林算法測(cè)量胎兒的頭圍[9-11]。其中，在胎兒頭圍橢圓擬合時(shí)，文獻(xiàn)[4,9,12-13]使用了Hough變換，由于該變換的迭代過程計(jì)算量較大，導(dǎo)致擬合速度較慢。文獻(xiàn)[10-11]結(jié)合隨機(jī)森林算法和相位對(duì)稱性定位來檢測(cè)胎兒頭圍邊緣，使用基于幾何距離的ElliFit算法[14]擬合橢圓曲線。Wu等[15]使用全卷積網(wǎng)絡(luò)(fully convolutional networks, FCN)[16]和auto-context算法[17]，對(duì)胎兒頭部進(jìn)行自動(dòng)分割，并且展示了使用級(jí)聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)結(jié)果。

本研究根據(jù)胎兒頭圍的形狀特征，提出了一種頭圍測(cè)量損失函數(shù)，與Mask R-CNN的原三分支損失函數(shù)(分類損失、邊界框回歸損失、掩膜分割損失)[18]進(jìn)行聯(lián)合訓(xùn)練，使得模型訓(xùn)練過程與胎兒頭圍測(cè)量任務(wù)緊密相連，從而提高測(cè)量的精度和速度。

1 方法

實(shí)驗(yàn)數(shù)據(jù)來自公開數(shù)據(jù)集[9]，篩除部分重復(fù)圖像后剩余989幅胎兒頭部超聲圖像，每幅圖像的大小為800像素×540像素，像素大小在0.052 ～0.326 mm，超聲圖像由超聲醫(yī)師使用Voluson E8或Voluson 730超聲設(shè)備采集。

圖2 本研究提出的模型Fig.2 The model proposed in this paper

本研究提出的胎兒頭圍測(cè)量模型框架如圖2所示。首先將待檢測(cè)的胎兒頭部超聲圖像數(shù)據(jù)集輸入模型，通過殘差網(wǎng)絡(luò)ResNet-101對(duì)圖像進(jìn)行特征提取，得到相應(yīng)的特征圖；再利用區(qū)域推薦網(wǎng)絡(luò)(region proposal network, RPN)，在特征圖上快速生成胎兒頭部候選區(qū)域；然后通過候選區(qū)域校準(zhǔn)(region of interest align, RoIAlign)得到固定尺寸的特征圖，在分類分支進(jìn)行胎兒頭部目標(biāo)框的定位和分類，在分割分支通過全卷積網(wǎng)絡(luò)描繪出胎兒頭部二值掩膜，并且對(duì)掩膜擬合橢圓和測(cè)量周長(zhǎng)，最后輸出模型預(yù)測(cè)的胎兒頭圍。

1.1 Mask R-CNN函數(shù)

Mask R-CNN主要有兩大組成分支，分別是檢測(cè)分支和分割分支。其中，檢測(cè)分支主要是實(shí)現(xiàn)對(duì)圖像中目標(biāo)的定位以及分類，而分割分支則是通過FCN生成二值掩膜，從而實(shí)現(xiàn)像素級(jí)別的區(qū)分。

RPN通過長(zhǎng)寬比例和倍數(shù)不同的窗口(也稱為錨點(diǎn))，在經(jīng)CNN提取特征后的特征圖上進(jìn)行滑窗，然后快速生成候選區(qū)域。圖3為RPN算法示意，背景表示特征圖，RPN利用不同倍數(shù)尺寸(如圖中紅綠藍(lán)3種不同倍數(shù)尺寸的窗口)和不同長(zhǎng)寬比例的窗口在特征圖上滑窗，若交并比(intersection over union, IoU)不小于0.5，則將其認(rèn)為正例，并且對(duì)其進(jìn)行回歸。在實(shí)驗(yàn)中，本研究模型以及Mask R-CNN的錨點(diǎn)大小設(shè)置為32×32、64×64、128×128、256×256、512×512、長(zhǎng)寬比例為1∶2、1∶1、2∶1。交并比計(jì)算如下：

(1)

式中：A為RPN網(wǎng)絡(luò)推薦生成的候選框，B為訓(xùn)練集正確的目標(biāo)框；SA∩B為A和B重疊部分的面積，SA∪B為A和B并集的面積。

圖3 RPN算法示意Fig.3 RPN algorithm diagram

RoIAlign層的主要作用是對(duì)產(chǎn)生的候選區(qū)域進(jìn)行池化，尺度不同的特征圖經(jīng)過RoIAlign層池化，可成為固定尺度的特征圖，其算法示意如圖4所示。Faster R-CNN候選區(qū)域池化存在兩次取整操作，因而會(huì)產(chǎn)生量化誤差，從而導(dǎo)致圖像像素點(diǎn)定位準(zhǔn)確率較低。在Mask R-CNN中，RoIAlign層采用精細(xì)量化代替粗糙量化，使用雙線性插值，保留浮點(diǎn)型坐標(biāo)。這樣做能夠在所提取特征和輸入之間建立更好的對(duì)齊關(guān)系，從而提高掩膜正確率。

全卷積網(wǎng)絡(luò)與傳統(tǒng)CNN網(wǎng)絡(luò)類似，也包含了卷積層以及池化層，不同的地方在于全卷積網(wǎng)絡(luò)對(duì)最后一個(gè)卷積層的特征圖進(jìn)行上采樣，使它恢復(fù)到與輸入圖像相同的尺寸，最后逐個(gè)像素地計(jì)算Softmax分類的損失，預(yù)測(cè)出各個(gè)像素點(diǎn)所屬的類別。

圖4 RoIAlign算法示意Fig.4 Schematic diagram of RoIAlign algorithm

1.2 擬合橢圓測(cè)量周長(zhǎng)

本研究在分割分支后，為了提高橢圓擬合速度，使用基于幾何距離的ElliFit非迭代算法[14]，對(duì)胎兒頭部分割掩膜進(jìn)行橢圓擬合。在該算法中，將橢圓上的點(diǎn)序列Pi(xi,yi)擬合為最小二乘問題，擬合模型的關(guān)鍵參數(shù)為

(2)

式中，φ1、φ2、φ3、φ4和φ5是中間變量，可以使用該方程的最小二乘解進(jìn)行優(yōu)化。

橢圓的5個(gè)參數(shù)(中心坐標(biāo)(xc,yc)，方向角θc，長(zhǎng)軸半徑a，短軸半徑b)分別計(jì)算為

(3)

擬合橢圓后，使用精度較高的Ramanujan近似公式[19]計(jì)算擬合橢圓的周長(zhǎng)，有

(4)

(5)

式中，ypred是擬合橢圓的周長(zhǎng)，即模型預(yù)測(cè)的頭圍大小，h是中間變量，S為輸入圖像的各向同性像素大小。

這個(gè)近似公式的誤差是o(h^10)，對(duì)于像胎兒頭部這樣的橢圓來說，該誤差可以忽略[19]。

1.3 頭圍測(cè)量損失函數(shù)

本研究在Mask R-CNN損失函數(shù)的基礎(chǔ)上，根據(jù)胎兒頭部接近橢圓形狀的特征以及Mask R-CNN聯(lián)合訓(xùn)練損失的思想，添加了一個(gè)頭圍測(cè)量損失Lhc，使得模型訓(xùn)練過程與頭圍測(cè)量任務(wù)緊密結(jié)合。該研究模型完成了4個(gè)任務(wù)，即胎兒頭部框的檢測(cè)定位、胎兒頭部與背景的分類、胎兒頭部與背景的分割、胎兒頭圍的測(cè)量。因此，損失函數(shù)的定義包括定位損失、分類損失、分割損失以及頭圍測(cè)量損失4個(gè)部分，即

L=Lbox+Lcls+Lmask+Lhc

(6)

式中，Lbox表示定位損失，Lcls表示分類損失，Lmask表示分割損失，Lhc表示頭圍測(cè)量損失。

定位損失函數(shù)Lbox表示為

(7)

(8)

分類損失函數(shù)Lcls表示為

(9)

(10)

分割損失函數(shù)Lmask是一個(gè)用像素級(jí)Sigmoid函數(shù)定義的平均二值交叉熵?fù)p失，如果一個(gè)感興趣區(qū)域關(guān)聯(lián)的真實(shí)類別為k，那么Lmask只在第k個(gè)掩膜上有定義，不受其他掩膜輸出的影響。這種定義方式解耦了掩膜和類別的預(yù)測(cè)，無須考慮類別競(jìng)爭(zhēng)，表示為

(11)

為了使模型的預(yù)測(cè)結(jié)果更加精確，把頭圍測(cè)量損失Lhc定義為標(biāo)簽頭圍真實(shí)值與胎兒頭部分割掩膜的擬合橢圓周長(zhǎng)(即預(yù)測(cè)值)的均方誤差(mean square error, MSE)。其梯度隨著損失增大而增大，而損失趨于0時(shí)則會(huì)減少，即便使用固定的學(xué)習(xí)率也可以有效收斂，這使得在訓(xùn)練結(jié)束時(shí)，使用MSE的模型預(yù)測(cè)結(jié)果會(huì)更精確。

因此，本研究提出的頭圍測(cè)量損失函數(shù)為

(12)

式中，Nhc表示訓(xùn)練樣本數(shù)，ytrue表示標(biāo)簽的頭圍真實(shí)值，ypred表示測(cè)量值(見式(4))。

1.4 算法驗(yàn)證和評(píng)價(jià)

頭圍測(cè)量實(shí)驗(yàn)數(shù)據(jù)集[9]劃分為訓(xùn)練集：驗(yàn)證集∶測(cè)試集=4∶1∶1。實(shí)驗(yàn)環(huán)境的主要配置：CPU為Intel Core i7-9 700 K，顯卡為NVIDIA GeForce RTX 2080Ti，內(nèi)存為DDR4 16 GB。操作系統(tǒng)為Windows 10企業(yè)版，基于Keras學(xué)習(xí)框架，以Tensorflow為支持來實(shí)現(xiàn)。

使用基于Mask R-CNN改進(jìn)的模型，對(duì)胎兒頭部超聲圖像進(jìn)行分割以及胎兒頭圍的測(cè)量。訓(xùn)練集與測(cè)試集的劃分比例為4∶1。實(shí)驗(yàn)結(jié)果的評(píng)價(jià)指標(biāo)采用醫(yī)學(xué)圖像分割標(biāo)準(zhǔn)Dice系數(shù)(%)以及胎兒頭圍測(cè)量誤差(mm)表示，其中Dice系數(shù)表示分割結(jié)果與標(biāo)簽的像素重合程度，有

(13)

式中：|Ypred∩Ytrue|是分割結(jié)果Ypred和標(biāo)簽Ytrue的交集，代表Ypred和Ytrue中同一位置像素點(diǎn)的值相等的像素個(gè)數(shù)；|Ypred|和|Ytrue|分別是分割結(jié)果和標(biāo)簽的像素個(gè)數(shù)。

胎兒頭圍測(cè)量誤差的表達(dá)式為

e=ytrue-ypred

(14)

式中，ytrue表示標(biāo)簽的頭圍真實(shí)值，ypred表示測(cè)量值。

實(shí)驗(yàn)環(huán)境主要配置如下：CPU為Intel Core i7-9 700 K，顯卡為NVIDIA GeForce RTX 2080Ti，內(nèi)存為DDR4 16 GB。操作系統(tǒng)為Windows 10企業(yè)版，基于Keras學(xué)習(xí)框架，以Tensorflow為支持來實(shí)現(xiàn)。

2 結(jié)果

將本研究模型與原網(wǎng)絡(luò)模型Mask R-CNN在同一數(shù)據(jù)集上進(jìn)行對(duì)比。作為例子，圖5給出了部分測(cè)試結(jié)果：(a)和(b)分別為本研究模型測(cè)量誤差最小和最大的結(jié)果，(c)和(d)分別為Mask R-CNN測(cè)量誤差最小和最大的結(jié)果。其中，本研究模型和Mask R-CNN測(cè)量誤差最小的結(jié)果為同一個(gè)測(cè)試樣本(即(a)和(c))。從圖中可以看出，本研究模型的測(cè)試結(jié)果在不同情況下都比Mask R-CNN的結(jié)果更接近標(biāo)簽的真實(shí)值。

圖5 測(cè)試結(jié)果：紅色輪廓為標(biāo)簽，綠色輪廓為本研究模型的結(jié)果，藍(lán)色輪廓為Mask R-CNN的結(jié)果。(a)本研究模型誤差最小的結(jié)果；(b)本研究模型誤差最大的結(jié)果；(c)Mask R-CNN誤差最小的結(jié)果；(d) Mask R-CNN誤差最大的結(jié)果Fig.5 Testing results. The red contour is the label, and the green contour is the result of our model, and the blue contour is the result of Mask R-CNN. (a) The result with the smallest error of our model; (b) The result with the largest error of our model; (c) The result with the smallest error of Mask R-CNN; (d) The result with the largest error of Mask R-CNN

具體對(duì)比結(jié)果分別如圖6(橫坐標(biāo)表示測(cè)試圖像序號(hào)，縱坐標(biāo)表示對(duì)應(yīng)圖像的Dice系數(shù))和圖7(橫坐標(biāo)表示測(cè)試圖像序號(hào)，縱坐標(biāo)表示對(duì)應(yīng)圖像的測(cè)量誤差)所示。由圖可見，本研究模型分割精度都在94%以上，測(cè)量誤差主要集中在-4～4 mm之間，僅有3個(gè)樣本點(diǎn)的測(cè)試誤差超出這個(gè)范圍；而Mask R-CNN有23個(gè)測(cè)試樣本的分割精度低于94%，超出了-4～4 mm這個(gè)測(cè)量誤差范圍的樣本點(diǎn)有20個(gè)以上。

圖6 分割結(jié)果Dice系數(shù)散點(diǎn)圖Fig.6 Scatter diagram of Dice’s coefficient of segmentation results

圖7 頭圍測(cè)量結(jié)果誤差散點(diǎn)圖Fig.7 Scatter diagram of the error of head circumference measurement results

3 討論

本研究根據(jù)超聲圖像中胎兒頭部接近橢圓形狀的特征，基于Mask R-CNN聯(lián)合訓(xùn)練損失的思想，將標(biāo)簽頭圍真實(shí)值與擬合橢圓周長(zhǎng)的MSE(即頭圍測(cè)量誤差)，添加到Mask R-CNN損失函數(shù)分支中，使模型訓(xùn)練過程與胎兒頭圍測(cè)量任務(wù)緊密結(jié)合。相比其他方法，本模型可端到端地直接獲得胎兒頭圍測(cè)量的結(jié)果。其他研究方法主要分兩步，即先檢測(cè)胎兒頭骨邊界，再進(jìn)行頭圍測(cè)量。例如，Stebbing等[6]提出的隨機(jī)森林邊緣分類的邊界片段模型，以及Foi等[8]通過多起點(diǎn)多尺度Nelder-Mead算法將代價(jià)函數(shù)最小化的方法，對(duì)頭骨邊界的檢測(cè)要求超聲圖像中頭骨的信號(hào)強(qiáng)度大于周圍組織的信號(hào)強(qiáng)度，但實(shí)際測(cè)量中可能會(huì)存在與頭骨相似的其他解剖結(jié)構(gòu)，從而使方法的精確度和穩(wěn)定性降低。據(jù)2012年胎兒分割挑戰(zhàn)[20]報(bào)告，最佳頭圍的測(cè)量結(jié)果(-2.01±3.29)mm來自Foi等[8]的方法。在基于深度學(xué)習(xí)的方法上，Wu等[15]以及Sinclair等[21]都使用了FCN模型對(duì)頭部輪廓進(jìn)行分割。其中，前者提出的級(jí)聯(lián)FCN的分割結(jié)果中未提及誤差范圍，難以判斷該方法的魯棒性，且其分割的頭骨輪廓并不是橢圓，這意味著模型可能學(xué)習(xí)到的是標(biāo)注圖像的醫(yī)師的特定偏向；后者采用相似結(jié)構(gòu)模型的分割精度略高于前者所獲得的分割精度，其原因在于訓(xùn)練數(shù)據(jù)量的差異，為1 948∶900。本實(shí)驗(yàn)所用訓(xùn)練數(shù)據(jù)量與前者的數(shù)據(jù)是相近，為799幅圖像。在同一數(shù)據(jù)集上，本模型在分割分支上對(duì)190幅胎兒頭部超聲圖像的分割結(jié)果Dice系數(shù)為96.89%±1.01%，原模型的相應(yīng)系數(shù)為95.47%±7.09%。在頭圍測(cè)量分支的結(jié)果上，本模型的頭圍測(cè)量誤差為(0.33±1.54)mm， 原模型的頭圍測(cè)量誤差為(1.08±3.56)mm。結(jié)果表明，分割精度及頭圍測(cè)量精度的魯棒性均有所提升。

在對(duì)分割掩膜進(jìn)行橢圓擬合時(shí)，使用ElliFit算法可以使擬合過程具有非迭代性、數(shù)值穩(wěn)定性和計(jì)算成本低的特點(diǎn)，從而加快擬合速度，減少模型預(yù)測(cè)頭圍的時(shí)間。本模型平均預(yù)測(cè)一幅圖像的胎兒頭圍時(shí)間為0.33 s，在Li等[11]的實(shí)驗(yàn)中，醫(yī)生手動(dòng)測(cè)量的平均時(shí)間為17.20 s。此外，擬合橢圓的周長(zhǎng)計(jì)算公式的選擇會(huì)直接影響到模型輸出胎兒頭圍的精度。由于橢圓周長(zhǎng)沒有確定的計(jì)算公式，本模型選擇精度較高的Ramanujan近似公式，從而使測(cè)量誤差更小。本研究對(duì)比了所構(gòu)建的模型與原網(wǎng)絡(luò)模型Mask R-CNN的分割精度以及測(cè)量誤差，從圖5～7中可以看出，本模型較原模型在胎兒頭部分割精度以及頭圍測(cè)量精度上有所提高，其中分割Dice系數(shù)平均提高了1.42、標(biāo)準(zhǔn)差降低了6.08，頭圍測(cè)量精度平均提高了0.75 mm、標(biāo)準(zhǔn)差降低了2.02 mm。

實(shí)驗(yàn)結(jié)果表明，在訓(xùn)練模型時(shí)，將頭圍誤差作為頭圍測(cè)量損失函數(shù)加入原損失函數(shù)進(jìn)行聯(lián)合訓(xùn)練，可使模型訓(xùn)練過程與測(cè)量任務(wù)緊密相關(guān)，一方面能提高頭圍測(cè)量的準(zhǔn)確度，另一方面可端到端地直接獲得胎兒頭圍的測(cè)量結(jié)果。

4 結(jié)論

本研究根據(jù)胎兒頭圍測(cè)量的特點(diǎn)，基于Mask R-CNN設(shè)計(jì)了一個(gè)損失函數(shù)，并且在頭圍測(cè)量精度和速度上進(jìn)行了優(yōu)化。實(shí)驗(yàn)結(jié)果表明，該方法在測(cè)量精度和速度上相對(duì)原模型有所提高，可以滿足臨床醫(yī)師在超聲圖像中測(cè)量胎兒頭圍的需要。