基于特征融合和判別式學(xué)習(xí)的胎盤成熟度自動(dòng)分級(jí)

李婉君 汪天富 倪 東 陳思平 雷柏英* 姚 遠(yuǎn)

1(深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院，廣東省生物醫(yī)學(xué)信息檢測(cè)和超聲成像重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518060)2(深圳婦幼保健院超聲科，南方醫(yī)科大學(xué)附屬醫(yī)院，廣東 深圳 518060)

基于特征融合和判別式學(xué)習(xí)的胎盤成熟度自動(dòng)分級(jí)

李婉君1汪天富1倪 東1陳思平1雷柏英1*姚 遠(yuǎn)2*

1(深圳大學(xué)醫(yī)學(xué)部生物醫(yī)學(xué)工程學(xué)院，廣東省生物醫(yī)學(xué)信息檢測(cè)和超聲成像重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518060)2(深圳婦幼保健院超聲科，南方醫(yī)科大學(xué)附屬醫(yī)院，廣東 深圳 518060)

胎盤成熟度分級(jí)錯(cuò)誤可能會(huì)導(dǎo)致小于胎齡兒、死產(chǎn)、死胎等的發(fā)生。目前，胎盤成熟度分級(jí)主要依賴于臨床醫(yī)生的經(jīng)驗(yàn)和觀察，主觀性很強(qiáng)，分級(jí)準(zhǔn)確性易受醫(yī)生工作強(qiáng)度、工作時(shí)長(zhǎng)和工作經(jīng)驗(yàn)的影響。提出一種基于特征融合和判別式學(xué)習(xí)的胎盤成熟度自動(dòng)分級(jí)算法。首先，對(duì)共544例的B型超聲圖像和彩色能量多普勒(CDE)胎盤圖像，采用提取關(guān)鍵點(diǎn)、對(duì)關(guān)鍵點(diǎn)提取特征、進(jìn)行融合并加以判別式特征編碼的方法，形成碼書，經(jīng)過(guò)歸一化，最后用支持向量機(jī)(SVM)進(jìn)行分類，得到胎盤成熟度分級(jí)結(jié)果。在測(cè)試階段，將胎盤成熟度測(cè)試結(jié)果與臨床醫(yī)生的分級(jí)結(jié)果進(jìn)行對(duì)比，得到如下結(jié)果：準(zhǔn)確率92.7%，敏感性91.1%，特異性97.6%，平均精度97.3%。結(jié)果表明，該方法對(duì)胎盤成熟度自動(dòng)分級(jí)具有較高的指導(dǎo)意義。

胎盤成熟度評(píng)估；特征融合；多層Fisher向量；彩色多普勒能量成像

引言

胎盤是連接胎兒和母體子宮的重要器官，其功能是間接影響胎兒生長(zhǎng)發(fā)育的重要指數(shù)，也間接反映胎兒宮內(nèi)生長(zhǎng)條件。胎盤功能檢測(cè)能夠及時(shí)發(fā)現(xiàn)胎盤異常，有效避免小于胎齡兒(small for gestational age, SGA)、宮內(nèi)生長(zhǎng)受限(intrauterine growth restriction, IUGR)、死產(chǎn)、死胎及妊娠并發(fā)癥等的發(fā)生。胎盤成熟度作為胎盤的重要功能之一[1-2]，提高其分級(jí)的客觀性和準(zhǔn)確性十分必要。在通常情況下，主流的測(cè)量方法是需要超聲醫(yī)師和放射醫(yī)師憑借知識(shí)和經(jīng)驗(yàn)，對(duì)胎盤成熟度進(jìn)行分級(jí)。現(xiàn)有的胎盤成熟度分級(jí)算法主要基于B型超聲圖像。1979年，Grannum等提出基于灰度圖像的胎盤成熟度分級(jí)標(biāo)準(zhǔn)，把胎盤分為4級(jí)[3]。醫(yī)生通過(guò)超聲儀獲得B型超聲圖像，然后觀察分析胎盤鈣化及血竇情況進(jìn)行成熟度分級(jí)。可見(jiàn)，胎盤成熟度的評(píng)估主要依賴于醫(yī)生的主觀判斷，受勞動(dòng)強(qiáng)度、勞動(dòng)時(shí)長(zhǎng)和臨床經(jīng)驗(yàn)等主觀因素影響較大。一旦出現(xiàn)分級(jí)結(jié)果的錯(cuò)誤，會(huì)造成胎盤相關(guān)疾病的漏診和誤診。此外，繁瑣的手工工作會(huì)導(dǎo)致疲勞，從而產(chǎn)生分級(jí)結(jié)果的差異、錯(cuò)誤和誤差。因此，較傳統(tǒng)方法而言，采用更為客觀的自動(dòng)分級(jí)方法就顯得尤為必要。

為了提高傳統(tǒng)方法的準(zhǔn)確性，Linares等提出用紋理特征、Laws掩模和相鄰灰度等級(jí)差異矩陣特征對(duì)胎盤成熟度進(jìn)行分級(jí)[4]。這種方法使用k近鄰分類和留一法驗(yàn)證，分類準(zhǔn)確率為60.71%。該方法由于所用特征單一，分類結(jié)果差，所以不能用于臨床實(shí)踐。Liu等提出提取胎盤B型超聲圖像的灰度均值、方差、扭曲度和峰度4個(gè)特征，用二叉樹(shù)多類支持向量機(jī)(support vector machine, SVM)實(shí)現(xiàn)分類[5]。這種方法由于僅有灰度統(tǒng)計(jì)特征，缺少紋理特征，所得結(jié)果并不可靠。Mao等提出用多特征參數(shù)，即灰度統(tǒng)計(jì)特征、高通低通二維濾波、Daubechies小波變換，結(jié)合前向搜索法進(jìn)行訓(xùn)練，并用自適應(yīng) BP 網(wǎng)絡(luò)進(jìn)行分類[6]。該方法對(duì)樣本量大的胎盤分級(jí)實(shí)驗(yàn)來(lái)說(shuō)，網(wǎng)絡(luò)訓(xùn)練難度大，最優(yōu)閾值的選取對(duì)結(jié)果影響很大。這些方法主要是利用傳統(tǒng)的紋理特征或灰度統(tǒng)計(jì)特征，通過(guò)配合模式識(shí)別或神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，但是都忽略了尺度和旋轉(zhuǎn)不變特征，所以還未應(yīng)用于臨床。Lei等提出用Fisher向量和局部亮度順序信息提升分級(jí)結(jié)果[7]。Li等提出用密集采樣算子(如DAISY)，并使用局部特征聚合描述符(vector of locally aggregated descriptors, VLAD)編碼，以解決胎盤成熟度分級(jí)問(wèn)題[8]。相比傳統(tǒng)的協(xié)仿射變換檢測(cè)(如Harris、Hessian及多尺度Harris)，這種密集采樣配合特征編碼的方法能明顯提升分級(jí)結(jié)果。此后，Lei等提出將多層Fisher向量編碼用于胎盤成熟度評(píng)估[9]。然而，以上所述方法雖然提升了分級(jí)結(jié)果的準(zhǔn)確性，但樣本只有B型超聲圖像，且所用特征較單一，有較大的局限性。

為了克服B型超聲圖像在胎盤成熟度評(píng)估方面的局限性，合理地利用胎盤的血流和血管信息是行之有效的方法。在胎盤成熟的過(guò)程中，胎盤發(fā)育成為高度血管化的器官，多分支血管和無(wú)分支血管都起著非常關(guān)鍵的作用[10-11]。多普勒成像通過(guò)多普勒技術(shù)，獲取人體血流的運(yùn)動(dòng)速度在組織平面上的分布，并以灰階或彩階的形式形成運(yùn)動(dòng)速度分布。胎盤多普勒?qǐng)D像[12]，既可以了解其結(jié)構(gòu)學(xué)信息，又可以同時(shí)了解其血流信息。相比傳統(tǒng)的彩色多普勒血流成像技術(shù)，彩色多普勒能量(color doppler energy, CDE)技術(shù)在小血流和角度影響方面占明顯優(yōu)勢(shì)，主要觀察感興趣區(qū)域內(nèi)的血管走行、結(jié)構(gòu) (血管樹(shù)和血管網(wǎng)) 形態(tài)、管徑是否規(guī)則及血流豐富程度等，進(jìn)而觀察血流頻譜的形態(tài)，測(cè)定血流有關(guān)參數(shù)。由于其能探測(cè)到低速血流，在妊娠14周后可見(jiàn)胎盤內(nèi)大量血管，包括許多第2級(jí)和第3級(jí)的絨毛血管。圖1是各級(jí)胎盤的CDE圖像和B型超聲圖像。但是，在前述的研究中，CDE的信息總是受到忽略。為此，本研究首次提出將CDE圖像的信息納入胎盤成熟度檢查之中，以期提升胎盤成熟度分級(jí)的準(zhǔn)確率。

圖1 各級(jí)胎盤圖像(上為CDE圖像，下為B型超聲圖像)。(a)0級(jí)；(b)I級(jí); (c)II級(jí);(d)III級(jí)Fig.1 Placenta samples of all stages. They are CDE images, B-mode ultrasound images from top to down. (a) Stage 0; (b) Stage I; (c) Stage II; (d) Stage III

此外，特征提取之后，特征編碼的方法能夠獲取高階信息，提升分級(jí)結(jié)果。由于超聲圖像中有很多冗余的和無(wú)法判別的信息，所以要用判別式特征編碼[13]來(lái)提升分級(jí)結(jié)果。常見(jiàn)的編碼方法有視覺(jué)詞袋(bag of visual words, BoVW)[14]、局部特征聚合描述符(vector of locally aggregated descriptors, VLAD)[15]，以及Fisher向量(Fisher vector, FV)[16-17]。盡管Fisher向量具有高階統(tǒng)計(jì)特性，但是仍然不足以彌補(bǔ)超聲圖像分辨率差的不足。為解決這一問(wèn)題，本研究用視覺(jué)特征描述子提取感興趣點(diǎn)的有用特征，并將原始圖像分為小的子塊，利用多層Fisher向量(multi-layer Fisher vector, MFV)，獲取更多的空間信息，提升分級(jí)結(jié)果的準(zhǔn)確性。

綜上所述，本研究旨在以B型超聲圖像和CDE圖像為樣本，提出一種基于特征融合和判別式學(xué)習(xí)的胎盤成熟度自動(dòng)分級(jí)算法，以提高分級(jí)的準(zhǔn)確性。這對(duì)胎盤產(chǎn)前和預(yù)后的診斷都有很重要的意義。

圖2 胎盤成熟度自動(dòng)分級(jí)系統(tǒng)Fig.2 System overview of the automatic placental maturity staging method

1 方法

1.1 自動(dòng)分級(jí)系統(tǒng)概述

將CDE圖像和B型超聲圖像輸入胎盤成熟度自動(dòng)分級(jí)系統(tǒng)，其訓(xùn)練和測(cè)試階段的流程見(jiàn)圖2。

由于訓(xùn)練階段和測(cè)試階段流程頗為相似，所以僅就訓(xùn)練過(guò)程進(jìn)行說(shuō)明。

1)為了對(duì)胎盤成熟度評(píng)估，首先要選取胎盤附著于子宮前壁或子宮底部部位者的超聲圖像作為處理樣本。由于附著于該部位的胎盤有羊水襯托，易觀察清楚；而附著于其他部位的胎盤被胎兒遮擋，無(wú)法清楚觀察胎盤的內(nèi)部結(jié)構(gòu)，所以不在樣本范圍內(nèi)。

2)對(duì)原始圖像進(jìn)行預(yù)處理，包括降噪和感興趣區(qū)域(region of interest, ROI)的提取，如圖3所示。ROI提取是將圖像中的無(wú)關(guān)部分裁剪除去。

圖3 胎盤成熟度分級(jí)的輸入圖像。(a)原始B型超聲圖像；(b)預(yù)處理后的B型超聲圖像；(c)原始CDE圖像；(d)預(yù)處理后的CDE圖像Fig.3 Input US images for placental evaluation. (a) Original B-mode US gray-scale image;(b)Pre-processed B-mode US grayscale image; (c) Original CDE image;(d) Pre-processed CDE image

3)預(yù)處理之后檢測(cè)感興趣點(diǎn)，用不同方法檢測(cè)，如圖4所示。利用尺度不變特征變換(scale-invariant feature transform, SIFT)、patch和二者融合提取特征。

圖4 不同方法提取關(guān)鍵點(diǎn)。(a)高斯差分(Difference of Gassian, DoG)；(b)Harris Laplace；(c) Hessian；(d) Hessian Laplace；(e) Multiscale Harris；(f) Multiscale HessianFig.4 Interest points with different detectors. The detector of the interest point respectively are (a)DoG; (b)Harris Laplace; (c) Hessian; (d) Hessian Laplace; (e) Multiscale Harris; (f) Multiscale Hessian.

4)用k均值算法聚類得到碼書，再用特征編碼(如FV、VLAD、BoVW)提升準(zhǔn)確率。采用FV提取一階和二階信息，以提升胎盤成熟度分級(jí)的準(zhǔn)確性。

5)聚類之后，用直方圖的視覺(jué)特征表示輸入圖像，得到視覺(jué)詞袋。

6)用SVM對(duì)胎盤成熟度等級(jí)做分類決策。

1.2 多層Fisher向量

與很多從現(xiàn)有特征中提取信息量最豐富特征的特征選擇方法[18]不同，特征編碼不僅能夠識(shí)別潛在的特征，還能夠基于判別式學(xué)習(xí)將高階統(tǒng)計(jì)特性和概率權(quán)重特征提取出來(lái)[16]。每一個(gè)特征都對(duì)分類任務(wù)有作用，高階統(tǒng)計(jì)分量的作用不可忽視。將高階統(tǒng)計(jì)信息納入特征編碼，可以取得更好的分類效果，也使得特征選擇的方法更加完善[19]。常見(jiàn)的編碼方法，如BoVW，只是用一階矩(或聚類方法)表示簡(jiǎn)單的特征計(jì)數(shù)，得到的是一階統(tǒng)計(jì)量；而VLAD，能保留均值和殘差信息。不同于BoVW和VLAD，F(xiàn)V有更高階統(tǒng)計(jì)信息，而且其高階特性使得與簡(jiǎn)單的線性分類器結(jié)合，可以獲得很好的分類效果。正如文獻(xiàn)[20]中提出的，F(xiàn)V可以對(duì)圖像局部特征進(jìn)行編碼，使之適用于學(xué)習(xí)。FV源自改進(jìn)的Fisher核框架，不僅能實(shí)現(xiàn)圖像最佳表示，還能為視覺(jué)詞袋提供特征描述子的軟分配。所以，F(xiàn)V成為表示低階特征描述子的最佳編碼方法之一。

(1)

(2)

考慮兩種情況，N被看做常量，或是取決于特定X，有

(3)

因此，Xa和XbFV的點(diǎn)積是樣本間的FK，其中有效分解是GMM模型。

基于以上描述，Xa和Xb的FK可表示為

(4)

由于它將高維空間的原始描述符適用于線性分類，所以對(duì)改進(jìn)的金字塔描述子會(huì)非常有效。Fisher核的方程表示為

(5)

k(l)(x(l),y(l))=

(Lλ(l)λ(l)logpλ(l)(x(l)))T(Lλ(l)λ(l)logpλ(l)(y(l)))

(6)

式中，λ(l)是GMM模型在l分辨率下的參數(shù)。

假設(shè)定長(zhǎng)向量的維數(shù)取決于圖形表示中參數(shù)的數(shù)量。每個(gè)D維SIFT描述符xp首先分配給混合分量k，特征和GMM中心的一階和二階導(dǎo)數(shù)為

(7)

(8)

由分值函數(shù)的梯度所得的混合權(quán)重參數(shù)可以編碼0階統(tǒng)計(jì)量。一階統(tǒng)計(jì)量從梯度w.r.t.高斯均值中派生，二階統(tǒng)計(jì)量是由高斯變量計(jì)算。通過(guò)將向量集中，得到包含有高階統(tǒng)計(jì)量的FV，有

(9)

因此，高階統(tǒng)計(jì)信息，如模型的似然衍生物得到編碼。以這種方式，各圖像是通過(guò)統(tǒng)計(jì)逐點(diǎn)用FV表示出來(lái)。

值得注意的是，圖像的局部空間信息在識(shí)別超聲圖像的底層結(jié)構(gòu)中也很重要。通過(guò)如圖5所示的方法，即將圖像分為2×2子塊，形成MFV，分別提取特征，進(jìn)行拼接，表示圖像。這種方法可以從子塊中更好地提取單一的信息，從而提升分類效果。

圖5 多層Fisher向量(FV)原理。將原始圖像分割成子塊，分別提取特征，并拼接起來(lái)表示圖像Fig.5 Pipeline of the proposed multi-layout FV (MFV) algorithm. Original US image is partitioned into sub-divisions. Features are extracted by the visual descriptor from each division, and then concatenated to form the image representation.

1.3 算法驗(yàn)證實(shí)驗(yàn)設(shè)置

為了盡可能準(zhǔn)確地評(píng)估胎盤成熟度，進(jìn)行以下實(shí)驗(yàn)。從深圳婦幼保健院的商用超聲掃描儀(西門子醫(yī)用解決方案(美國(guó))，Acuson S2000)獲取原始圖像。胎盤樣本共有544例，包含B型超聲圖像和CDE圖像。其中，0級(jí)胎盤有200例B型超聲圖像和11例CDE圖像，I級(jí)胎盤有147例B型超聲圖像和7例CDE圖像，II級(jí)胎盤有105例B型超聲圖像和22例CDE圖像，III級(jí)胎盤有44例B型超聲圖像和8例CDE圖像。采用10次交叉驗(yàn)證的方法，在每次驗(yàn)證中，10%的數(shù)據(jù)用于測(cè)試驗(yàn)證，90%的數(shù)據(jù)用于訓(xùn)練。在每次驗(yàn)證中，每組的訓(xùn)練樣本和測(cè)試樣本的分布與原始樣本的分布近似。所采的胎盤孕周介于18～40周。胎盤圖像是由臨床經(jīng)驗(yàn)超過(guò)5年的超聲科醫(yī)生所采，均為前壁胎盤圖像。系統(tǒng)通過(guò)Matlab和C++混合變成技術(shù)實(shí)現(xiàn)，采用RAM為128GB、單CPU的雙四核多線程服務(wù)器。量化指標(biāo)包括準(zhǔn)確率(ACC)、敏感性(SEN)、特異性(SPEC)、平均精度(mAP)、接受者操作特征曲線(RoC)，以及曲線下的面積(AUC)。計(jì)算方法與文獻(xiàn)[8]中的相同。AUC是由SVM分類器所得的分?jǐn)?shù)與標(biāo)簽計(jì)算得出。

2 結(jié)果

2.1 胎盤分級(jí)結(jié)果

表1所示的mAP、SEN、SPEC和ACC是基于不同編碼方法和描述子的結(jié)果?？梢?jiàn)，包含統(tǒng)計(jì)信息的VLAD和FV編碼可以獲得比廣泛使用的BoVW更好的mAP、SEN、SPEC和ACC結(jié)果。從表1中可以看出，提取融合特征(SIFT和patch特征融合)，并采用多層Fisher向量編碼的方法所獲得的分級(jí)結(jié)果明顯優(yōu)于其他的方法。采用特征融合和多層FV，所得最好的mAP、SEN、SPEC和ACC的結(jié)果為97.3%、91.1%、97.6%和92.7%；同時(shí)，也證明所提出的特征融合方法與FV結(jié)合使用在胎盤成熟度分級(jí)方面的有效性。

2.2 對(duì)比實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，特征融合和判別式編碼能夠提升胎盤成熟度分級(jí)結(jié)果(見(jiàn)圖6)。為了證實(shí)CDE圖像在胎盤成熟度分級(jí)實(shí)驗(yàn)中的有效性，進(jìn)行了只用B型超聲圖像作為輸入的實(shí)驗(yàn)，結(jié)果如圖7所示。僅B型超聲圖像作輸入，胎盤成熟度的分級(jí)結(jié)果明顯低于CDE圖像和B型超聲圖像共同輸入的結(jié)果。這是因?yàn)锽型超聲圖像中鈣化信息豐富，但是缺少血流信息，在胎盤成熟度的分級(jí)方面仍有局限性。不過(guò)，本研究所提出的用特征融合和判別式學(xué)習(xí)的方法，以及多層Fisher向量編碼仍然有效，明顯提升了分級(jí)結(jié)果。

表1 胎盤成熟度分級(jí)結(jié)果Tab.1 Placenta maturity evaluation results

圖6 若不同特征編碼方法下特征融合和特征編碼后的胎盤分級(jí)結(jié)果。(a) AUC、SEN和SPEC結(jié)果；(b)RoC曲線Fig.6 Placental evaluation result with feature fusion and encodingwith different encoding methods. (a)The AUC, SEN, SPEC； (b) The RoC curve

圖7 不同特征編碼方法下僅B型超聲圖像作輸入的實(shí)驗(yàn)結(jié)果。(a) AUC、SEN和SPEC的結(jié)果；(b)RoC曲線Fig.7 Placenta maturity evaluation with gray images onlywith different encoding methods.(a)The AUC, SEN, SPEC； (b) The RoC curve

為了進(jìn)一步評(píng)估本研究所提出方法的分類效果，在用CDE圖像作為輔助工具來(lái)評(píng)估胎盤成熟度的有效性驗(yàn)證中，輸入了一個(gè)查詢圖像，并評(píng)估它與其他所有輸入圖像的相似性。圖8顯示了不同成熟度級(jí)別的查詢圖像所得到的結(jié)果。每一組中，第一幅圖像為查詢圖像，其余評(píng)估其相似程度，按照相似度高低排列的圖像?？梢灾庇^地看出，輸入的CDE查詢圖像與其他同級(jí)圖像有相當(dāng)高的視覺(jué)相似性。使用所提出的方法，對(duì)收集的B型超聲和CDE圖像數(shù)據(jù)進(jìn)行胎盤成熟度評(píng)價(jià)相當(dāng)有效。然而，一些查詢圖像無(wú)法查詢到與其最相似的CDE圖像，其主要原因是目前所擁有的CDE數(shù)據(jù)十分有限。通常情況下，孕周28周以下為0級(jí)胎盤，32～34周為I級(jí)胎盤，34～36周為II級(jí)胎盤，36～分娩為III級(jí)胎盤。所以，孕周范圍小的II級(jí)和III級(jí)胎盤數(shù)量相對(duì)有限，一旦有更多CDE的圖像，結(jié)果可能會(huì)更準(zhǔn)確直觀。

圖8 查詢圖像和與其相似的前8幅圖像結(jié)果。(a)～(d)的4組圖像分別為0級(jí)、I級(jí)、II級(jí)、III級(jí)胎盤CDE圖像。在每組圖中，第一幅圖為輸入圖像，剩余圖像從左往右，從上往下依次為按所得相似度高低排列的胎盤圖像。Fig.8 Query and top eight retrieved medical images. And(a)，(b)，(c)，(d)represent stage 0, stage I, stage II, stage III,respectively.The first image is the query image, whereas the rest are the retrieved placental image based on the similarity scores (ranked from left to right, top to bottom).

3 討論

由于胎盤超聲圖像噪聲大、胎盤形狀不規(guī)則、鈣化點(diǎn)不確定等，采用傳統(tǒng)的基于單一特征的胎盤成熟度自動(dòng)等級(jí)方法沒(méi)能取得較好的結(jié)果。本算法基于此，利用SIFT和patch融合特征，得到更為豐富的圖像信息，并通過(guò)判別式特征編碼，更好地利用有利于分類的特征，從而提升胎盤成熟度分級(jí)的準(zhǔn)確性。

在提取關(guān)鍵點(diǎn)的過(guò)程中，高斯差分的方法可檢測(cè)到更多的關(guān)鍵點(diǎn)。其他關(guān)鍵點(diǎn)檢測(cè)方法得到的關(guān)鍵點(diǎn)數(shù)量較少，并且在胎盤圖像較為均勻的部分未獲得足夠的有用特征，在后期降維處理中信息損失更為嚴(yán)重，導(dǎo)致分類結(jié)果不能令人滿意。在特征提取的過(guò)程中，傳統(tǒng)的單一特征所能夠表達(dá)的信息有限，而融合特征可更完整地表達(dá)圖像，取得了不錯(cuò)的結(jié)果。

在特征點(diǎn)檢測(cè)和特征提取之后，本研究采用特征編碼的方式，提升分級(jí)結(jié)果的準(zhǔn)確性。FV編碼能夠提升特征的判別性，使得類與類之間更具區(qū)分性。本研究所采用的MFV，能夠更好地獲得局部特征，最終得到很好的準(zhǔn)確率。

與之前的一些方法相比，本研究在實(shí)驗(yàn)設(shè)置、分級(jí)準(zhǔn)確率和對(duì)結(jié)果的評(píng)估上，都有較大的進(jìn)步。但是，仍有幾個(gè)問(wèn)題需要進(jìn)一步完善：

1) 對(duì)圖像質(zhì)量的依賴性。本研究所用數(shù)據(jù)的來(lái)源均為深圳市婦幼保健院的西門子Acuson S2000，該機(jī)器能夠得到比很多醫(yī)院現(xiàn)有超聲儀器分辨率更高的圖像。然而，并未將其他超聲儀器所得胎盤圖像用于訓(xùn)練和測(cè)試，并未對(duì)該方法的魯棒性加以提升。

2) 對(duì)超聲醫(yī)師采集圖像水平的依賴性。很多經(jīng)驗(yàn)不足的醫(yī)生所采圖像會(huì)由于角度和手法的原因，有很大的噪聲。本研究所用圖像均由經(jīng)驗(yàn)超過(guò)5年的超聲醫(yī)生采集，對(duì)醫(yī)生的經(jīng)驗(yàn)還是有一定的依賴性。

3) 特征提取的局限性。本研究利用特征融合，從圖像中獲取更多的信息，雖然取得了較好的結(jié)果，但兩種特征還是存在一定的局限性。后續(xù)的工作中，將嘗試使用深度學(xué)習(xí)的方法，充分提取利于分類的特征。

4 結(jié)論

在本文中，提出了用B型超聲圖像和CDE圖像共同作為輸入，評(píng)估胎盤成熟度。提出用對(duì)FV編碼加以特征融合的方法來(lái)整合空間信息以及高階統(tǒng)計(jì)信息，提升胎盤成熟度分級(jí)結(jié)果的準(zhǔn)確率。大量的實(shí)驗(yàn)結(jié)果表明，所提出的方法是十分有效的。通過(guò)特征融合和判別式學(xué)習(xí)的胎盤成熟度自動(dòng)分級(jí)算法，能夠?yàn)榕R床醫(yī)生提供診斷幫助。

[1] 張?zhí)m珍，譚麗君，李大慈.胎盤成熟度分級(jí)與胎盤功能的相關(guān)性探討 [J]. 中山醫(yī)科大學(xué)學(xué)報(bào), 2001, 22(5): 386-389.

[2] 李秋萍，陳汝芳，謝詠. 超聲檢查胎盤成熟度預(yù)測(cè)胎盤功能的臨床價(jià)值[J].中國(guó)現(xiàn)代醫(yī)學(xué)雜志, 2001, 11(5): 78-79.

[3] Grannum PA, Berkowitz RL, Hobbins JC. The ultrasonic changes in the maturing placenta and their relation to fetal pulmonic maturity[J]. American Journal of Obstetrics & Gynecology, 1979, 133(8): 915-922.

[4] Linares PA, McCullagh PJ, Black ND, et al. Feature selection for the characterization of ultrasonic images of the placenta using texture classification[C] //2004 IEEE International Symposium on Biomedical Imaging: Nano to Macro. Arlington: IEEE, 2004: 1147-1150.

[5] Liu Z, Zheng H, Lin S. Application of multi-classification support vector machine in the B-placenta image classification[C]// 2009 International Conference on Computational Intelligence and Software Engineering. Wuhan: IEEE, 2009: 1-4.

[6] Mao J, Yang X, Tian X, et al. The Study of automatic classification for ultrasound placenta images based on adaptive multiple neural networks[J]. Journal of Image and Graphics, 2006, 11(7): 965-970.

[7] Lei B, Li X, Yao Y, et al. Automatic grading of placental maturity based on LIOP and fisher vector[C]// 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Chicago: IEEE, 2014: 4671-4674.

[8] Li X, Yao Y, Ni D, et al. Automatic staging of placental maturity based on dense descriptor[J]. Biomedical Materials and Engineering, 2014, 24(6): 2821-2829.

[9] Lei B, Yao Y, Chen S, et al. Discriminative learning for automatic staging of placental maturity via multi-layer Fisher vector[J]. Scientific Reports, 2015, 5(12818)：1-11.

[10] Burton GJ, Charnock-Jones DS, Jauniaux E. Regulation of vascular growth and function in the human placenta[J]. Reproduction, 2009, 138(6): 895-902.

[11] Guiot C, Gaglioti P, Oberto M, et al. Is three-dimensional power Doppler ultrasound useful in the assessment of placental perfusion in normal and growth-restricted pregnancies?[J]. Ultrasound in Obstetrics & Gynecology, 2008, 31(2): 171-176.

[12] Bude RO, Rubin JM. Power Doppler sonography[J]. Radiology, 1996, 200(1): 21-23.

[13] Lei B, Tan EL, Chen S, et al. Saliency-driven image classification method based on histogram mining and image score[J]. Pattern Recognition, 2015, 48(8): 2567-2580.

[14] Lazebnik S, Schmid C, Ponce J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories[C]//2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.New York: IEEE, 2006: 2169-2178.

[15] Jégou H, Perronnin F, Douze M, et al. Aggregating local image descriptors into compact codes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(9): 1704-1716.

[16] Sánchez J, Perronnin F, Mensink T, et al. Image classification with the fisher vector: Theory and practice[J]. International Journal of Computer Vision, 2013, 105(3): 222-245.

[17] Lei B, Tan EL, Chen S, et al. Automatic recognition of fetal facial standard plane in ultrasound image via Fisher vector[J]. PLoS ONE, 2015, 10(5): e0121838.

[18] Shen H, Tao D, Ma D. Multiview locally linear embedding for effective medical image retrieval[J]. PLoS ONE, 2013, 8(12): e82409.

[19] Chu C, Hsu AL, Chou KH, et al. Does feature selection improve classification accuracy? Impact of sample size and feature selection on classification using anatomical magnetic resonance images[J]. Neuroimage, 2012, 60(1): 59-70.

[20] Perronnin F, Sánchez J, Mensink T. Lecture notes in computer science: improving the fisher kernel for large-scale image classification [M]//Computer Vision-ECCV 2010. Beilin: Springer Berlin Heidelberg, 2010: 143-156.

Placental Maturity Evaluation via Feature Fusion and Discriminative Learning

Li Wanjun1Wang Tianfu1Ni Dong1Chen Siping Lei Baiying1*YaoYuan2*

1(DepartmentofBiomedicalEngineering,SchoolofMedicine,ShenzhenUniversity,National-RegionalKeyTechnologyEngineeringLaboratoryforMedicalUltrasound,GuangdongKeyLaboratoryforBiomedicalMeasurementsandUltrasoundImaging,Shenzhen518060,Guangdong,China)2(DepartmentofUltrasound,AffiliatedShenzhenMaternalandChildHealthcare,HospitalofNanfangMedicalUniversity,Shenzhen518060,Guangdong,China)

The error of placental maturity classification may lead to the occurrence of small gestational age (SGA), stillbirth, dead fetus, etc. Currently, placental maturity evaluation mainly depends on the clinician′s experience and observation. In this paper, we proposed a novel method to evaluate the placental maturity automatically by feature fusion and discriminative learning. Specifically, we extracted both the gray-scale intensity and blood flow information by the visual feature detector and descriptor from a total of 544 B-mode gray-scale ultrasound (US) images and color doppler energy (CDE) images. After fusing information, we applied the feature encoding method to improve the staging performance using discriminative learning technique. Comparing the test results with the result of the clinicians, we obtained a result with the accuracy of 92.7%, the sensitivity of 91.1%, a specificity of 97.6%, and a mean average precision of 97.3%. The experimental results showed that the proposed method achieved promising performance for placental maturity automatic classification.

placental maturity evaluation; feature fusion; multi-layout Fisher vector; color Doppler energy imaging

10.3969/j.issn.0258-8021. 2016. 04.004

2015-12-18， 錄用日期:2016-06-12

深圳市重點(diǎn)基礎(chǔ)研究項(xiàng)目(JCYJ2014041415513200，JCYJ20140509172609164)；廣東省科技創(chuàng)新重點(diǎn)項(xiàng)目(2014KXM052)

R318

A

0258-8021(2016) 04-0411-08

*通信作者(Corresponding author)， E-mail: leiby@szu.edu.cn; yaoyuan90@126.com