應(yīng)用DccplabV3+網(wǎng)絡(luò)實(shí)現(xiàn)小兒髖關(guān)節(jié)超聲圖像識(shí)別

劉夢(mèng)瑤，劉茹涵，姚一靜，余 倩，高乙惠，王 芮，盛 斌，姜立新

（1. 上海交通大學(xué)醫(yī)學(xué)院附屬仁濟(jì)醫(yī)院超聲醫(yī)學(xué)科，上海 200127；2. 上海交通大學(xué)電子信息與電氣工程學(xué)院計(jì)算機(jī)系，上海 200240；3. 上海交通大學(xué)附屬第六人民醫(yī)院，上海 200233）

0 引 言

發(fā)育性髖關(guān)節(jié)發(fā)育不良（Dcvclopmcntal Dysplasia of Thc Hip， DDH）是新生兒最常見(jiàn)的先天性疾病之一，目前超聲檢查是針對(duì)小兒早期DDH最普遍且最有用的影像診斷方法，規(guī)?；男律鷥篋DH超聲篩查正在國(guó)內(nèi)興起[1-3]。超聲檢查因其無(wú)創(chuàng)、安全、易行、無(wú)輻射、費(fèi)用較低、并可動(dòng)態(tài)觀察，特別適用于DDH高危人群的篩查及治療后的連續(xù)隨訪。1980年奧地利學(xué)者Graf開(kāi)創(chuàng)的DDH超聲檢查的靜態(tài)方法——簡(jiǎn)稱 Graf法[4-5]，主要利用5～7.5 MHz線陣探頭取得包括7個(gè)主要解剖學(xué)標(biāo)志的髖關(guān)節(jié)冠狀切面，通過(guò)對(duì)骨-軟骨交界面、股骨頭、滑膜皺襞、關(guān)節(jié)囊及軟骨膜、盂唇、軟骨頂、骨性頂這7個(gè)主要解剖結(jié)構(gòu)進(jìn)行解剖驗(yàn)證，并在此基礎(chǔ)上進(jìn)行后續(xù)的可用性檢測(cè)和測(cè)量分型。

然而，在超聲圖像上上述重要解剖結(jié)構(gòu)的準(zhǔn)確識(shí)別對(duì)從醫(yī)時(shí)間較短、資歷較淺（簡(jiǎn)稱低年資）的醫(yī)師和初學(xué)者而言較為困難，如盂唇由于其解剖位置和形態(tài)的個(gè)體差異較大，髖臼的骨性頂和軟骨頂由于軟組織的覆蓋不易顯示全貌，辨認(rèn)起來(lái)并不容易[6]。

另外由于在臨床實(shí)踐中DDH超聲診斷主要依靠人工取圖及測(cè)量，其隨操作者水平變化顯著，因此最近科研人員們提出了一些自動(dòng)分割的方法。Quadcr等[7]提出用置信加權(quán)結(jié)構(gòu)相位對(duì)稱（Confidcncc-wcightcd Structurcd Phasc Symmctry，CSPS）特征來(lái)分割三維超聲圖像上髖關(guān)節(jié)不同平面骨結(jié)構(gòu)，減少了軟組織假陽(yáng)性，提高骨分割效率。Pandcy 等[8]使用陰影峰（Shadow Pcak， SP）進(jìn)一步簡(jiǎn)化了骨陰影特征提取方法，在精確性和速度上都比CSPS有一定的提高。El-Hariri等[9]為了提高骨定位的準(zhǔn)確性，首先利用基于相位的特征提取，應(yīng)用空間解剖先驗(yàn)來(lái)消除軟組織假陽(yáng)性，準(zhǔn)確分割髂骨和髖臼的輪廓；其次使用深度學(xué)習(xí)中較流行的單通道和多通道輸入的U-Nct觀察到深度學(xué)習(xí)特征的性能優(yōu)于增強(qiáng)工程特征，如SP和CSPS。

雖然上述方法在髖關(guān)節(jié)超聲圖像的分割上取得了一定的突破，但其高度依賴人工提取的特征，在新數(shù)據(jù)的魯棒性和通用性上仍面臨很大的挑戰(zhàn)。此外，目前的研究只關(guān)注了盂唇和骨性頂?shù)姆指?，還未有研究對(duì)髖關(guān)節(jié)圖像的7個(gè)主要解剖結(jié)構(gòu)及其相對(duì)位置進(jìn)行分割。而對(duì)上述7個(gè)關(guān)鍵結(jié)構(gòu)進(jìn)行人工圖像標(biāo)注是一項(xiàng)費(fèi)時(shí)費(fèi)力的工作。因此，本研究將利用在圖像分割領(lǐng)域多個(gè)公開(kāi)數(shù)據(jù)集中表現(xiàn)優(yōu)越的網(wǎng)絡(luò)模型——DccplabV3+網(wǎng)絡(luò)的基礎(chǔ)上，探討其對(duì)DDH二維冠狀位超聲圖像上7個(gè)解剖結(jié)構(gòu)的分割價(jià)值，并將其與目前DDH圖像分割中常用的表現(xiàn)優(yōu)越的U-Nct網(wǎng)絡(luò)進(jìn)行比較，探索最適合用于本研究中DDH超聲圖像分割的網(wǎng)絡(luò)模型。

1 材料與方法

1.1 試驗(yàn)材料

本研究以疑似髖關(guān)節(jié)發(fā)育不良或存在DDH高危因素、并進(jìn)行超聲篩查的 0～6月患兒作為研究對(duì)象，其納入及排除標(biāo)準(zhǔn)如下所示。

1.1.1 疑似標(biāo)準(zhǔn)

（1） 臀部或大腿內(nèi)側(cè)褶皺不對(duì)稱；（2） 雙下肢長(zhǎng)度不等及活動(dòng)程度不一致；（3） 單側(cè)髖關(guān)節(jié)外展活動(dòng)受限；（4） 早產(chǎn)兒且體重低于平均值。

1.1.2 高危因素

（1） 女性；（2） 臀先露；（3） 巨大兒；（4） DDH 家族史；（5） 胎兒過(guò)度成熟；（6） 嬰兒襁褓；（7） 羊水過(guò)少；（8） 其他引起體位性變形的宮內(nèi)因素。

1.1.3 排除標(biāo)準(zhǔn)

（1） 排除不合格的超聲圖像（如存在7個(gè)主要解剖結(jié)構(gòu)顯示不全/不清楚，不滿足中間平面等問(wèn)題）；（2） 排除腦癱、關(guān)節(jié)攣縮、化膿性髖關(guān)節(jié)關(guān)節(jié)炎等疾病所致的DDH圖像；（3） 排除其他髖關(guān)節(jié)疾病及肢體畸形患者的圖像；（4） Graf法Ⅲ型及以上DDH患者的圖像。

1.1.4 受試者分組

本文納入了106名患兒的106張二維超聲冠狀面圖像，超聲圖像由5～7.5 MHz線性換能器采集，圖像深度為40～55 mm，將其按4:1比例隨機(jī)分為訓(xùn)練集和測(cè)試集，即訓(xùn)練集包括 86張圖片，測(cè)試集包括20張圖片，其基本信息如表1所示。

表1 DDH圖像分割所用病例基本信息表Table 1 Basic characteristics of the study participants

1.2 方 法

1.2.1 手動(dòng)標(biāo)記

106張二維超聲冠狀面圖像中包括骨-軟骨交界面、股骨頭、滑膜折痕、關(guān)節(jié)囊及軟骨膜、盂唇、軟骨頂、骨性頂在內(nèi)的7個(gè)關(guān)鍵結(jié)構(gòu)，被一位經(jīng)驗(yàn)豐富的超聲醫(yī)師手動(dòng)標(biāo)記出其邊界，手動(dòng)標(biāo)記示意圖如圖1所示。將經(jīng)過(guò)預(yù)處理后的訓(xùn)練集和測(cè)試集分別輸入 DccplabV3+網(wǎng)絡(luò)和 U-Nct網(wǎng)絡(luò)這兩種網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練。

圖1 小兒髖關(guān)節(jié)二維冠狀位超聲圖像手動(dòng)標(biāo)記圖Fig.1 Manual labeling of ultrasonic image of hip joint

1.2.2 預(yù)處理操作

本研究使用圖像處理技術(shù)裁剪了超聲圖片中包含病患敏感信息的部分。為了使小兒髖關(guān)節(jié)結(jié)構(gòu)的形狀不失真，將裁剪得到的超聲圖片用0填充至標(biāo)準(zhǔn)大小，圖像尺寸為572×748像素，并且所有的圖片都采用3通道的彩色圖像模式。為了應(yīng)對(duì)數(shù)據(jù)量較少的問(wèn)題，本文對(duì)訓(xùn)練集中的原圖及其對(duì)應(yīng)的標(biāo)注圖進(jìn)行數(shù)據(jù)增強(qiáng)操作，包括伽馬變換、旋轉(zhuǎn)、歸一化等，將圖片擴(kuò)增至1 204幅。

1.2.3 網(wǎng)絡(luò)模型

本研究所采用的 DccplabV3+是圖像語(yǔ)義分割領(lǐng)域較為主流的網(wǎng)絡(luò)模型，在實(shí)際生活中應(yīng)用較廣[10]。DccplabV3+網(wǎng)絡(luò)具有多尺度的卷積層，同時(shí)具備編碼-解碼雙重模塊，能夠?qū)崿F(xiàn)對(duì)圖像所包含結(jié)構(gòu)的精細(xì)分割，能夠平衡分割精度和分割效率，其分割性能優(yōu)異。其中Dccplabv3網(wǎng)絡(luò)作為編碼模塊，能夠?qū)崿F(xiàn)目標(biāo)特征分層嵌套提取和多尺度上下文信息提取。而解碼模塊則將Dccplabv3骨干網(wǎng)絡(luò)中產(chǎn)生的低級(jí)特征和高層抽象特征相融合，最后對(duì)特征采用4倍雙線性上采樣輸出預(yù)測(cè)結(jié)果，其結(jié)構(gòu)如圖2所示。

圖2 Dccplabv3+網(wǎng)絡(luò)結(jié)構(gòu)模式圖Fig.2 The pattern diagram of Deeplabv3+ network

U-Nct網(wǎng)絡(luò)是語(yǔ)義分割領(lǐng)域較早使用的全卷積網(wǎng)絡(luò)算法之一，因其使用包含壓縮路徑和擴(kuò)展路徑的左右對(duì)稱的U形結(jié)構(gòu)而得名，并在醫(yī)學(xué)圖像分割領(lǐng)域有著較廣泛的應(yīng)用[11]。而且U-Nct網(wǎng)絡(luò)使用跳躍鏈接結(jié)構(gòu)將上、下采樣層連接，可將下層提取到的特征直接傳遞給上層，這也是U-Nct網(wǎng)絡(luò)分割精度較高的主要原因。

1.2.4 評(píng)價(jià)指標(biāo)

為了評(píng)估本網(wǎng)絡(luò)模型的分割效果，實(shí)驗(yàn)使用相似性系數(shù)（Dicc Similarity Cocfficicnt， DSC）、豪斯多夫距離（Hausdorff Distancc， HD）、平均豪斯多夫距離（Avcragc Hausdoff Distancc， AHD）作為評(píng)價(jià)指標(biāo)。DSC、HD、AHD是醫(yī)學(xué)圖像分割領(lǐng)域的主要評(píng)價(jià)指標(biāo)，其中 DSC用來(lái)度量醫(yī)生標(biāo)注區(qū)域與預(yù)測(cè)區(qū)域之間的重疊部分，DSC取值范圍為 0～1，DSC越接近1則表示兩個(gè)區(qū)域越相似；HD和AHD則是用于衡量邊界分割的指標(biāo)，用來(lái)描述兩組輪廓之間的相似程度，值越小代表兩者之間輪廓越相似。

1.2.5 網(wǎng)絡(luò)訓(xùn)練

將同一數(shù)據(jù)組分別輸入 DccplabV3+網(wǎng)絡(luò)和U-Nct網(wǎng)絡(luò)，分別對(duì)86例DDH二維超聲圖像進(jìn)行訓(xùn)練，訓(xùn)練后保存模型并對(duì)測(cè)試集中的 20例圖像進(jìn)行預(yù)測(cè)。本試驗(yàn)采用Python語(yǔ)言并在TcnsorFlow和Kcras框架下實(shí)現(xiàn)，使用交叉熵?fù)p失函數(shù)和Adma訓(xùn)練算法，迭代輪次為 100，學(xué)習(xí)率為 1×10-5，最后計(jì)算7個(gè)解剖結(jié)構(gòu)的DSC、HD、AHD等評(píng)價(jià)指標(biāo)，并對(duì)兩種網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果進(jìn)行比較，評(píng)估兩種網(wǎng)絡(luò)的效果。

2 結(jié) 果

2.1 兩種網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果圖比較

將DDH二維超聲圖像分別輸入DccplabV3+網(wǎng)絡(luò)和U-Nct網(wǎng)絡(luò)這兩個(gè)網(wǎng)絡(luò)中進(jìn)行分割預(yù)測(cè)，從預(yù)測(cè)的結(jié)果來(lái)看，DccplabV3+網(wǎng)絡(luò)有較好的分割效果（如圖3（a）所示）。利用 U-Nct網(wǎng)絡(luò)預(yù)測(cè)得到的分割效果較差，不僅無(wú)法完全分割出7個(gè)解剖結(jié)構(gòu)，比如對(duì)于關(guān)節(jié)盂唇和滑膜皺襞這種微小精細(xì)結(jié)構(gòu)，同時(shí)對(duì)每個(gè)結(jié)構(gòu)的邊界分割也較為粗糙，尤其是在各結(jié)構(gòu)毗鄰處，如骨性頂和軟骨頂交界處、軟骨頂與盂唇交界處等（如圖3（b）所示）。

圖3 DccplabV3+網(wǎng)絡(luò)和U-Nct網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果圖Fig.3 The predicted results of Deeplabv3 + network and U-Net network

2.2 兩種網(wǎng)絡(luò)的分割性能定量比較

本研究采用 DccplabV3+網(wǎng)絡(luò)和 U-Nct網(wǎng)絡(luò)這兩種網(wǎng)絡(luò)模型來(lái)分割DDH中的7個(gè)關(guān)鍵結(jié)構(gòu)，最終利用DccplabV3+網(wǎng)絡(luò)得到7個(gè)結(jié)構(gòu)的 DSC、HD、AHD平均值分別為86.50%，10.22、0.39，相比U-Nct網(wǎng)絡(luò)的84.45%、13.06、0.50，各項(xiàng)指標(biāo)均表現(xiàn)較好，結(jié)果如表2所示。這兩種網(wǎng)絡(luò)模型在股骨頭、骨性頂、關(guān)節(jié)盂唇及骨-軟骨交界面這幾個(gè)骨性結(jié)構(gòu)上的分割性能較好，DSC值高達(dá) 86.48%～91.53%；而在滑膜皺襞、關(guān)節(jié)囊及軟骨膜、軟骨頂上的分割性能則相對(duì)較差，DSC值為 77.30%～82.35%。

表2 DeeplabV3+網(wǎng)絡(luò)和U-Net網(wǎng)絡(luò)的分割性能比較Table 2 Comparison of segmentation performance between Deeplabv3 + Network and U-Net Network

3 討 論

由于在臨床實(shí)踐中初級(jí)醫(yī)師對(duì)重要解剖結(jié)構(gòu)的理解程度不一，且DDH超聲診斷隨操作者水平變化顯著，因此研究者相繼提出了一些自動(dòng)分割方法。El-Hariri等[9]使用 U-Nct網(wǎng)絡(luò)模型對(duì)髖關(guān)節(jié)三維超聲圖像中的髖臼和髂骨進(jìn)行分割，其 DSC值為86%，與Quadcr等[7]提出的置信加權(quán)結(jié)構(gòu)相位對(duì)稱特征提取方法（CSPS， DSC=81%）以及Pandcy等[8]使用的陰影峰（SP，DSC=75%）相比，U-Nct網(wǎng)絡(luò)的分割性能較為優(yōu)異。然而，本研究發(fā)現(xiàn)，與目前DDH圖像分割中常用且表現(xiàn)優(yōu)越的 U-Nct網(wǎng)絡(luò)相比，DccplabV3+網(wǎng)絡(luò)作為另外一種圖像分割領(lǐng)域的最常用的網(wǎng)絡(luò)模型，對(duì)DDH二維超聲圖像中7個(gè)結(jié)構(gòu)的分割效果更好。從預(yù)測(cè)出來(lái)的超聲圖像中可以看出，DccplabV3+網(wǎng)絡(luò)的 DSC平均值較高，為86.50%±5.20%，表示模型預(yù)測(cè)的區(qū)域與高年資醫(yī)生標(biāo)注的區(qū)域重合范圍較大，二者重合率較高；而從預(yù)測(cè)圖中也可以看出，DccplabV3+網(wǎng)絡(luò)[10]在可分割出的結(jié)構(gòu)數(shù)目和單一結(jié)構(gòu)邊界分割中相對(duì)表現(xiàn)較好，其能夠較好識(shí)別出DDH判別時(shí)必需的7個(gè)解剖結(jié)構(gòu)。另外，代表邊界分割準(zhǔn)確性的兩個(gè)參數(shù)：HD和 AHD的平均值分別為 10.22±7.32和0.39±0.44，明顯低于 U-Nct網(wǎng)絡(luò)模型的值，表明DccplabV3+網(wǎng)絡(luò)對(duì)這 7個(gè)結(jié)構(gòu)邊界的檢測(cè)能力較高，在預(yù)測(cè)圖上7個(gè)結(jié)構(gòu)的邊界分割也相對(duì)清晰可辨。這可能是由于 DccplabV3+網(wǎng)絡(luò)加入了編碼-解碼的思想，對(duì)編碼器中的Xccption進(jìn)行調(diào)整，以及加入了類似于U-Nct網(wǎng)絡(luò)的解碼器結(jié)構(gòu)，解碼時(shí)能夠與低級(jí)信息相連，解決了編碼時(shí)經(jīng)過(guò)步長(zhǎng)卷積或者池化層后的細(xì)節(jié)信息丟失，有助于恢復(fù)圖像邊緣信息。因此，DccplabV3+網(wǎng)絡(luò)利用其具有的多尺度卷積層，能夠?qū)崿F(xiàn)對(duì)髖關(guān)節(jié)二維超聲圖像中7個(gè)主要結(jié)構(gòu)的精細(xì)分割，具有良好的分割性能。對(duì)于超聲醫(yī)生后續(xù)利用盂唇中點(diǎn)、骨性頂中的平直髂骨面和髂骨下緣最低點(diǎn)進(jìn)行角度測(cè)量將會(huì)有很大的幫助。

除此之外，這兩種網(wǎng)絡(luò)對(duì)上述7個(gè)重要解剖結(jié)構(gòu)的分割精確度具有相同的趨勢(shì)，都對(duì)骨性頂、股骨頭這兩個(gè)結(jié)構(gòu)的分割準(zhǔn)確度較高，而對(duì)軟骨頂、滑膜皺襞、關(guān)節(jié)囊及軟骨膜的識(shí)別精度較低，原因在于髖關(guān)節(jié)中骨性結(jié)構(gòu)在超聲圖像上顯示為強(qiáng)回聲，邊界清楚，輪廓銳利，其包含的強(qiáng)回聲像素點(diǎn)與周?chē)牡突芈曑浗M織灰階水平對(duì)比較為明顯，因此很容易被肉眼和網(wǎng)絡(luò)模型識(shí)別出來(lái)。而識(shí)別精度較低的3個(gè)結(jié)構(gòu)則是軟組織結(jié)構(gòu)，其回聲較低甚至呈無(wú)回聲，邊界欠清，因此較難識(shí)別。

綜上所述，對(duì)于這種語(yǔ)義分割任務(wù)，不僅需要注重圖像分割的內(nèi)容和邊緣等細(xì)節(jié)，往往還需要結(jié)合更多詳細(xì)的空間信息，比如圖像中各解剖結(jié)構(gòu)間的相對(duì)位置關(guān)系等，從整體上來(lái)判斷分析各個(gè)結(jié)構(gòu)的邊界。另外，由于本研究所納入的手動(dòng)標(biāo)記樣本量較少，使得網(wǎng)絡(luò)模型缺乏充分的訓(xùn)練，預(yù)測(cè)效果也會(huì)受到很大影響。因此在今后的研究中，我們將進(jìn)一步擴(kuò)大手動(dòng)標(biāo)記的圖像樣本量，在此基礎(chǔ)上引入結(jié)構(gòu)位置信息處理網(wǎng)絡(luò)、注意力機(jī)制等[12-14]，進(jìn)一步提高本網(wǎng)絡(luò)模型對(duì)于DDH超聲圖像中重要解剖結(jié)構(gòu)的分割精確度和可解釋性。

4 結(jié) 論

本文應(yīng)用 DccplabV3+網(wǎng)絡(luò)模型，利用其強(qiáng)大的編碼、解碼能力，將其所提取的低級(jí)特征用于對(duì)DDH二維冠狀位超聲圖像的像素級(jí)精準(zhǔn)分割，初步實(shí)現(xiàn)了對(duì)DDH超聲圖像上7個(gè)解剖結(jié)構(gòu)的分割，相比于目前 DDH圖像分割中常用且表現(xiàn)優(yōu)越的U-Nct網(wǎng)絡(luò)而言，內(nèi)容及邊界識(shí)別都更加精細(xì)，具有較高的分割性能，對(duì)后續(xù)DDH超聲圖像的標(biāo)準(zhǔn)性判定、角度測(cè)量和分型診斷具有重要意義。