基于級聯(lián)網(wǎng)絡(luò)的膝關(guān)節(jié)圖像分割與模型構(gòu)建

馬 巖，邢藏菊，肖 亮

基于級聯(lián)網(wǎng)絡(luò)的膝關(guān)節(jié)圖像分割與模型構(gòu)建

馬 巖，邢藏菊，肖 亮*

北京化工大學(xué)信息科學(xué)與技術(shù)學(xué)院，北京 100029

采用膝關(guān)節(jié)模型進(jìn)行電磁仿真是計算膝關(guān)節(jié)局部射頻功率沉積（SAR）的主要方法，為了構(gòu)建膝關(guān)節(jié)模型，本文提出了一種包含兩個卷積神經(jīng)網(wǎng)絡(luò)——U-Net的級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)，用于膝關(guān)節(jié)磁共振圖像的分割．第一個網(wǎng)絡(luò)在整幅圖上分割肌肉、脂肪等占比較大的組織，并從分割結(jié)果中預(yù)測軟骨與半月板的大致位置信息，第二個網(wǎng)絡(luò)基于該信息在一個更小的子圖上分割小組織以提高分割精度．兩個網(wǎng)絡(luò)均采用焦點損失函數(shù)，它們的分割結(jié)果合并在一起構(gòu)成膝關(guān)節(jié)模型．我們將該方法與其它4種方法的分割結(jié)果進(jìn)行了定量指標(biāo)的對比研究，并分別構(gòu)建膝關(guān)節(jié)模型，計算局部SAR值．結(jié)果表明本文提出的級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)可以更精確的構(gòu)建用于SAR仿真的膝關(guān)節(jié)模型．

磁共振成像（MRI）；局部射頻功率沉積（SAR）；膝關(guān)節(jié)；級聯(lián)網(wǎng)絡(luò)；焦點損失函數(shù)

引 言

膝關(guān)節(jié)是人體主要的運動關(guān)節(jié)，膝關(guān)節(jié)疾病嚴(yán)重影響人們的生活與健康．磁共振成像（MRI）對軟組織的分辨力高，且可以使人體免受電離輻射的傷害，已成為臨床診斷膝關(guān)節(jié)疾病的常用方法．近年來，高場MRI已經(jīng)得到越來越多的應(yīng)用，局部射頻功率沉積（SAR）是高場磁共振掃描時需要考慮的關(guān)鍵因素，因為高場強有著使人體組織局部SAR超標(biāo)[1]的風(fēng)險，會給人體帶來傷害．不同于全局SAR，對于不同的個體，局部SAR的準(zhǔn)確估計需要由對特異的人體模型進(jìn)行電磁仿真[2-4]來得到．當(dāng)前，低場磁共振掃描依然得到廣泛應(yīng)用，某些情況下在低場掃描后需進(jìn)行高場掃描以獲得更清晰的細(xì)節(jié)．因此，通過分割低場磁共振圖像構(gòu)建膝關(guān)節(jié)模型，進(jìn)行電磁仿真以在高場掃描之前得到局部SAR的估計值很有必要．

對于圖像分割，專業(yè)人員手動標(biāo)注的時間成本高，且分割效果會受人為因素影響；半自動分割方法，如區(qū)域生長[5]和snake算法[6]，雖然可以提高分割效率，但是分割結(jié)果受初始信息的影響較大；傳統(tǒng)的全自動分割方法，如統(tǒng)計形狀模型[7]、基于圖譜的分割[8]和支持向量機[9]等，達(dá)到了一定的效果，但由于使用預(yù)定義的模板或者模型，其對復(fù)雜圖像分割的準(zhǔn)確性和魯棒性仍需提升．近年來，深度卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于圖像分割[10,11]，相對于傳統(tǒng)的半自動與全自動分割方法，它可以自動提取圖像的淺層和深層特征，適合復(fù)雜的圖像分割任務(wù)，已有使用深層卷積網(wǎng)絡(luò)對膝關(guān)節(jié)圖像進(jìn)行分割的方法[12-14]．U-Net[15]是一種當(dāng)前使用的先進(jìn)的全卷積網(wǎng)絡(luò)，采用對稱的U型結(jié)構(gòu)，通過在上采樣過程中不斷融合淺層的圖像特征，可以得到更精確的分割結(jié)果，并可以進(jìn)行多尺度預(yù)測．因此，自從2015年被提出后，U-Net被廣泛應(yīng)用于醫(yī)學(xué)圖像的分割[16-18]，包括膝關(guān)節(jié)圖像的分割[19-21]．

之前，我們研究組采用單個U-Net基于“肌-脂-骨”簡化模型進(jìn)行了膝關(guān)節(jié)模型重建[22]．顯然，如果進(jìn)行更加精細(xì)的組織分類將有助于提高局部SAR估計的準(zhǔn)確度．本文旨在更為準(zhǔn)確的分割低場膝關(guān)節(jié)磁共振圖像，得到膝關(guān)節(jié)模型以進(jìn)行局部SAR的估計．本文將膝關(guān)節(jié)組織分為肌肉、脂肪、松質(zhì)骨、皮質(zhì)骨、半月板以及軟骨；我們將其他不清晰的組織（例如肌腱、韌帶、血管等）都?xì)w為肌肉，因為它們與肌肉具有接近的介電參數(shù)，因而這種合并對仿真結(jié)果影響較?。c高場磁共振圖像相比，低場磁共振圖像的信噪比通常較低、組織對比度不足，這為圖像分割帶來了較大困難．而且網(wǎng)絡(luò)分割效果往往在肌肉、脂肪等占比較大的組織中表現(xiàn)較好，因此膝關(guān)節(jié)中形態(tài)細(xì)小的軟骨組織與半月板的分割精度仍有很大提升空間．為了提高小組織的分割效果，本文使用焦點損失函數(shù)（Focal Loss Function）代替交叉熵?fù)p失函數(shù)，以提高網(wǎng)絡(luò)學(xué)習(xí)中占比相對較小的組織的權(quán)重．并進(jìn)一步提出一種包括兩個U-Net的級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)：前一個網(wǎng)絡(luò)用于在整幅圖上分割肌肉、脂肪等占比較大的組織，并根據(jù)其分割結(jié)果預(yù)測軟骨與半月板等小組織的大致位置；后一個網(wǎng)絡(luò)基于該信息在一個更小的子圖上分割小組織，以提高小組織的分割精度．兩個網(wǎng)絡(luò)的分割結(jié)果合并在一起以構(gòu)成膝關(guān)節(jié)模型．我們采用五種定量指標(biāo)評估分割效果，并且對所重建模型進(jìn)行了電磁仿真與局部SAR的計算．

1 理論方法

1.1 本文提出的網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，主要由兩個U-Net構(gòu)成：第一個U-Net用來分割肌肉、脂肪、皮質(zhì)骨與松質(zhì)骨；第二個U-Net用來分割軟骨與半月板．在第一個U-Net的分割任務(wù)中，以原始圖像作為U-Net網(wǎng)絡(luò)的輸入數(shù)據(jù)，在訓(xùn)練中以手工標(biāo)注結(jié)果（包含肌肉、脂肪、皮質(zhì)骨與松質(zhì)骨四種組織）作為真實值帶入損失函數(shù)，根據(jù)梯度下降原理不斷調(diào)整參數(shù)以降低損失函數(shù)值，直到趨于穩(wěn)定．這樣，當(dāng)輸入測試圖像時，網(wǎng)絡(luò)輸出為各種組織的概率矩陣，從而實現(xiàn)像素級分類．位于膝關(guān)節(jié)內(nèi)部的軟骨與半月板都被歸為背景類，可以通過提取分割結(jié)果中連通組織內(nèi)部的具有一定大小的空洞來實現(xiàn)定位．提取出的空洞可以看作對軟骨與半月板聯(lián)合形態(tài)的粗分割，為了得到更連通的形態(tài)，本文對空洞部分做了腐蝕與膨脹濾波．以空洞部分的質(zhì)心為中心，提取出只包含軟骨與半月板的原始圖像切片（大小減少一半，為192×192），作為第二個網(wǎng)絡(luò)的輸入數(shù)據(jù)．這種級聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)利用第一個網(wǎng)絡(luò)提取到的軟骨與半月板的大致位置信息去輔助第二個網(wǎng)絡(luò)分割，使網(wǎng)絡(luò)在更小的區(qū)域中分割小組織；此外，網(wǎng)絡(luò)分割目標(biāo)的減少也可以使網(wǎng)絡(luò)專注學(xué)習(xí)這些更小的類別，進(jìn)一步提升小組織的分割精度，以達(dá)到精確分割軟骨與半月板的目的．級聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)中的兩個U-Net都使用焦點損失函數(shù)，因為焦點損失函數(shù)可增大損失函數(shù)中小組織分割目標(biāo)的損失比重，降低背景等易分類像素點的損失比重，可以使網(wǎng)絡(luò)更偏向?qū)π〗M織的學(xué)習(xí)．最后，我們采用小組織優(yōu)先策略整合兩次的分割結(jié)果，針對整合圖像中組織間的空洞，提取空洞邊緣像素，將之歸類為擁有最大像素數(shù)的類別．此外，將分割結(jié)果對應(yīng)的原圖中所有像素灰度值都小于10的連通域自動歸為背景，以消除背景中的噪聲．

圖1 本文提出的級聯(lián)網(wǎng)絡(luò)的整體框圖，設(shè)原始圖像的左下角坐標(biāo)為（0, 0），（199, 204）為提取的軟骨與半月板的中心坐標(biāo)，（104, 109），（295, 300）分別為裁剪區(qū)域在原圖像中左下角與右上角的坐標(biāo)．最后的分割結(jié)果由對兩個網(wǎng)絡(luò)的分割結(jié)果根據(jù)提取的位置信息進(jìn)行融合及后處理得到

1.2 U-Net

U-Net由編碼器與解碼器構(gòu)成，編碼器與解碼器呈對稱的U型結(jié)構(gòu)（以提出的級聯(lián)網(wǎng)絡(luò)中第一個U-Net為例，如圖2所示）．在編碼階段，U-Net通過4個卷積模塊（Conv，Dropout，Relu）與4次最大池化（Max Pool）下采樣提取圖像特征信息，每個卷積模塊由2個卷積層構(gòu)成．在解碼階段，U-Net通過4次反卷積（Up-conv）與4個卷積模塊恢復(fù)圖像大小，并采用跳躍連接，拼接對應(yīng)的編碼器產(chǎn)生的淺層特征信息，通過卷積模塊降低特征通道，融合特征，實現(xiàn)逐像素點的分類．U-Net在解碼階段擁有大量的特征通道，并融合了低層的空間定位信息，可以實現(xiàn)更精確的分割．為了保證輸入輸出圖像的大小一致，我們在每個卷積層使用邊緣0填充的卷積方式．

圖2 本文所提級聯(lián)網(wǎng)絡(luò)中第一個U-Net的結(jié)構(gòu)

1.3 焦點損失函數(shù)

焦點損失函數(shù)的提出是為了解決目標(biāo)檢測中前景與背景不均衡的問題[23]，是交叉熵函數(shù)的變體．在本文的分割任務(wù)中，半月板與軟骨組織的形態(tài)細(xì)小，通常只占整張圖像中很小的比例，小組織類與肌肉、脂肪等組織以及背景類的比例極不均衡，這也導(dǎo)致了小組織分割效果的不理想．在第一個網(wǎng)絡(luò)的分割任務(wù)中，不易分類類別為肌肉、脂肪、皮質(zhì)骨與松質(zhì)骨類，易分類類別為背景類；在第二個網(wǎng)絡(luò)的分割任務(wù)中，不易分類類別為軟骨與半月板類, 易分類類別為除軟骨與半月板之外的背景類. 對于一個屬于易分類類別的體素來說，在網(wǎng)絡(luò)訓(xùn)練時，它在所屬類別上的預(yù)測概率通常較高，這部分像素點對應(yīng)的損失函數(shù)值通常較小，并且它們在整張圖像中所占面積很大，這會導(dǎo)致整體的損失函數(shù)值偏小，從而使網(wǎng)絡(luò)無法向提升小組織分割精度的方向優(yōu)化．針對這個問題，本文使用焦點損失函數(shù)代替交叉熵?fù)p失函數(shù)，公式如下：

2 實驗部分

2.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集共包含67位志愿者的膝關(guān)節(jié)磁共振圖像，將其中48位劃分為訓(xùn)練集，其余19位劃分為測試集，無驗證集．志愿者的平均年齡約為46.3歲．在實驗之前，每一位志愿者均簽訂了知情同意書．膝關(guān)節(jié)磁共振圖像于2019年在張家口仁愛醫(yī)院影像科的0.35 T MRI系統(tǒng)JC35P（嘉恒醫(yī)療裝備有限公司）上采集，均為矢位1加權(quán)自旋回波圖像，掃描參數(shù)如下：層厚為4 mm；視野為230 mm×230 mm；圖像尺寸為384×384；圖像切片數(shù)為30；體素尺寸約為0.6 mm×0.6 mm×4 mm，該體素分辨率滿足場強為3 T的SAR仿真要求[24-26]．?dāng)?shù)據(jù)的人工標(biāo)注由兩名相關(guān)的專業(yè)人員在Photoshop軟件上完成．

2.2 網(wǎng)絡(luò)訓(xùn)練

2.3 分割結(jié)果的評價指標(biāo)

以人工標(biāo)注結(jié)果作為基準(zhǔn)，使用Dice系數(shù)（DCC）、Jaccard系數(shù)（JAC）、真陽性率（TPR）、假陽性率（FPR）來評價網(wǎng)絡(luò)分割的性能，其中DCC與JAC用于衡量網(wǎng)絡(luò)分割結(jié)果與人工標(biāo)注結(jié)果之間的重疊度與相似度，DCC與JAC的數(shù)值越大，說明網(wǎng)絡(luò)的分割結(jié)果越接近手動標(biāo)注結(jié)果．TPR為被網(wǎng)絡(luò)正確預(yù)測為分割目標(biāo)的像素點數(shù)量與真實分割目標(biāo)像素點的比例，TPR越大，說明網(wǎng)絡(luò)的分割效果越好；而FPR為被網(wǎng)絡(luò)錯誤預(yù)測為分割目標(biāo)的像素點數(shù)量與真實背景像素數(shù)的比例，F(xiàn)PR越小，說明網(wǎng)絡(luò)的分割效果越好，這四項指標(biāo)計算公式如下：

此外，我們還使用平均表面距離（ASD）評估網(wǎng)絡(luò)在各個組織邊緣的分割效果，計算公式如下：

2.4 SAR估計

SAR被定義為單位質(zhì)量組織吸收的射頻功率，計算公式如下：

對于一個體素，其局部SAR（SAR10g）定義如下：

其中，是一個以為中心的立方區(qū)域，質(zhì)量約為10g，為中的一個體素；m是體素的質(zhì)量．

3 結(jié)果與討論

3.1 圖像分割效果的對比

圖3以一位志愿者（女性，22歲）的膝關(guān)節(jié)磁共振圖像為例，展示了利用本文所提方法進(jìn)行圖像分割的過程．圖中分別展示了兩個U-Net網(wǎng)絡(luò)的分割結(jié)果，以及利用第一個U-Net網(wǎng)絡(luò)分割背景中的軟骨與半月板的位置信息對輸入圖像進(jìn)行裁剪的示意圖．

圖3 第一行分別為初始圖像與對應(yīng)的皮質(zhì)骨、松質(zhì)骨、肌肉、脂肪與背景的分割結(jié)果，本文所提方法通過提取背景中的空洞并計算其質(zhì)心得到軟骨與半月板的位置信息，以質(zhì)心為中心進(jìn)行裁剪，得到包含軟骨與半月板的子圖，即第二個網(wǎng)絡(luò)的輸入圖像．第二行分別展示了裁剪示意圖與利用第二個網(wǎng)絡(luò)得到的軟骨與半月板的分割結(jié)果

由于所提網(wǎng)絡(luò)是基于U-Net的級聯(lián)結(jié)構(gòu)，為了評估其分割性能，因此本文將所提網(wǎng)絡(luò)的分割結(jié)果與單U-Net網(wǎng)絡(luò)及其幾種改進(jìn)形式進(jìn)行了對比，包括使用普通交叉熵?fù)p失函數(shù)的單U-Net網(wǎng)絡(luò)、使用焦點損失函數(shù)的單U-Net網(wǎng)絡(luò)[記作U-Net (focal loss)]、使用Attention機制的單U-Net網(wǎng)絡(luò)[28][記作U-Net (attention)]、U-Net++[29]．其中，單U-Net均采用5層、7×7大小卷積核的網(wǎng)絡(luò)結(jié)構(gòu)．U-Net (attention)通過在U-Net編碼器路徑和解碼器路徑之間添加Attention門來產(chǎn)生歸一化的權(quán)重掩膜，以增強感興趣區(qū)域，提高分割效果．U-Net++使用一系列嵌套的密集跳躍連接路徑，層數(shù)為5，卷積核大小為5×5，實驗中選取U-Net++的對比數(shù)據(jù)為它最外層的分割結(jié)果．以人工標(biāo)注結(jié)果為標(biāo)準(zhǔn)，計算了使用上述各方法得到的分割結(jié)果的評價指標(biāo)（表1）．

表1 對本文所提方法與其它4種對比方法分割結(jié)果的評價指標(biāo)的分析

續(xù)表1

Mean表示測試集的評價指標(biāo)的平均值；Std表示測試集的評價指標(biāo)的標(biāo)準(zhǔn)差

從5個評價指標(biāo)來看，相比其他4種方法，使用本文所提方法在軟骨與半月板上的分割效果有了一定的提升，可見提取原始圖像切片并使用焦點損失函數(shù)可以改進(jìn)小組織的分割效果．而且本文所提方法在松質(zhì)骨、脂肪與肌肉上的分割效果在5種方法中也達(dá)到最優(yōu)．相比于之前采用“肌-脂-骨”簡化方法（肌肉、脂肪與骨頭的Dice系數(shù)分別為0.950±0.038、0.929±0.046、0.928±0.049）[22]，肌肉、脂肪與骨頭的Dice系數(shù)均有所降低，這主要有兩點原因：一是要分類的組織更多，這意味網(wǎng)絡(luò)學(xué)習(xí)更加復(fù)雜；二是使用了不同的數(shù)據(jù)集，數(shù)據(jù)集的大小、訓(xùn)練集與測試集均不同．

圖4展示了對圖3所示志愿者膝關(guān)節(jié)磁共振圖像使用本文所提方法與其他4種方法得到的總體分割結(jié)果．相比其他方法，本文方法在軟骨與半月板上的分割效果有明顯的改進(jìn)，與人工標(biāo)注結(jié)果更為接近．

3.2 SAR估計的對比

我們將本文所提方法與其他4種對比方法應(yīng)用于測試集，重建出膝關(guān)節(jié)模型，進(jìn)行電磁仿真，并根據(jù)仿真結(jié)果計算SAR10g的最大值．分別求出5種自動分割模型與人工標(biāo)注模型得到的SAR10g最大值的相對誤差，并計算相對誤差的平均值與標(biāo)準(zhǔn)差．如表2所示，相比其他方法，使用本文方法構(gòu)建的模型與人工標(biāo)注模型之間SAR10g的相對誤差更小，兩者更加接近；而且相比于與先前的“肌-脂-骨”簡化模型（簡化模型與手動分割模型間SAR10g的相對誤差為0.038 7±0.025 7），本文所提方法與人工標(biāo)注模型之間的相對誤差的均值更小，但標(biāo)準(zhǔn)差更大，這主要還是由數(shù)據(jù)集的不同造成的，本研究使用了不同的、更大的訓(xùn)練集與測試集．圖5展示了一位志愿者的SAR10g分布圖，從圖中可以看出，相比另外4種方法，使用本文所提的級聯(lián)網(wǎng)絡(luò)構(gòu)建的膝關(guān)節(jié)模型擁有與人工標(biāo)注模型更加相似的SAR10g分布，熱點區(qū)域的位置基本相同，這驗證了本文所提的級聯(lián)網(wǎng)絡(luò)的有效性．

圖4 使用5種自動分割方法得到的最后分割結(jié)果與人工標(biāo)注結(jié)果的對比．從上到下，為一位志愿者圖像集中4張連續(xù)的等間隔切片，其中，脂肪、肌肉、松質(zhì)骨、皮質(zhì)骨、軟骨、半月板分別標(biāo)記為黃色、紅色、白色、藍(lán)色、綠色與粉色

表2 5種自動分割模型和人工標(biāo)注結(jié)果間最大SAR10g的相對誤差的比較

3.3 討論

深度卷積神經(jīng)網(wǎng)絡(luò)在自動分割膝關(guān)節(jié)圖像上的應(yīng)用多數(shù)集中在提取骨骼、半月板與軟骨，用于損傷鑒定與疾病診斷．局部SAR是高場MRI掃描時需要考慮的重要因素，引起了越來越多的重 視．為構(gòu)建用于進(jìn)行SAR估計的電磁仿真的模型，我們需要分割膝關(guān)節(jié)的所有主要組織．而膝關(guān)節(jié)結(jié)構(gòu)的復(fù)雜性給網(wǎng)絡(luò)的分割性能帶來了挑戰(zhàn)．在之前的工作中，我們采用“肌肉-骨骼-脂肪”的簡化策略分割低場膝關(guān)節(jié)磁共振圖像，而本文分割的組織包括肌肉、皮質(zhì)骨、松質(zhì)骨、半月板、軟骨與脂肪，組織分類的增加會使網(wǎng)絡(luò)學(xué)習(xí)任務(wù)更加復(fù)雜，低場磁共振圖像的信噪比與組織間對比度相對較低，將灰度差異并不大的皮質(zhì)骨、軟骨與半月板從肌肉中自動區(qū)分出來，也給網(wǎng)絡(luò)分割增加了難度．

圖5 一位志愿者的膝關(guān)節(jié)SAR10g分布圖．從左到右，分別基于人工標(biāo)注結(jié)果，使用本文所提方法、采用交叉熵?fù)p失的U-Net，采用焦點損失的U-Net、采用attention機制的U-Net以及U-Net++得到的模型，6種方法的SAR10g值分別為1.309 8 W/kg、 1.304 5 W/kg、1.402 4 W/kg、1.316 2 W/kg、1.383 5 W/kg、1.506 0 W/kg．第1行到第6行為6個均勻分布的切片的SAR10g分布圖，最后1行為SAR10g的最大密度投影

Fig. 5 SAR10gdistribution maps of a volunteer’s knee joint. From left to right, they are based on the manual segmentation, and the models obtained by the proposed method, the U-Net using cross-entropy loss, the U-Net using focus loss, the U-Net using attention mechanism and U-Net++, respectively. The SAR10gvalues of the six models are 1.309 8 W/kg, 1.304 5 W/kg, 1.402 4 W/kg, 1.316 2 W/kg, 1.383 5 W/kg, 1.506 0 W/kg. The first row to the sixth row are the SAR10gdistribution maps of 6 uniformly distributed slices, and the last row is the maximum density projection of the SAR10g

先前已有使用級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行醫(yī)學(xué)圖像診斷的相關(guān)研究[30]，而本文所提方法中包含的兩個U-Net網(wǎng)絡(luò)都被應(yīng)用于圖像分割，分別負(fù)責(zé)大組織（4種）與小組織（2種）的分割，第一個U-Net的分割結(jié)果中包含小組織的位置信息，并且在兩個網(wǎng)絡(luò)上都使用焦點損失函數(shù)．在對幾種分割方法得到的分割結(jié)果做定量分析后，我們發(fā)現(xiàn)級聯(lián)網(wǎng)絡(luò)方法擁有更好的分割性能．得到膝關(guān)節(jié)模型后，對其做電磁仿真，得到的SAR10g對比進(jìn)一步說明級聯(lián)網(wǎng)絡(luò)可以得到更接近人工標(biāo)注的分割結(jié)果．我們認(rèn)為，級聯(lián)網(wǎng)絡(luò)能夠取得更好的分割性能主要有三個原因：一是焦點損失函數(shù)使網(wǎng)絡(luò)對小組織的關(guān)注度提升；二是在得到半月板與軟骨組織的定位信息后，圖像中的分割目標(biāo)更明確，避免了多余背景的學(xué)習(xí)；三是網(wǎng)絡(luò)分割目標(biāo)類別的減少，使得每個網(wǎng)絡(luò)的分割任務(wù)減輕，降低了網(wǎng)絡(luò)擬合分布的復(fù)雜性．

雖然以上研究展示了令人滿意的初步成果，但是仍存在一些不足．首先是數(shù)據(jù)集方面的不足，更充足的數(shù)據(jù)集可以得到更可靠的研究結(jié)果，盡管相對上一次的工作，我們對數(shù)據(jù)集與訓(xùn)練集分別做了擴(kuò)充，但是我們的數(shù)據(jù)集還應(yīng)包括各個年齡段和膝關(guān)節(jié)疾病嚴(yán)重程度不同的人群的數(shù)據(jù)．其次，一些組織（例如皮質(zhì)骨）的分割性能仍需提升，我們采取的級聯(lián)網(wǎng)絡(luò)與焦點損失函數(shù)對這類組織效果不夠理想，如何改善這類組織的分割性能，是我們接下來研究的方向．

4 結(jié)論

基于精確構(gòu)建用于SAR估計的膝關(guān)節(jié)模型的目的，本文提出了一種包含兩個U-Net的級聯(lián)網(wǎng)絡(luò)架構(gòu)，并使用焦點損失函數(shù)，實現(xiàn)膝關(guān)節(jié)低場磁共振圖像的自動分割．實驗結(jié)果表明，基于本文所提方法構(gòu)建的模型擁有與人工標(biāo)注結(jié)果相近的SAR10g分布，有助于膝關(guān)節(jié)高場磁共振掃描的SAR評估．

無

[1] PADORMO F, BEQIRI A, HAJNAL J V, et al. Parallel transmission for ultrahigh-field imaging[J]. NMR Biomed, 2016, 29(9): 1145-1161.

[2] GRAESSLIN I, HOMANN H, BIEDERER, et al. A specific absorption rate prediction concept for parallel transmission MR[J]. Magn Reson Med, 2012, 68(5): 1664-1674.

[3] GRAESSLIN I, VERNICKEI P, B?RNERT P, et al. Comprehensive RF safety concept for parallel transmission MR[J]. Magn Reson Med, 2015, 74(2): 589-598.

[4] VAN DEN BERGEN B, VAN DEN BERG C A T, BARTELS L W, et al. 7 Tesla body MRI: B1 shimming with simultaneous SAR reduction[J]. Phys Med Biol, 2007, 52(17): 5429-5441.

[5] ?ZTURK C N, ALBAYRAK S. Automatic segmentation of cartilage in high-field magnetic resonance images of the knee joint with an improved voxel-classification-driven region-growing algorithm using vicinity-correlated subsampling[J]. Comput Biol Med, 2016, 72: 90-107.

[6] TANG J S, MILLINGTON S, ACTON S T, et al. Surface extraction and thickness measurement of the articular cartilage from MR images using directional gradient vector flow snakes[J]. IEEE Trans Biomed Eng, 2006, 53(5): 896-907.

[7] WILLIAMS T G, HOLMES A P, WATERTON J C, et al. Anatomically corresponded regional analysis of cartilage in asymptomatic and osteoarthritic knees by statistical shape modelling of the bone[J]. IEEE Trans Med Imaging, 2010, 29(8): 1541-1559.

[8] SHAN L, ZACH C, CHARLES C, et al. Automatic atlas-based three-label cartilage segmentation from MR knee images[J]. Med Image Anal, 2014, 18(7): 1233-1246.

[9] ZHANG K L, LU W M, MARZILIANO P. Automatic knee cartilage segmentation from multi-contrast MR images using support vector machine classification with spatial dependencies[J]. Magn Reson Imaging, 2013, 31(10): 1731-1743.

[10] LONG J, SHELHAMER E, DARRELL T, et al. Fully convolutional networks for semantic segmentation[C]// IEEE Conference on Computer Vision and Pattern Recognition, 2015: 3431-3440.

[11] CHEN J C, PAPANDREOU G, KOKKIONS I, et al. DeepLab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE T Pattern Anal, 2018, 40(4): 834-848.

[12] AMBELLAN F, TACK A, EHLKE M, et al. Automated segmentation of knee bone and cartilage combining statistical shape knowledge and convolutional neural networks: Data from the osteoarthritis initiative[J]. Med Image Anal, 2019, 52: 109-118.

[13] LIU F, ZHOU Z Y, JANG H, et al. Deep convolutional neural network and 3D deformable approach for tissue segmentation in musculoskeletal magnetic resonance imaging[J]. Magn Reson Med, 2018, 79(4): 2379-2391.

[14] ZHOU Z Y, ZHAO G Y, KIJOWSKI R, et al. Deep convolutional neural network for segmentation of knee joint anatomy[J]. Magn Reson Med, 2018, 80(6): 2759-2770.

[15] RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional networks for biomedical image segmentation[C]//International Conference on MICCAI 2015, 2015: 234-241.

[16] DONG H, YANG G, LIU F D, et al. Automatic brain tumor detection and segmentation using U-Net based fully convolutional networks[C]// MIUA 2017: Medical Image Understanding and Analysis, 2017: 506-517.

[17] XIAO X, LIAN S, LUO Z M, et al. Weighted Res-UNet for high-quality retina vessel segmentation[C]// 9thInternational Conference on Information Technology in Medicine and Education (ITME), Hang Zhou, 2018: 327-331.

[18] WENG Y, ZHOU T B, LI Y J, et al. NAS-Unet neural architecture search for medical image segmentation[J]. IEEE Access, 2019, 7: 44247-44257.

[20] AMBELLAN F, TACK A, EHLKE M, et al. Automated segmentation of knee bone and cartilage combining statistical shape knowledge and convolutional neural networks[J]. Med Image Anal, 2019, 52: 109-118.

[21] BYRA M, WU M, ZHANG X D, et al. Knee menisci segmentation and relaxometry of 3D ultrashort echo time cones MR imaging using attention U-Net with transfer learning[J]. Magn Reson Med, 2020, 83(3): 1109-1122.

[22] XIAO L, LOU Y K, ZHOU H Y. A U-Net network-based rapid construction of knee models for specific absorption rate estimation[J]. Chinese J Magn Reson, 2020, 27(2): 144-151.

肖亮, 婁煜堃, 周航宇. 用于SAR估計的基于U-Net網(wǎng)絡(luò)的快速膝關(guān)節(jié)模型重建[J]. 波譜學(xué)雜志, 2020, 27(2): 144-151.

[23] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[J]. IEEE T Pattern Anal, 2020, 42(2): 318-327.

[24] HOMANN H, B? RNERT P, EGGERS H, et al. Toward individualized SAR models and in vivo validation[J]. Magn Reson Med, 2011, 66(6): 1767-1776.

[25] WOLF S, DIEHL D, GEBHARDT M, et al. SAR simulations for high-field MRI: how much detail, effort, and accuracy is needed?[J]. Magn Reson Med, 2013, 69(4): 1157-1168.

[26] COLLINS C M, SMITH M B. Spatial resolution of numerical models of manand calculated specific absorption rate using the FDTD method: a study at 64 MHz in a magnetic resonance imaging coil[J]. Magn Reson Imaging, 2003, 18(3): 383-388.

[27] PETERSON D M, CARRUTHERS C E, WOLVERTON B L, et al. Application of a birdcage coil at 3 Tesla to imaging of the human knee using MRI[J]. Magn Reson Med, 1999, 42(2): 215-221.

[28] BYRA M, WU M, ZHANG X D, et al. Knee menisci segmentation and relaxometry of 3D ultrashort echo time cones MR imaging using attention U‐Net with transfer learning[J]. Magn Reson Med, 2019, 83(3): 1109-1122.

[29] ZHOU Z W, SIDDIQUEE M M R, TAJBAKHSH N, et al. Unet++: A nest u-net architecture for medical image segmentation[C]//DLMIA 2018, ML-CDS 2018: Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, 2018, 11045: 3-11.

[30] LIU K W, LIU Z L, WANG X Y, et al.Prostate cancer diagnosis based on cascaded convolutional neural networks[J]. Chinese J Magn Reson, 2020, 37(2): 152-161.

劉可文, 劉紫龍, 汪香玉, 等. 基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的前列腺磁共振圖像分類[J]. 波譜學(xué)雜志, 2020, 37(2): 152-161.

doi:10.11938/cjmr20212941

Knee Joint Image Segmentation and Model Construction Based on Cascaded Network

，，*

College of Information Science and Technology, Beijing University of Chemical Technology, Beijing 100029, China

Electromagnetic simulation using a knee model is the main method for calculating local specific absorption rate(SAR) values of knee joint. To construct a knee model, a cascaded network structure containing two convolutional neural networks, i.e. U-Net, was proposed for segmenting knee magnetic resonance images. The first network segmented tissues with large volume from the whole image, such as muscle and fat, and predicted the position information of cartilage and meniscus based on the segmentation results. The second network segmented tissues with small volume from a smaller sub-image based on the acquired position information to improve accuracy. Both networks adopted focal loss function and their segmentation results were merged to form the model. We evaluated the segmentation results of this method and 4 comparison methods, by quantitative metrics, and constructed separate knee joint models to calculate local SAR values. The results indicate that the cascaded network structure proposed in this paper can construct knee joint models for SAR simulation more accurately.

magnetic resonance imaging (MRI), local specific absorption rate (SAR), knee joint, cascaded network, focal loss function

O482.53；TP751.1

A

A V, MAJUMDAR S, et al. Use of 2D U-Net convolutional neural networks for automated cartilage and meniscus segmentation of knee MR imaging data to determine relaxometry and morphometry[J]. Radiology, 2018, 288(2): 177-185.

2021-08-19;

2021-11-16

北京化工大學(xué)高精尖科技創(chuàng)新團(tuán)隊基金資助項目(buctylkjcx06).

* Tel: 010-64437805, E-mail: xiaoliang@mail.buct.edu.cn.