基于深度學(xué)習(xí)MR體部脂肪組織的自動(dòng)分割和定量測(cè)量研究

王可， 姜原， 黃嘉豪， 王祥鵬， 張曉東， 王霄英

脂肪組織是人體最大的隔室之一，由于肥胖及相關(guān)代謝異常的發(fā)生率日益增高，臨床評(píng)價(jià)肝臟代謝異常、糖尿病患者情況時(shí)要求評(píng)價(jià)全身脂肪定量信息。除了脂肪定量，脂肪分布也與疾病有相關(guān)性，已有明確證據(jù)提示內(nèi)臟脂肪過度沉積導(dǎo)致患者發(fā)生心血管疾病和代謝性疾病風(fēng)險(xiǎn)明顯增加[1]。因此無創(chuàng)地分割和準(zhǔn)確測(cè)量脂肪組織體積的需求日益顯現(xiàn)出來[2，3]。測(cè)定總體脂和局部體脂方法很多如簡(jiǎn)易參數(shù)測(cè)量法(body mass index，BMI；waist-hip ratio，WHR)、生物電阻抗法、雙能X線吸收法(dual-energy X-ray absorptiometry，DEXA)、CT、MRI和超聲等。MR有多種掃描序列可選擇性地對(duì)脂肪組織成像，可無創(chuàng)、準(zhǔn)確地顯示局部脂肪分布，與其他影像學(xué)檢查相比有明顯優(yōu)勢(shì)[4]。

雖MR圖像可很好地顯示脂肪組織，但在臨床工作中仍不能對(duì)每個(gè)病例都準(zhǔn)確地定量測(cè)量脂肪組織體積，不能將患者各個(gè)部位、不同區(qū)域脂肪體積生成在影像報(bào)告中限制了MR脂肪定量實(shí)際臨床應(yīng)用。近年來深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像處理中有了長(zhǎng)足的進(jìn)步，多種基于深度學(xué)習(xí)軟件可用于醫(yī)學(xué)圖像分割、分類和目標(biāo)檢測(cè)等[5，6]并能將多種測(cè)量結(jié)果自動(dòng)傳入結(jié)構(gòu)化報(bào)告中可達(dá)到與醫(yī)生相似報(bào)告結(jié)果[7]，大大提高了影像醫(yī)生的工作效率。本研究訓(xùn)練3D-Unet網(wǎng)絡(luò)模型，在MRI圖像中分割體部脂肪組織并生成定量測(cè)量結(jié)果，初步探索這種技術(shù)在臨床應(yīng)用的可行性。

材料與方法

此研究獲得了本院倫理審查委員會(huì)批準(zhǔn)【2017(1382)】，按照本單位人工智能(artificial intelligence，AI)模型訓(xùn)練規(guī)范執(zhí)行研究方案。

1.建立脂肪分割模型

用例定義：根據(jù)本單位AI訓(xùn)練管理方法，首先定義研發(fā)體部脂肪MR分割模型的用戶樣例(use case)。包括體部脂肪MR分割A(yù)I模型ID、臨床問題、場(chǎng)景描述、模型在實(shí)際工作中調(diào)用流程、模型輸入輸出數(shù)據(jù)結(jié)構(gòu)等。AI模型返回結(jié)果定義為不同身體部位(胸部、腹部、盆腔)脂肪區(qū)域，分為皮下脂肪、內(nèi)臟脂肪；各區(qū)域總脂肪體積、平均脂肪體積、皮下脂肪與內(nèi)臟脂肪的比例、體部徑線等。

數(shù)據(jù)搜集：回顧性搜集2020年4月1日-8月5日連續(xù)病例資料用于分割模型建立和評(píng)價(jià)。入選標(biāo)準(zhǔn)：①于本院完成胸部、腹部、盆腔MR檢查；②有GRE DIXON軸面掃描圖像且重建了脂像。排除標(biāo)準(zhǔn)：①影像上見明顯結(jié)構(gòu)破壞；②有明顯的金屬偽影；③術(shù)后造成了明顯結(jié)構(gòu)改變；④圖像質(zhì)量差。按檢查時(shí)間順序共搜集53例患者67個(gè)序列包括17例胸部、26例腹部、24例盆腔MR掃描序列用于分割模型建立。

數(shù)據(jù)標(biāo)注：選擇GRE DIXON軸面掃描重建脂像，將DICOM格式圖像轉(zhuǎn)換為Nifty格式。先以閾值分割方法將圖像二值化，將MR圖像分為脂肪與非脂肪成分，閾值分割參數(shù)為0.2～0.4,1。2位有經(jīng)驗(yàn)影像科醫(yī)師標(biāo)注作為分割金標(biāo)準(zhǔn)。使用ITK-SNAP軟件在軸面MR圖像上進(jìn)行標(biāo)注，手工調(diào)整窗寬窗位至最佳顯示水平。將圖像上脂肪組織分為皮下、肌骨、內(nèi)臟3個(gè)區(qū)域，手工標(biāo)注皮下脂肪、內(nèi)臟脂肪得到標(biāo)簽。

訓(xùn)練分割模型：使用硬件為GPU NVIDIA Tesla P100 16G，軟件為Python3.6、Pytorch 0.4.1、Opencv、Numpy、SimpleITK等，Adam為訓(xùn)練優(yōu)化器。將67例數(shù)據(jù)隨機(jī)分為訓(xùn)練集(train dataset，n=52)、調(diào)優(yōu)集(validation dataset，n=6)和測(cè)試集(test dataset，n=9)。圖像預(yù)處理參數(shù)：size=96×256×256(z，y，x)，自動(dòng)窗寬、窗位。圖像擴(kuò)增參數(shù)包括水平翻轉(zhuǎn)、平移、隨機(jī)噪聲等。訓(xùn)練3D U-net模型時(shí)，輸入數(shù)據(jù)為MR圖像(image)、醫(yī)生標(biāo)注皮下脂肪(label_subcutaneous fat)和內(nèi)臟脂肪(label_visceralFat)的標(biāo)簽，輸出數(shù)據(jù)為模型預(yù)測(cè)標(biāo)簽(predicted_label_subcutaneous fat,predicted_label_visceral fat)。在應(yīng)用U-net網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練時(shí)n_filters=16, batch_size=1,image_size= 96,256,256,num_epochs=400, learning_rate=0.0001。

2.模型評(píng)價(jià)

客觀評(píng)價(jià)指標(biāo)為Dice相似系數(shù)(dice similarity coefficient,DSC)值。DSC是一種集合相似度度量指標(biāo),通常用于計(jì)算兩個(gè)樣本的相似度,可以理解為醫(yī)師標(biāo)注區(qū)域與模型預(yù)測(cè)區(qū)域重合度。DSC值范圍0～1，分割結(jié)果最好時(shí)值1，最差時(shí)值0，其具體計(jì)算公式為DSC=2∣I1∩I2∣/(∣I1∣+∣I2∣)。

主觀評(píng)價(jià)是由影像科醫(yī)師對(duì)模型分割結(jié)果與MR圖像對(duì)比，結(jié)合手工標(biāo)注及模型預(yù)測(cè)填充圖、手工標(biāo)注-模型預(yù)測(cè)重疊圖、手工標(biāo)注-模型預(yù)測(cè)差值圖(圖1)分別對(duì)內(nèi)臟脂肪及皮下脂肪的手工標(biāo)注、模型預(yù)測(cè)輸出結(jié)果(圖2)進(jìn)行主觀評(píng)價(jià)。評(píng)價(jià)內(nèi)容及評(píng)分標(biāo)準(zhǔn)見表1。

圖1 應(yīng)用多種方法顯示同一層面分割結(jié)果。a)填充圖示分割區(qū)域覆蓋范圍及邊界；b) 手工標(biāo)注-模型預(yù)測(cè)重疊圖，紅色為手工標(biāo)注范圍，藍(lán)色為模型預(yù)測(cè)范圍，可直觀顯示兩種方法分割區(qū)域差別； c) 手工標(biāo)注-模型預(yù)測(cè)差值圖示兩種方法分割有差別區(qū)域主要集中在臟器邊緣。 圖2 模型輸出的皮下及內(nèi)臟脂肪自動(dòng)分割結(jié)果。藍(lán)色區(qū)域?yàn)槠は轮?，紅色區(qū)域?yàn)閮?nèi)臟脂肪。a) 胸部； b)上腹部； c) 盆部。

表1 MR體部脂肪(內(nèi)臟/皮下脂肪)分割模型主觀評(píng)價(jià)

3.定量信息

自動(dòng)輸出脂肪分割結(jié)果，通過圖像處理計(jì)算體部皮下脂肪、內(nèi)臟脂肪定量測(cè)量值，包括各區(qū)域脂肪體積、平均脂肪體積、皮下脂肪與內(nèi)臟脂肪的比例和體部徑線等并將上述結(jié)果返回到結(jié)構(gòu)化報(bào)告中(圖3)。

圖3 MR脂肪定量結(jié)構(gòu)化報(bào)告示例

4.統(tǒng)計(jì)學(xué)方法

應(yīng)用SPSS 20.0及PRISM 8軟件進(jìn)行統(tǒng)計(jì)學(xué)分析。應(yīng)用Wilcoxon配對(duì)檢驗(yàn)比較手工標(biāo)注與模型預(yù)測(cè)輸出圖像的主觀評(píng)價(jià)結(jié)果。應(yīng)用Pearson相關(guān)性分析、Bland-Altman分析、組內(nèi)相關(guān)系數(shù)(intraclass correlation coefficient,ICC)分析手工標(biāo)注與模型預(yù)測(cè)分割結(jié)果的定量測(cè)量值。P<0.05認(rèn)為差異有統(tǒng)計(jì)學(xué)意義。

結(jié) 果

1.患者基本信息

入組53例患者中男33例，女20例，平均年齡(64.01±13.98)歲。掃描設(shè)備為西門子1.5T MR、飛利浦3.0MR，均為GRE DIXON序列生成脂像。訓(xùn)練集、調(diào)優(yōu)集、測(cè)試集中胸部、腹部、盆腔圖像比例分別為14：22：16；1：1：4和2：3：4。

2.分割結(jié)果客觀評(píng)價(jià)(表2)

表2 MR體部脂肪分割模型的DSC

胸部、腹部、盆腔平均DSC值均較高。

3.分割結(jié)果主觀評(píng)價(jià)

由影像科醫(yī)師對(duì)脂肪分割結(jié)果進(jìn)行主觀評(píng)價(jià)。模型預(yù)測(cè)及手工標(biāo)注皮下脂肪、內(nèi)臟脂肪主觀評(píng)分中位數(shù)均為10.00，兩種方法脂肪分割結(jié)果主觀評(píng)價(jià)結(jié)果無統(tǒng)計(jì)學(xué)差異(P>0.05)。其中模型預(yù)測(cè)、手工標(biāo)注的皮下及內(nèi)臟脂肪評(píng)分為10分比例均>77.6%，不同部位的評(píng)分情況見圖4。

圖4 各部位脂肪分割結(jié)果主觀評(píng)分各分?jǐn)?shù)比例。a) 皮下脂肪； b) 內(nèi)臟脂肪。 圖5 客觀評(píng)價(jià)手工標(biāo)注與模型預(yù)測(cè)結(jié)果Bland-Altman分析散點(diǎn)圖(所有部位,n=67)。a) 脂肪體積; b) 平均脂肪體積; c) 皮下脂肪與內(nèi)臟脂肪比例; d) 左右徑及前后徑。

模型預(yù)測(cè)的皮下脂肪/內(nèi)臟脂肪分割結(jié)果中94%/85.1%的圖像被評(píng)價(jià)為覆蓋率3分(覆蓋了幾乎全部區(qū)域)，100%/100%圖像被評(píng)價(jià)為超出率3分(幾乎未超出范圍)，92.5%/91%圖像被評(píng)價(jià)為邊緣契合度3分(非常好)，7.5%/1.5%皮下脂肪/內(nèi)臟脂肪分割圖像出現(xiàn)了包含其他間隙脂肪組織的情況，僅1例內(nèi)臟脂肪出現(xiàn)了包含非脂肪結(jié)構(gòu)情況(偽影)。手工標(biāo)注的分割結(jié)果與模型預(yù)測(cè)的結(jié)果相似(P>0.05)。

4.定量測(cè)量值

67例數(shù)據(jù)模型輸出與醫(yī)生手工標(biāo)注測(cè)量值及相應(yīng)pearson相關(guān)系數(shù)、ICC值見表3， Bland-Altman分析結(jié)果見圖5。

表3 MR體部脂肪分割輸出定量測(cè)量值

討 論

隨著代謝綜合征危害性逐漸被認(rèn)識(shí)，使用醫(yī)學(xué)影像方法對(duì)脂肪組織的體積進(jìn)行定量測(cè)量成為重要的臨床需求[8]。目前可在體部CT圖像上進(jìn)行脂肪分割的軟件包有NIHImage、SliceOmatic、Analyze、HippoFat和EasyVision等，能夠手動(dòng)、自動(dòng)與全自動(dòng)地進(jìn)行CT圖像上腹部脂肪分割[9]。但是這些軟件對(duì)操作者經(jīng)驗(yàn)依賴性很強(qiáng)，耗時(shí)較長(zhǎng)，多數(shù)用于科學(xué)研究，在臨床實(shí)際工作中不易廣泛推廣應(yīng)用。雖然CT圖像脂肪分割掃描更加快速、便捷，應(yīng)用更廣，但是應(yīng)用CT進(jìn)行以脂肪分割為目的的檢查時(shí)需要考慮射線造成輻射劑量問題。而MR具有無輻射優(yōu)勢(shì)且GRE DIXON、PDFF等序列掃描速度快，因此可以對(duì)患者進(jìn)行大范圍掃描，對(duì)研究脂肪代謝、脂肪與疾病關(guān)系等有著較大優(yōu)勢(shì)。另外，在MR圖像上脂肪與其他軟組織對(duì)比也優(yōu)于CT，當(dāng)脂肪間隔較小時(shí)也可以更好地進(jìn)行分割。近年來，在MR圖像上基于圖像處理和深度學(xué)習(xí)的脂肪分割方法也有報(bào)道，基于深度學(xué)習(xí)的脂肪檢測(cè)方法在實(shí)際工作中有很高適應(yīng)性與穩(wěn)定性[10-12]。

本研究結(jié)果顯示3DU-Net模型用于脂肪分割可很完整地計(jì)算脂肪組織的多種定量參數(shù)，主觀評(píng)價(jià)和客觀評(píng)價(jià)的結(jié)果均較好，與既往研究結(jié)果類似。本研究進(jìn)一步將模型生成的測(cè)量結(jié)果自動(dòng)地填寫入結(jié)構(gòu)化報(bào)告，配合關(guān)鍵圖像可直觀地顯示給患者和臨床醫(yī)生。本研究對(duì)不同部位、不同設(shè)備MR圖像進(jìn)行了測(cè)度，基于目前小樣本結(jié)果可認(rèn)為模型適應(yīng)性強(qiáng)，測(cè)量結(jié)果穩(wěn)定性好。未來將脂肪分割A(yù)I與體部定位AI相結(jié)合可輕松完成圖像中各部位脂肪含量的單獨(dú)計(jì)算，為脂肪定量和疾病臨床分型提供便捷而有效途徑。未來模型的應(yīng)用場(chǎng)景既可以是全身MR成像也可用于局部圖像。用更多數(shù)據(jù)訓(xùn)練后還有望用于其他與脂像圖像性質(zhì)相似的序列如T1WI等。所以，脂肪定量報(bào)告既可以適用于專門行脂肪定量MR檢查也可用于其他MR檢查。由于模型處理圖像和自動(dòng)生成報(bào)告幾乎不需要醫(yī)生付出額外的人力，這種附加信息可以方便地生成在所有適用的檢查項(xiàng)目中，為臨床評(píng)價(jià)和科學(xué)研究提供大量基礎(chǔ)數(shù)據(jù)。

本研究在數(shù)據(jù)標(biāo)注過程中使用了閾值分割做初步處理，提高了標(biāo)注的效率。閾值分割的輸出結(jié)果可將脂肪與其他結(jié)構(gòu)區(qū)分開，但不能區(qū)分皮下脂肪與內(nèi)臟脂肪。因此，本研究中把閾值分割做為初步標(biāo)注的工具，首先應(yīng)用閾值分割將圖像二值化，再由醫(yī)生在二值圖中標(biāo)注皮下脂肪和內(nèi)臟脂肪區(qū)域。之后應(yīng)用深度學(xué)習(xí)的方法對(duì)不同部位脂肪進(jìn)一步地分割，將脂肪區(qū)域分為皮下脂肪、內(nèi)臟脂肪等不同區(qū)域。使用閾值分割做標(biāo)注的作用是提高人工標(biāo)注效率，深度學(xué)習(xí)的作用是對(duì)不同脂肪間隔做分類。目前主流的圖像分割技術(shù)主要基于閾值、區(qū)域、邊緣和特定理論的分割方法等。通過圖像分割技術(shù)把圖像分為具備不同特征的區(qū)域以提取出感興趣區(qū)，在有些情況下可以直接完成臨床任務(wù)。既往有研究者嘗試在CT圖像中用閾值分割的方法測(cè)量脂肪體積取得了一定效果，但也有瑕疵。MR圖像對(duì)比豐富，不可能通過簡(jiǎn)單的閾值分割方法直接完成單一組織分割，但在閾值分割基礎(chǔ)上再進(jìn)行標(biāo)注可提高標(biāo)注效率，對(duì)模型訓(xùn)練是有益的。本研究使用了基于直方圖的閾值分割，未來分割還可嘗試?yán)枚喾N自適應(yīng)的優(yōu)化方法，從基于圖像特征如圖像灰度值特征、目標(biāo)邊界特征、紋理特征、形態(tài)學(xué)特征等到利用基于這些特征所計(jì)算提取出高級(jí)別特征如信息熵、能量泛函等等[13，14]。相信有效的預(yù)處理方式會(huì)提高標(biāo)注的效率且可嘗試將預(yù)處理圖像作為模型訓(xùn)練時(shí)輸入數(shù)據(jù)與MR原始圖像共同學(xué)習(xí)，對(duì)提升模型預(yù)測(cè)準(zhǔn)確性可能有一定幫助。

本研究有一定的局限性。首先，脂肪分割參考標(biāo)準(zhǔn)是由醫(yī)生標(biāo)注的，未獲取組織學(xué)定量測(cè)量值做為金標(biāo)準(zhǔn)，在活體成像脂肪組織分割同類研究中基本都是相似的[15]。其次，由于本研究為回顧性研究，所獲得圖像掃描范圍不能嚴(yán)格定義，只能把圖像大致區(qū)分為胸部、腹部、盆部，這3個(gè)區(qū)域在不同患者之間掃描范圍不一致導(dǎo)致不能評(píng)價(jià)患者間的脂肪定量值差異，未來應(yīng)規(guī)范掃描序列才有可能用模型自動(dòng)測(cè)量進(jìn)行人群流行病學(xué)分析[16]。第三，對(duì)脂肪間隙標(biāo)注時(shí)我們僅把脂肪區(qū)域簡(jiǎn)單地區(qū)分為皮下脂肪、肌骨脂肪和內(nèi)臟脂肪，而對(duì)重要的細(xì)分結(jié)構(gòu)沒有標(biāo)注出來如皮下脂肪可細(xì)分為淺層脂肪和深層脂肪，肌骨脂肪可細(xì)分為肌間脂肪、肌內(nèi)脂肪和骨髓脂肪組織，內(nèi)臟脂肪還可以細(xì)分為心包脂肪、腎周脂肪和腎竇脂肪等區(qū)域；對(duì)于主要為脂肪成分特殊區(qū)域如腋窩、腹股溝等也未單獨(dú)進(jìn)行標(biāo)注，未來可針對(duì)特定臨床需求單獨(dú)分割[17，18]。

總之，在MR圖像上應(yīng)用基于深度學(xué)習(xí)方法行體部脂肪組織自動(dòng)分割和定量測(cè)量可在技術(shù)上實(shí)現(xiàn)。此模型處理數(shù)據(jù)重復(fù)性和穩(wěn)定性高，有望用于臨床工作中脂肪定量報(bào)告的自動(dòng)生成，可減少醫(yī)生的測(cè)量時(shí)間。