深度卷積神經(jīng)網(wǎng)絡(luò)技術(shù)自動(dòng)診斷肋骨骨折的CT 應(yīng)用初探

孟祥虹，吳迪嘉，馬信龍，劉愛娥

（1.天津市天津醫(yī)院放射科，天津 300211；2.上海聯(lián)影智能醫(yī)療科技有限公司，上海 201210；3.天津市天津醫(yī)院骨科，天津 300211）

肋骨骨折是最常見的胸部損傷之一，在鈍性胸部損傷患者中，40%~50%的人群患有肋骨骨折[1-2]。CT是診斷肋骨骨折的最佳檢查方法[3]，但肋骨數(shù)量多、走行彎曲、變異大、行CT 檢查時(shí)還可能因呼吸偽影較重而導(dǎo)致圖像模糊，難以明確診斷[4]，一旦漏診或誤診骨折則可能導(dǎo)致醫(yī)患糾紛，甚至延誤患者治療。人工智能是指利用計(jì)算機(jī)自動(dòng)處理、分析、模擬人類智能行為的科學(xué)技術(shù)，其中的深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network，DCNN）算法常用于圖像識(shí)別和分類[5]，在醫(yī)學(xué)影像領(lǐng)域應(yīng)用廣泛。目前國(guó)內(nèi)外學(xué)者對(duì)人工智能輔助肋骨骨折CT 診斷的研究較少[6-7]。本研究擬應(yīng)用DCNN 模型在胸部CT 圖像上對(duì)肋骨骨折進(jìn)行定位和診斷，輔助醫(yī)師提高診斷準(zhǔn)確性，縮短閱片時(shí)間，提高工作效率。

1 對(duì)象與方法

1.1 研究對(duì)象 本研究為回顧性研究，經(jīng)院倫理委員會(huì)批準(zhǔn)，項(xiàng)目批準(zhǔn)號(hào)為“2020 醫(yī)倫審048”。于2015 年1 月—2019 年8 月，搜集全國(guó)5 家醫(yī)院，包括中國(guó)醫(yī)科大學(xué)附屬盛京醫(yī)院、中國(guó)醫(yī)科大學(xué)附屬第一醫(yī)院、北京中日友好醫(yī)院、哈爾濱醫(yī)科大學(xué)附屬第一醫(yī)院、河北醫(yī)科大學(xué)第三醫(yī)院的胸部CT 圖像作為訓(xùn)練集和驗(yàn)證集，納入2019 年11 月—2020年3 月天津醫(yī)院的胸部CT 圖像作為測(cè)試集。納入標(biāo)準(zhǔn)：（1）因胸部外傷于門、急診就診的初診患者。（2）CT 圖像包括兩側(cè)所有肋骨，檢查完成后可收集患者的DICOM 格式圖像。（3）所有訓(xùn)練集、驗(yàn)證集和測(cè)試集CT 圖像層厚均為0.625 mm。（4）18 歲以上成年人。排除標(biāo)準(zhǔn)：（1）肋骨骨折復(fù)查患者。（2）患者因屏氣不佳等造成圖像偽影過(guò)重、質(zhì)量較差不能達(dá)到診斷要求者。（3）存在病理性肋骨骨折者。

本研究共納入胸部CT 圖像2 619 例，排除肋骨骨折保守或手術(shù)治療后復(fù)查患者428 例，呼吸偽影較重、圖像質(zhì)量不佳患者134 例，病理性肋骨骨折患者57 例，最終納入2 000 例胸部CT 圖像。將數(shù)據(jù)集以4 ∶1分為訓(xùn)練集和驗(yàn)證集，其中，訓(xùn)練集共1 600 例（年齡18~91 歲，男837 例，女763 例），用以建立DCNN 訓(xùn)練模型；驗(yàn)證集共400 例（年齡18~89 歲，男204 例，女196 例），用以調(diào)整超參數(shù)，確定適用于該模型的最佳參數(shù)；納入天津醫(yī)院胸部CT圖像300 例（年齡18~94 歲，男181 例，女119 例）作為測(cè)試集，用以評(píng)價(jià)該模型診斷的準(zhǔn)確性。

1.2 掃描參數(shù) 全部訓(xùn)練集、驗(yàn)證集和測(cè)試集的胸部CT 檢查掃描參數(shù)為：管電壓120 kv，管電流200~300 mA，根據(jù)患者體重自動(dòng)調(diào)節(jié)，CT 掃描設(shè)備包括GE（Revolution CT 和CT750，GEHealthcare，WI，USA）和西門子公司（Sensation 和Definition AS，Siemens Medical Solutions，Erlangen，Germany）的4 種機(jī)器。掃描范圍從第1 肋骨上方2 cm至第2 腰椎水平，定位像包括左右兩側(cè)所有肋骨，應(yīng)用高分辨薄層骨算法進(jìn)行掃描，得到橫斷位胸部CT 圖像，層厚為0.625 mm。掃描完成后，拷貝DICOM 格式圖像。

1.3 參考標(biāo)準(zhǔn)（Ground Truth）的制定 每個(gè)患者的胸部CT 圖像由2 名經(jīng)驗(yàn)豐富的影像診斷醫(yī)師（從事骨肌系統(tǒng)影像診斷工作10 年以上）在胸部CT 薄層骨窗圖像上逐層標(biāo)注，用于模型訓(xùn)練和驗(yàn)證的金標(biāo)準(zhǔn)數(shù)據(jù)集，由另外2 名高年資主任醫(yī)師（從事骨肌系統(tǒng)影像診斷工作20 年以上）進(jìn)行最終標(biāo)注結(jié)果的確認(rèn)。標(biāo)注工具使用ITK-SNAP 軟件（https：//itk.org）中的矩形bounding box 工具勾畫骨折部位，大小為0.7~1.2 cm2。在自己編寫的軟件上，三維立體標(biāo)注12 塊胸椎椎體的中心點(diǎn)[x1，y1，z1；x2，y2，z2···x12，y12，z12]，矩形框框出n 個(gè)骨折位置返回中心點(diǎn)坐標(biāo)和長(zhǎng)寬高[x1，y1，z1，width1，height1，depth1；···xn，yn，zn，widthn，heightn，depthn]。

1.4 DCNN 模型構(gòu)成

1.4.1 檢測(cè)肋骨骨折的工作流程 在將CT 圖像數(shù)據(jù)導(dǎo)入模型之前，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，即對(duì)像素值歸一化，并通過(guò)水平翻轉(zhuǎn)、逆時(shí)針和順時(shí)針旋轉(zhuǎn)15°、裁剪等方式對(duì)數(shù)據(jù)量進(jìn)行擴(kuò)展。本研究的DCNN 模型由3 個(gè)三維網(wǎng)絡(luò)構(gòu)成，分別為分割網(wǎng)絡(luò)、關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)、骨折檢測(cè)網(wǎng)絡(luò)，課題組應(yīng)用殘差網(wǎng)絡(luò)模塊（R-模塊）和瓶頸層殘差網(wǎng)絡(luò)模塊（B-模塊）對(duì)傳統(tǒng)V-Net 網(wǎng)絡(luò)模型進(jìn)行改造，提高肋骨骨折的定位和檢測(cè)準(zhǔn)確性，工作流程見圖1。

圖1 檢測(cè)肋骨骨折的工作流程Fig 1 Workflow of rib fracture detection

工作流程主要包括3 個(gè)步驟：第一步：使用改良的V-Net 分割網(wǎng)絡(luò)模型[8]從胸部CT 圖像中分割出24 根肋骨，通過(guò)Dice 指數(shù)判斷分割效果。

第二步：使用VRB-Net 關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)[9]檢測(cè)12 塊胸椎椎體中心點(diǎn)，分別獲得12 個(gè)關(guān)鍵點(diǎn)的三維空間位置，即[T01，T02，T03，T04，T05，T06，T07，T08，T09，T10，T11，T12]。通過(guò)膨脹算法擴(kuò)大關(guān)鍵點(diǎn)為關(guān)鍵區(qū)域，判斷模型輸出結(jié)果是否在關(guān)鍵區(qū)域。結(jié)合第一步的掩膜標(biāo)記24 根肋骨，左、右側(cè)肋骨從上到下依次標(biāo)記為1~12 肋。

第三步：框出肋骨的骨折位置，并結(jié)合第二步結(jié)果提示骨折部位。通過(guò)模型輸出框與金標(biāo)準(zhǔn)的重疊區(qū)域，即Dice 指數(shù)是否大于0.8 判斷骨折位置是否檢出，若重疊區(qū)域超過(guò)80%則輸出為骨折。

1.4.2 肋骨骨折DCNN 模型 肋骨骨折檢測(cè)的DCNN 模型如圖2。Threshold Relu 模塊計(jì)算公式：

圖2 肋骨骨折檢測(cè)的DCNN 結(jié)構(gòu)Fig 2 DCNN structures of rib fracture detection

1.4.3 模型測(cè)試 為測(cè)試模型對(duì)肋骨骨折診斷的準(zhǔn)確性和泛化性，本研究應(yīng)用訓(xùn)練和驗(yàn)證集以外的胸部CT 圖像進(jìn)行測(cè)試。測(cè)試集診斷肋骨骨折的金標(biāo)準(zhǔn)為一名副主任醫(yī)師和一名主任醫(yī)師（分別從事骨肌系統(tǒng)影像診斷工作10 年和31 年）對(duì)用于測(cè)試的300 例胸部CT 圖像進(jìn)行診斷，經(jīng)協(xié)商一致后達(dá)成最終診斷意見。兩名低年資診斷醫(yī)師（從事骨肌系統(tǒng)影像診斷工作不足5 年，對(duì)金標(biāo)準(zhǔn)診斷結(jié)果不知情）和DCNN 模型同時(shí)對(duì)測(cè)試集圖像進(jìn)行診斷，由其中1 名低年資診斷醫(yī)師在DCNN 模型的輔助下進(jìn)行再次診斷，分別記錄診斷用時(shí)。

1.5 統(tǒng)計(jì)學(xué)處理 應(yīng)用SPSS 25.0 軟件（第25.0 版；SPSS Inc.；Chicago，IL，USA）進(jìn)行統(tǒng)計(jì)學(xué)分析。符合正態(tài)分布的計(jì)量資料以±s 表示，取兩位低年資醫(yī)師診斷用時(shí)的平均值，應(yīng)用單因素方差分析和LSD 檢驗(yàn)比較低年資醫(yī)師、DCNN 模型和在DCNN 模型輔助下的低年資醫(yī)師診斷用時(shí)有無(wú)差別。計(jì)數(shù)資料以例（%）表示。取兩名低年資醫(yī)師的平均值，應(yīng)用卡方分割檢驗(yàn)比較低年資醫(yī)師、DCNN 模型和在DCNN模型輔助下的低年資醫(yī)師診斷的精確率和召回率有無(wú)差別。因?yàn)闊o(wú)肋骨骨折部位的數(shù)量眾多而不能統(tǒng)計(jì)，所以難以得到DCNN 模型診斷的真陰性率。因此，本研究分別統(tǒng)計(jì)兩名低年資醫(yī)師、在DCNN 模型輔助下的低年資醫(yī)師和DCNN 模型診斷肋骨骨折的精確率、召回率、F1-score。其中，精確率=真陽(yáng)性/（真陽(yáng)性+假陽(yáng)性），召回率=真陽(yáng)性/（真陽(yáng)性+假陰性），F(xiàn)1-score=2×精確率×召回率/（精確率+召回率）。應(yīng)用Matlab R2017b 軟件進(jìn)行數(shù)據(jù)處理并繪制精確率—召回率曲線（precision recall curve，PRC）。統(tǒng)計(jì)測(cè)試集中假陽(yáng)性和假陰性病例的數(shù)量。P<0.05 為差異有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果

2.1 肋骨骨折診斷的精確率、召回率、F1-score 和假陽(yáng)性、假陰性病例數(shù)量 在300 例測(cè)試集胸部CT圖像中，共發(fā)現(xiàn)797 處肋骨骨折，DCNN 模型有22 例假陽(yáng)性病例和62 例假陰性病例。兩位低年資醫(yī)師及二者的平均值、DCNN 模型和在DCNN 模型輔助下的低年資醫(yī)師診斷肋骨骨折的精確率、召回率和F1-score 見表1。醫(yī)師診斷肋骨骨折的精確率低于DCNN 模型（P=0.007），在DCNN 模型輔助下，低年資醫(yī)師診斷的精確率有所增加，但無(wú)統(tǒng)計(jì)學(xué)差別（P=0.049），DCNN 模型和在DCNN 模型輔助下低年資醫(yī)師診斷的精確率無(wú)明顯差別（P=0.474）。低年資醫(yī)師診斷肋骨骨折的召回率低于DCNN 模型（P＜0.001），在DCNN 模型輔助下醫(yī)師診斷的召回率明顯升高（P＜0.001），DCNN 模型和在DCNN 模型輔助下醫(yī)師診斷的召回率無(wú)明顯差別（P=0.199），PRC曲線見圖3。低年資醫(yī)師診斷肋骨骨折的F1-score較DCNN 模型低，而在DCNN 模型的輔助下，醫(yī)師診斷骨折的F1-score 與DCNN 模型相同（圖4）。

圖3 低年資醫(yī)師、DCNN 模型和在DCNN 模型輔助下低年資醫(yī)師診斷肋骨骨折的精確率-召回率曲線Fig 3 Accuracy-recall curve of the diagnosis of rib fractures by junior doctors，DCNN model，and junior doctors assisted by DCNN model

圖4 DCNN 模型在橫斷位胸部CT 薄層骨窗圖像上自動(dòng)診斷肋骨骨折Fig 4 DCNN model for automatic diagnosis of rib fractures on transverse chest thin-layer CT of bone window images

表1 兩位低年資醫(yī)師、DCNN 模型和在DCNN 模型輔助下的低年資醫(yī)師診斷肋骨骨折的精確率、召回率、F1-score 和比較結(jié)果Tab 1 The comparison of the accuracy rate，the recall rate and the F1-score of rib fractures among two junior doctors，the DCNN model and the junior doctor assisted by the DCNN model

2.2 低年資醫(yī)師和DCNN 模型肋骨骨折的診斷用時(shí) 在診斷用時(shí)方面，第1 位低年資醫(yī)師診斷肋骨骨折的時(shí)間為（159.6±35.2）s（93~226 s），第2 位低年資醫(yī)師診斷時(shí)間為（150.3±30.1）s（105~203 s），平均時(shí)間為（155.0±31.9）s（105.5~214.5 s），DCNN 模型診斷肋骨骨折的時(shí)間為（4.8±1.4）s（3~7 s），在DCNN輔助下低年資醫(yī)師診斷時(shí)間為（40.6±7.0）s（25~56 s）。低年資診斷醫(yī)師、DCNN 模型和在DCNN 模型輔助下的低年資醫(yī)師三者間診斷用時(shí)有明顯差別（F=328.1，P＜0.001），DCNN 模型較低年資醫(yī)師診斷時(shí)間明顯縮短，模型幾乎可以在打開胸部CT 圖像的同時(shí)對(duì)有無(wú)肋骨骨折予以診斷，而低年資醫(yī)師在DCNN 模型輔助診斷下可明顯縮短診斷時(shí)間，提高診斷效率。

2.3 假陰性及假陽(yáng)性分析 本研究所構(gòu)建的DCNN 模型診斷肋骨骨折尚存在一部分假陽(yáng)性和假陰性病例，在對(duì)300 例測(cè)試集進(jìn)行骨折診斷時(shí)，DCNN模型有22 例假陽(yáng)性病例（即誤診病例）和62 例假陰性病例（即漏診病例）。課題組對(duì)誤診病例圖像分析發(fā)現(xiàn)，DCNN 模型存在將血管溝（n=9）、骨島（n=6）、骨纖維異常增殖癥（n=3）和其他肋骨變異或骨質(zhì)密度不均（n=4）誤認(rèn)為骨折的情況（圖5）。而在對(duì)漏診病例圖像分析發(fā)現(xiàn)，DCNN 模型對(duì)無(wú)明顯移位的肋骨骨折（n=28）、骨皮質(zhì)輕度角折而致的肋骨不全骨折（n=19）和愈合中及陳舊骨折（n=15）存在漏診（圖6）。

圖5 DCNN 模型診斷肋骨骨折假陽(yáng)性病例Fig 5 False positive cases of rib fractures diagnosed by DCNN model

圖6 DCNN 模型診斷肋骨骨折假陰性病例Fig 6 False negative cases of rib fractures diagnosed by DCNN model

3 討論

本研究采用多中心胸部CT 數(shù)據(jù)對(duì)DCNN 模型診斷肋骨骨折進(jìn)行訓(xùn)練、驗(yàn)證和測(cè)試，提高了模型診斷的泛化性和魯棒性，減少了過(guò)擬合的可能。結(jié)果表明，DCNN 模型診斷肋骨骨折的精確率、召回率和F1-score 均高于低年資醫(yī)師，而低年資醫(yī)師在DCNN 模型輔助下可顯著提高診斷的召回率，并在一定程度上提高精確率，即明顯減少漏診率，一定程度上減低誤診率。而在診斷用時(shí)方面，DCNN 模型診斷肋骨骨折僅需4 s 左右，在打開CT 圖像的同時(shí)即可診斷，而低年資醫(yī)師的診斷用時(shí)在3 min 左右，如遇多發(fā)骨折的病例則用時(shí)更長(zhǎng)，DCNN 模型可幫助醫(yī)師明顯縮短診斷時(shí)間，40 s 左右即可完成診斷。

在CT 圖像上應(yīng)用DCNN 診斷肋骨骨折方面，Zhou 等[6]應(yīng)用Faster R-CNN 和YOLOv3 兩種算法分別對(duì)來(lái)自3 家醫(yī)院共1 079 個(gè)病例進(jìn)行模型訓(xùn)練和驗(yàn)證，并應(yīng)用來(lái)自5 家醫(yī)院、不同層厚和像素的173 例患者胸部CT 和30 名正常人圖像作為測(cè)試集對(duì)肋骨骨折進(jìn)行診斷，并按照新鮮骨折、愈合中的骨折和陳舊骨折對(duì)骨折進(jìn)行分類。結(jié)果表明，F(xiàn)aster R-CNN 模型診斷各種類型肋骨骨折的敏感性和精確率均較高，假陽(yáng)性率低，診斷用時(shí)僅為23 s 左右。醫(yī)師在模型輔助下可顯著提高骨折診斷的敏感性、精確率、縮短診斷時(shí)間。Jin 等[7]應(yīng)用FracNet 算法對(duì)肋骨骨折進(jìn)行診斷和分割，發(fā)現(xiàn)此算法診斷肋骨骨折的敏感性高達(dá)92.9%，平均假陽(yáng)性率為5.27 個(gè)/每次胸部CT 檢查，圖像分割的Dice 指數(shù)為71.5%，診斷用時(shí)約為31 s，遠(yuǎn)低于影像醫(yī)師診斷時(shí)間。在此算法的協(xié)助下，影像專家診斷肋骨骨折的準(zhǔn)確率明顯增高，診斷用時(shí)明顯縮短。

本研究所構(gòu)建的DCNN 模型仍有一些假陽(yáng)性和假陰性病例，該模型存在誤將血管溝、骨島、骨纖維異常增殖癥和其他肋骨變異或骨質(zhì)密度不均認(rèn)為骨折的情況，課題組認(rèn)為這些發(fā)生在肋骨的正常解剖結(jié)構(gòu)、變異或病變與新鮮或陳舊骨折、骨痂形成的形態(tài)和密度相似，DCNN 算法難以分辨。DCNN模型對(duì)部分輕微肋骨骨折、愈合中及陳舊骨折存在漏診，這與DCNN 檢測(cè)算法的敏感性不足有關(guān)。在下一步研究中，需要課題組加入更多輕微骨折、肋骨變異和病變圖像進(jìn)行訓(xùn)練，優(yōu)化算法模型，提高模型診斷的準(zhǔn)確性。

本研究應(yīng)用3 種DCNN 算法對(duì)肋骨骨折進(jìn)行定位和診斷，模型首先結(jié)合胸椎椎體的部位對(duì)肋骨進(jìn)行分割、標(biāo)記，確定肋骨位置，然后再檢測(cè)骨折具體部位，這樣可對(duì)骨折部位進(jìn)行自動(dòng)標(biāo)記，減輕醫(yī)師人工定位肋骨的負(fù)擔(dān)。Relu 級(jí)聯(lián)的檢測(cè)網(wǎng)絡(luò)對(duì)肋骨骨折的檢出具有明顯的優(yōu)勢(shì)，通過(guò)3 個(gè)特征層分別輸出檢測(cè)結(jié)果，這樣更容易檢測(cè)出不同的骨折大??；此模型通過(guò)級(jí)聯(lián)，參考上一級(jí)輸出的檢測(cè)結(jié)果，通過(guò)Threshold Relu 和Mean 模塊，調(diào)整閾值檢測(cè)出所有陽(yáng)性，防止過(guò)早的過(guò)濾掉陽(yáng)性，而且會(huì)輸出更少的假陽(yáng)性，緩解過(guò)擬合。本研究應(yīng)用Relu 網(wǎng)絡(luò)檢測(cè)肋骨骨折，精確率和召回率與Zhou 等大致相當(dāng)，而診斷用時(shí)較Zhou 等[6]的模型明顯縮短，僅為4 s左右，較Jin 等[7]的Dice 指數(shù)更高，用時(shí)更短。在此模型輔助下，醫(yī)師的診斷用時(shí)、誤診和漏診明顯減少。但本研究尚未對(duì)骨折類型進(jìn)行分類，這也是本課題組下一步重點(diǎn)研究的內(nèi)容。

在其他學(xué)者的研究中，DCNN 在骨折診斷上多集中在X 線片，尤其對(duì)橈骨遠(yuǎn)端[10-11]和股骨近端[12-13]骨折的研究較多，多為在手腕正側(cè)位和骨盆正位片上對(duì)骨折進(jìn)行診斷。還有作者應(yīng)用DCNN 在X 線片上診斷肱骨近端、足踝、手等部位骨折，并對(duì)骨折進(jìn)行分類[14-15]。結(jié)果表明，DCNN 在平片上診斷骨折的準(zhǔn)確性高，與亞專科醫(yī)師水平相當(dāng)，并普遍高于一般醫(yī)師。在應(yīng)用CT 圖像診斷骨折方面，Pranata 等[16]發(fā)現(xiàn)應(yīng)用ResNet 和SURF 算法在CT 橫斷、冠狀、矢狀位圖像上對(duì)跟骨骨折進(jìn)行診斷和分類的準(zhǔn)確性高，可達(dá)98%。Tomita 等[17]在胸、腹部和盆腔CT 圖像上應(yīng)用CNN 算法診斷有無(wú)相應(yīng)部位的骨質(zhì)疏松性椎體骨折，診斷準(zhǔn)確性達(dá)89.2%，與有經(jīng)驗(yàn)的放射科醫(yī)師相當(dāng)。

本研究尚有一些不足：首先，本研究的金標(biāo)準(zhǔn)均為高年資醫(yī)師的最終診斷，而醫(yī)師的診斷存在漏診或誤診的可能，因此，以此標(biāo)準(zhǔn)對(duì)DCNN 模型進(jìn)行訓(xùn)練和測(cè)試存在偏倚可能。其次，本研究在測(cè)試DCNN 模型診斷效能時(shí)排除了屏氣不佳，胸部CT 圖像呼吸偽影較重的患者，而此類患者在日常工作中并不少見，如何解決這些患者肋骨骨折診斷的問(wèn)題也是臨床工作中亟需解決的問(wèn)題。第三，本研究?jī)H能診斷肋骨骨折，不能對(duì)骨折類型進(jìn)行區(qū)分，未來(lái)需改進(jìn)算法提高對(duì)骨折分類的能力。最后，胸部外傷患者不僅有肋骨骨折，還有胸廓其他部位骨折、雙肺和縱膈、皮下軟組織等部位的損傷，如能在今后的研究中對(duì)胸外傷患者的損傷部位和程度進(jìn)行系統(tǒng)、全面的診斷和分類，并結(jié)合現(xiàn)有預(yù)后評(píng)分標(biāo)準(zhǔn)指導(dǎo)治療、提示預(yù)后，則會(huì)大大提高DCNN 在臨床應(yīng)用上的前景。

本研究所構(gòu)建的DCNN 模型在胸部CT 圖像上可準(zhǔn)確定位、診斷肋骨骨折，顯著縮短診斷用時(shí)，可輔助醫(yī)師診斷，減少漏診、誤診率，提高工作效率。