深度學(xué)習(xí)在骨折診斷中的應(yīng)用綜述

哈里旦木·阿布都克里木，馮 珂，史亞慶，尼合買提·阿布都克力木，阿布都克力木·阿布力孜

1.新疆財(cái)經(jīng)大學(xué)信息管理學(xué)院，烏魯木齊 830012

2.伊犁州友誼醫(yī)院骨外一科，新疆 伊寧 835000

骨折是現(xiàn)代社會(huì)生活中的常見疾病，打鬧、摔倒、車禍等原因都可能導(dǎo)致其發(fā)生。骨折發(fā)生后主要伴隨肢體變形、腫脹、異常運(yùn)動(dòng)等典型表現(xiàn)，情形嚴(yán)重時(shí)甚至引發(fā)休克。骨折傷后遭到誤診漏診，往往會(huì)錯(cuò)過最佳治療時(shí)間，造成病情的惡化，使得受傷肢體不能最大限度地恢復(fù)其功能，甚至導(dǎo)致患者殘疾或死亡。因此，對疑似骨折進(jìn)行及時(shí)準(zhǔn)確的診斷，予以適當(dāng)治療極其重要。及時(shí)的診斷可以避免更嚴(yán)重后果的產(chǎn)生，準(zhǔn)確的處理能夠最大限度地恢復(fù)骨骼功能。然而，即使是經(jīng)驗(yàn)十分豐富的醫(yī)生，誤診漏診現(xiàn)象也不可避免。當(dāng)下，骨折診斷主要依據(jù)患者病史、臨床表現(xiàn)和影像進(jìn)行。隨著醫(yī)學(xué)影像技術(shù)的發(fā)展、影像需求的增加和影像數(shù)據(jù)的日益豐富，臨床醫(yī)生閱片的工作強(qiáng)度也在與日俱增。閱片疲勞、經(jīng)驗(yàn)不足、水平有限等原因都會(huì)造成誤診漏診。因此，使用深度學(xué)習(xí)輔助醫(yī)生進(jìn)行骨折診斷成為當(dāng)下一大研究熱點(diǎn)。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的分支，利用多層次神經(jīng)網(wǎng)絡(luò)處理和解釋復(fù)雜數(shù)據(jù)，從而實(shí)現(xiàn)自動(dòng)化特征提取和模式識(shí)別，是一種重要的人工智能方法。通過大規(guī)模數(shù)據(jù)訓(xùn)練和模型參數(shù)優(yōu)化，深度學(xué)習(xí)模型可以取得更高的準(zhǔn)確性和泛化能力。近年來深度學(xué)習(xí)發(fā)展迅速，2012 年，Hinton 研究小組應(yīng)用多層卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）結(jié)構(gòu)進(jìn)行圖像識(shí)別，將ⅠmageNet評測中的分類錯(cuò)誤率降低到15.3%[1]。2017 年，Olczak等[2]首次將深度學(xué)習(xí)應(yīng)用于骨骼X 射線（X-Ray），在腕部和踝部影像中診斷是否存在骨折，準(zhǔn)確率達(dá)到83%，表明深度學(xué)習(xí)適用于在X射線中診斷骨折。2022年，劉士遠(yuǎn)教授在《中國醫(yī)學(xué)影像人工智能發(fā)展報(bào)告（2021—2022）》中指出，應(yīng)用人工智能進(jìn)行病灶自動(dòng)檢出是臨床最具價(jià)值的功能，但報(bào)告顯示當(dāng)前骨關(guān)節(jié)相關(guān)人工智能軟件在影像科室輔助診斷中僅占比6.8%，骨折輔助診斷系統(tǒng)具有較大發(fā)展?jié)摿Α?/p>

近年來，深度學(xué)習(xí)輔助骨折診斷主要利用深度學(xué)習(xí)模型對影像進(jìn)行分類、檢測和分割，確定影像中是否存在異常，判斷屬于何種骨折類型，定位骨折發(fā)生位置，標(biāo)注疑似骨折區(qū)域等，為醫(yī)生診斷提供輔助意見。深度學(xué)習(xí)模型通過嚴(yán)格的性能測試后方可用于輔助診斷系統(tǒng)開發(fā)，并根據(jù)臨床反饋不斷更新。深度學(xué)習(xí)在骨折診斷中的應(yīng)用流程如圖1 所示。由于醫(yī)學(xué)影像具有不同特點(diǎn)，且人體骨骼結(jié)構(gòu)復(fù)雜，因此，目前已有的研究大多針對各骨折部位訓(xùn)練不同的深度學(xué)習(xí)模型，如橈骨、腕骨、肋骨、髖部等部位的骨折檢測和分類。近年來，深度學(xué)習(xí)輔助骨折診斷已取得一定的研究成果，Dankelman等[3]對使用CNN 檢測和分類骨折的17 篇文獻(xiàn)進(jìn)行分析，其中10 篇文獻(xiàn)表明輔助診斷方法可以提高臨床診斷準(zhǔn)確性。有關(guān)深度學(xué)習(xí)在骨折診斷中應(yīng)用的研究逐漸得到廣泛關(guān)注[4-7]。

圖1 深度學(xué)習(xí)在骨折診斷中的應(yīng)用流程Fig.1 Application process of deep learning in fracture diagnosis

圍繞深度學(xué)習(xí)在骨折診斷中的應(yīng)用流程，本文首先介紹骨折影像；匯總相關(guān)的影像數(shù)據(jù)集；然后對文獻(xiàn)中涉及的深度學(xué)習(xí)方法進(jìn)行描述與分析；結(jié)合不同方法，對其在各類骨折診斷中的研究及應(yīng)用現(xiàn)狀進(jìn)行描述；接著對骨折輔助診斷系統(tǒng)進(jìn)行介紹；對領(lǐng)域內(nèi)存在的一些挑戰(zhàn)進(jìn)行討論并提出展望；最后進(jìn)行總結(jié)。

1 骨折影像

骨折影像是通過醫(yī)學(xué)影像技術(shù)獲得的用于顯示骨骼結(jié)構(gòu)損傷情況的影像，包含骨折位置、嚴(yán)重程度、骨折線形態(tài)等信息。隨著醫(yī)學(xué)影像技術(shù)的發(fā)展和影像設(shè)備的多樣化，X射線、計(jì)算機(jī)斷層掃描（computed tomography，CT）和磁共振成像（magnetic resonance imaging，MRⅠ）等影像成為大多數(shù)醫(yī)學(xué)影像數(shù)據(jù)的來源和病灶識(shí)別的手段，是臨床醫(yī)生判斷和定位骨折時(shí)的必要依據(jù)。通過觀察骨折影像對患者病情進(jìn)行診斷，需要臨床醫(yī)生具有較長時(shí)間的知識(shí)學(xué)習(xí)和豐富的經(jīng)驗(yàn)積累。但即使是經(jīng)驗(yàn)豐富的醫(yī)生，在診斷過程中也存在漏診誤診的可能[8]。因此，在進(jìn)行骨折診斷時(shí)臨床醫(yī)生需謹(jǐn)慎、細(xì)致地閱讀影像，結(jié)合患者的臨床癥狀做出準(zhǔn)確的診斷。然而閱讀大量影像容易造成醫(yī)生閱片疲勞，導(dǎo)致診斷失誤。深度學(xué)習(xí)輔助骨折診斷可以減輕臨床醫(yī)生的閱片壓力，減少診斷過程中的漏診誤診。

為保證深度學(xué)習(xí)輔助診斷模型具有較高的準(zhǔn)確率和可靠性，使用高質(zhì)量影像數(shù)據(jù)集進(jìn)行模型訓(xùn)練至關(guān)重要。高質(zhì)量影像數(shù)據(jù)集中應(yīng)包含大量的骨折影像，涵蓋各種類型和層次的骨折。此外，數(shù)據(jù)集的標(biāo)注也需精確全面，以保證模型可以準(zhǔn)確地學(xué)習(xí)和識(shí)別骨折。然而，大量的影像數(shù)據(jù)分散在各個(gè)醫(yī)院和研究機(jī)構(gòu)，由于隱私、倫理等原因，不易進(jìn)行高效地收集。醫(yī)學(xué)影像設(shè)備機(jī)型繁多、參數(shù)各異，影像數(shù)據(jù)格式多樣，難以進(jìn)行統(tǒng)一的處理。此外，與自然圖像相比，醫(yī)學(xué)影像一般含有較多噪聲和偽影。因此，影像數(shù)據(jù)不易進(jìn)行大規(guī)模的收集和處理，收集到的影像常存在涉及患者隱私、數(shù)據(jù)量不足、成像不清晰等問題，影像中骨折區(qū)域的標(biāo)注存在困難。

對影像進(jìn)行相關(guān)處理可以提高影像質(zhì)量和數(shù)據(jù)集規(guī)模，使其更適用于深度學(xué)習(xí)任務(wù)。常用的影像處理方法有數(shù)據(jù)脫敏、數(shù)據(jù)標(biāo)注和數(shù)據(jù)增強(qiáng)。為保護(hù)患者隱私，在相關(guān)機(jī)構(gòu)收集影像數(shù)據(jù)后首先應(yīng)進(jìn)行脫敏操作，去除影像中的患者身份信息，如：姓名、照片、身份證號等。除人工去除敏感信息外，一些現(xiàn)有軟件也可完成脫敏操作，如RⅠAS 軟件[9]。脫敏完成后，需要對影像進(jìn)行人工標(biāo)注以形成可用的數(shù)據(jù)集。影像數(shù)據(jù)標(biāo)注需要經(jīng)驗(yàn)豐富的醫(yī)生對影像進(jìn)行注釋，數(shù)據(jù)集的正確標(biāo)注是模型取得理想預(yù)測效果的前提。輔助醫(yī)生進(jìn)行影像標(biāo)注的軟件有很多，每款軟件都有其特點(diǎn)，表1 中列出常用影像標(biāo)注軟件。針對影像數(shù)據(jù)量少以及各類影像數(shù)量不平衡等問題，通常采用數(shù)據(jù)增強(qiáng)方法對數(shù)據(jù)集進(jìn)行擴(kuò)充。醫(yī)學(xué)影像處理中常用的數(shù)據(jù)增強(qiáng)方法主要包括以下三種：（1）幾何變換。如圖像裁剪、左右平移、大小縮放等。（2）顏色變換。如添加噪聲、對比度調(diào)整等。（3）深度生成模型。如生成對抗網(wǎng)絡(luò)模型[10]（generative adversarial network，GAN）及Diffusion模型[11]。

表1 常用影像標(biāo)注軟件Table 1 Common image annotation software

2 數(shù)據(jù)集

應(yīng)用大規(guī)模數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)，深度學(xué)習(xí)模型通常具有更好表現(xiàn)。在深度學(xué)習(xí)應(yīng)用于骨折診斷的研究中，絕大多數(shù)研究者選擇與相關(guān)機(jī)構(gòu)合作，例如與醫(yī)院合作收集影像，尋求專家?guī)椭M(jìn)行影像的標(biāo)注以建立數(shù)據(jù)集等。然而，通過與相關(guān)機(jī)構(gòu)合作獲取的數(shù)據(jù)集規(guī)模通常較小，F(xiàn)ederer 等人[12]的研究發(fā)現(xiàn)，31%的文獻(xiàn)涉及患者數(shù)量少于100人，最小的數(shù)據(jù)集僅包含4名患者，涉及患者的中位數(shù)是250人。因此，研究者通常選擇使用數(shù)據(jù)增強(qiáng)操作以增加數(shù)據(jù)集規(guī)模。其中，應(yīng)用最多的數(shù)據(jù)增強(qiáng)方式是幾何變換。比如對腕部X射線進(jìn)行水平翻轉(zhuǎn)、不同尺度的旋轉(zhuǎn)、剪切和縮放[13-15]，對髖部X射線進(jìn)行平移、旋轉(zhuǎn)和剪切[16-21]，或者對胸部X 射線進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)和裁剪[22]等。有研究同時(shí)涉及到幾何變換和顏色變換類數(shù)據(jù)增強(qiáng)，如對踝關(guān)節(jié)X射線進(jìn)行隨機(jī)旋轉(zhuǎn)、翻轉(zhuǎn)、亮度和對比度調(diào)整[23]等。Rama等[24]對原始數(shù)據(jù)集進(jìn)行9種幾何變換和顏色變換數(shù)據(jù)增強(qiáng)操作，實(shí)驗(yàn)結(jié)果表明使用數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集訓(xùn)練的深度學(xué)習(xí)模型具有更佳性能。部分研究不涉及某些數(shù)據(jù)增強(qiáng)操作，如不采用剪切、增加噪聲等操作生成新影像[25]，以防止錯(cuò)誤分類。此外，使用深度生成模型進(jìn)行數(shù)據(jù)增強(qiáng)也逐漸受到研究者關(guān)注。Mutasa等[26]使用GAN模型對訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)操作，經(jīng)數(shù)據(jù)增強(qiáng)后模型的精度得到明顯提高，先進(jìn)的數(shù)據(jù)增強(qiáng)技術(shù)可以減輕數(shù)據(jù)集規(guī)模小對深度學(xué)習(xí)模型帶來的限制。對于醫(yī)學(xué)影像亮度低、對比度差、病灶邊界不清晰等問題，數(shù)據(jù)增強(qiáng)手段可以增加影像的對比度，降低影像的噪聲，突出對于訓(xùn)練模型更有用的特征，以更好地進(jìn)行分類、檢測和分割任務(wù)[27]。此外，數(shù)據(jù)增強(qiáng)可用于避免模型過擬合[14，17-18]。

此外，一些骨折相關(guān)的公開數(shù)據(jù)集得到研究者廣泛關(guān)注。如：5K+ CT Ⅰmages on Fractured Limbs 數(shù)據(jù)集[28]、MURA數(shù)據(jù)集[29]、RibFrac數(shù)據(jù)集[30]等，表2對相關(guān)的骨折影像數(shù)據(jù)集進(jìn)行介紹。

表2 骨折影像數(shù)據(jù)集Table 2 Fracture imaging dataset

3 基于深度學(xué)習(xí)的骨折診斷方法

充分學(xué)習(xí)臨床高級醫(yī)生的豐富經(jīng)驗(yàn)以訓(xùn)練輔助診斷模型，能夠?yàn)槿狈?jīng)驗(yàn)的普通醫(yī)生提供可靠的輔助意見，減少因經(jīng)驗(yàn)不足造成的誤診漏診，緩解臨床醫(yī)生閱片壓力。目前，基于深度學(xué)習(xí)的骨折診斷方法主要采用圖像分類模型、目標(biāo)檢測模型和圖像分割模型進(jìn)行骨折影像檢測和分類。

3.1 圖像分類模型

基于深度學(xué)習(xí)的骨折分類普遍采用經(jīng)典的圖像分類模型進(jìn)行，利用圖像分類模型可以檢測影像中是否存在骨折以及對具體的骨折類型進(jìn)行分類，如按照2018版AO/OTA 分型[31]和Garden 分型[32]等標(biāo)準(zhǔn)進(jìn)骨折類別劃分。圖像分類通常借助卷積神經(jīng)網(wǎng)絡(luò)模型完成。自AlexNet[1]在2012 年被提出后，以CNN 為代表深度學(xué)習(xí)開始在圖像分類研究中得到廣泛應(yīng)用。在骨折診斷領(lǐng)域，研究者多選擇采用CNN模型檢測和分類不同骨折，如Kim等[13]基于預(yù)訓(xùn)練的Ⅰnception v3模型檢測腕部骨折，Urakawa 等[17]訓(xùn)練VGG16 模型檢測股骨轉(zhuǎn)子間骨折，此外還有髖部骨折[16，19]、肱骨近端骨折[33]、股骨近端骨折[34]、橈骨遠(yuǎn)端骨折[35]、椎體骨折[36-37]等的檢測和分類。

基于CNN 進(jìn)行圖像分類的模型有很多，主要包括從AlexNet 開始不斷加深網(wǎng)絡(luò)深度的VGG-Net[38]、GoogLeNet[39]、ResNet[40]和ResNeXt[41]等模型，從GoogLeNet開始不斷增加網(wǎng)絡(luò)寬度的Ⅰnception系列，通過特征處理提升網(wǎng)絡(luò)性能的DenseNet[42]和EfficientNet[43]等模型?；贑NN 模型的深度學(xué)習(xí)輔助骨折分類研究中，影像經(jīng)卷積層提取低層到高層的特征，在池化層對輸出特征圖執(zhí)行下采樣操作。對影像進(jìn)行多層卷積和池化操作，最后將特征圖被送入全連接層進(jìn)行類別判斷，輸出最終分類結(jié)果。如圖2為CNN網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)示例。

圖2 CNN網(wǎng)絡(luò)示例Fig.2 CNN network example

CNN 模型在影像分類任務(wù)中已取得廣泛應(yīng)用，2020年，自然語言處理領(lǐng)域火爆的Transformer[44]模型結(jié)構(gòu)被引入計(jì)算機(jī)視覺領(lǐng)域，Vision Transformer（ViT）[45]、Swin Transformer[46]等模型開始在圖像分類任務(wù)中展現(xiàn)其優(yōu)異性能，ViT 模型結(jié)構(gòu)如圖3 所示。Tanzi 等[47]首次將ViT 架構(gòu)應(yīng)用于股骨近端骨折分類，模型選擇Large-16配置并使用注意力圖可視化圖像中相關(guān)區(qū)域，與Ⅰnception v3 和分層CNN 模型相比，ViT 的分類準(zhǔn)確率提高了25%，優(yōu)于CNN模型。

圖3 Vision Transformer模型結(jié)構(gòu)Fig.3 Vision Transformer model structure

伴隨著圖像分類模型的發(fā)展，其提取特征信息的能力不斷優(yōu)化，在分類任務(wù)中的性能也不斷刷新。近年來，研究人員利用圖像分類模型進(jìn)行骨折檢測和分類取得了較好進(jìn)展。Lindsey 等[48]的研究表明，對于疑似骨折，經(jīng)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)可以顯著改善臨床醫(yī)生的診斷準(zhǔn)確性，從而為病患確診、及時(shí)治療和預(yù)后處理帶來實(shí)質(zhì)性的改善。ⅠCCV（Ⅰnternational Conference on Computer Vision）、CVPR（ⅠEEE Conference on Computer Vision and Pattern Recognition）、MⅠCCAⅠ（Ⅰnternational Conference on Medical Ⅰmage Computing and Computer Assisted Ⅰntervention）等會(huì)議中應(yīng)用于視覺任務(wù)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)不斷迭代和更新，為圖像分類模型應(yīng)用于骨折診斷提供了研究基礎(chǔ)。骨折影像數(shù)據(jù)集的規(guī)模和影像標(biāo)注的準(zhǔn)確性影響圖像分類模型的訓(xùn)練效果，應(yīng)用高質(zhì)量標(biāo)簽和大規(guī)模數(shù)據(jù)集訓(xùn)練的模型通常效果更佳。

3.2 目標(biāo)檢測模型

在醫(yī)學(xué)影像分析中，目標(biāo)檢測指對影像中的病灶區(qū)域進(jìn)行定位和識(shí)別，對疑似骨折位置進(jìn)行標(biāo)注，為醫(yī)生提供可靠的輔助意見，降低因缺乏經(jīng)驗(yàn)或閱片疲勞帶來的影響。目標(biāo)檢測模型可以分為雙階段和單階段兩種類型，其結(jié)構(gòu)如圖4所示。模型首先使用特征提取網(wǎng)絡(luò)進(jìn)行特征提取，后續(xù)操作依據(jù)提取到的特征圖進(jìn)行，特征提取網(wǎng)絡(luò)一般采用各圖像分類模型。

雙階段目標(biāo)檢測模型在第一階段對影像中的骨折區(qū)域進(jìn)行識(shí)別，提取出感興趣區(qū)域（region of interest，ROⅠ）候選框，在第二階段通過分類模型檢測和分類ROⅠ中的骨折，最終模型輸出骨折區(qū)域邊界框以及具體分類結(jié)果。雙階段模型通常精度較高，但速度較慢。骨折檢測領(lǐng)域常用的雙階段目標(biāo)檢測模型為Faster R-CNN[49]，模型結(jié)構(gòu)如圖5 所示。骨折影像中的骨折線尺寸通常很小且難以檢測，明確ROⅠ可以使模型在進(jìn)行骨折分類時(shí)專注于相關(guān)的解剖區(qū)域，避免影像中冗余信息或噪聲的干擾，與直接使用整幅影像進(jìn)行骨折檢測和分類相比性能通常更好。Yahalomi 等[25]訓(xùn)練Faster R-CNN 模型檢測和定位橈骨遠(yuǎn)端骨折，模型準(zhǔn)確率遠(yuǎn)高于放射科醫(yī)生的平均水平，且為罕見疾病的檢測提供了可能。Chen等[50]訓(xùn)練Faster R-CNN的模型進(jìn)行胸腰椎骨折分類，對于ABC 型分類，模型的總體準(zhǔn)確率較高。Liu 等[21]訓(xùn)練Faster R-CNN 模型檢測和定位股骨轉(zhuǎn)子間骨折，與骨科主治醫(yī)師相比，模型檢測性能更好，且耗時(shí)更短。目標(biāo)檢測模型常搭配不同的圖像分類模型作為分類器進(jìn)行使用，例如原始Faster R-CNN 使用VGG 16 進(jìn)行圖像分類，Gan 等[51]使用Ⅰnception v4 作為Faster R-CNN的分類器對是否存在骨折進(jìn)行判斷。

圖5 Faster R-CNN模型結(jié)構(gòu)Fig.5 Faster R-CNN model structure

單階段目標(biāo)檢測模型使用一次過程對影像進(jìn)行分類和定位，相比之下速度更快。骨折檢測研究中常用的單階段目標(biāo)檢測模型有RetinaNet[52]和YOLO 系列等，例如YOLO v3[53]、YOLO v5[54]以及YOLO v8（https：//github.com/ultralytics/ultralytics）。如Krogue 等[55]訓(xùn)練RetinaNet模型，采用DenseNet169作為分類網(wǎng)絡(luò)自動(dòng)檢測、定位和分類髖部骨折；Li等[56]訓(xùn)練YOLO v3模型自動(dòng)檢測椎體骨折；Gasmi等[57]訓(xùn)練基于RetinaNet架構(gòu)改進(jìn)的Rayvolve 模型檢測和定位兒童四肢骨折。單階段目標(biāo)檢測模型適用于進(jìn)行實(shí)時(shí)目標(biāo)檢測，檢測速度快。使用單階段目標(biāo)檢測算法輔助醫(yī)生進(jìn)行骨折檢測，可以極大地降低因未及時(shí)檢測出骨折造成的不良影響。

除了單獨(dú)的模型之外，一些已集成完備的開源平臺(tái)同樣可以為骨折診斷領(lǐng)域的目標(biāo)檢測提供幫助。較常使用的有FaceBook 發(fā)布的Detectron2（https：//github.com/facebookresearch/detectron2）和商湯科技發(fā)布的MMDetection（https：//github.com/open-mmlab/mmdetection）。目標(biāo)檢測模型在不規(guī)則病灶檢出中有較好的能力，然而其訓(xùn)練過程需大規(guī)模高質(zhì)量數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)需進(jìn)行像素級注釋，提供邊界框，因此標(biāo)注成本較高。此外，模型在小目標(biāo)檢測中常會(huì)發(fā)生遺漏，不能檢測到所有病灶。

3.3 圖像分割模型

醫(yī)學(xué)影像分割可被視為對影像中每個(gè)像素進(jìn)行分類的過程。通過影像分割可以定位影像中的病灶區(qū)域，明確病灶形態(tài)，排除影像中冗余信息的干擾，為進(jìn)行影像檢測和分類任務(wù)縮小檢測區(qū)域，提高骨折診斷效率。圖像分割模型的訓(xùn)練需要使用具有像素級注釋的骨折影像，模型為影像中每個(gè)像素生成一個(gè)是否存在骨折的概率，依據(jù)概率自動(dòng)分割出所需目標(biāo)。利用圖像分割模型進(jìn)行骨折病灶區(qū)域的提取并生成分割圖后，可以精確地指出在像素級別上使用哪些特征進(jìn)行骨折檢測和分類。這種方法具有一定的可解釋性，不須借助其他可解釋性方案。目前較常使用的圖像分割模型有全卷積網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CNs）[58]、U-Net[59]和Mask R-CNN[60]等。如Anttila等[61]訓(xùn)練基于U-Net的分割模型檢測橈骨遠(yuǎn)端骨折，模型為影像中每個(gè)像素點(diǎn)生成是否存在骨折的概率，可以正確識(shí)別96.7%的骨折。Joshi等[62]對Mask R-CNN架構(gòu)進(jìn)行修改，主干網(wǎng)絡(luò)采用特征金字塔網(wǎng)絡(luò)（feature pyramid network，F(xiàn)PN），并使用改進(jìn)的ROⅠAlign 精準(zhǔn)裁剪ROⅠ，以此對X 射線中的腕部骨折進(jìn)行檢測和分割。

U-Net采用編碼器-解碼器結(jié)構(gòu)，模型左側(cè)通過卷積和池化操作對圖像進(jìn)行特征提取，右側(cè)通過上采樣和跳層連接得到與輸入尺寸相同的特征圖，對像素點(diǎn)進(jìn)行分類實(shí)現(xiàn)圖像分割。U-Net網(wǎng)絡(luò)示例如圖6所示。

圖6 U-Net網(wǎng)絡(luò)示例Fig.6 U-Net network example

Mask R-CNN 同時(shí)進(jìn)行目標(biāo)檢測和分割，模型在Faster R-CNN 基礎(chǔ)上增加了一個(gè)用于像素級目標(biāo)實(shí)例分割的并行分支，使用ROⅠalign 層代替ROⅠ池化層。作為對Faster R-CNN的擴(kuò)展，模型準(zhǔn)確率更高，結(jié)構(gòu)如圖7 所示。由于不同個(gè)體、不同部位、不同時(shí)刻得到的骨折影像各異，且骨折線細(xì)小、病灶邊緣不清晰，因此骨折影像分割任務(wù)面臨一定的挑戰(zhàn)。

圖7 Mask R-CNN模型結(jié)構(gòu)Fig.7 Mask R-CNN model structure

3.4 小結(jié)

利用高質(zhì)量的骨折影像數(shù)據(jù)集訓(xùn)練模型，進(jìn)行是否存在骨折或者存在何種類型骨折的判斷，可以幫助醫(yī)生完成對影像的初步篩選，進(jìn)而對存在骨折的影像重點(diǎn)關(guān)注，降低骨折漏診的可能。然而，數(shù)據(jù)集的大小和質(zhì)量、醫(yī)生標(biāo)注的正確性、模型的可解釋性等均會(huì)對模型性能產(chǎn)生影響。表3中對各方法的優(yōu)勢、局限等進(jìn)行比較。

表3 深度學(xué)習(xí)輔助診斷方法Table 3 Deep learning assisted diagnostic methods

4 深度學(xué)習(xí)在各類骨折診斷中的應(yīng)用

由于高質(zhì)量骨折影像數(shù)據(jù)集的建立存在一定困難，以及醫(yī)生對于影像的標(biāo)注具有主觀性，不存在完全統(tǒng)一的標(biāo)準(zhǔn)，因此，開發(fā)出適用于各種類型影像和不同部位骨折的通用深度學(xué)習(xí)模型進(jìn)行骨折檢測和分類相對困難，基于深度學(xué)習(xí)的骨折診斷研究通常針對具體骨折類型展開。由于骨骼結(jié)構(gòu)的復(fù)雜性，本節(jié)按照上肢骨折、下肢骨折、肋骨骨折、椎體骨折及疑難骨折進(jìn)行分類，在各類型骨折診斷任務(wù)中對深度學(xué)習(xí)方法的具體應(yīng)用進(jìn)行詳細(xì)介紹。

4.1 在上肢骨折診斷中的應(yīng)用

上肢骨主要包括橈骨、尺骨、肱骨等，是極易發(fā)生骨折的部位。上肢骨折會(huì)造成前臂和手的活動(dòng)范圍受限，引起前臂疼痛、腫脹、畸形等。上肢骨折漏診占所有漏診骨折的43%～48%，特別是在腕部的X射線中[63]。因此上肢骨折的準(zhǔn)確檢出和及時(shí)治療具有非常重要的社會(huì)意義。

除了直接應(yīng)用圖像分類模型實(shí)現(xiàn)骨折檢測和分類外，楊鋒等[64]基于遷移學(xué)習(xí)思想設(shè)計(jì)了自動(dòng)分型系統(tǒng)DRF-Net 進(jìn)行橈骨遠(yuǎn)端骨折分類，模型可以達(dá)到84.2%的準(zhǔn)確率，優(yōu)于AlexNet 和ResNet50 等圖像分類模型，具有一定的泛化能力。在X 射線中，不同腕部骨折的基本區(qū)別是紋理特征。為更好地了解腕部組織的實(shí)際紋理特征，Jabbar 等[14]設(shè)計(jì)基于殘差網(wǎng)絡(luò)的模型RN-21CNN進(jìn)行骨折檢測，與圖像分類模型Ⅰnception v3、VGG16、VGG19和ResNet50相比，RN-21CNN在的檢測性能更好。

上肢骨折輔助診斷中最常用的目標(biāo)檢測模型為雙階段模型Faster R-CNN，研究者多對其進(jìn)行改進(jìn)以提高檢測性能。Thian等[15]將Faster R-CNN模型的主干網(wǎng)絡(luò)替換為Ⅰnception ResNet v2，模型能夠以高靈敏度檢測和定位腕部X 射線中的橈骨和尺骨骨折。楊鋒[65]將Faster R-CNN 模型的主干網(wǎng)絡(luò)替換為ResNet101，模型在橈骨遠(yuǎn)端骨折分類中的準(zhǔn)確率達(dá)到88.07%。楊昆等[66]在Faster R-CNN 模型中加入導(dǎo)向錨定以生成更精確的邊界框，并將主干網(wǎng)絡(luò)替換為ResNet101，模型在檢測掌指骨骨折時(shí)可以達(dá)到69.3%的檢測精度。此外，為開發(fā)出最兼容的腕部骨折檢測模型，Hardala等[27]基于目標(biāo)檢測平臺(tái)MMDetection 實(shí)現(xiàn)了26 種不同的骨折檢測模型，包括有無數(shù)據(jù)增強(qiáng)的20 種目標(biāo)檢測模型，5 種不同的集成模型，以及提出的腕部骨折檢測模型WFD-C，WFD-C 模型實(shí)現(xiàn)了最佳的檢測效果。Min 等[67]使用兩階段集成深度學(xué)習(xí)框架在腕部X 射線中自動(dòng)區(qū)分關(guān)節(jié)內(nèi)和關(guān)節(jié)外橈骨遠(yuǎn)端骨折，模型首先使用YOLO v5網(wǎng)絡(luò)的集成模型定位橈骨遠(yuǎn)端感興趣區(qū)域，然后使用EfficientNet-B3 網(wǎng)絡(luò)的集成模型將影像分類為關(guān)節(jié)內(nèi)和關(guān)節(jié)外骨折。與使用ResNet18、DenseNet169、Swin Transformer 和EfficientNet-B0、B1、B2、B4 的兩階段分類框架相比，模型性能更佳。Ju 等[68]基于YOLO v8 模型在兒童腕部X射線中進(jìn)行骨折檢測，并采用調(diào)整圖像亮度和對比度等數(shù)據(jù)增強(qiáng)手段提高其性能，模型在骨折檢測中的表現(xiàn)優(yōu)于YOLO v5 和未采用數(shù)據(jù)增強(qiáng)的YOLO v8 模型，并基于此開發(fā)了檢測兒童腕部骨折的應(yīng)用程序，輔助臨床醫(yī)生解讀腕部X射線。

如表4，對深度學(xué)習(xí)在上肢骨折診斷中應(yīng)用的文獻(xiàn)進(jìn)行了梳理。

表4 深度學(xué)習(xí)在上肢骨折診斷中的應(yīng)用Table 4 Application of deep learning in upper limb fracture diagnosis

4.2 在下肢骨折診斷中的應(yīng)用

下肢骨折會(huì)影響人的行動(dòng)，造成生活困難。常見的下肢骨折主要有髖部骨折和足踝骨折等，髖部骨折一般指股骨轉(zhuǎn)子間骨折、骨盆骨折以及股骨頸骨折，約占骨科手術(shù)患者的20%，是我國老年人群發(fā)病率最高的骨折類型，下肢骨折漏診率與上肢骨折相似[6]，急需引起社會(huì)的關(guān)注。

近年來，改進(jìn)圖像分類模型進(jìn)行下肢骨折診斷的研究取得了較多成果。Urakawa 等[17]訓(xùn)練VGG16 模型檢測股骨轉(zhuǎn)子間骨折，使用數(shù)據(jù)增強(qiáng)、L2正則化和提前停止三種策略避免模型對訓(xùn)練集的過擬合，準(zhǔn)確率超過了臨床骨科醫(yī)生。Bae 等[20]在ResNet18 模型中添加注意力模塊CBAM++進(jìn)行股骨頸骨折檢測，模型性能得到提升，并通過Grad-CAM[69]提供可視化結(jié)果。Beyaz等[70]在檢測股骨頸骨折的研究中加入遺傳算法來優(yōu)化模型所用架構(gòu)的超參數(shù)，隨著遺傳算法的加入，模型的準(zhǔn)確率由77.7%增加至79.3%，分類性能得到提升。Cheng等[71]結(jié)合DenseNet、點(diǎn)監(jiān)督和FPN，開發(fā)了首個(gè)在骨盆X 射線中識(shí)別各類骨折的深度學(xué)習(xí)模型PelviXNet，模型在檢測骨盆和髖部骨折時(shí)表現(xiàn)與臨床醫(yī)生相當(dāng)，且能夠?qū)︶t(yī)生誤診的骨折進(jìn)行檢出。Ashkani-Esfahani 等[72]比較Ⅰnception v3 和ResNet50 模型對不同類型踝關(guān)節(jié)骨折的檢測性能，Ⅰnception v3可以檢測到98.6%的隱匿性踝關(guān)節(jié)骨折，整體性能優(yōu)于ResNet50。此外，部分研究者對影響模型性能的因素進(jìn)行探究。Kitamura 等[23]訓(xùn)練Ⅰnception v3、ResNet 和Xception 等5 種不同的CNN模型并對其進(jìn)行集成，對于單個(gè)病例的全部3個(gè)視圖，集成模型準(zhǔn)確率為81%，在數(shù)據(jù)集規(guī)模較小的情況下，多視圖補(bǔ)充信息提高了模型的準(zhǔn)確率。Adams等[18]比較AlexNet和GoogLeNet在不同規(guī)模的髖部X射線數(shù)據(jù)集中檢測股骨頸骨折的準(zhǔn)確性，隨著數(shù)據(jù)集的增大，AlexNet和GoogleNet的準(zhǔn)確率分別從81.9%和88.1%提高到89.4%和94.4%。Olczak 等[73]根據(jù)2018 版AO/OTA標(biāo)準(zhǔn)將踝關(guān)節(jié)骨折分為A、B、C 3 種類型，基于改進(jìn)的ResNet 架構(gòu)進(jìn)行踝關(guān)節(jié)骨折具體類型分類。由于A 型骨折樣本量不足，模型無法充分學(xué)習(xí)A 型骨折的特征，因此A型踝關(guān)節(jié)骨折的檢測性能最差。

關(guān)于使用分割模型輔助骨折診斷，首先訓(xùn)練CNN模型對影像中的股骨頸區(qū)域進(jìn)行定位和分割，然后使用分類模型對分割圖進(jìn)行分類。Prijs 等[74]同樣采用兩階段模型，第一階段CNN用于篩選難以識(shí)別的骨折，基于選擇出的影像訓(xùn)練第二階段的模型Mask R-CNN，以此對踝關(guān)節(jié)骨折進(jìn)行分類、檢測和分割。在包含不確定病例的外部驗(yàn)證集中，模型準(zhǔn)確率為89%。

如表5，對深度學(xué)習(xí)在下肢骨折診斷中應(yīng)用的文獻(xiàn)進(jìn)行了梳理。

表5 深度學(xué)習(xí)在下肢骨折診斷中的應(yīng)用Table 5 Application of deep learning in lower limb fracture diagnosis

4.3 在肋骨骨折診斷中的應(yīng)用

肋骨骨折是胸部受創(chuàng)后最常見的損傷，多與車禍、暴力等事件有關(guān)，肋骨骨折的死亡率高達(dá)20%～50%，急需先進(jìn)手段輔助診斷[75]。采用CT作為依據(jù)進(jìn)行診斷可以提高骨折檢出率，減少漏診和誤診[76]。然而評估大量CT 以檢測肋骨骨折是一項(xiàng)細(xì)致且耗時(shí)的工作，可能導(dǎo)致患者無法獲得及時(shí)有效的治療，從而引發(fā)肺部感染等各種并發(fā)癥。因此，及時(shí)準(zhǔn)確地對肋骨骨折做出診斷具有顯著意義。

在肋骨骨折檢測研究中，Weikert 等[77]訓(xùn)練兩階段DCNN模型檢測急性和慢性肋骨骨折，模型首先使用基于ResNet的3D DCNN篩選疑似骨折區(qū)域，然后對疑似區(qū)域進(jìn)行分析得到最終輸出，可以檢測到書面CT 報(bào)告中未提及的急性肋骨骨折，減少漏診誤診。此外，研究者多采用目標(biāo)檢測模型Faster R-CNN進(jìn)行肋骨骨折檢測。Zhou 等[78]研究表明，F(xiàn)aster R-CNN 在肋骨骨折檢測和分類中的性能優(yōu)于YOLO v3，因此研究中選擇Faster R-CNN 模型進(jìn)行輔助診斷，并輸出具有一定可解釋性的結(jié)構(gòu)化報(bào)告，在模型輔助下，放射科醫(yī)生的診斷準(zhǔn)確率提高了10.8%。Zhang 等[79]利用由Foveal 網(wǎng)絡(luò)和Faster R-CNN組成的自動(dòng)肋骨骨折檢測模型輔助放射科醫(yī)生閱讀CT，模型輔助下，肋骨骨折檢出率可以增加4.8%～6.1%。

在使用圖像分割模型輔助肋骨骨折檢測的研究中，Jin 等[30]構(gòu)建3D U-Net 深度學(xué)習(xí)模型FracNet，利用RibFrac 數(shù)據(jù)集訓(xùn)練模型以檢測和分割肋骨骨折，模型輔助下臨床醫(yī)生的診斷時(shí)間減少了86%，且具有更高的診斷準(zhǔn)確率。Yao 等[80]構(gòu)建三步肋骨骨折檢測模型，模型首先采用U-Net 對胸部CT 進(jìn)行分割，然后在影像中定位肋骨位置以排除鄰近骨骼的干擾，最后采用3D DenseNet 模型對肋骨骨折進(jìn)行分類。對于只有很少異常像素點(diǎn)的細(xì)小骨折模型也具有較好性能，能夠以86.9%的精確率檢測骨折。Lin 等[22]基于DCNN 模型進(jìn)行肋骨骨折定位和診斷，首先使用改進(jìn)的V-Net網(wǎng)絡(luò)在預(yù)處理后的CT中進(jìn)行肋骨區(qū)域分割，然后使用VRN-Net進(jìn)行關(guān)鍵點(diǎn)檢測，結(jié)合關(guān)鍵點(diǎn)框定肋骨骨折位置，最終輸出骨折類別和定位框，模型可以自動(dòng)標(biāo)記骨折位置，減輕醫(yī)生手動(dòng)定位的負(fù)擔(dān)。

如表6，對深度學(xué)習(xí)在肋骨骨折診斷中應(yīng)用的部分文獻(xiàn)進(jìn)行了梳理。

表6 深度學(xué)習(xí)在肋骨骨折診斷中的應(yīng)用Table 6 Application of deep learning in rib fracture diagnosis

4.4 在椎體骨折診斷中的應(yīng)用

椎體骨折是一類脊柱骨折，常見于青壯年男性，發(fā)病率隨年齡的增大而增加。雖然椎體骨折發(fā)病率較高，但因癥狀較輕而往往不被察覺，如僅引起輕微的疼痛。除非專門進(jìn)行椎體骨折檢查，在其他部位拍攝的影像中較難對椎體骨折進(jìn)行識(shí)別[81]。因此，醫(yī)生在診斷椎體骨折時(shí)應(yīng)保持警惕。

關(guān)于圖像分類模型，劉珂等[82]將脊柱矢狀位CT 中的病變椎體手動(dòng)標(biāo)記為ROⅠ并生成邊界框，輸入基于ResNet50 的深度學(xué)習(xí)模型中檢測是否存在脊柱良惡性壓縮骨折，分類準(zhǔn)確率為88%。近些年來，采用目標(biāo)檢測模型進(jìn)行椎體骨折輔助診斷受到較多研究者的關(guān)注。Sha等[83]基于改進(jìn)的YOLO v3模型在CT中檢測和定位椎體骨折，使用病灶邊界框維度聚類對CT 進(jìn)行多尺度變換，以提高病灶檢測準(zhǔn)確率，模型平均精度達(dá)到73.63%。Li等[56]開發(fā)椎體骨折自動(dòng)檢測模型，模型由三部分組成，分別是用于檢測椎體骨折的YOLO v3 網(wǎng)絡(luò)部分、自動(dòng)數(shù)據(jù)預(yù)處理部分和進(jìn)行椎體骨折分類的集成模型部分，診斷過程只需發(fā)送影像至模型和點(diǎn)擊查看結(jié)果，整個(gè)過程耗時(shí)90秒，診斷性能優(yōu)異。Chen等[50]訓(xùn)練基于Faster R-CNN 的模型進(jìn)行胸腰椎骨折分類，對于ABC型分類，模型的總體準(zhǔn)確率為86.4%，可以用于CT中胸腰椎骨折的輔助診斷。

如表7，對深度學(xué)習(xí)在椎體骨折診斷中應(yīng)用的文獻(xiàn)進(jìn)行了梳理。

表7 深度學(xué)習(xí)在椎體骨折診斷中的應(yīng)用Table 7 Application of deep learning in vertebral fracture diagnosis

4.5 在疑難骨折診斷中的應(yīng)用

疑難骨折是指因骨折線不明顯、骨折類型不明確、骨折位置復(fù)雜或危險(xiǎn)等因素，導(dǎo)致診斷過程存在一定困難的骨折。深度學(xué)習(xí)可以幫助醫(yī)生在影像不清晰的情況下發(fā)現(xiàn)骨折線，檢測到細(xì)微骨折或復(fù)雜骨折，解決因醫(yī)生經(jīng)驗(yàn)不足造成的漏診誤診問題，降低醫(yī)療事故發(fā)生的風(fēng)險(xiǎn)。

在細(xì)微骨折檢出中，模型輔助閱片的骨折檢出率優(yōu)于醫(yī)生獨(dú)立閱片[84]。撕脫性骨折通常發(fā)生在關(guān)節(jié)附近，由于肌肉或韌帶牽拉導(dǎo)致，不易被察覺。對于三角骨和脛骨撕脫性骨折，Ren 等[85]訓(xùn)練兩階段DCNN 進(jìn)行骨折檢測，模型首先在影像中定位出ROⅠ，之后利用分類網(wǎng)絡(luò)對ROⅠ進(jìn)行分類，在ROⅠ中進(jìn)行操作可以改善細(xì)微骨折的檢測性能。下頜骨處解剖結(jié)構(gòu)復(fù)雜，骨折線較小，Wang等[86]訓(xùn)練U-Net模型進(jìn)行下頜骨亞區(qū)的分割，在覆蓋范圍較大的面部CT 提取9 個(gè)解剖區(qū)域的圖像塊，之后在各個(gè)圖像塊上應(yīng)用ResNet 模型進(jìn)行骨折線檢測，9 個(gè)子區(qū)域中下頜骨骨折檢測的準(zhǔn)確率為93.87%～98.28%。鼻部骨折是另一種常見的面部骨折，鼻部體積較小，解剖結(jié)構(gòu)細(xì)微，Nam 等[87]訓(xùn)練深度學(xué)習(xí)模型檢測鼻部骨折，采用EfficientNet-B7 模型在每個(gè)視圖中進(jìn)行特征提取，將特征送入多層感知機(jī)進(jìn)行分類，模型表現(xiàn)與臨床放射科醫(yī)生相當(dāng)，此外模型使用Grad-CAM進(jìn)行可視化，增加了可解釋性。陶建華等[88]基于2.5D特征金字塔網(wǎng)絡(luò)[89]進(jìn)行鼻部骨折定位，建立人工智能輔助檢測模型，模型輔助下低年資醫(yī)生的鼻部骨折檢出率得到提升。

由于受傷位置的特殊性和治療過程的復(fù)雜性，遠(yuǎn)端骨折、關(guān)節(jié)周圍骨折、骨盆骨折、脊柱骨折等本質(zhì)也是一類疑難骨折。Duron 等[90]采用排除明顯骨折的數(shù)據(jù)集，基于Detectron2平臺(tái)訓(xùn)練模型，檢測和定位不易被觀察的附肢骨折，模型輔助下臨床醫(yī)生的診斷靈敏度提高了8.7%。Raisuddin等[91]設(shè)計(jì)腕部骨折診斷模型DeepWrist，在一般案例腕部X射線中進(jìn)行訓(xùn)練后，模型在一般案例測試集中性能優(yōu)異，在需CT 進(jìn)一步確認(rèn)的疑難骨折數(shù)據(jù)集中進(jìn)行測試時(shí)，模型表現(xiàn)不佳。對于需使用CT 進(jìn)一步確認(rèn)的疑難骨折，其延長了確診時(shí)間，加重了患者的痛苦。

對骨折進(jìn)行手術(shù)治療時(shí)，醫(yī)生通常會(huì)采用切開復(fù)位和固定的方式，因此，在術(shù)后病人拍攝的醫(yī)學(xué)影像中通常會(huì)涉及到金屬、石膏等硬件的識(shí)別，影響醫(yī)生閱片。Kitamura等[92]訓(xùn)練基于DenseNet121的模型自動(dòng)識(shí)別骨盆X 射線中的骨折位置和硬件，并檢測骨盆和髖臼骨折。此外，文獻(xiàn)[35]和文獻(xiàn)[55]均涉及植入物檢測。Ren等[93]對11篇包含骨科植入物分類的文獻(xiàn)進(jìn)行分析，文獻(xiàn)中模型的總體精度在0.804～1.000 之間，與外科醫(yī)生的表現(xiàn)相類似。深度學(xué)習(xí)在植入物識(shí)別方面能夠?yàn)獒t(yī)生提供極大幫助。

如表8，對深度學(xué)習(xí)在疑難骨折診斷中應(yīng)用的文獻(xiàn)進(jìn)行了梳理。

表8 深度學(xué)習(xí)在疑難骨折診斷中的應(yīng)用Table 8 Application of deep learning in difficult fracture diagnosis

4.6 小結(jié)

深度學(xué)習(xí)在各類骨折診斷中已取得諸多先進(jìn)成果，表4到表8中對不同骨折診斷中應(yīng)用各類深度學(xué)習(xí)方法的文獻(xiàn)進(jìn)行了總結(jié)。結(jié)合表4 到表8，本節(jié)對深度學(xué)習(xí)方法在各類骨折診斷中的具體應(yīng)用進(jìn)行了介紹。其中，圖像分類模型關(guān)注整幅影像，通過影像分類實(shí)現(xiàn)各類骨折的自動(dòng)識(shí)別，具有較高的準(zhǔn)確率和穩(wěn)定性，可以加快醫(yī)生的診斷速度，但圖像分類模型無法提供骨折位置和骨折線形狀等詳細(xì)信息。通過圖像分類模型輔助骨折診斷思路簡單，在各表中占比最大，應(yīng)用最廣泛。目標(biāo)檢測模型可以同時(shí)獲得骨折的位置和類別信息，更便于臨床醫(yī)生進(jìn)行骨折診斷。但目標(biāo)檢測模型在處理大規(guī)模數(shù)據(jù)時(shí)需要更多的計(jì)算時(shí)間和資源，對不常見骨折類型或細(xì)微骨折辨識(shí)能力較弱。結(jié)合各表格可知，骨折診斷研究中應(yīng)用的目標(biāo)檢測模型較為固定。對于同一目標(biāo)檢測模型，研究者多通過使用不同的圖像分類模型作為主干網(wǎng)絡(luò)或分類器，以不斷提升模型性能。圖像分割模型可以提供更詳細(xì)的骨折輪廓和解剖結(jié)構(gòu)信息，幫助醫(yī)生了解骨折的范圍和嚴(yán)重程度。圖像分割模型在骨折診斷中更多作為輔助模型與圖像分類模型共同使用，在分割圖中繼續(xù)應(yīng)用圖像分類模型可以實(shí)現(xiàn)更好的檢測效果。但圖像分割模型在處理復(fù)雜場景時(shí)存在挑戰(zhàn)，如多個(gè)骨折間重疊或遮擋。觀察表格可以發(fā)現(xiàn)，骨折診斷研究中圖像分割模型的應(yīng)用較少，有待研究者深入探討。

5 骨折輔助診斷系統(tǒng)

骨折輔助診斷系統(tǒng)主要由深度學(xué)習(xí)模型、用戶界面、影像處理模塊和可視化模塊組成。為確保輔助診斷模型的準(zhǔn)確性和魯棒性，訓(xùn)練完成的深度學(xué)習(xí)模型需要進(jìn)行充分的驗(yàn)證和測試，根據(jù)測試結(jié)果優(yōu)化模型參數(shù)或更改模型架構(gòu)以提升其性能。模型性能達(dá)到預(yù)定標(biāo)準(zhǔn)后，可以將其部署到用戶友好的系統(tǒng)中，并根據(jù)醫(yī)生和臨床需求進(jìn)一步完善系統(tǒng)功能。在骨折輔助診斷系統(tǒng)中，輸入系統(tǒng)的患者影像經(jīng)影像處理模塊進(jìn)行預(yù)處理后送入深度學(xué)習(xí)模型中。系統(tǒng)根據(jù)模型的預(yù)測結(jié)果提供相關(guān)的診斷信息，并對模型預(yù)測結(jié)果進(jìn)行可視化呈現(xiàn)給臨床醫(yī)生。

骨折輔助診斷系統(tǒng)的應(yīng)用需在真實(shí)臨床環(huán)境中進(jìn)行嚴(yán)格的驗(yàn)證，并根據(jù)用戶反饋不斷優(yōu)化和改進(jìn)，以滿足醫(yī)生和患者的需求，確保其在真實(shí)的醫(yī)療環(huán)境中具備足夠的安全性和有效性。目前，基于深度學(xué)習(xí)的骨折輔助診斷系統(tǒng)開發(fā)已取得一定的成果，如Tomita等[94]設(shè)計(jì)自動(dòng)骨折評估系統(tǒng)，在胸部、腹部和盆腔CT影像中附帶檢查患者是否存在骨質(zhì)疏松性椎體骨折。Arpitha 等[95]提出計(jì)算機(jī)輔助診斷系統(tǒng)，在影像中對腰椎區(qū)域進(jìn)行檢測、標(biāo)記和分割，并進(jìn)一步地判斷該患者是否患有良、惡性脊柱壓縮性骨折等。近年來骨折輔助診斷產(chǎn)品也逐漸獲批上市，部分研究者對不同產(chǎn)品的性能進(jìn)行評估，如劉想等[96]采用上海聯(lián)影智能的uAⅠ-BoneCare 骨折輔助檢測系統(tǒng)在CT 影像中檢測肋骨骨折，對肋骨骨折的不同分型進(jìn)行分類[97]；吳育鑫等[98]和張倩等[99]采用推想醫(yī)療科技的ⅠnferRead DR Chest在DR胸片中檢測肋骨骨折；譚輝等[100]采用推想醫(yī)療科技的Ⅰnfer Read CT Bone Research 診斷急性肋骨骨折；朱雅茹等[101]采用依圖醫(yī)療開發(fā)的輔助診斷系統(tǒng)對肋骨骨折病灶處進(jìn)行分割、識(shí)別和標(biāo)注，輔助醫(yī)生進(jìn)行診斷。此外，在X射線中檢測骨折的OsteoDetect、FractureDetect 和BoneView 軟件[102]也受到廣泛關(guān)注。

在骨折輔助診斷系統(tǒng)的幫助下，具有不同經(jīng)驗(yàn)的臨床醫(yī)生之間閱片一致性得到提升，彌補(bǔ)了臨床醫(yī)生經(jīng)驗(yàn)不足的缺點(diǎn)，縮短了診斷時(shí)間，提高了診斷效率和質(zhì)量。ⅠDC統(tǒng)計(jì)數(shù)據(jù)顯示，到2025年醫(yī)療行業(yè)將占人工智能應(yīng)用市場的五分之一[103]，深度學(xué)習(xí)應(yīng)用于骨折診斷具有巨大發(fā)展?jié)摿?，有望在未來成為醫(yī)療健康領(lǐng)域的重要支撐技術(shù)。但骨折輔助診斷系統(tǒng)仍然不能完全替代醫(yī)生診斷，僅可用于提供輔助診斷意見。

6 挑戰(zhàn)與展望

深度學(xué)習(xí)輔助骨折診斷的研究已經(jīng)取得了令人滿意的進(jìn)展，可以彌補(bǔ)各級骨科醫(yī)生臨床經(jīng)驗(yàn)的不足。盡管如此，其訓(xùn)練和應(yīng)用仍存在諸多挑戰(zhàn)。

（1）數(shù)據(jù)集不足。由于骨折影像數(shù)據(jù)集規(guī)模相對較小，類別不平衡，諸多先進(jìn)的監(jiān)督模型無法在骨折診斷中應(yīng)用。雖然各類數(shù)據(jù)增強(qiáng)或微調(diào)手段對模型的性能有一定改善，但如何緩解數(shù)據(jù)集不足問題對模型性能帶來的影響仍值得深入研究。

（2）可遷移性不強(qiáng)。在與訓(xùn)練環(huán)境不同的臨床環(huán)境中進(jìn)行性能測試時(shí)，模型性能往往會(huì)下降。目前大多研究使用特定數(shù)據(jù)集提高模型可遷移性，然而收集不同臨床環(huán)境中的特定數(shù)據(jù)集進(jìn)行模型訓(xùn)練成本高昂，不切實(shí)際。因此，需要從數(shù)據(jù)、模型結(jié)構(gòu)、訓(xùn)練方法等方面，深入研究如何優(yōu)化特定環(huán)境下的模型性能，進(jìn)而提高模型的可遷移性。

（3）可解釋性不足。目前對于模型可解釋性的研究較少，研究多通過熱力圖、類激活圖等可視化方法增強(qiáng)模型的可解釋性，幫助醫(yī)生快速了解病灶，定位骨折位置，但是這些方法僅僅是對模型預(yù)測結(jié)果的表面解釋，無法完全揭示模型的決策過程和內(nèi)部機(jī)制。因此，深度學(xué)習(xí)輔助骨折診斷模型的可解釋性是該領(lǐng)域的一大挑戰(zhàn)，仍需深入研究。

（4）應(yīng)用范圍有限。醫(yī)療機(jī)構(gòu)通常不會(huì)根據(jù)骨骼部位和影像類型對骨科醫(yī)生進(jìn)行職責(zé)細(xì)分，但骨科醫(yī)生需要對任意部位的影像做出迅速判斷?，F(xiàn)有的研究大多針對特定類型的骨折和影像，未涉及到所有骨折部位。此外，骨科醫(yī)生進(jìn)行骨折診斷時(shí)往往需要結(jié)合患者病史、臨床檢查等信息，目前開發(fā)的模型主要針對單一影像類型。因此需要設(shè)計(jì)和開發(fā)多模態(tài)骨折診斷模型，覆蓋更多類型的骨折，提高診斷精度。

針對上述討論，在深度學(xué)習(xí)輔助骨折診斷的未來研究中提出以下幾點(diǎn)展望。

（1）建立高質(zhì)量的多源骨折影像數(shù)據(jù)集。當(dāng)下骨折影像數(shù)據(jù)的存儲(chǔ)越來越系統(tǒng)和完備，為收集來自不同機(jī)構(gòu)或不同臨床環(huán)境的多源影像數(shù)據(jù)建立了基礎(chǔ)。建立高質(zhì)量多源骨折影像數(shù)據(jù)集有利于提高深度學(xué)習(xí)模型的性能，促進(jìn)更多先進(jìn)模型應(yīng)用于骨折診斷研究。

（2）利用生成式模型進(jìn)行數(shù)據(jù)增強(qiáng)。采用先進(jìn)的圖像生成技術(shù)進(jìn)行數(shù)據(jù)增強(qiáng)可以有效擴(kuò)充骨折影像數(shù)據(jù)集規(guī)模，提高模型的泛化性。近期，Diffusion 模型在圖像生成任務(wù)中展示出強(qiáng)大的性能。利用Diffusion 模型進(jìn)行醫(yī)學(xué)影像生成可以緩解數(shù)據(jù)集的匱乏，進(jìn)而與影像檢測、分類、分割等各任務(wù)相結(jié)合。

（3）研究基于Transformer 的模型在骨折輔助診斷中的應(yīng)用。與CNN 模型相比，Vision Transformer 等基于Transformer的模型在訓(xùn)練時(shí)往往需要更大的數(shù)據(jù)集和更長的預(yù)訓(xùn)練時(shí)間，但此類模型已在圖像檢測和分類任務(wù)中展現(xiàn)出優(yōu)于CNN 的性能，使用基于Transformer的模型輔助骨折診斷有待深入研究。

（4）應(yīng)用自監(jiān)督和無監(jiān)督方法。自監(jiān)督和無監(jiān)督方法是深度學(xué)習(xí)中重要的范式，能夠有效降低深度學(xué)習(xí)模型對標(biāo)注數(shù)據(jù)集的依賴，提升模型的可遷移性。探討其作為新架構(gòu)在骨折輔助診斷中應(yīng)用的研究有待進(jìn)行。

（5）研究深度學(xué)習(xí)輔助骨折診斷模型的可解釋性。深度學(xué)習(xí)模型的可解釋性有助于醫(yī)生更好地理解模型診斷結(jié)果，做出更合理的判斷。同時(shí)可以提高公眾對于輔助診斷模型的信任度和接受度，促進(jìn)深度學(xué)習(xí)輔助診斷系統(tǒng)的開發(fā)和應(yīng)用。

（6）開發(fā)多模態(tài)輔助診斷模型。進(jìn)一步研究適合不同身體部位、接收不同類型影像、病例、臨床信息等多模態(tài)數(shù)據(jù)作為輸入的骨折輔助診斷方法，為醫(yī)生提供更好的輔助診斷工具，幫助醫(yī)生進(jìn)行更精準(zhǔn)化的診斷，進(jìn)一步提高醫(yī)療服務(wù)質(zhì)量。

7 結(jié)語

為減少骨折診斷中漏診誤診的發(fā)生，最大限度保障患者的生命健康安全，近年來，深度學(xué)習(xí)在骨折診斷領(lǐng)域得到了快速發(fā)展。本文首先介紹骨折影像及相關(guān)數(shù)據(jù)集，對國內(nèi)外有關(guān)深度學(xué)習(xí)在骨折診斷領(lǐng)域應(yīng)用的文獻(xiàn)進(jìn)行歸納，將基于深度學(xué)習(xí)的骨折診斷方法分為圖像分類模型、目標(biāo)檢測模型和圖像分割模型三類。訓(xùn)練圖像分類模型和目標(biāo)檢測模型在影像中進(jìn)行骨折的檢測和分類，是近年來關(guān)注最多的研究方法。圖像分類模型將影像結(jié)構(gòu)化為某一特定類別，思路相對簡單，直接給出該影像是否存在骨折或存在何種骨折，缺點(diǎn)是無法提供骨折線位置和形態(tài)等具體信息。目標(biāo)檢測模型可以同時(shí)獲取影像中骨折的位置和類別，通過替換主干網(wǎng)絡(luò)和分類網(wǎng)絡(luò)可對模型進(jìn)行不同程度的改進(jìn)，輸出的檢測結(jié)果更加直觀，便于臨床醫(yī)生直接使用。圖像分割模型首先生成影像的分割圖，在分割圖中進(jìn)一步進(jìn)行骨折的檢測和定位，輸出結(jié)果更準(zhǔn)確，包含更豐富的解剖和輪廓結(jié)構(gòu)信息，近年來逐漸受到關(guān)注。然后，基于三類不同的深度學(xué)習(xí)方法對其在骨折診斷領(lǐng)域的具體應(yīng)用進(jìn)行了詳細(xì)介紹，并概述了骨折輔助診斷系統(tǒng)的構(gòu)成和開發(fā)。通過對已有方法和文獻(xiàn)的分析，對深度學(xué)習(xí)在骨折診斷領(lǐng)域存在的挑戰(zhàn)進(jìn)行討論，并指出未來的發(fā)展展望。

深度學(xué)習(xí)在骨折診斷領(lǐng)域已取得豐富的研究成果，模型性能可與經(jīng)驗(yàn)豐富的臨床醫(yī)生相當(dāng)，并實(shí)現(xiàn)了輔助診斷系統(tǒng)的開發(fā)。然而深度學(xué)習(xí)方法在骨折診斷中的應(yīng)用仍面臨數(shù)據(jù)集不足、可遷移性不強(qiáng)等諸多挑戰(zhàn)，有較大的提升空間，需要學(xué)者們進(jìn)一步研究和創(chuàng)新。