基于足底壓力和卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的前交叉韌帶斷裂智能輔助診斷

李玳 王天牧 張思 秦躍 謝福貴 劉辛軍 聶振國(guó),? 黃紅拾,?

北京大學(xué)學(xué)報(bào)(自然科學(xué)版) 第60卷 第1期 2024年1月

Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 60, No. 1 (Jan. 2024)

10.13209/j.0479-8023.2023.089

國(guó)家自然科學(xué)基金–區(qū)域創(chuàng)新發(fā)展聯(lián)合基金(U23A20471)、北京市科技新星計(jì)劃交叉合作課題(20230484412)、北京市自然科學(xué)基金–海淀原始創(chuàng)新聯(lián)合基金(L222138)、北京大學(xué)第三醫(yī)院創(chuàng)新轉(zhuǎn)化基金(BYSYZHKC2022119)和北京大學(xué)第三醫(yī)院臨床重點(diǎn)項(xiàng)目(BYSYZD2021012)資助

2022–12–26;

2023–05–20

基于足底壓力和卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的前交叉韌帶斷裂智能輔助診斷

李玳1王天牧2,3張思1秦躍2,3謝福貴2,3劉辛軍2,3聶振國(guó)2,3,?黃紅拾1,?

1.北京大學(xué)第三醫(yī)院運(yùn)動(dòng)醫(yī)學(xué)科, 北京大學(xué)運(yùn)動(dòng)醫(yī)學(xué)研究所, 運(yùn)動(dòng)醫(yī)學(xué)關(guān)節(jié)傷病北京市重點(diǎn)實(shí)驗(yàn)室, 運(yùn)動(dòng)創(chuàng)傷治療技術(shù)與器械教育部工程研究中心,北京 100191; 2.摩擦學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室, 清華大學(xué)機(jī)械工程系, 北京 100084; 3.精密/超精密制造設(shè)備與控制北京市重點(diǎn)實(shí)驗(yàn)室, 清華大學(xué)機(jī)械工程系, 北京 100084; ?通信作者, E-mail: zhenguonie@tsinghua.edu.cn(聶振國(guó)), huanghs@bjmu.edu.cn (黃紅拾)

提出一種基于卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型 PressureConvLSTM, 用來(lái)提取行走過(guò)程中足底壓力的空間特征和時(shí)序特征, 并進(jìn)行步態(tài)分類。通過(guò)對(duì)前交叉韌帶斷裂患者的足底壓力數(shù)據(jù)分析, 實(shí)現(xiàn)智能輔助診斷。結(jié)合臨床數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明, PressureConvLSTM模型對(duì)前交叉韌帶斷裂的輔助診斷, 能夠達(dá)到 95%的預(yù)測(cè)準(zhǔn)確度; 與卷積神經(jīng)網(wǎng)絡(luò)等其他模型相比, 準(zhǔn)確度得到大幅度提升。

智能診斷; 前交叉韌帶斷裂; 足底壓力; 深度學(xué)習(xí); 卷積長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)

人的雙足在行走過(guò)程與地面存在直接的交互作用, 這種接觸力稱為足底壓力。足底壓力是研究行走步態(tài)的重要信息載體[1–3]。借助對(duì)行走過(guò)程中足底壓力進(jìn)行特征提取, 并實(shí)現(xiàn)步態(tài)姿勢(shì)的分類與識(shí)別[4], 能夠?qū)η敖徊骓g帶斷裂(ACLD)進(jìn)行智能的快速且精確的輔助診斷[5]。

目前對(duì)足底壓力的數(shù)據(jù)分析和分類研究尚不成熟。Bennetts 等[6]從靜態(tài)角度出發(fā), 僅分析了一個(gè)步態(tài)周期內(nèi)足底壓力的平均值或最大值[6]。然而, 測(cè)試者行走過(guò)程中的足底壓力與行走姿勢(shì)在時(shí)間維度上有極強(qiáng)的相關(guān)性[7]。因此, 基于靜態(tài)足底壓力的研究方式雖然能夠分析足底壓力的空間分布規(guī)律, 但忽略了時(shí)間維度上的特征變化, 難以得到很好的分類結(jié)果。

由于足膝之間的耦合關(guān)系, 膝關(guān)節(jié)交叉韌帶的斷裂會(huì)引起步態(tài)的改變, 并直接反應(yīng)在足底壓力的變化上。足底壓力的改變不僅僅體現(xiàn)在每一固定時(shí)刻不同壓力區(qū)域的數(shù)值變化, 更體現(xiàn)在時(shí)間維度上。前交叉韌帶斷裂會(huì)導(dǎo)致行走過(guò)程中, 步態(tài)轉(zhuǎn)變的過(guò)程發(fā)生調(diào)整, 即在特定區(qū)域中, 足底壓力按步態(tài)周期變化的規(guī)律會(huì)發(fā)生顯著的改變。通過(guò)分析并提取足底壓力的時(shí)空特征, 能夠?qū)Σ綉B(tài)進(jìn)行分析, 從而實(shí)現(xiàn)對(duì)前交叉韌帶斷裂的輔助診斷。

為了分析步態(tài)周期內(nèi)足底壓力的時(shí)空特征, 并基于這些特征進(jìn)行前交叉韌帶斷裂的輔助診斷, 本文提出一種基于卷積長(zhǎng)短期記憶(Conv-LSTM)[8]結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型。該模型首先使用兩層的三維卷積層[9]作為編碼器, 對(duì)空間特征進(jìn)行提取和預(yù)編碼; 隨后基于 ConvLSTM 層, 對(duì)一個(gè)步態(tài)周期內(nèi)的足底壓力數(shù)據(jù)進(jìn)行時(shí)間和空間維度上的特征提取; 最后根據(jù)提取的時(shí)空特征, 通過(guò)多層感知機(jī)實(shí)現(xiàn)對(duì)足底壓力的分類, 從而對(duì)前交叉韌帶是否斷裂做出 診斷。

1 相關(guān)工作

傳統(tǒng)的前交叉韌帶斷裂診斷往往依賴于核磁共振影像(MRI)技術(shù)。許英琴等[10]通過(guò) MRI 檢測(cè), 預(yù)診斷前交叉韌帶部分?jǐn)嗔?24 例(占60%), 其中 19 例與關(guān)節(jié)鏡診斷結(jié)果一致, 準(zhǔn)確率為 79.2%; 完全斷裂 16 例(占 40%), 其中 15 例與關(guān)節(jié)鏡診斷結(jié)果一致, 準(zhǔn)確率為 93.8%。崔瑩[11]通過(guò) MRI 研究 100 例患者的核磁影像, 并分析診斷準(zhǔn)確率, 發(fā)現(xiàn)對(duì) 100例 ACL 損傷患者的診斷準(zhǔn)確率為 92.4%。侯小英等[12]的研究表明, MRI 檢查對(duì)膝關(guān)節(jié) ACL 損傷的敏感度為 94.74%, 特異度為 81.82%, 準(zhǔn)確率為90.00%, 誤診率為 18.18%, 漏診率為 5.26%。王守紅等[13]研究 MRI 的前交叉韌帶診斷準(zhǔn)確率, 發(fā)現(xiàn)急性 ACL近端斷裂容易漏診, 假陰性率高達(dá) 41%。傳統(tǒng)診斷方法中應(yīng)用 MRI 的準(zhǔn)確率比較高, 但存在假陽(yáng)性和假陰性問(wèn)題, 因此需要與其他方法相結(jié)合。關(guān)節(jié)鏡檢測(cè)方法雖然能夠?qū)η敖徊骓g帶受損部位組織進(jìn)行準(zhǔn)確觀測(cè), 從而直觀地判斷損傷情況。但是, 該方法為有創(chuàng)操作, 不宜用于前交叉韌帶斷裂的臨床初步診斷。

近年來(lái), 隨著深度學(xué)習(xí)[14]在力學(xué)、生物學(xué)和醫(yī)學(xué)領(lǐng)域的不斷發(fā)展與應(yīng)用[15–16], 研究者開始使用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方式, 對(duì)足底壓力進(jìn)行特征提取和分類, 從而實(shí)現(xiàn)對(duì)疾病的智能輔助診斷[17]。借助人工智能進(jìn)行前交叉韌帶診斷, 對(duì)治療方案和術(shù)后功能復(fù)查都具有指導(dǎo)意義。Li 等[18]從統(tǒng)計(jì)學(xué)角度研究 ACLD 患者與健康人的足底壓力分布的差異性。Wang 等[19]從統(tǒng)計(jì)學(xué)角度出發(fā), 建立基于模糊C 聚類模型的診斷模型。

多層感知機(jī)[20]是一種經(jīng)典的深度學(xué)習(xí)模型, 廣泛應(yīng)用于基于數(shù)據(jù)驅(qū)動(dòng)的分類和回歸問(wèn)題。多層感知機(jī)通過(guò)非線性激活函數(shù)連接, 能夠?qū)Υ蠓秶臄?shù)據(jù)進(jìn)行非線性擬合, 從而實(shí)現(xiàn)對(duì)初始數(shù)據(jù)的分類。由于足底壓力在數(shù)值上具有明顯的空間分布特點(diǎn), 在某一時(shí)刻的數(shù)值信息類似一張二維圖像。因此, 具有較好圖形分類能力的卷積神經(jīng)網(wǎng)絡(luò)(convolu-tional neural network, CNN)[21]廣泛應(yīng)用于提取足底壓力空間特征以及足底壓力的分類問(wèn)題。Wang 等[22]使用一個(gè)步態(tài)過(guò)程中足底壓力的最大值信息, 采用雙層 CNN 卷積結(jié)構(gòu), 實(shí)現(xiàn)糖尿病足的分類預(yù)測(cè)。黃紅拾等[23]基于 CNN 模型, 使用投票法對(duì)二維足底壓力信息進(jìn)行分類, 在 ACLD 分析診斷中得到較高的分類精度。

上述將足底壓力信息轉(zhuǎn)換成二維圖像, 從而進(jìn)行分類的方式具有較大的局限性。考慮到行走步態(tài)具有較強(qiáng)的周期性, 足底壓力在周期過(guò)程中也體現(xiàn)出極強(qiáng)的時(shí)序特征。針對(duì)時(shí)序輸入的預(yù)測(cè)與分類問(wèn)題, 循環(huán)神經(jīng)網(wǎng)絡(luò)[24]可以有效地提取時(shí)序特征, 并實(shí)現(xiàn)對(duì)時(shí)序信息進(jìn)行預(yù)測(cè)與分類。為了解決長(zhǎng)時(shí)序模型的梯度爆炸與梯度消失問(wèn)題, Hochreiter 等[25]提出長(zhǎng)短期記憶(long-short term memory, LSTM)神經(jīng)網(wǎng)絡(luò)。LSTM 通過(guò)引入門控神經(jīng)元, 并在單元內(nèi)部引入累加器機(jī)制, 緩解訓(xùn)練過(guò)程中的梯度爆炸與梯度消失問(wèn)題。Li 等[26]借助 LSTM 網(wǎng)絡(luò), 實(shí)現(xiàn)了基于足底壓力時(shí)序信息的步態(tài)識(shí)別。Okuno 等[27]使用LSTM 模型, 借助足底壓力數(shù)據(jù)實(shí)現(xiàn)對(duì)帕金森病導(dǎo)致的凍結(jié)步態(tài)癥狀的分類與診斷。此外, 足底壓力中心(centre of pressure, COP)曲線法和三維卷積也能從時(shí)間維度上提取特征。COP 法通過(guò)計(jì)算不同時(shí)序中 COP 在足底的相對(duì)位置, 得到一個(gè)步態(tài)周期中COP 在足底范圍內(nèi)的運(yùn)動(dòng)軌跡, 然后用得到的二維軌跡進(jìn)行足底壓力分類, 并進(jìn)行步態(tài)姿勢(shì)的預(yù)測(cè)。李曉理等[5]借助 COP 方法和 ELM 神經(jīng)網(wǎng)絡(luò), 實(shí)現(xiàn)步態(tài)的分類和智能診斷。使用三維卷積, 通過(guò)引入三維的卷積核, 能夠同時(shí)提取出時(shí)間特征和空間特征。Xie 等[28]通過(guò)三維卷積神經(jīng)網(wǎng)絡(luò), 實(shí)現(xiàn)基于足底壓力的分類與步態(tài)識(shí)別。

2 足底壓力特征提取與分類診斷

本文建立的智能分類模型 PressureConvLSTM是一種典型的監(jiān)督學(xué)習(xí)模型, 需要結(jié)合標(biāo)簽, 針對(duì)特定的輸入數(shù)據(jù)進(jìn)行訓(xùn)練與預(yù)測(cè)。根據(jù)需要解決的膝關(guān)節(jié)前交叉韌帶斷裂的輔助診斷問(wèn)題, 將標(biāo)簽定義為 3 種: 健康人、單純左側(cè)前交叉韌帶斷裂患者和單純右側(cè)前交叉韌帶斷裂患者?；颊呔?jīng)過(guò)MRI檢查, 并結(jié)合包含關(guān)節(jié)鏡檢查的臨床表現(xiàn), 確診為單側(cè)交叉韌帶斷裂, 不存在多發(fā)韌帶斷裂情況。

PressureConvLSTM 模型結(jié)構(gòu)如圖 1 所示。該模型首先將雙層三維卷積(Conv3D)結(jié)構(gòu)作為編碼器, 對(duì)空間特征進(jìn)行提取和預(yù)編碼, 然后疊加采用雙層 ConvLSTM 結(jié)構(gòu), 并逐層增加隱藏層中卷積核的數(shù)量。這樣能夠得到更高維度的時(shí)空特征向量, 從而實(shí)現(xiàn)更好的分類效果。使用 ConvLSTM層提取時(shí)空特征后, 采用全局池化代替?zhèn)鹘y(tǒng)的展平層, 然后使用包含 3 層全連接層的多層感知機(jī), 利用 Soft-max 激活函數(shù)實(shí)現(xiàn)足底壓力時(shí)序信息的三分類。卷積操作后, 采用最大值池化的方式, 對(duì)圖片進(jìn)行進(jìn)一步降維操作, 在進(jìn)行非線性變換前, 采用批標(biāo)準(zhǔn)化的操作。

在循環(huán)神經(jīng)網(wǎng)絡(luò)中, 單層網(wǎng)絡(luò)由個(gè)重復(fù)的時(shí)序單元構(gòu)成(代表時(shí)間維度)。在 ConvLSTM 神經(jīng)網(wǎng)絡(luò)中, 這種重復(fù)單元又稱為卷積長(zhǎng)短期記憶細(xì)胞(ConvLSTM cell)。如圖 2 所示, 針對(duì)特定的時(shí)刻, 細(xì)胞的輸入分別是前一時(shí)刻–1 的細(xì)胞狀態(tài)C–1、上一時(shí)刻的隱藏層輸出h–1以及時(shí)序信息在此時(shí)刻的輸入X。細(xì)胞的輸出為此時(shí)刻的隱藏層輸出h以及此時(shí)刻的細(xì)胞狀態(tài)輸出C。

ConvLSTM 內(nèi)部引入遺忘門、輸入門以及輸出門的概念。時(shí)刻對(duì)應(yīng)的中間結(jié)果分別記為f,i以及o。不同于 LSTM 使用全連接層作為隱藏層, ConvLSTM 使用二維卷積, 用于提取空間特征。

2表示第二層 ConvLSTM 層的隱藏層卷積核數(shù)。經(jīng)過(guò)全局平均池化層計(jì)算之后, 得到輸出Avg:

經(jīng)過(guò)全局池化操作后, 數(shù)據(jù)被轉(zhuǎn)換成一維向量, 從而能夠通過(guò)多層感知機(jī)進(jìn)行三分類操作。

實(shí)驗(yàn)過(guò)程中, 為了緩解因?yàn)榫矸e操作以及激活函數(shù)導(dǎo)致的梯度消失和梯度爆炸, 在每一層 Conv-LSTM 層之間, 加入批量標(biāo)準(zhǔn)化層(batch normali-zation layer, BN layer)。同時(shí), 對(duì)每一層設(shè)定 10%的drop out 概率, 用于緩解訓(xùn)練過(guò)程中產(chǎn)生的過(guò)擬合現(xiàn)象。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本文提出的 PressureConvLSTM 模型使用 Ten-sorflow 在 python3 環(huán)境下編譯并運(yùn)行, 使用一塊NVIDIA GeForce RTX3090 進(jìn)行訓(xùn)練。

3.2 數(shù)據(jù)集

本文使用的數(shù)據(jù)集包括健康人、左側(cè)單純前交叉韌帶患者以及右側(cè)單純前交叉韌帶斷裂患者的足底壓力信息。將單足從足跟接觸壓力測(cè)試板, 到足尖離開測(cè)試板的整個(gè)過(guò)程的足底壓力信息作為動(dòng)態(tài)輸入。通過(guò)醫(yī)師綜合使用 MRI 和關(guān)節(jié)鏡等方法, 對(duì)數(shù)據(jù)集進(jìn)行診斷與標(biāo)定。其中, 健康人總數(shù)為 63人, 單純左側(cè) ACLD 患者 69 人, 單純右側(cè) ACLD 患者 69 人。采用 FootScan 公司的足底壓力板采集足底壓力數(shù)據(jù), 并且人工標(biāo)定類別。數(shù)據(jù)集的樣本信息如表 1 所示。本研究得到北京大學(xué)第三醫(yī)院醫(yī)學(xué)科學(xué)研究倫理委員會(huì)批準(zhǔn)[(2017)醫(yī)倫審第(130-02)號(hào)]。

圖1 PressureConvLSTM網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖2 ConvLSTM cell示意圖

表1 訓(xùn)練數(shù)據(jù)集分布

采用 FootScan 公司的足底壓力測(cè)試系統(tǒng)進(jìn)行實(shí)驗(yàn), 如圖 3 所示。在足底壓力采集過(guò)程中, 要求志愿者在足底壓力測(cè)試板上, 依足跟–中足–足尖順序接觸地面, 赤足前行。壓力板以 126Hz 的采樣頻率完成采樣。支撐期定義為單側(cè)足從足跟接觸壓力測(cè)試板到足尖離開測(cè)試板的整個(gè)過(guò)程。將左足和右足的足底壓力分別作為獨(dú)立的輸入。采樣時(shí)需要采集3 個(gè)以上連續(xù)完整的單足支撐期。圖 4 展示足底壓力在支撐期的 3 個(gè)典型壓力圖像。

圖3 志愿者在足底壓力平板上行走

圖4 一個(gè)步態(tài)周期內(nèi)3種典型時(shí)刻的足底壓力圖

由于不同人的足底大小不一致, 為了滿足深度神經(jīng)網(wǎng)絡(luò)輸入維數(shù)的一致性, 采用 Zero Padding 的方式[29], 將每一幀足底壓力統(tǒng)一拓展至寬 34 像素、高 48 像素的足底壓力圖像, 并截取每一個(gè)步態(tài)周期內(nèi)最清晰的 60 幀足底壓力信息進(jìn)行訓(xùn)練。經(jīng)過(guò)預(yù)處理后, 共得到 3268 段完整足底壓力周期的視頻信息。隨機(jī)選擇其中的 90%作為參與訓(xùn)練的數(shù)據(jù)集, 剩余 10%作為測(cè)試集。在用于訓(xùn)練的數(shù)據(jù)集中, 將 70%作為訓(xùn)練集, 剩余 30%作為驗(yàn)證集。

3.3 實(shí)驗(yàn)參數(shù)

本文模型采用小批量訓(xùn)練[30]方法, 批量的大小為 32, 并選用 Adam 優(yōu)化器[31]進(jìn)行權(quán)重的優(yōu)化。經(jīng)過(guò)比例縮放、平移、隨機(jī)噪音等數(shù)據(jù)增強(qiáng)后, 訓(xùn)練集的數(shù)量為 3905。預(yù)設(shè)的訓(xùn)練迭代次數(shù)為 120。其余的網(wǎng)絡(luò)參數(shù)如表 2 所示。

3.4 基準(zhǔn)模型

實(shí)驗(yàn)中使用 3 層卷積神經(jīng)網(wǎng)絡(luò)作為基準(zhǔn)模型。在 CNN 網(wǎng)絡(luò)的基準(zhǔn)訓(xùn)練過(guò)程中, 分別采用一個(gè)步態(tài)周期中足底壓力的最大值、平均值以及一個(gè)步態(tài)周期內(nèi)特征過(guò)程的加權(quán)投票值, 分別作為模型的二維輸入來(lái)進(jìn)行多次實(shí)驗(yàn)。同時(shí), 還測(cè)試 LSTM 對(duì)足底壓力時(shí)序信息的分類預(yù)測(cè)效果。將數(shù)據(jù)集在空間維度進(jìn)行展平后, 使用雙層的 LSTM 網(wǎng)絡(luò)對(duì)時(shí)序信息進(jìn)行分類訓(xùn)練。

3.5 評(píng)價(jià)指標(biāo)

使用準(zhǔn)確率作為評(píng)價(jià)指標(biāo), 用來(lái)表征模型的預(yù)測(cè)準(zhǔn)確度以及泛化性能。使用交叉熵[32]作為損失函數(shù), 用來(lái)評(píng)價(jià)網(wǎng)絡(luò)的性能。使用接收者操作特征(receiver operating characteristic, ROC)曲線來(lái)衡量分類器的優(yōu)劣。ROC 曲線可以反映偽陽(yáng)性概率(false positive rate, FPR)與真陽(yáng)性概率(true positive rate, TPR)之間的關(guān)系。

表2 網(wǎng)絡(luò)參數(shù)設(shè)置

說(shuō)明: 形狀代表網(wǎng)絡(luò)模型中每一層輸入的張量維度。

3.6 評(píng)價(jià)結(jié)果

圖 5(a)展示訓(xùn)練過(guò)程中, 損失函數(shù)與訓(xùn)練迭代次數(shù)的關(guān)系折線。可以看到, 在約 45 代發(fā)生較明顯的過(guò)擬合, 因此實(shí)際訓(xùn)練過(guò)程中可以采用提前訓(xùn)練, 選擇 45 代作為迭代次數(shù), 從而更好地避免過(guò)擬合。圖 5(b)展示模型的訓(xùn)練準(zhǔn)確率與驗(yàn)證準(zhǔn)確率隨迭代次數(shù)的變化?？梢钥闯? 訓(xùn)練過(guò)程中, 在 40～50 代逐步過(guò)擬合, 符合損失函數(shù)隨訓(xùn)練迭代次數(shù)變化的規(guī)律。表 3 給出 PressureConvLSTM、LSTM 以及 3 種不同輸入的 CNN 網(wǎng)絡(luò)對(duì)測(cè)試集的預(yù)測(cè)準(zhǔn)確度, 同時(shí)比較多層感知機(jī)以及隨機(jī)梯度下降優(yōu)化模型的準(zhǔn)確率。由于 PressureConvLSTM 網(wǎng)絡(luò)綜合提取了足底壓力的時(shí)空特征, 所以在分類精度上比其他方法有明顯提升。PressureConvLSTM 網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率(95.29%)明顯高于 LSTM 網(wǎng)絡(luò)(92.02%)[26], CNN網(wǎng)絡(luò)(90.73%)[23]也優(yōu)于兩種單純使用多層感知機(jī)的神經(jīng)網(wǎng)絡(luò)(Adam: 64.24%[23], SGD: 66.67%[23])。

圖5 訓(xùn)練過(guò)程中損失函數(shù)和準(zhǔn)確率的變化

為了驗(yàn)證模型的預(yù)測(cè)及泛化性能, 選擇測(cè)試集中的 320 段足底壓力信息, 使用模型參數(shù)進(jìn)行預(yù)測(cè), 并使用混淆矩陣和 ROC 曲線進(jìn)行統(tǒng)計(jì)學(xué)分析?；煜仃嚹軌蛴行У卣f(shuō)明模型在預(yù)測(cè)過(guò)程中的真陽(yáng)率、假陽(yáng)率、真陰率以及假陰率。與單純的預(yù)測(cè)準(zhǔn)確率相比, 混淆矩陣能夠避免因?yàn)閿?shù)據(jù)集分布不均勻帶來(lái)的誤差。圖 6 展示 PressureConvLSTM 在驗(yàn)證集上預(yù)測(cè)結(jié)果的混淆矩陣?？梢钥闯? 模型能夠準(zhǔn)確地分辨前交叉韌帶斷裂患者和健康人。通過(guò)混淆矩陣能夠得到模型的 ROC 曲線以及曲線與坐標(biāo)軸圍成的面積 AUC (area under curve), 對(duì)模型的分類表現(xiàn)進(jìn)行評(píng)價(jià)。

表3 不同模型的預(yù)測(cè)準(zhǔn)確率

圖 7 分別展示 3 種網(wǎng)絡(luò)模型的整體 ROC 曲線對(duì)比以及各模型獨(dú)立的 ROC 曲線。各模型的 AUC 值如表 4 所示, 可以看出 PressureConvLSTM 的 AUC值(0.9834)比 LSTM(0.9379)和 CNN 模型(0.9560)有較大幅度的提升, 說(shuō)明 PressureConvLSTM 模型的分類表現(xiàn)明顯優(yōu)于 LSTM 和 CNN 模型。

圖6 PressureConvLSTM預(yù)測(cè)結(jié)果的混淆矩陣

圖7 3種模型的ROC曲線

表4 不同模型的AUC值

4 結(jié)論與討論

本文提出一種深度神經(jīng)網(wǎng)絡(luò)模型PressureConv-LSTM, 用來(lái)分析足底壓力信息, 從而實(shí)現(xiàn)前交叉韌帶斷裂的智能輔助診斷。這種包含 CNN 和Conv-LSTM 結(jié)構(gòu)的網(wǎng)絡(luò)能夠有效地提取周期步態(tài)內(nèi)足底壓力的時(shí)間與空間分布特征。本研究采用數(shù)據(jù)增強(qiáng)的方式擴(kuò)充臨床采集的數(shù)據(jù)樣本。樣本經(jīng)過(guò)訓(xùn)練后, 在臨床數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明, PressureConv-LSTM 模型能夠達(dá)到 95.29%的測(cè)試準(zhǔn)確率, 有效地實(shí)現(xiàn)智能輔助診斷的功能, 具有顯著的臨床價(jià)值。

PressureConvLSTM 網(wǎng)絡(luò)采用 ConvLSTM 結(jié)構(gòu),能夠有效地對(duì)動(dòng)態(tài)足底壓力信息的時(shí)空特征進(jìn)行解耦與提取。與 CNN 的單純空間特征分析或 RNN 的單純時(shí)間特征分析相比, PressureConvLSTM能夠更有效地提取隱含的時(shí)空信息, 從而更好地借助多層感知機(jī)進(jìn)行準(zhǔn)確的預(yù)測(cè)與診斷。盡管在預(yù)測(cè)準(zhǔn)確率和分類器性能方面, PressureConvLSTM 的表現(xiàn)都領(lǐng)先于 LSTM 和 CNN 模型, 但本文模型仍存在一些不足。最主要的一點(diǎn)是數(shù)據(jù)集的分辨率比較低。由于力學(xué)傳感器的體積限制, 單位面積內(nèi)能夠鋪設(shè)的傳感器數(shù)量有限, 所以很難使用更深層的神經(jīng)網(wǎng)絡(luò)對(duì)低分辨率信息進(jìn)行特征提取, 也難以運(yùn)用一些更好的結(jié)構(gòu)(如 U-Net[33])。

未來(lái)的工作中, 可以在物理層面改進(jìn)傳感器的尺寸, 并通過(guò)在單位面積布設(shè)更多的傳感器來(lái)提升足底壓力數(shù)據(jù)的分辨率。另外, 目前超分辨率算法已經(jīng)成功地應(yīng)用于有限元的應(yīng)力計(jì)算[34–35], 后續(xù)工作中可以從對(duì)足底壓力二維圖進(jìn)行超分辨率優(yōu)化來(lái)展開, 進(jìn)行網(wǎng)絡(luò)細(xì)化與分辨率提升。

[1] Buldt A K, Forghany S, Landorf K B, et al. Foot posture is associated with plantar pressure during gait: a comparison of normal, planus and cavus feet. Gait & Posture, 2018, 62: 235–240

[2] Buldt A K, Allan J J, Landorf K B, et al. The relationship between foot posture and plantar pressure during walking in adults: a systematic review. Gait & Posture, 2018, 62: 56–67

[3] Eisenhardt J R, Cook D, Pregler I, et al. Changes in temporal gait characteristics and pressure distribution for bare feet versus various heel heights. Gait & Pos-ture, 1996, 4(4): 280–286

[4] Pataky T C, Mu T, Bosch K, et al. Gait recognition: highly unique dynamic plantar pressure patterns among 104 individuals. Journal of the Royal Society Interface, 2012, 9(69): 790–800

[5] 李曉理, 黃紅拾, 王杰, 等. 前交叉韌帶斷裂后足底壓力特征的聚類分析. 自動(dòng)化學(xué)報(bào), 2017, 43(3): 418–429

[6] Bennetts C J, Owings T M, Erdemir A, et al. Clustering and classification of regional peak plantar pressures of diabetic feet. Journal of Biomechanics, 2013, 46(1): 19–25

[7] 黃紅拾, 于媛媛, 郭秦?zé)? 等. 前交叉韌帶斷裂患者步行時(shí)足底壓力時(shí)間特征. 中國(guó)運(yùn)動(dòng)醫(yī)學(xué)雜志, 2015, 34(3): 271–274

[8] Kim S, Hong S, Joh M, et al. DeepRain: ConvLSTM network for precipitation prediction using multichan-nel radar data [EB/OL]. (2017–11–07) [2022–12–16]. https://arxiv.org/abs/1711.02316

[9] Ji Shuiwang, Xu Wei, Yang Ming, et al. 3D convo-lutional neural networks for human action recognition. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(1): 221–231

[10] 許英琴, 張薇馨. 膝關(guān)節(jié)前交叉韌帶撕裂的MRI診斷價(jià)值及征象分析. 航空航天醫(yī)學(xué)雜志, 2013, 24 (5): 543–544

[11] 崔瑩. MRI在ACL損傷診斷中的陽(yáng)性率及準(zhǔn)確度研究. 影像研究與醫(yī)學(xué)應(yīng)用, 2020, 4(10): 209–210

[12] 侯小英, 侯玉兵. MRI檢查對(duì)膝關(guān)節(jié)韌帶損傷患者檢出率的影響. 首都食品與醫(yī)藥, 2020, 27(11): 111

[13] 王守紅, 張磊, 馬震勝, 等. 前交叉韌帶近端撕裂的MRI診斷. 中國(guó)骨與關(guān)節(jié)損傷雜志, 2018, 33(6): 618–619

[14] Lecun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521: 436–444

[15] Jiang H, Nie Z, Yeo R, et al. StressGAN: a generative deep learning model for 2D stress distribution predi-ction. Journal of Applied Mechanics, 2021, 88(5): 051005

[16] Geert L, Thijs K, Babak E B, et al. A survey on deep learning in medical image analysis. Medical Image Analysis, 2017, 42: 60–88

[17] Duckworth T, Boulton A, Betts R, et al. Plantar pre-ssure measurements and the prevention of ulceration in the diabetic foot. The Journal of Bone and Joint Surgery, 1985, 67(1): 79–85

[18] Li Xiaoli, Huang Hongshi, Wang Jie, et al. The analysis of plantar pressure data based on multimodel method in patients with anterior cruciate ligament deficiency during walking. BioMed Research International, 2016, 12: 1–12

[19] Wang Jie, Huang Hongshi, Li Xiaoli, et al. Application of the fuzzy C-means clustering algorithm in plantar pressure analysis // Huang Yiping, Ma Xiaoxuan, Wang Xiaohui. 2016 Chinese Control and Decision Confe-rence (CCDC). Yinchuan, 2016: 2089–2094

[20] Gardner M W. Artificial neural networks (the multila-yer perceptron) — a review of applications in the atmos-pheric sciences. Atmospheric Environment, 1998, 32 (14/15): 2627–2636

[21] Lecun Y A, Bengio Y O. Convolutional networks for images, speech, and time series // Arbib M A. The Handbook of Brain Theory and Neural Networks. Cambridge: MIT Press, 1995: 1–14

[22] Wang Xinhui, Yan Wei Qi. Human gait recognition based on frame-by-frame gait energy images and convolutional long short-term memory. International Journal of Neural Systems, 2020, 30(1): 1950027

[23] 黃紅拾, 王政飛, 許國(guó)雄, 等. 基于步行時(shí)足底壓力信息的前交叉韌帶斷裂輔助診斷方法. 北京大學(xué)學(xué)報(bào)(自然科學(xué)版), 2019, 55(5): 859–864

[24] Schuster M, Paliwal K K. Bidirectional recurrent neural networks. IEEE Transactions on Signal Proces-sing, 1997, 45(11): 2673–2681

[25] Hochreiter S, Schmidhuber J. Long short-term me-mory. Neural Computation, 1997, 9(8): 1735–1780

[26] Li Xiaopeng, He Yuqing, Zhang Xiaoxian, et al. Plantar pressure data based gait recognition by using long short-term memory network // Xu Xiangxi, Lai Zhihui, Chen Yudong, et al. Robust Discriminative Principal Component Analysis: 13th Chinese Conference. Urum-qi, 2018: 128–136

[27] Okuno R, Fujimoto S, Akazawa J, et al. Analysis of spatial temporal plantar pressure pattern during gait in Parkinson’s disease // Momani L, Alkharabsheh A R, Al-Nuaimy W. 30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Vancouver, 2008: 1765–1768

[28] Xie Yi, Hong Xing, Tang Xinyue, et al. 3D convolu-tional neural network for gait recognition and demo-graphic factor prediction based on plantar pressure images // 2020 IEEE International Conference on Infor-mation Technology, Big Data and Artificial Intelli-gence (ICIBA). Chongqing, 2020: 338–342

[29] Dumoulin V, Visin F. A guide to convolution arithmetic for deep learning [EB/OL]. (2016–05–23) [2022–12–16]. https://arxiv.org/abs/1603.07285

[30] Mu Li, Zhang Tong, Chen Yuqing, et al. Efficient mini-batch training for stochastic optimization // Macskassy S, Perlich C, Leskovec J, et al. 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, 2014: 661–670

[31] Kingma D, Ba J. Adam: A method for stochastic optimization [EB/OL]. (2017–01–30) [2022–12–16]. https://arxiv.org/abs/1412.6980v6

[32] Boer P, Kroese D P, Mannor S, et al. A tutorial on the cross-entropy method. Annals of Operations Research, 2005, 134(1): 19–67

[33] Ronneberger O, Fischer P, Brox T J S I P. U-Net: convolutional networks for biomedical image segmen-tation // Navab N, Horneegger H, Wells W M, et al. Medical Image Computing and Computer-Assisted Intervention. Munich, 2015: 234–241

[34] Xu Qingfeng, Nie Zhenguo, Xu Handing, et al. Super- Meshing: a new deep learning architecture for increa-sing the mesh density of metal forming stress field with attention mechanism and perceptual features // ASME 2021 International Design Engineering Tech-nical Conferences and Computers and Information in Engineering Conference. Online Meeting, 2021, 3B: V03BT03A041

[35] Nie Zhenguo, Jiang Haoliang, Kara L B. Stress field prediction in cantilevered structures using convolu-tional neural networks. Journal of Computing and Information Science in Engineering, 2020, 20(1): 011002

Intelligent Diagnosis on Anterior Cruciate Ligament Deficiency Based on Plantar Pressure and ConvLSTM Neural Network

LI Dai1, WANG Tianmu2,3, ZHANG Si1, QIN Yue2,3, XIE Fugui2,3, LIU Xinjun2,3,NIE Zhenguo2,3,?, HUANG Hongshi1,?

1. Department of Sports Medicine, Peking University Third Hospital, Institute of Sports Medicine of Peking University, Beijing Key Laboratory of Sports Injuries, Engineering Research Center of Sports Trauma Treatment Technology and Devices (Ministry of Education), Beijing 100191; 2. The State Key Laboratory of Tribology, Department of Mechanical Engineering, Tsinghua University, Beijing 100084; 3. Beijing Key Lab of Precision/Ultra-precision Manufacturing Equipments and Control, Department of Mechanical Engineering, Tsinghua University, Beijing 100084; ? Corresponding authors, E-mail: zhenguonie@tsinghua.edu.cn (NIE Zhenguo), huanghs@bjmu.edu.cn (HUANG Hongshi)

Based on Convolutional Long-Short Term Memory Neural Network, the authors proposed a deep learning method PressureConvLSTM to extract features during walking in both spatial and temporal dimensions. Classi-fication based on plantar pressure of anterior cruciate ligament deficiency (ACLD) was applied to distinguish walking gait information. Experiment results combined with clinical data showed that PressureConvLSTM model obtained 95% test accuracy when diagnosing ACLD, which was well performed over other traditional deep learning models.

intelligent diagnosis; anterior cruciate ligament deficiency (ACLD); plantar pressure; deep learning; ConvLSTM neural network