基于加速度計數(shù)據(jù)的兒童身體活動類型識別模型構(gòu)建與應(yīng)用

楊鋒，付曉蒙，張庭然，羅炯

（1.西南大學(xué)體育學(xué)院，重慶 400715；2.西南大學(xué)運動與健康虛擬仿真實驗中心，重慶 400715）

過去20年里，加速度計在身體活動測量中的廣泛應(yīng)用促進了身體活動評價的客觀量化和推廣普及。隨著人民生活水平的持續(xù)提高與體育強國建設(shè)的不斷推進，佩戴含有加速度計模塊的可穿戴設(shè)備成為身體活動監(jiān)測的重要方式?；诩铀俣扔嫈?shù)據(jù)的身體活動評價目前僅停留在描述“整段活動中不同運動強度等級的持續(xù)時間”，這已不能滿足大眾的體育需求。兒童身體活動評價備受學(xué)校、家長與社會關(guān)注，人們對其視角全面性、細節(jié)可視化、過程可追蹤的需求越來越高。目前已有不少與ActiGraph計數(shù)結(jié)果接近的身體活動計數(shù)算法開源（如sensormotion庫［1］、ActiGraph庫［2］、pyActigraphy庫［3］等），因此，實現(xiàn)以上現(xiàn)實需求的主要技術(shù)問題在于兒童身體活動類型識別的研究成果不盡如人意，這一點也與其他學(xué)者達成共識［4］。

21世紀初，識別身體活動類型的研究方法主要以主觀觀察法和自我報告法為主。主觀觀察法過于依賴觀察者的專業(yè)性且大規(guī)模測量的成本過高，而自我報告法的客觀性也受到很多學(xué)者的質(zhì)疑［5-7］。機器學(xué)習(xí)方法的廣泛應(yīng)用與加速度計技術(shù)的迅速發(fā)展使得活動類型的分類研究走向了客觀化。目前，使用機器學(xué)習(xí)方法識別兒童身體活動類型的研究并不多，早期的研究［8-11］主要采用傳統(tǒng)機器學(xué)習(xí)方法（如隨機森林、支持向量機、K近鄰、隱馬爾可夫模型等），通過人工提取時域特征來區(qū)分活動類型，這種特征提取方式的分類準確率鮮有突破80%。隨后的研究［12-14］提取了更多的時頻特征，豐富的特征提取促使身體活動類型識別準確率突破了90%，但這些研究都未構(gòu)建出通過1組加速度計數(shù)據(jù)識別多種身體活動類型的模型：有些研究將多種身體活動類型合并后才實現(xiàn)較高的準確率，如Ren等［13］識別19種身體活動的準確率為64.4%，合并為5類身體活動后準確率達到91.7%；有些研究采用2組加速度計數(shù)據(jù)才實現(xiàn)較高的準確率，如Stewart等［12］采用大腿和后腰2組加速度計數(shù)據(jù)時，識別6種身體活動類型的準確率為97.3%，當采用1組加速度計數(shù)據(jù)時準確率下降了26.4%。隨著特征提取的不斷豐富，模型的時間分辨率也得到了提高，如早期研究的時間分辨率多為1 min［5］，之后有研究將模型的時間分辨率提升至10 s［11］、5 s［12］，不過對于評價具有短時特征的兒童身體活動而言，模型的時間分辨率仍需改進。

以往研究表明，人工提取特征的機器學(xué)習(xí)算法很難基于1組加速度計數(shù)據(jù)實現(xiàn)高準確率、高時間分辨率識別多種兒童身體活動類型，端到端的深度學(xué)習(xí)算法成為突破身體活動分類問題壁壘的新方法。Jang等［15］的研究便證實了深度學(xué)習(xí)算法基于1組加速度計數(shù)據(jù)就可以良好識別10種兒童身體活動類型，其構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型準確率為81.3%，比K近鄰、決策樹、支持向量機模型的準確率高16%~26%，不過81.3%的分類準確率使其模型在身體活動評價實踐中的應(yīng)用價值仍有局限。

基于身體活動評價的實踐需求，本文通過構(gòu)建高準確率、高時間分辨率的兒童身體活動類型識別模型，證明深度學(xué)習(xí)算法基于1組加速度計數(shù)據(jù)識別多種兒童身體活動類型的優(yōu)越性；通過將模型應(yīng)用于自主設(shè)計的身體活動評價程序，輸出身體活動案例的“整段活動以及其中每種活動類型的持續(xù)時間、平均計數(shù)與不同強度等級占比的數(shù)據(jù)統(tǒng)計表”“活動類型、強度等級、活動計數(shù)在同一時間軸上的對應(yīng)分布圖”，證明身體活動類型識別算法對提高兒童身體活動評價的全面性、直觀性、精準性具有重要價值。

1 研究1:兒童身體活動類型識別模型的構(gòu)建

1.1 數(shù)據(jù)信息

Jang等［15］采集并發(fā)布了10種兒童身體活動（跳繩、靜止、快跑、慢跑、走下樓梯、走上樓梯、快走、慢走、坐下去、站起來）的公開數(shù)據(jù)集，該數(shù)據(jù)采集方案已獲得韓國加圖立大學(xué)（Catholic University of Korea）和首爾圣瑪麗醫(yī)院（Seoul St.Mary's Hospital）的批準。以下就研究數(shù)據(jù)涉及的研究對象、加速度計設(shè)備、數(shù)據(jù)采集程序、數(shù)據(jù)預(yù)處理、動作任務(wù)信息等進行說明。

1.1.1 研究對象

研究被試為韓國一所學(xué)校和多個體育俱樂部的136名兒童，排除身體與精神疾病者以及采集過程或意外噪聲造成的數(shù)據(jù)無效者，最終獲得115名兒童的有效數(shù)據(jù)，其中75名男孩、40名女孩，年齡在8.5~12.5歲，平均年齡為（10.5±1.1）歲。

1.1.2 數(shù)據(jù)采集

（1）加速度計設(shè)備。Jang等［15］在研究中設(shè)計了可穿戴加速度計系統(tǒng)，由單片機、三軸加速度傳感器、存儲芯片、電源單元等組成。設(shè)備中只有1個三軸加速度計，沒有其他傳感器，因此最大限度地減少了傳感器信號和電源的使用，同時也提高了便攜性。該加速度計范圍設(shè)置為±4g（g為重力加速度），尺寸為50 mm×30 mm×15 mm，重21 g。電子板外面配有一個帶夾子的盒子，可以將其固定在褲子上（圖1）。

(2)數(shù)據(jù)采集程序。要求每個被試完成10個動作，分A、B、C 3組。A組動作包括靜止（站立或坐）、坐站交替（包括站起來與坐下去），B組動作包括在平地上的慢走、快走、慢跑、快跑，C組動作包括走上樓梯、走下樓梯、跳繩。為避免練習(xí)順序造成的干擾，將被試隨機分成6種組合測試：ABC、ACB、BAC、BCA、CAB、CBA。在執(zhí)行動作任務(wù)時，被試需沿著褲子腰線且在腹部中央和右骨盆之間佩戴加速度計，加速度計的采樣頻率為45.4 Hz。每種動作任務(wù)時間是固定的：靜止3 min，坐站交替4 min，跳繩3 min，慢跑、快跑、慢走、快走、走上樓梯、走下樓梯均為2 min。其中，任何動作任務(wù)的速度都由被試根據(jù)自身感受自行決定，如被試在完成快跑與慢跑2個任務(wù)時，只需根據(jù)自己的身體感受定義什么速度是快、什么速度是慢，并以此為依據(jù)完成動作任務(wù)。無論被試完成哪一種動作組合，其每完成一個動作任務(wù)都需進行休息，待恢復(fù)到安靜心率再進行下一個動作任務(wù)，休息時間不作嚴格限制，通常為2~5 min。

1.1.3 數(shù)據(jù)預(yù)處理

Jang等［15］在研究中的數(shù)據(jù)預(yù)處理情況如表1和圖2所示。

圖2 動作任務(wù)數(shù)據(jù)裁剪與數(shù)據(jù)窗口切片示意［15］Figure 2 Schematic diagram of action task data clipping and data window slicing

表1 數(shù)據(jù)預(yù)處理具體信息［15］Table 1 Data acquisition and data preprocessing

由于此公開數(shù)據(jù)保存為.mat文件，以元包數(shù)組（cell）類型表示，本文使用Python的第三方庫H5py將其轉(zhuǎn)換為numpy的數(shù)組（array）類型。得到的數(shù)據(jù)樣本共18 357個，各種身體活動類型的樣本量在1 000~2 500個，每個樣本為128個數(shù)據(jù)點（約2.8 s），具體情況見表2、圖3。

表2 數(shù)據(jù)集動作任務(wù)信息Table 2 Information of the action task in data set

圖3 10種兒童身體活動類型原始數(shù)據(jù)Figure 3 Raw data display of ten types of physical activity for children

1.2 研究方法

1.2.1 研究工具

使用Tensorflow 2.4深度學(xué)習(xí)框架搭建神經(jīng)網(wǎng)絡(luò)；使用Scikitlearn機器學(xué)習(xí)庫計算并輸出評估模型的十折交叉驗證結(jié)果、混淆矩陣、準確率、精準率、召回率、F1分數(shù)；使用Matplotlib庫輸出身體活動原始數(shù)據(jù)圖和混淆矩陣圖。

1.2.2 算法設(shè)計

深度學(xué)習(xí)技術(shù)定義為學(xué)習(xí)數(shù)據(jù)表示的多級方法，是機器學(xué)習(xí)的一個分支領(lǐng)域，是從數(shù)據(jù)中學(xué)習(xí)表示的一種新方法，強調(diào)從連續(xù)的層（layer）中進行學(xué)習(xí)［16］6。深度學(xué)習(xí)善于從原始數(shù)據(jù)中提取抽象的分布式特征表示，而深層神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的主要形式［17］。本文涉及的卷積神經(jīng)網(wǎng)絡(luò)、全連接神經(jīng)網(wǎng)絡(luò)、殘差卷積神經(jīng)網(wǎng)絡(luò)都是深度神經(jīng)網(wǎng)絡(luò)中廣泛應(yīng)用的網(wǎng)絡(luò)結(jié)構(gòu)。

本文設(shè)計并對比了全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、殘差卷積神經(jīng)網(wǎng)絡(luò)，最終確定了識別準確率最高的殘差卷積神經(jīng)網(wǎng)絡(luò)作為識別兒童身體活動類型的算法。以下具體陳述神經(jīng)網(wǎng)絡(luò)架構(gòu)與模型訓(xùn)練策略，另外還復(fù)述了Jang等［15］搭建的網(wǎng)絡(luò)模型，作為基線網(wǎng)絡(luò)供研究者參考對比。

（1）神經(jīng)網(wǎng)絡(luò)架構(gòu)與模型訓(xùn)練策略。本文設(shè)計的殘差卷積神經(jīng)網(wǎng)絡(luò)（圖4），以原始的三軸加速度信號數(shù)據(jù)片段（數(shù)據(jù)維度為128×3，大約2.8 s）為輸入，最終輸出每個片段的預(yù)測類別。神經(jīng)網(wǎng)絡(luò)架構(gòu)的特征提取共包含12層，其中9個卷積層、3個全連接層。為加深神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用類似于殘差網(wǎng)絡(luò)的快捷連接（shortcut）［18］設(shè)計了7個殘差塊，每個殘差塊有1個池化層、1個卷積層，并進行批標準化（BatchNorm）和激活（ReLU）。最終由全連接的Softmax層在10個輸出類別上產(chǎn)生分布。

圖4 殘差卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)Figure 4 Residual convolution neural network architecture

采用有監(jiān)督訓(xùn)練模式，使用Adam優(yōu)化器，默認參數(shù)β1=0.9和β2=0.999，將多分類交叉熵（categoricalcrossentropy）作為損失函數(shù)，數(shù)據(jù)輸入尺寸設(shè)置為16，手動調(diào)整初始學(xué)習(xí)速率為0.001以實現(xiàn)最快的收斂，通過早期停止策略（early stopping）監(jiān)控驗證集損失函數(shù)（val-loss），參數(shù)為10。通過網(wǎng)格搜索找到優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的最優(yōu)超參數(shù)（表3），包括卷積濾波器的大小、數(shù)量和全連接層節(jié)點數(shù)量，手動調(diào)整殘差層數(shù)量為7。

表3 殘差卷積神經(jīng)網(wǎng)絡(luò)超參數(shù)的網(wǎng)格搜索結(jié)果Table 3 Grid search results of the hyperparameters of residual convolution neural network

模型訓(xùn)練中數(shù)據(jù)集劃分是否盡可能實現(xiàn)獨立同分布（訓(xùn)練集與測試集中被試不交叉且各分區(qū)中的類別比例相等）是評估模型泛化能力的常用方法。Jang等［15］發(fā)布的數(shù)據(jù)集中每個被試每種活動類型的數(shù)據(jù)都不是完全相等的，為便于在數(shù)據(jù)集劃分時最大限度地實現(xiàn)獨立同分布，他們將數(shù)據(jù)集分為10個部分，每個部分為1種活動類型的數(shù)據(jù)，由所有被試在該活動類型上的數(shù)據(jù)按順序拼接而成。10個部分即為10種活動類型的數(shù)據(jù)，且每個部分中被試的數(shù)量、順序完全一致。基于數(shù)據(jù)集的實際情況，本文先將每種活動類型數(shù)據(jù)平均切成10段并按順序標注索引，從索引號中隨機選取1個數(shù)字，將標注該索引號的10種活動類型數(shù)據(jù)拼接成測試集（1 832個樣本），剩余部分數(shù)據(jù)為訓(xùn)練集（16 525個樣本）。為避免單次隨機劃分數(shù)據(jù)集造成的模型性能不穩(wěn)定［16］70，在訓(xùn)練集中進行十折交叉驗證，將每種活動類型數(shù)據(jù)按順序平均劃分成10個分區(qū)并標注索引，每次將1個索引相同的分區(qū)拼接成驗證集用于模型評估，剩余9個分區(qū)的數(shù)據(jù)用于模型訓(xùn)練（訓(xùn)練之前隨機打亂），循環(huán)10次。如此操作使得訓(xùn)練集與測試集以及十折交叉驗證中的數(shù)據(jù)集（再次劃分的訓(xùn)練集與驗證集）都最多有2個被試交叉，將被試交叉效應(yīng)降到最低，同時保證了每個分區(qū)中類別的比例相等。

（2）基線神經(jīng)網(wǎng)絡(luò)。Jang等［15］以3層卷積神經(jīng)網(wǎng)絡(luò)為基線網(wǎng)絡(luò)（圖5），使用MATLAB搭建神經(jīng)網(wǎng)絡(luò)，包括輸入層、特征提取層與分類輸出層。輸入層的數(shù)據(jù)維度（長度×寬度×通道）為128×1×3，特征提取層包括3個二維卷積層和3個池化層，分類輸出層包括2個全連接層，并在Softmax層上產(chǎn)生10個身體活動類別的概率分布。該模型訓(xùn)練為有監(jiān)督訓(xùn)練，采用隨機梯度下降（SGD）優(yōu)化器，初始學(xué)習(xí)率為0.003，數(shù)據(jù)輸入尺寸為128，3層卷積濾波器大小分別為7×1、6×1、5×1的矩陣，卷積濾波器數(shù)量分別為72、144、108，全連接層節(jié)點數(shù)量為256，采用早期停止策略［15］。

圖5 基線網(wǎng)絡(luò)架構(gòu)［15］Figure 5 Baseline network architecture

1.2.3 模型評估

混淆矩陣可表示樣本真實屬性和輸出類別之間的關(guān)系，常被用于評估神經(jīng)網(wǎng)絡(luò)模型的性能。混淆矩陣的定義［19］如表4所示。

表4 混淆矩陣的定義Table 4 The definition of confusion matrix

根據(jù)混淆矩陣中的數(shù)據(jù)可以得到準確率、精準率、召回率、特異度的公式（表5）。

表5 準確率、精準率、召回率、特異度的公式與含義Table 5 Formula and meaning of accuracy，precision，recall and specificity

由于召回率和精準率常會出現(xiàn)矛盾，這時需要通過F1分數(shù)（F1-score）進行綜合考量，其公式為：

其中，TP（True Positive）是模型把真實值為正類預(yù)測為正類的數(shù)量，F(xiàn)P（False Positive）是模型把真實值為負類預(yù)測為正類的數(shù)量，F(xiàn)N（Fasle Negative）是模型把真實值為正類預(yù)測為負類的數(shù)量，F(xiàn)1分數(shù)的取值范圍為0~1，其值越接近1代表輸出結(jié)果越好，越接近0代表輸出結(jié)果越差。

1.3 研究結(jié)果與分析

1.3.1 不同算法識別兒童身體活動類型的準確率對比

在識別10種身體活動類型的任務(wù)中，Jang等［15］設(shè)計的最優(yōu)算法為二維卷積神經(jīng)網(wǎng)絡(luò)模型，準確率為（81.2±0.6）%；本文設(shè)計的最優(yōu)算法為殘差卷積神經(jīng)網(wǎng)絡(luò)模型，準確率為（91.6±0.4）%，相比前人研究提高了10%左右（表6）。

表6 不同算法識別10種兒童身體活動類型的準確率對比Table 6 Comparison of the accuracy of different algorithms for identifying ten types of physical activity

1.3.2 兒童身體活動類型的識別結(jié)果分析

經(jīng)過十折交叉驗證，殘差卷積神經(jīng)網(wǎng)絡(luò)模型識別10種身體活動類型的結(jié)果如表7所示。

殘差卷積神經(jīng)網(wǎng)絡(luò)模型的識別能力總體上較好（表7），經(jīng)過十折交叉驗證后平均準確率達到（91.6±0.4）%。除“走上樓梯”和“跳繩”外，其余活動類型識別的精準率與召回率都很高，全部在97%以上，且精準率與召回率不存在矛盾現(xiàn)象。十折交叉驗證中的最優(yōu)模型預(yù)測測試集的準確率為92.6%，說明模型的泛化能力較好。

表7 識別10種身體活動類型的殘差卷積神經(jīng)網(wǎng)絡(luò)模型評估Table 7 The evaluation of the model performance on recognizing ten types of physical activity

結(jié)合混淆矩陣（圖6）來看，“走上樓梯”和“跳繩”識別情況不好的原因是它們之間存在相互混淆?；诖?，將這2類身體活動的數(shù)據(jù)歸為1類（跳繩與走上樓梯）后，對9種身體活動類型進行識別，經(jīng)過十折交叉驗證得出結(jié)果如表8和圖7所示。

圖7 最優(yōu)模型預(yù)測測試集的混淆矩陣（識別9種活動類型）Figure 7 Confusion matrix for optimal model prediction test set（identifying nine types of physical activity）

表8 識別9種身體活動類型的模型評估Table 8 The evaluation of the model performance on recognizing nine types of physical activity

圖6 最優(yōu)模型預(yù)測測試集的混淆矩陣（識別10種活動類型）Figure 6 Confusion matrix for optimal model prediction test set（identifying ten types of physical activity）

殘差卷積神經(jīng)網(wǎng)絡(luò)模型在識別9種身體活動類型的任務(wù)中表現(xiàn)出了優(yōu)越的性能，經(jīng)過十折交叉驗證得到的平均準確率為（99.3±0.3）%，每個活動類型的F1分數(shù)都在0.97以上。然而，模型在識別9種身體活動類型時，對于“快跑”與“慢跑”的識別性能較識別10種身體活動類型時略有遜色。十折交叉驗證中的最優(yōu)模型預(yù)測測試集的準確率為99.3%，說明模型的泛化能力較好。

2 研究2:兒童身體活動類型識別模型在身體活動評價中的應(yīng)用

實踐應(yīng)用是人工智能發(fā)展的動力，兒童身體活動類型識別模型在身體活動評價中的應(yīng)用是其價值的重要體現(xiàn)。研究1構(gòu)建的兒童身體活動類型識別模型具備準確率高、時間分辨率高的特點，研究2將其應(yīng)用于探討活動類型、活動時間、活動強度深度融合的身體活動評價方式，以展現(xiàn)身體活動類型識別在身體活動評價中的重要作用。由于現(xiàn)實身體活動案例中很可能包含模型預(yù)測分類之外的活動類型，將模型應(yīng)用于身體活動案例評價之前，須驗證模型在識別預(yù)測分類之外的活動類型時是否依然保持較高準確率。

因此，研究2包括兩部分內(nèi)容：①評估模型在活動案例中識別活動類型的準確率；②使用自主設(shè)計的身體活動評價程序，以1個活動案例為例探討活動類型識別在身體活動評價中的應(yīng)用方式。

2.1 研究方法

2.1.1 研究工具

運行環(huán)境為Python 3.8，使用Tensorflow 2.4深度學(xué)習(xí)框架運行神經(jīng)網(wǎng)絡(luò)，使用Scikitlearn機器學(xué)習(xí)庫計算并輸出混淆矩陣及準確率，使用sensormotion庫計算身體活動計數(shù)，使用Matplotlib庫生成身體活動案例圖、分類概率閾值與識別準確率的關(guān)系曲線圖，以及活動類型、強度等級、活動計數(shù)的時間分布圖。

2.1.2 評估模型在活動案例中識別活動類型準確率的研究方法

模型應(yīng)用于實踐須具備識別預(yù)測分類之外活動類型的能力，那么將模型應(yīng)用于身體活動案例評價之前，須驗證模型在識別預(yù)測分類之外的“其他”活動類型時是否依然保持較高準確率。因此，研究2生成了1 000個包含“其他”活動類型的兒童身體活動案例，并評估模型在1 000個案例識別中的性能，以此判斷模型能否應(yīng)用于身體活動案例的評價。

（1）身體活動案例生成方法。為評估模型在活動案例中識別活動類型的準確率，研究2生成了1 000個兒童身體活動案例，生成案例的數(shù)據(jù)來源為研究1的測試集，身體活動案例生成的方法與依據(jù)如表9所示。

表9 身體活動案例生成的方法與依據(jù)Table 9 Methods for generating physical activity cases

（2）“其他”身體活動類型的識別方法。在案例中添加“其他”活動類型來驗證模型識別預(yù)測分類之外活動類型的能力。在模型識別中，每個樣本經(jīng)過Softmax層都會產(chǎn)生9個分類概率值，即樣本被分別預(yù)測為跳繩與走上樓梯、靜止、快跑、慢跑、走下樓梯、快走、慢走、坐下去、站起來的概率。設(shè)置1個分類概率閾值，若最大分類概率小于此值則將樣本識別為“其他”活動類型，若最大概率高于此值則將概率值最大的那個類別判定為樣本的類別。

分類概率閾值的探索過程為：首先隨機生成1 000個案例（該案例只用于閾值的探索，用于模型評估的1 000個案例另外生成），按照設(shè)置的每個分類概率閾值進行嘗試，分別得出識別1 000個案例的平均準確率，結(jié)果如圖8所示。通過嘗試發(fā)現(xiàn)分類概率閾值設(shè)置為90%時，模型識別跳繩與走上樓梯、靜止、快跑、慢跑、走下樓梯、快走、慢走、坐下去、站起來、其他等10種活動類型的準確率最高，達到（97.5±1.4）%，因此將分類概率低于90%的樣本識別為“其他”身體活動類型。

圖8 分類概率閾值與識別準確率的關(guān)系Figure 8 The relationship between the threshold of classification probability and the accuracy of recognition

（3）提高身體活動類型識別準確率的修正方法。采用窗口滑動方法發(fā)現(xiàn)身體活動類型識別錯誤的位置并予以修正。設(shè)置1個大小為5的滑動窗口，滑動步長為1?；瑒哟翱趦?nèi)的5個樣本中，前2個與后2個樣本活動類型相同且與中間1個樣本活動類型不同時，將中間1個樣本的活動類型修正為與前后一致。這種方法可以修正一段相同類型活動（5個樣本以上，大約14 s）中的單個錯誤樣本，而無法修正連續(xù)多個或出現(xiàn)在一段活動的開頭與結(jié)尾的錯誤樣本，但考慮到這樣的錯誤很少，無須為了修正它們而放棄程序的高時間分辨率（2.8 s）優(yōu)勢。使用配對樣本t檢驗的方法，檢驗?zāi)Ｐ蛯? 000個案例的識別率在修正前與修正后是否存在差異，以說明修正的必要性，顯著性水平設(shè)置為P＜0.001。

（4）模型評估方法。將研究1構(gòu)建的兒童身體活動類型識別模型應(yīng)用于活動案例，需要識別的活動類型比研究1中多一類“其他”類型活動（即模型預(yù)測分類之外的活動類型），模型識別準確率會發(fā)生變化，因此對模型在活動案例中的識別性能進行了評估。模型評估仍使用Scikitlearn機器學(xué)習(xí)庫計算混淆矩陣并輸出準確率，相關(guān)原理在研究1的研究方法中已有闡述。

2.1.3 身體活動評價程序設(shè)計

本文設(shè)計的基于身體活動類型識別模型的身體活動評價程序包含3個部分，具體如表10所示。

表10 身體活動評價程序設(shè)計思路Table 10 Programming of physical activity assessment

身體活動評價程序最終輸出的信息包括：整段活動以及其中每種活動類型的持續(xù)時間、平均計數(shù)與不同強度等級占比的數(shù)據(jù)統(tǒng)計表，以及活動類型、強度等級、活動計數(shù)在同一時間軸上的對應(yīng)分布圖。這些信息的輸出都是基于活動類型的識別結(jié)果、活動計數(shù)結(jié)果、強度等級劃分結(jié)果計算而得的。以下就完成信息輸出涉及的所有計算方法加以說明。

本文對小麥和玉米在應(yīng)用近紅外光譜技術(shù)檢測中的應(yīng)用做了研究與分析，現(xiàn)實中還有更多的農(nóng)作物利用這種技術(shù)進行檢測并取得了良好的檢測效果。在檢測過程中應(yīng)根據(jù)不同的農(nóng)作物、環(huán)境、品種，結(jié)合實際情況來建立不同的模型，以實現(xiàn)更好的檢測效果及準確性。隨著科學(xué)技術(shù)的飛速發(fā)展，光譜學(xué)和化學(xué)計量可以實現(xiàn)與計算機技術(shù)的進一步融合發(fā)展，因此，應(yīng)用近紅外光譜技術(shù)對糧食進行檢測的前景十分廣闊，近紅外光譜技術(shù)應(yīng)該不斷更新，更好地服務(wù)于糧食檢測，以促進我國農(nóng)業(yè)的發(fā)展。另外，在其他領(lǐng)域也可對近紅外光譜技術(shù)進行進一步的應(yīng)用與研究，使此技術(shù)造福于人類。

（1）身體活動類型的識別。應(yīng)用本文構(gòu)建的殘差卷積神經(jīng)網(wǎng)絡(luò)模型完成案例中身體活動類型的識別。

（2）活動計數(shù)。使用加速度計的活動計數(shù)評價身體活動強度已被廣泛認可，很多學(xué)者通過使用ActiGraph配套軟件（Actilife）得到了活動計數(shù)結(jié)果，而近年來有不少學(xué)者也研究并開源了與“ActiGraph Counts”算法結(jié)果接近的活動計數(shù)算法。本文采用sensormotion庫［1］計算活動計數(shù)：使用Scipy庫進行butter和filtfilt濾波，設(shè)置采樣間隔（epoch）為1 s；使用sensormotion庫的三軸融合計數(shù)函數(shù)進行運算。

（3）強度等級劃分。查閱兒童身體活動強度臨界值的相關(guān)研究后，選擇其中加速度計佩戴在右髖部、采用ActiGraph三軸計數(shù)算法（Vector Manitude，VM），且以相同能耗標準劃分身體活動強度的研究［21-24］：METs<1.5為靜息狀態(tài)（Sedentary，SED），1.5≤METs<3.0為低強度身體活動（Light Physical Activity，LPA），3.0≤METs<6.0為中強度身體活動（Middle Physical Activity，MPA），6.0≤METs<9.0為高強度身體活動（Vigorous Physical Activity，VPA），METs≥9.0為超高強度身體活動（Very Vigorous Physical Activity，VVPA）。

如表11所示，前人［21-24］研究結(jié)果之間雖有出入，但這在身體活動強度臨界點劃分的研究中較為常見［25］，目前難以達成共識。H?nggi等［21］與Romanzini等［22］的研究在靜息狀態(tài)臨界點劃分上有差異，原因是H?nggi等［21］將“站立”歸為低強度運動［其研究的多個動作中唯獨沒有描述“站立”對應(yīng)的METs，“站立”的每秒活動計數(shù)為（3.79±4.20）個］，而Romanzini等［22］將“站立”歸為靜息狀態(tài)（METs=1.3），事實上，不少研究結(jié)果都顯示“站立”動作的METs小于1.5，應(yīng)歸為靜息狀態(tài)。

表11 兒童身體活動強度臨界值的既往研究結(jié)果Table 11 The previous research results about threshold of physical activity intensity

由于兒童身體活動的短時特點，有研究［26］發(fā)現(xiàn)，高時間分辨率可更準確地分析兒童身體活動案例。H?nggi等［21］的研究雖然符合高分辨率的要求，但其中SED臨界值的設(shè)置不宜采用。本文選用活動強度區(qū)間涵蓋較全的朱琳等［24］的研究結(jié)果，由于其研究結(jié)果缺少靜息狀態(tài)與輕強度的臨界點，故選用Romanzini等［22］研究中靜息狀態(tài)下的臨界點，并將這些研究結(jié)果的單位時間轉(zhuǎn)換為1 s，使活動強度等級劃分的時間分辨率更高。因此，本文的強度等級劃分標準為：每秒 計 數(shù)SED≤12、12171。不過1 s間隔與60 s間隔在強度區(qū)分的效度上可能會有差異。

研究2致力于探討活動類型識別在身體活動評價中的應(yīng)用方式，劃分強度臨界點的目的是展示將身體活動類型與活動強度等級相融合的評價方式，因此不再進行能耗預(yù)測來驗證強度臨界點劃分的有效程度。

表12 身體活動評價程序輸出內(nèi)容及其計算方法Table 12 The outputs and calculation methods of physical activity evaluation program

2.2 研究結(jié)果與分析

2.2.1 兒童身體活動類型識別模型在活動案例中的性能評估結(jié)果

為驗證模型在識別預(yù)測分類之外的活動類型時是否依然保持高準確率，對模型在活動案例中的識別性能進行了評估。評價程序中的自定義規(guī)則修正了部分識別錯誤，因此對修正前后1 000個案例的準確率都進行了計算，修正前后1 000個案例的準確率分布如圖10所示、準確率差異顯著性檢驗結(jié)果如表13所示。

表13 修正前后1 000個案例的準確率差異配對樣本t檢驗結(jié)果Table 13 The paired-sample t test results of recognizing the accuracy of 1 000 cases before and after correction

圖10 修正前后1 000個案例的識別準確率分布Figure 10 The accuracy distribution of recognizing 1 000 cases before and after correction

修正前的準確率在95.0%~99.0%區(qū)間上比較集中，而修正后的準確率主要分布在98.0%~99.9%區(qū)間上，尤其是在大于99.5%與小于98.0%的區(qū)間上修正前后的準確率差異非常明顯。經(jīng)檢驗，修正前后的識別準確率有顯著差異（P<0.001），說明修正初次識別結(jié)果十分必要。修正后準確率為（99.1±1.0）%，說明模型在識別案例（包含預(yù)測分類之外的“其他”活動類型）時也有較好的性能，可以應(yīng)用于身體活動評價實踐。

2.2.2 兒童身體活動類型識別在身體活動評價中的應(yīng)用方式

以往的身體活動評價往往只描述“整段活動中不同運動強度等級的持續(xù)時間”，人們難以了解身體活動的活動類型、持續(xù)時間、活動強度等多方面信息，更不能直觀地看到這些信息在時間軸上的對應(yīng)關(guān)系與變化過程。為解決這些問題，自主設(shè)計了身體活動評價程序，在高準確率與高時間分辨率的身體活動類型識別模型基礎(chǔ)上，實現(xiàn)了活動類型與活動強度在時間軸上的逐秒對應(yīng)。研究2將這種活動類型、活動時間、活動強度深度融合的身體活動評價方式通過案例的形式展示出來，希望為身體活動評價的全面化、直觀化、精準化提供一種思路。隨機抽取1 000個案例中的1個案例，使用身體活動評價程序輸出相關(guān)結(jié)果如圖11所示。

圖11 身體活動案例Figure 11 Physical activity cases

將整段活動以及其中各個活動類型對應(yīng)的時間、活動強度及強度等級占比進行詳細統(tǒng)計（表14）。圖9直觀地展示了活動類型、活動計數(shù)、強度等級在以秒為單位的時間軸上的變化過程以及三者精確的對應(yīng)關(guān)系?；趫D表輸出的結(jié)果，可以清晰地看出：活動中有6.1%的靜息狀態(tài)，主要由于活動中存在2 min左右的靜止狀態(tài)以及坐站交替動作中有少部分強度極小的活動；活動中有37.2%的低強度身體活動，主要來自約17 min的慢走與坐站交替動作以及部分強度較低的快走活動；活動中有18.5%的中等強度身體活動，主要來自約11 min的快走和約5 min的走下樓梯中強度相對較高的部分；活動中有18.5%的高強度身體活動，主要來自約10 min的慢跑以及約3 min的快跑中強度相對較高的部分；活動中有19.7%的超高強度身體活動，主要來自約11 min的跳繩/走上樓梯以及快跑中強度最高的部分。從時間軸上看，基于活動類型劃分的分段活動時間多為1~4 min，只有靜止狀態(tài)、慢走、“其他”活動存在零星的短時活動，活動強度全程呈現(xiàn)高低交替的特征。

圖9 整段活動的強度等級、活動類型與活動計數(shù)在時間軸上的分布及其對應(yīng)關(guān)系Figure 9 The distribution and congruent relationship of intensity，type and count on the time axis of the whole activity

表14 整段活動以及其中每種活動類型的持續(xù)時間、平均計數(shù)與不同強度等級占比Tabel 14 The proportion of duration，average count and different intensity levels in whole and segmented physical activity

身體活動評價程序輸出的結(jié)果直觀展示了高時間分辨率、高準確率的身體活動類型識別結(jié)果在身體活動評價中的重要作用，如展現(xiàn)活動形式的多樣性、展示活動過程、精確計算活動時間（分段或整段）、輔助判斷活動強度等。而活動類型、活動計數(shù)、強度等級的時間序列數(shù)據(jù)逐秒對應(yīng)融合并實現(xiàn)可視化，為身體活動評價提供了多模態(tài)數(shù)據(jù)展示評價結(jié)果的新思路。

3 討論

研究1證明了端到端的深度學(xué)習(xí)方法可以高效分類動作相似但強度不同的身體活動類型（快跑、慢跑、快走、慢走），也可以對短時動作“站起來”與“坐下去”進行高效識別，突破了以往識別身體活動類型的局限；對跳繩與走上樓梯、靜止、快跑、慢跑、走下樓梯、快走、慢走、坐下去、站起來等9種身體活動類型的識別準確率達到99%以上的優(yōu)越性能，時間分辨率約為2.8 s，無論是在身體活動類型的數(shù)量、準確率以及時間分辨率方面都比以往研究有很大提高，使身體活動類型識別的研究成果可以有充分的條件應(yīng)用于身體活動評價實踐。

研究2驗證了模型應(yīng)用于活動案例（包括模型預(yù)測分類之外的活動類型）識別中仍然保持97.7%的準確率，通過自定義規(guī)則修正識別錯誤后模型識別準確率達到99.1%。由于模型滿足了高準確率與高時間分辨率的條件，研究2將其應(yīng)用于自主設(shè)計的身體活動評價程序，以1個活動案例為例展示了將活動類型、活動時間、活動強度深度融合的身體活動評價方式。程序通過輸出整段活動以及其中每種活動類型的持續(xù)時間、平均計數(shù)與不同強度等級占比的數(shù)據(jù)統(tǒng)計表，豐富了對活動類型、持續(xù)時間、活動強度對應(yīng)關(guān)系的數(shù)據(jù)描述；通過輸出活動類型、強度等級、活動計數(shù)的時間分布圖，直觀展示了身體活動類型與活動強度在時間軸上的分布及其對應(yīng)關(guān)系。

本文的貢獻在于：①構(gòu)建了高準確率、高時間分辨率的兒童身體活動類型識別模型；②通過自主設(shè)計的運用活動類型識別模型的身體活動評價程序，直觀展示了視角多方位、細節(jié)可視化、過程可追蹤的兒童身體活動評價方式。

兒童身體活動類型識別模型的高準確率往往比較受重視，而其高時間分辨率很容易被忽視。事實上，不少研究發(fā)現(xiàn)，兒童身體活動存在短時性與間歇性的簇集特征。Bailey等［5］通過主觀觀察兒童身體活動簇集特征，發(fā)現(xiàn)6~10歲兒童中低強度身體活動持續(xù)時間的中位數(shù)為6 s，高強度身體活動持續(xù)時間的中位數(shù)為3 s，即使在青少年時期，其身體活動仍然存在短時性、間歇性特征［27-28］。基于此，有研究［20］提出，在兒童身體活動測量中加速度計盡量采用5 s內(nèi)的采樣間隔以將誤差最小化；也有研究［26］認為，1 s的采樣間隔獲取的數(shù)據(jù)才能真實反映身體活動強度狀況；還有研究［29］指出，高分辨率身體活動數(shù)據(jù)能更準確地發(fā)現(xiàn)兒童身體活動與健康之間的關(guān)系。很多證據(jù)都證明了運用高時間分辨率的數(shù)據(jù)分析工具才能實現(xiàn)兒童身體活動的準確分析，因此本文設(shè)計的神經(jīng)網(wǎng)絡(luò)模型以2.8 s的時間分辨率來識別兒童身體活動類型，使其具備了應(yīng)用于兒童身體活動評價實踐的條件。

雖然本文在模型的準確率與時間分辨率方面比前人研究有較大的提高，但仍存在一些不足，如走上樓梯與跳繩動作的混淆問題，本文嘗試了時空卷積，仍然沒有改善。本文還嘗試通過活動計數(shù)來區(qū)分二者，發(fā)現(xiàn)二者在活動計數(shù)上并無顯著差異（表15）。Jang等［15］在研究中也提到了同樣的問題，認為這可能與兒童在做跳繩動作時會出現(xiàn)雙腳交替的情況（而不是一直雙腳跳）有關(guān)，筆者認同這一觀點。此外筆者還認為這跟加速度計的佩戴位置有關(guān)，當加速度計佩戴在髖部時采集到的這2種活動數(shù)據(jù)比較相似，身體活動原始數(shù)據(jù)（圖3）可以佐證這一觀點。未來若要實現(xiàn)跳繩與走上樓梯2種活動類型的區(qū)分可能需采集佩戴在其他身體部位（如腕部）的加速度計數(shù)據(jù)。

表15 跳繩與走上樓梯2種活動類型的活動計數(shù)差異檢驗Table 15 The variance analysis of the activity counts of Jump Rope and Stair Up

除了走上樓梯與跳繩動作識別的混淆問題外，涉及的身體活動類型還有待進一步豐富，如增加旋轉(zhuǎn)、投擲、騎車等相對復(fù)雜的動作。以往研究［30-31］表明，復(fù)雜動作需佩戴多個加速度計才可準確識別，而佩戴多個加速度計的測量方式會增加身體活動測量的經(jīng)濟與運算成本，自然也會增加推廣難度，努力實現(xiàn)使用1個加速度計識別多種活動類型是面向?qū)嵺`應(yīng)用的重要研究方向，也是未來需深入探討的議題。

4 結(jié)論

本文構(gòu)建的殘差卷積神經(jīng)網(wǎng)絡(luò)模型在區(qū)分跳繩/走上樓梯、靜止、快跑、慢跑、走下樓梯、快走、慢走、坐下去、站起來等9種兒童身體活動類型時準確率達到99.3%，模型識別活動案例的準確率也達到99.1%，模型時間分辨率為2.8 s。模型的高準確率、高時間分辨率為兒童身體活動類型識別在身體活動評價中發(fā)揮重要作用奠定了堅實基礎(chǔ)。將模型應(yīng)用于自主設(shè)計的兒童身體活動評價程序，展示了將活動類型、活動時間、活動強度深度融合的身體活動評價方式，為實現(xiàn)兒童身體活動評價的多視角、可視化、可追蹤提供了一種新思路。

作者貢獻聲明：

楊鋒：檢索文獻，提出論文主題，深度學(xué)習(xí)算法設(shè)計與實現(xiàn)，修改論文；

付曉蒙：檢索文獻，設(shè)計論文框架，數(shù)據(jù)核實與可視化，撰寫論文；

張庭然：梳理文獻；

羅炯：評估和修改研究方案。