人體異常坐姿識別方法研究進展

楊觀賜 李林翰 羅可欣 何玲 趙天逸 孟子力 盧明朗

摘 要：日常生活中，久坐往往會出現(xiàn)異常坐姿，頻繁的異常坐姿導(dǎo)致人們患上骨骼肌肉疾病的現(xiàn)象愈發(fā)普遍，及時識別異常坐姿并進行提醒對人們的健康具有重要意義。文章綜述了人體異常坐姿識別方法研究進展。從數(shù)據(jù)采集角度出發(fā)，將識別方法分為基于接觸式傳感器的人體異常坐姿識別方法，基于射頻信號的人體異常坐姿識別方法，基于機器視覺的人體異常坐姿識別方法，并對這3類方法進行綜述，分析各方法的特點。其中，采用接觸式傳感器的方法，分別從可穿戴設(shè)備和壓力傳感器兩個角度闡述；而基于機器視覺的方法，分別從所使用的前景圖像和人體骨骼關(guān)鍵點兩個方面進行綜述。最后，總結(jié)并分析了代表性人體異常坐姿數(shù)據(jù)集，統(tǒng)計并分析了代表性人體異常坐姿識別算法的性能表現(xiàn)，總結(jié)并展望了人體異常坐姿識別方法的發(fā)展趨勢。

關(guān)鍵詞：人體異常坐姿識別;傳感數(shù)據(jù)理解;特征提取;機器學(xué)習(xí);分類算法

中圖分類號：TP18

文獻標(biāo)志碼：A

坐姿是最常見的人體姿態(tài)，在久坐的過程中，人體極易出現(xiàn)異常坐姿，導(dǎo)致患上骨骼與肌肉疾病^［1-2］的風(fēng)險增加，全球每年大約有200萬人因長期坐姿不標(biāo)準(zhǔn)而引發(fā)相關(guān)的肌肉骨骼疾病^［3］。實現(xiàn)異常坐姿的分類識別對人們的健康生活具有重要意義。目前，根據(jù)人體異常坐姿信息的采集方式可將坐姿識別方法分為3類：基于接觸式傳感器的識別方法、基于射頻信號的識別方法以及基于機器視覺的識別方法。

基于接觸式傳感器的人體異常坐姿識別方法中，一種是通過可穿戴設(shè)備采集人體處于異常坐姿狀態(tài)下的運動學(xué)數(shù)據(jù)^［4-6］，構(gòu)建時序特征提取模型或者機器學(xué)習(xí)分類模型提取數(shù)據(jù)特征并完成分類；另一種方法則采用壓力傳感器收集人體異常坐姿狀態(tài)下的臀部或背部壓力數(shù)據(jù)，將壓力數(shù)據(jù)轉(zhuǎn)化為壓力分布圖或直接使用壓力數(shù)據(jù)實現(xiàn)異常坐姿的特征提取與分類^［7-11］。該方法能夠捕獲更精準(zhǔn)的人體異常坐姿特征數(shù)據(jù)，但存在特征冗余或者缺失的問題，同時接觸式傳感器長時間使用會造成數(shù)據(jù)誤差，影響異常坐姿識別效果。

當(dāng)前采用射頻信號進行人體異常坐姿識別的研究較少，該方法通常使用FRID標(biāo)簽和射頻天線記錄人體異常坐姿的射頻信號^［12-13］，再借助現(xiàn)有的信號濾波器對射頻信號進行平滑等預(yù)處理，最后使用分類算法提取射頻信號特征并完成分類。

基于機器視覺的人體異常坐姿識別方法中，通常先對RGB/RGBD圖像進行預(yù)處理，得到人體異常坐姿的前景圖像^［14-16］或者骨骼關(guān)鍵點數(shù)據(jù)^［17-20］，再通過現(xiàn)有的機器學(xué)習(xí)或深度學(xué)習(xí)方法，設(shè)計分類模型并進行異常坐姿特征的提取，最后完成坐姿的識別與分類。該方法采集的數(shù)據(jù)通常需要較大的存儲空間，且圖像在大部分情況下僅包含人體上半身特征。畫面采集的視角、光照變化會直接影響分類器的識別性能。

表1總結(jié)了各方法的優(yōu)缺點。上述3類有關(guān)異常坐姿的分類識別方法，以不同的方式采集有關(guān)異常坐姿特征的數(shù)據(jù)，在進行特征提取的階段，主要以機器學(xué)習(xí)或者深度學(xué)習(xí)模型作為特征提取器，最終完成異常坐姿的識別與分類。本文旨在從不同人體異常坐姿識別方法的角度，對該領(lǐng)域當(dāng)前的研究現(xiàn)狀進行論述，重點針對各類方法的數(shù)據(jù)采集方式和分類算法進行了歸納和總結(jié)，對具有代表性的人體異常坐姿數(shù)據(jù)集和分類識別算法進行了論述，最后對未來的研究趨勢進行了探討。

1 基于接觸式傳感器的人體異常坐姿識別方法

1.1 基于可穿戴設(shè)備的人體異常坐姿識別

為了識別人體異常坐姿，采用可穿戴設(shè)備時，主要借助各類傳感器（如加速度計、陀螺儀等），采集坐姿變化過程中的運動學(xué)參數(shù)數(shù)據(jù)，通過機器學(xué)習(xí)方法提取坐姿特征，完成人體異常坐姿的識別。基于可穿戴設(shè)備的人體異常坐姿識別流程如圖1所示。該類方法的識別準(zhǔn)確率往往較高，但這些方法多以識別與人體上半身相關(guān)的坐姿為主，沒有考慮和下半身特征關(guān)聯(lián)的坐姿，且一些可穿戴設(shè)備的舒適性較差。

Tang等^［4］為了識別日常生活中的7種異常坐姿，首先自制了包含4個IMU（international measurement unit）慣性單元的可穿戴設(shè)備，該設(shè)備用于采集人體動靜狀態(tài)交替期間背部的運動學(xué)特征，包括速度、加速度等。其次，通過LSTM網(wǎng)絡(luò)提取相關(guān)數(shù)據(jù)中的特征并完成異常坐姿的分類與識別，實驗結(jié)果顯示該方法對7種異常坐姿的平均識別準(zhǔn)確率達到了99%以上。但該方法采用的特征提取器LSTM存在參數(shù)量大、計算資源消耗多的問題，無法達到實時檢測坐姿的效果。為了能夠?qū)崟r檢測到異常坐姿，Riandy和Petropoulos^［26］將IMU放置在人體脊柱處采集異常坐姿數(shù)據(jù)，通過慣性傳感器單元記錄的數(shù)據(jù)計算脊柱傾角，并使用藍(lán)牙與移動應(yīng)用程序通信，當(dāng)程序發(fā)現(xiàn)脊柱傾角不在正常范圍內(nèi)時，系統(tǒng)會通過可穿戴設(shè)備或應(yīng)用程序進行提醒。該方法實現(xiàn)了實時檢測坐姿并進行反饋的效果。

為了驗證傳感器數(shù)量以及人體坐姿特征類型對坐姿識別的影響，Tang等^［21］在人體7個不同部位（包括腳踝、手腕、臀部以及大腿處）布置人體運動能耗傳感器采集人體坐姿的加速度數(shù)據(jù)，采用支持向量機模型對坐姿特征進行分類。該方法表明在使用兩個傳感器時識別效果優(yōu)于使用單個傳感器，當(dāng)模型采用基于方向的坐姿特征進行識別時表現(xiàn)最佳。Ko等^［6］則使用內(nèi)置了4個MEMS（micro electro mechanical systems）傳感器的可穿戴設(shè)備，采集人體左右肩膀和左右盆骨在人體不同坐姿狀態(tài)下的關(guān)節(jié)旋轉(zhuǎn)角和位置數(shù)據(jù)，構(gòu)建k-means算法實現(xiàn)對不同坐姿特征的聚類，判定坐姿是否異常，但該方法易受傳感器采集的異常數(shù)據(jù)的影響。

Jiang等^［22］基于摩擦電納米發(fā)電機設(shè)計并制作了一種自供電的坐姿監(jiān)測背心，該背心通過采集不同坐姿的電壓信號數(shù)據(jù)，分析電壓特征，實現(xiàn)坐姿的分類。對比3種不同的機器學(xué)習(xí)分類器的識別效果，結(jié)果表明隨機森林算法的分類性能最佳。該方法能夠識別包括正常坐姿在內(nèi)的6種坐姿，但背心的束縛較強，且無法檢測與人體下半身相關(guān)的異常坐姿。Gupta等^［27］使用無線Trigno IM傳感器（內(nèi)含加速度計和陀螺儀）采集人體分別處于5種異常坐姿狀態(tài)下頸部、肩部以及腰部的加速度和周轉(zhuǎn)率數(shù)據(jù)，對比支持向量機等4種算法的分類識別效果，結(jié)果表明隨機森林算法的識別效果最優(yōu)。Sinha等^［28］為了識別人體異常坐姿，使用手機內(nèi)置的慣性傳感器采集5類人體異常坐姿的運動學(xué)數(shù)據(jù)。再通過基于粒子群優(yōu)化模型的相關(guān)性特征選擇算法進行特征的篩選，最后使用支持向量機分類器達到了最優(yōu)的特征分類效果。

借助可穿戴設(shè)備，能夠?qū)崿F(xiàn)較高準(zhǔn)確率的異常坐姿識別。此類方法將特征選擇的重心放在與人體上半身相關(guān)的異常坐姿上，后續(xù)工作可考慮采用人體全局的坐姿特征，在豐富識別特征的同時，擴增可識別的異常坐姿種類。

1.2 基于壓力傳感器的人體異常坐姿識別

采用壓力傳感器識別人體異常坐姿的方式主要分為兩種：將壓力特征轉(zhuǎn)換為圖像，采用圖像分類的方法識別異常坐姿；直接使用壓力特征進行識別的方式。表2是相關(guān)方法的總結(jié)。

在基于壓力傳感器的人體姿勢識別方法中，F(xiàn)an等^［23］和Liu等^［29］使用分布式壓力傳感器獲取人體在異常坐姿狀態(tài)下的臀部壓力數(shù)據(jù)，并將其可視化為壓力熱圖。其次，基于CNN對壓力熱圖進行分類，完成人體異常坐姿的識別?；谠摲椒傻漠惓Ｗ俗R別系統(tǒng)可以嵌入到坐墊中并實現(xiàn)實時檢測。但對于與壓力熱圖相似的坐姿，系統(tǒng)會出現(xiàn)誤判的問題。為了避免壓力數(shù)據(jù)采集的偶然性，Yuan等^［31］進行多次人體異常坐姿壓力圖像的采集，并用CNN網(wǎng)絡(luò)提取圖像特征完成坐姿分類。實驗證明使用該種采集數(shù)據(jù)的方式比連續(xù)采集數(shù)據(jù)方式的分類準(zhǔn)確率高出11.61%。但該方法能夠識別的異常坐姿種類僅有4種。Wang等^［24］則使用由力敏電阻器集成的傳感器采集人體處于異常坐姿狀態(tài)下的髖部壓力數(shù)據(jù)，并將壓力分布圖編碼成余弦秩稀疏數(shù)據(jù)，然后使用液體狀態(tài)機和邏輯回歸分類器構(gòu)建了脈沖神經(jīng)網(wǎng)絡(luò)，用于對15種坐姿進行分類。該方法證明了SNN（spiking neural network）可以解決類圖像的分類問題，但在異常坐姿識別領(lǐng)域，該方法的分類精度較低。為了在識別坐姿的過程中盡可能地減少算力資源并降低功耗，Licciardo等^［32］基于改進的全卷積網(wǎng)絡(luò)（fully convolutional networks^［36］）提取人體處于異常坐姿狀態(tài)下的臀部壓力數(shù)據(jù)特征并進行分類，采用二基數(shù)的量化策略限制映射的物理資源量。

為了提高壓力傳感器在采集人體異常坐姿時的靈敏度以及感測范圍，Huang等^［33］基于纖維素和納米纖維的復(fù)合材料設(shè)計一種瞬態(tài)雙型傳感器用于采集相關(guān)人體異常坐姿的壓力數(shù)據(jù)。再采用深度神經(jīng)網(wǎng)絡(luò)對異常坐姿進行分類，實驗結(jié)果顯示該方法的識別準(zhǔn)確率高達97%，且支持多人的坐姿識別。Wan等^［30］在識別人體異常坐姿時，通過陣列壓力傳感器系統(tǒng)采集人體臀部的壓力圖像，再采用基于模板卷積的方法實現(xiàn)對壓力圖像的定位和角度矯正，最后采用基于多項式核函數(shù)的支持向量機模型實現(xiàn)對異常坐姿的分類。該方法在進行坐姿分類前，設(shè)計了一種臀部定位算法對臀部壓力圖片進行預(yù)處理，該算法具有較好的數(shù)據(jù)處理效果。但此方法檢測的坐姿種類較少，系統(tǒng)的泛化性較差。在僅使用壓力傳感器采集異常坐姿壓力數(shù)據(jù)的情況下，分類器易于錯分具有相同軀干狀態(tài)的坐姿。為了解決該問題，Zhang等^［34］采用壓力傳感器和紅外傳感器相結(jié)合的方式采集人體處于異常坐姿時的臀部壓力分布圖和紅外圖像，采用雙流卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，每個分支采用ResNet殘差連接。該模型提取兩種數(shù)據(jù)中不同的特征，最后將特征進行融合，實現(xiàn)坐姿的分類。該方法在識別具有相似壓力分布的坐姿的同時，還起到了保護用戶隱私的作用。

為了識別人體異常坐姿，上述方法將人體局部的壓力進行可視化，通過機器學(xué)習(xí)算法對圖像進行分類，完成異常坐姿的識別。而壓力可視化后因圖像相似導(dǎo)致分類器對坐姿誤判的問題，僅依靠壓力的相關(guān)特征往往難以解決問題，而隨著傳感器技術(shù)的發(fā)展，借助多種傳感器采集不同模態(tài)數(shù)據(jù)已經(jīng)成為了解決此類問題的突破口之一。

采用壓力可視化的圖像進行異常坐姿識別時，可用的圖像特征分類器較多。但壓力可視化的過程間接增加了異常坐姿識別的工作量。為了簡化識別流程，直接利用有關(guān)人體異常坐姿的壓力特征。Ran等^［35］使用陣列壓力傳感器采集有關(guān)人體異常坐姿的臀部壓力數(shù)據(jù)，并對比測試了7種機器學(xué)習(xí)算法的分類性能，結(jié)果表明ANN的分類效果最佳，隨機森林算法的實用性最佳。該方法集成到樹莓派上實現(xiàn)了實時檢測的效果。Ahmad等^［8］使用絲網(wǎng)印刷壓阻傳感器收集了4種坐姿的壓力數(shù)據(jù)，經(jīng)數(shù)據(jù)統(tǒng)計獲取了臀部壓力的平均值、和值等統(tǒng)計特征，基于決策樹算法完成了坐姿的分類。為了更高效地識別人體異常坐姿，Arshad等^［9］設(shè)計了兩組基于壓力傳感器的數(shù)據(jù)采集方案，分別使用6個壓力傳感器和2個壓力傳感器外加1個超聲波傳感器采集數(shù)據(jù)?；诓杉南嚓P(guān)數(shù)據(jù)，使用KNN等4種機器學(xué)習(xí)算法進行對比測試，結(jié)果表明在采用第2種數(shù)據(jù)采集方案的情況下，使用隨機森林算法識別異常坐姿時，效果最優(yōu)。分析可知超聲波傳感器采集的前傾和后傾坐姿數(shù)據(jù)相比于僅采用壓力傳感器進行數(shù)據(jù)的采集，坐姿特征更明顯，有利于算法進行特征提取和分類。但該方法識別的坐姿較少，應(yīng)采集更多的坐姿數(shù)據(jù)進行測試。Shen等^［10］自主設(shè)計了一種可以識別并提醒用戶糾正異常坐姿的智能座椅——SeatPlus，該座椅基于使用內(nèi)嵌在坐墊里的壓力傳感器采集人體的坐姿壓力數(shù)據(jù)，通過WiFi將數(shù)據(jù)傳輸至云端，采用MLP模型提取壓力數(shù)據(jù)的特征，完成坐姿的識別，系統(tǒng)再將識別結(jié)果返回到App上，提醒用戶調(diào)整坐姿，該系統(tǒng)的坐姿識別準(zhǔn)確率超過90%，糾正坐姿的有效性超過70%，但是系統(tǒng)的糾正頻率對用戶使用舒適度有影響。

Gelaw等^［7］使用2塊32×32的壓力陣列傳感器分別采集受控和真實場景下人體臀部和背部的壓力數(shù)據(jù)，通過手動選取特征，將80維的坐姿特征壓縮至64維，使用K折交叉驗證的方法，對比隨機森林等5種分類器的性能，實驗結(jié)果顯示在使用受控數(shù)據(jù)集時，深度神經(jīng)網(wǎng)絡(luò)的性能最優(yōu)。該方法雖然取得了較好的分類結(jié)果，但能夠識別的坐姿種類較少，且在特征選擇的過程中存在偶然性。杜英魁等^［11］使用端云結(jié)合的技術(shù)設(shè)計了一種基于電阻式薄膜壓力傳感器的坐姿識別系統(tǒng)，該系統(tǒng)采集人體臀部和腿部的壓力數(shù)據(jù)，使用復(fù)合限幅濾波方法對數(shù)據(jù)進行預(yù)處理，再結(jié)合傾軸系數(shù)對數(shù)據(jù)進行降維。將終端的壓力特征數(shù)據(jù)傳輸至云端，最后經(jīng)過云端的二層結(jié)構(gòu)支持向量機算法實現(xiàn)坐姿的分類，可以有效識別4種異常坐姿，但系統(tǒng)缺少對異常坐姿的預(yù)警和提醒功能。

上述基于壓力傳感器進行人體異常坐姿識別的方法中，通過采集人體局部壓力（臀部、背部等）數(shù)據(jù)，再使用各類機器學(xué)習(xí)分類器提取坐姿特征，可以完成異常坐姿識別任務(wù)。而坐姿變化時，人體其他部位通常也會出現(xiàn)壓力的變化，如頸部、腿部等，僅依靠局部位置的壓力特征進行異常坐姿的分析不夠充分。

2 基于射頻信號的人體異常坐姿識別方法

射頻信號是一種高頻交流變化電磁波。當(dāng)前，射頻技術(shù)已經(jīng)在人體行為識別、人體姿態(tài)識別等領(lǐng)域得到了廣泛的應(yīng)用。針對使用機器視覺技術(shù)識別人體行為存在隱私保護^［37］、暗光和遮擋時識別效果差等問題^［38］，許多研究逐漸關(guān)注如何使用射頻技術(shù)來解決這些問題。Li等^［39］將有關(guān)人體行為的射頻信號轉(zhuǎn)換為人體3D骨架，如圖2所示，再將人體3D骨骼信息與視頻流中的信息融合進行識別。Wang等^［40］基于射頻信號進行人體連續(xù)的行為識別，在對射頻信號進行去噪后，采用雙窗口的方式減少連續(xù)行為分割時的累計誤差，在兩類行為上的活動識別準(zhǔn)確率達到了90%。Huang等^［41］則將FRID接收信號進行可視化，如圖2中的射頻信號熱圖，將圖像輸入時空卷積神經(jīng)網(wǎng)絡(luò)進行行為識別。使用射頻信號進行人體姿態(tài)識別時，Hu等^［42］基于可重構(gòu)的智能平面設(shè)計了一套射頻感知系統(tǒng)進行人體姿態(tài)識別，該系統(tǒng)可以根據(jù)環(huán)境提供合適的信號傳播途徑和多樣化的傳輸信道，進而改善識別的效果。Chen等^［43］為了識別頭部姿態(tài)，使用FRID采集并識別頭部姿態(tài)信息，并基于獨立成分分析方法提取微弱的反射射頻信號，識別準(zhǔn)確率達到了91%。Chen等^［44］使用FRID采集的連續(xù)手勢信息，通過結(jié)合基于k均值的矢量量化器和字符串匹配算法，能夠?qū)崟r識別順序手勢，在識別交警指揮手勢時準(zhǔn)確率達到了96.2%。異常坐姿作為一種人體姿態(tài)，有越來越多的工作開始使用射頻信號進行人體異常坐姿識別。

基于射頻信號進行人體異常坐姿識別時，使用射頻卡（標(biāo)簽）和射頻天線記錄不同坐姿的射頻信號，再基于濾波等信號處理方法提取相關(guān)特征，最后使用機器學(xué)習(xí)方法實現(xiàn)異常坐姿的分類。圖3是異常坐姿射頻信號數(shù)據(jù)采集方式的示意圖。

Feng等^［12］首次采用射頻信號實現(xiàn)了對不同坐姿的分類。根據(jù)不同坐姿狀態(tài)下標(biāo)簽和天線之間的距離不同，該方法首先將3個FRID標(biāo)簽貼在人體背部脊柱處的外衣上，由射頻天線傳遞信號，通過相位移動校準(zhǔn)算法去除相位序列數(shù)據(jù)中的噪聲，最后經(jīng)過手動選取相位序列中的特征，進行坐姿的分類測試，結(jié)果顯示使用隨機森林算法的平均識別準(zhǔn)確率達到了98.83%。該方法識別準(zhǔn)確率高，在不同場景下算法魯棒性較好，且該方法可以有效保護用戶隱私。而由于FRID標(biāo)簽貼在外衣上，衣服的厚度和褶皺會對識別結(jié)果產(chǎn)生影響，同時長期監(jiān)測異常坐姿對于該系統(tǒng)是一個考驗。Li等^［13］基于不同坐姿的射頻信號，對坐姿進行分類。首先，將標(biāo)簽和天線放在用戶的兩側(cè)以采集異常坐姿的射頻信號數(shù)據(jù)，由于不同的坐姿的呼吸幅度有差異，通過計算射頻信號的相位差獲取不同坐姿的呼吸幅度信息，再基于PCA對數(shù)據(jù)進行降維處理，最后使用BP神經(jīng)網(wǎng)絡(luò)提取數(shù)據(jù)特征完成分類。該方法能識別的異常坐姿種類較少，對標(biāo)簽和天線的擺放位置有一定的要求。且FRID的標(biāo)簽成本高于普通標(biāo)簽，數(shù)據(jù)加密的安全性不夠高。

使用射頻信號記錄人體異常坐姿相關(guān)信息并進行坐姿識別可以有效保護用戶隱私，且不受遮擋、光線等環(huán)境因素的影響，實用性強，但對于設(shè)備擺放位置要求嚴(yán)格，且環(huán)境中的金屬等物質(zhì)會影響射頻信號的傳輸。

3 基于機器視覺的人體異常坐姿識別方法

得益于機器學(xué)習(xí)在視覺領(lǐng)域的快速發(fā)展^［45-46］，基于機器視覺的圖像分類方法在人體異常坐姿識別領(lǐng)域中得到應(yīng)用。為了識別異常坐姿，此類方法通常使用各類視覺傳感器采集人體異常坐姿的圖像信息，對圖像進行預(yù)處理后，使用機器學(xué)習(xí)算法識別圖像特征并進行坐姿分類。根據(jù)數(shù)據(jù)預(yù)處理方式的不同，可以分為兩類不同的坐姿識別方法，表3總結(jié)了不同方法的特點。

3.1 基于前景圖像的異常坐姿識別方法

基于機器視覺識別人體異常坐姿，圖像的背景會影響識別效果。如何去除背景、提取圖像前景中的人體特征對坐姿的識別至關(guān)重要。

Zeng等^［16］使用Kinect深度攝像頭采集14類異常坐姿的深度圖像，基于笛卡爾平面投影的方法，得到相關(guān)的投影圖像，再對投影圖像進行PCA降維處理，得到最終的投影特征。將投影特征與前視圖的HOG特征進行融合得到新的姿態(tài)特征向量，最后基于隨機森林算法對特征向量進行分類。武松林等^［47］則采用背景輪廓消減法提取運動前景，通過投影的方式提取人體運動前景的膚色區(qū)域，再采用PCA算法提取膚色灰度圖中的坐姿特征，完成了8類坐姿的分類。Sun等^［15］使用Kinect深度攝像頭采集9類異常坐姿的深度圖像，為了提取前景中的人體坐姿，基于平滑濾波和高斯模型不斷調(diào)整深度閾值，再使用最終的深度閾值提取前景人體坐姿圖像，根據(jù)人體坐姿圖像獲取人體上半身6個關(guān)節(jié)點的信息，基于關(guān)節(jié)點信息提取坐姿的相對拓?fù)涮卣骱途植窟吘壧卣?，將這些特征進行融合，使用KNN算法實現(xiàn)坐姿的分類。Sun等^［14］為了識別人體異常坐姿，使用Kinect攝像頭采集8類人體異常坐姿的深度圖像，基于人體索引采樣函數(shù)捕捉圖像中的人體區(qū)域，去除背景，最后使用基于寬度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)框架提取人體坐姿圖像特征，完成分類。

由于型體、坐姿差異性以及攝像頭角度變化等因素會影響坐姿識別的準(zhǔn)確性，黃安義等^［48］提出了一種多輸入多輸出的CNN模型。首先對采集的RGBD圖像進行直方圖均衡化、中值濾波等預(yù)處理，經(jīng)預(yù)處理的圖像在三維坐標(biāo)上進行投影，之后將得到的3種視圖作為MIMO（多輸入多輸出）-CNN的輸入，從前后和左右兩個方向?qū)ψ诉M行分類。劉敏等^［49］通過對人臉的檢測實現(xiàn)了異常坐姿的識別，該方法首先通過MTCNN^［50］算法檢測出人臉的5個關(guān)鍵點，再采用背景差分方法提取人體輪廓，基于圖像中肩膀的ROI區(qū)域，使用輪廓多邊形近似算法定位肩膀上的2個關(guān)鍵點，最后將人臉關(guān)鍵點和肩膀關(guān)鍵點組合成高維向量，采用SVM進行坐姿分類。為了減少背景對坐姿識別時的影響，豐婧等^［51］同樣采用背景減法分離人體異常坐姿圖像的前景和背景，提取出人體坐姿信息，基于多尺度金字塔結(jié)構(gòu)分層構(gòu)建了9種坐姿的PHOG特征，采用隨機數(shù)森林算法實現(xiàn)了9種坐姿的分類。

3.2 基于人體骨骼關(guān)鍵點的異常坐姿識別方法

在提取人體異常坐姿的前景圖像時，需要處理的圖像數(shù)據(jù)量較大。為了減少計算量并提取特征豐富的坐姿數(shù)據(jù)，越來越多的研究關(guān)注如何采用人體骨骼關(guān)鍵點實現(xiàn)異常坐姿的識別^［52］。當(dāng)前，獲取人體骨骼關(guān)鍵點的方式主要有兩種：基于深度相機獲得擁有三維坐標(biāo)信息的骨骼關(guān)鍵點^［53］和基于姿態(tài)估計算法捕獲RGB圖像中的人體骨骼關(guān)鍵點^{［25，54］}。通過對骨骼關(guān)鍵點進行圖像化或直接利用骨骼點坐標(biāo)特征進行異常坐姿的識別。

Yao等^［17］使用Kinect2.0深度相機獲取人體關(guān)節(jié)點坐標(biāo)信息，根據(jù)頸部和軀干處的關(guān)節(jié)點坐標(biāo)計算頸部夾角和軀干夾角，并與正常坐姿下的夾角信息進行對比，以此判斷坐姿是否正常。該方法對于標(biāo)準(zhǔn)夾角的設(shè)定缺乏依據(jù)，需要進一步驗證。Min等^［55］為了能在復(fù)雜環(huán)境下識別人體異常坐姿，提出了一種用于在屏幕前閱讀時的坐姿檢測方法，該方法首先使用Kinect攝像頭提取人體骨骼關(guān)鍵點信息，再使用Faster R-CNN^［56］模型檢測場景中的物體并提取相關(guān)特征，將人體骨骼關(guān)鍵點信息和物體相關(guān)特征進行融合，基于高斯混合行為聚類方法進行坐姿的識別和場景的理解。與其他方法相比，該方法能夠在復(fù)雜環(huán)境下實現(xiàn)異常坐姿識別?；谕瑯拥臄?shù)據(jù)采集方法，鄒芳園等^［18］利用人體與屏幕之間的空間方位關(guān)系提取與坐姿強相關(guān)的特征，并使用淺層CNN網(wǎng)絡(luò)提取時空信息，完成異常坐姿分類。

相比使用姿態(tài)估計算法獲取人體骨骼關(guān)鍵點進行異常坐姿識別的方法，基于深度攝像頭直接獲取人體骨骼關(guān)鍵點的方式更為便捷，但相比于普通攝像頭，深度攝像頭造價昂貴。隨著深度學(xué)習(xí)的發(fā)展，基于姿態(tài)估計算法識別人體坐姿的方法愈發(fā)成熟。圖4總結(jié)了基于人體骨骼關(guān)鍵點的異常坐姿識別流程。

為了能在嵌入式平臺上開發(fā)出識別異常坐姿的系統(tǒng)，房志遠(yuǎn)等^［19］通過自適應(yīng)批量歸一化層候選評估模塊對OpenPose算法^［57］進行剪枝優(yōu)化處理，達到快速估計人體姿態(tài)的目的，再將人體上半身骨骼關(guān)鍵點特征與通過卷積神經(jīng)網(wǎng)絡(luò)提取的RGB圖像特征進行融合，最后采用ANN實現(xiàn)了坐姿特征的分類。同樣使用OpenPose算法提取人體上半身的骨骼關(guān)鍵點信息，鄭佳罄等^［58］則采用雙目視覺系統(tǒng)采集人體異常坐姿圖像，再使用改進的半全局匹配算法計算雙目圖像視差，得到骨骼關(guān)鍵點的深度信息，最后計算頭部傾角，根據(jù)設(shè)定的閾值判斷坐姿是否正常。而陳錦濤等^［59］則通過人臉關(guān)鍵點檢測的方法，計算頭部傾角，基于OpenPose算法估計人體肩部姿態(tài)，根據(jù)頭部和肩部的組合方案，最后可以識別12種不同的異常坐姿。但根據(jù)閾值進行坐姿判定的方法缺少人體工學(xué)和醫(yī)學(xué)依據(jù)，相關(guān)研究需要在人體醫(yī)學(xué)證明基礎(chǔ)上重新衡量判定的閾值。

Chen^［60］為了識別學(xué)生的異常坐姿，使用OpenPose姿態(tài)估計算法提取人體姿態(tài)，并將圖像背景去除，僅剩人體骨架信息，基于Keras搭建19層卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，完成分類。Liu等^［20］構(gòu)建了一種基于人體骨骼關(guān)鍵點的3D-CNN模型用以實現(xiàn)人體姿態(tài)識別，首先基于采集的RGBD圖像提取人體骨骼關(guān)鍵點，采用邊界框的方法對關(guān)鍵點坐標(biāo)進行歸一化，再對人體骨骼關(guān)鍵點進行高斯體素建模，最后使用3D-CNN^［61］模型對建模數(shù)據(jù)進行特征提取和分類。該方法實現(xiàn)了對各種坐姿的識別，但對人體骨骼關(guān)鍵點建模時計算量大且耗時長?？紤]到CNN不能有效地捕捉長期依賴關(guān)系，F(xiàn)ang等^［62］采用改進的Vision Transformer^［63］模型提取坐姿特征，由于原模型需要大量數(shù)據(jù)進行預(yù)訓(xùn)練并且忽視樣本之間潛在的關(guān)系，該方法在原模型的基礎(chǔ)上引入了Convolutional Stem^［64］以及外部注意力^［65］模塊克服上述問題，之后在分割片段（segmented patch）前后加入位置嵌入層獲取更多有關(guān)坐姿的位置信息。該方法以帶有人體骨骼關(guān)鍵點信息的圖像作為輸入，證明了改進模型的有效性。

總體上而言，為了識別人體異常坐姿，多數(shù)方法僅關(guān)注與人體上半身特征相關(guān)聯(lián)的坐姿，盡管圖像數(shù)據(jù)中包含了大量有關(guān)異常坐姿的特征，但仍然缺少能夠識別和全身相關(guān)的異常坐姿特征。同時基于圖像進行異常坐姿識別時，涉及到用戶隱私保護問題^［66］，雖然使用人體骨骼關(guān)鍵點數(shù)據(jù)進行識別在一定程度上可以規(guī)避這類問題，但提取人體骨骼關(guān)鍵點的過程易受遮擋、光照變化等因素的干擾，導(dǎo)致識別無法達到良好的效果。

4 人體異常坐姿數(shù)據(jù)集與識別算法性能分析

4.1 人體異常坐姿數(shù)據(jù)集

根據(jù)當(dāng)前主要的人體異常坐姿識別方法中使用到的數(shù)據(jù)采集傳感器類型，可將人體異常坐姿數(shù)據(jù)集分為3類，表4總結(jié)了文獻中的異常坐姿識別數(shù)據(jù)集。

數(shù)據(jù)集D1—D3使用壓力傳感器陣列獲取人體異常坐姿的靜態(tài)壓力分布熱圖，其中，在數(shù)據(jù)集D1中，采集到19名志愿者的15類異常坐姿數(shù)據(jù)，種類最為豐富；而在數(shù)據(jù)集D2和D3中，采集到的異常坐姿種類和使用的志愿者數(shù)量較少。當(dāng)基于壓力傳感器收集人體異常坐姿數(shù)據(jù)時，往往只關(guān)注獲得人體臀部或背部的壓力特征，而導(dǎo)致其他部位的特征缺失。數(shù)據(jù)集D4使用可穿戴設(shè)備采集人體異常坐姿發(fā)生時的運動學(xué)特征參數(shù)，如加速度、速度等，該數(shù)據(jù)集采集了6名志愿者的5類異常坐姿數(shù)據(jù)，數(shù)據(jù)量達到了16萬。然而，該種方式采集的數(shù)據(jù)往往存在特征冗余的問題，需要在使用分類器提取特征之前進行預(yù)處理。上述這些數(shù)據(jù)集的構(gòu)建均使用了接觸式傳感器。由于長期使用，這些傳感器的精度會下降，導(dǎo)致收集的數(shù)據(jù)出現(xiàn)誤差，進而影響異常坐姿的識別效果。在數(shù)據(jù)集D8—D12中，均使用視覺傳感器（Kinect深度攝像頭等）獲取人體異常坐姿的RGB或者RGBD圖像數(shù)據(jù)，同時基于圖像數(shù)據(jù)可以獲取人體骨骼關(guān)鍵點信息^{［19，62］}。這些數(shù)據(jù)集的規(guī)模較大，采集到的異常坐姿種類和數(shù)據(jù)采集對象較多，占用存儲空間大，且只采集到人體上半身靜態(tài)的異常坐姿信息，而有些異常坐姿的形成與人體下半身相關(guān)，因此，目前通過視覺傳感器構(gòu)建的人體異常坐姿數(shù)據(jù)集，存在占用空間大、特征不全的問題。

4.2 人體異常坐姿識別算法分析

隨著機器學(xué)習(xí)技術(shù)在智能家居、健康醫(yī)療等領(lǐng)域的應(yīng)用和發(fā)展以及人們對健康生活愈發(fā)的重視，越來越多的機器學(xué)習(xí)分類算法開始應(yīng)用到人體異常坐姿識別上，表5總結(jié)了代表性人體異常坐姿識別算法性能。

使用傳統(tǒng)機器學(xué)習(xí)分類算法進行異常坐姿分類識別時，多數(shù)研究會關(guān)注隨機森林分類算法，該算法對數(shù)據(jù)量要求不大，訓(xùn)練容易，且可以處理具有高維度特征的數(shù)據(jù)，雖然該算法對具有相似特征的數(shù)據(jù)敏感，但通過主成分分析等特征預(yù)處理方法可剔除相似特征。使用深度學(xué)習(xí)分類算法進行異常坐姿識別的研究中，多以卷積神經(jīng)網(wǎng)絡(luò)模型作為特征分類器。由于平移不變性和參數(shù)共享等特點，卷積神經(jīng)網(wǎng)絡(luò)十分適合提取異常坐姿壓力熱圖以及RGB圖像中的信息。近年來，隨著ViT^［63］等基于Transformer^［68］進行改進的圖像分類算法的興起，出現(xiàn)了使用此類算法進行異常坐姿識別的研究，但該類算法需要大量的數(shù)據(jù)進行預(yù)訓(xùn)練。

5 結(jié)束語

近年來，得益于傳感器技術(shù)和機器學(xué)習(xí)的發(fā)展，基于不同類型傳感器采集人體異常坐姿數(shù)據(jù)并進行坐姿識別的方法取得了長足的進展，本文從數(shù)據(jù)采集角度出發(fā)對現(xiàn)有的人體異常坐姿識別方法進行了分類，并對各類識別方法采用的數(shù)據(jù)采集方式、特征提取與分類方法進行了歸納總結(jié)。采用接觸式傳感器識別人體異常坐姿時，由于能采集到精確的坐姿數(shù)據(jù)，誤差較小，因此該方法普遍采用較為簡單的機器學(xué)習(xí)分類模型，但當(dāng)前的工作多采用人體上半身的坐姿特征為研究對象；基于射頻信號的人體異常坐姿識別方法通常先對采集的數(shù)據(jù)進行去噪等預(yù)處理，再進行特征的提取與識別，該方法可以保護用戶隱私，且可以有效處理遮擋的問題，但在設(shè)備的使用有嚴(yán)格要求；深度學(xué)習(xí)在視覺領(lǐng)域的廣泛應(yīng)用^［69］，促進了使用機器視覺技術(shù)識別人體異常坐姿的發(fā)展，基于各類神經(jīng)網(wǎng)絡(luò)模型提取圖像坐姿特征能提升識別準(zhǔn)確率，但容易受攝像頭角度、光照等因素影響。最后，從數(shù)據(jù)集和分類算法的角度出發(fā)，對具有代表性的人體異常坐姿數(shù)據(jù)集和坐姿分類算法進行了綜述?？傮w上而言，人體異常坐姿識別領(lǐng)域取得了一定的進展，但在數(shù)據(jù)集構(gòu)建、數(shù)據(jù)特征融合以及實際應(yīng)用方面仍然值得進一步研究。

1）人體異常坐姿數(shù)據(jù)集構(gòu)建。人體異常坐姿識別方法的檢測效果與豐富的數(shù)據(jù)特征密切相關(guān)。然而，當(dāng)前工作構(gòu)建的數(shù)據(jù)集僅包含人體局部的坐姿特征^{［24，32-33］}。然而，一些異常坐姿的識別通常與全身的特征相關(guān)，因此在采集異常坐姿數(shù)據(jù)時，考慮人體全身的特征^［70］是有必要的。

2）多模態(tài)數(shù)據(jù)融合。特征的提取對于異常坐姿的識別至關(guān)重要，多種特征融合能發(fā)揮多種模態(tài)數(shù)據(jù)的優(yōu)勢。采用多類型傳感器數(shù)據(jù)融合的方式進行異常坐姿識別，可以彌補單一傳感器采集的坐姿特征缺失的問題，提升異常坐姿的識別效果，同時能克服一些傳感器本身存在的問題^［71-72］。

3）多人異常坐姿識別。當(dāng)前，多數(shù)工作主要關(guān)注單人異常坐姿識別問題，而在現(xiàn)實生活中存在多人處于異常坐姿狀態(tài)的問題，在群體行為識別領(lǐng)域^［73］，依然缺少針對多人異常坐姿識別問題的數(shù)據(jù)集以及高效的識別方法。

參考文獻：

[1]HU Y F， HUANG T Q， ZHANG H J， et al. Ultrasensitive and wearable carbon hybrid fiber devices as robust intelligent sensors［J］. Acs Applied Materials & Interfaces， 2021，13（20）： 23905-23914.

［2］ BUCKLAND A J， BEAUBRUN B M， ISAACS E， et al. Psoas morphology differs between supine and sitting magnetic resonance imaging lumbar spine： implications for lateral lumbar interbody fusion［J］. Asian Spine Journal， 2018，12（1）： 29-36.

［3］ GEBREYESUS T， NIGUSSIE K， GASHAW M， et al. The prevalence and risk factors of work-related musculoskeletal disorders among adults in Ethiopia： a study protocol for extending a systematic review with meta-analysis of observational studies［J］. Systematic Reviews， 2020， 9（1）. DOI： 10.1186/s13643-020-01403-9.

［4］ TANG H Y， TAN S H， SU T Y， et al. Upper body posture recognition using inertial sensors and recurrent neural networks［J］. Applied Sciences-Basel， 2021，11（24）. DOI： 10.3390/app112412101.

［5］ RIANDY R， MICHRANDI N S， ASTUTI N R. The development of a wearable biofeedback trainer to increase quality of sitting posture［C］//The 2nd International Conference on Data and Information， Bandung， Indonesia， 2019. Bristol， England： IOP Publishing， 2019.

［6］ KO K R， CHAE S H， MOON D， et al. Four-joint motion data based posture classification for immersive postural correction system［J］. Multimedia Tools and Applications， 2017，76（9）： 11235-11249.

［7］ GELAW T A， HAGOS M T. Posture prediction for healthy sitting using a smart chair［C］//Advances of Science and Technology， Bahir Dar， Ethiopia， 2021. Cham： Springer International Publishing， 2022.

［8］ AHMAD J， ANDERSSON H， SIDEN J. Screen-printed piezoresistive sensors for monitoring pressure distribution in wheelchair［J］. IEEE Sensors Journal， 2019，19（6）： 2055-2063.

［9］ ARSHAD J， ASIM H M， ASHRAF M A， et al. An intelligent cost-efficient system to prevent the improper posture hazards in offices using machine learning algorithms［J］. Computational Intelligence and Neuroscience， 2022， 2022： 7957148.

［10］SHEN Z Y， WAN X， JIN Y C， et al. Seatplus： a smart health chair supporting active sitting posture correction［C］//International Conference on Human-Computer Interaction， 2021. Berlin， German： Springer， 2021.

［11］杜英魁， 姚俊豪， 劉鑫，等. 基于電阻式薄膜壓力傳感器組的人體坐姿感知終端［J］. 傳感器與微系統(tǒng)， 2020，39（1）： 78-81.

［12］FENG L， LI Z， LIU C， et al. Sitr： sitting posture recognition using RF signals［J］. IEEE Internet of Things Journal， 2020，7（12）： 11492-11504.

［13］LI M Y， JIANG Z H， LIU Y T， et al. Sitsen： passive sitting posture sensing based on wireless devices［J］. International Journal of Distributed Sensor Networks， 2021，17（7）. DOI：10.1177/15501477211024846.

［14］SUN W T， ZHOU Z， LI H J. Sitting posture recognition in real-time combined with index map and BLS［C］//Proceedings of the 2019 3rd International Conference on Innovation in Artificial Intelligence， Suzhou， China， 2019. New York， NY： Association for Computing Machinery， 2019.

［15］SUN B， ZENG X， LIU T C， et al. Sitting posture detection using adaptively fused 3D features［C］//IEEE 2nd Information Technology， Networking， Electronic and Automation Control Conference （ITNEC）， Chengdu， China， 2017. IEEE， 2017.

［16］ZENG X， SUN B， WANG E L， et al. A method of learners sitting posture recognition based on depth image［C］//Proceedings of the 2017 2nd International Conference on Control， Automation and Artificial Intelligence （CAAI 2017）， 2017. Paris， France： Atlantis Press， 2017.

［17］YAO L， MIN W， CUI H. A new kinect approach to judge unhealthy sitting posture based on neck angle and torso angle［C］//International Conference on Image and Graphics， Shanghai， China， 2017. Berlin， German： Springer， 2017.

［18］鄒芳園， 閔衛(wèi)東， 崔浩， 等. 基于多關(guān)聯(lián)特征的屏幕閱讀坐姿健康性判別［J］. 圖學(xué)學(xué)報， 2019，40（5）： 892-899.

［19］房志遠(yuǎn)， 石守東， 鄭佳罄， 等. 基于神經(jīng)網(wǎng)絡(luò)的骨骼特征融合下坐姿快速識別［J］. 傳感技術(shù)學(xué)報， 2022，35（5）： 613-620.

［20］LIU J B， WANG Y， LIU Y C， et al. 3D posturenet： a unified framework for skeleton-based posture recognition［J］. Pattern Recognition Letters， 2020，140： 143-149.

［21］TANG Q， JOHN D， THAPA-CHHETRY B， et al. Posture and physical activity detection： impact of number of sensors and feature type［J］. Medicine & Science in Sports & Exercise， 2020，52（8）： 1834-1845.

［22］JIANG Y， AN J， LIANG F， et al. Knitted self-powered sensing textiles for machine learning-assisted sitting posture monitoring and correction［J］. Nano Research， 2022，15（9）： 8389-8397.

［23］FAN Z， HU X， CHEN W M， et al. A deep learning based 2-dimensional hip pressure signals analysis method for sitting posture recognition［J］. Biomedical Signal Processing and Control， 2022，73. DOI： 10.1016/j.bspc.2021.103432.

［24］WANG J Q， HAFIDH B， DONG H W， et al. Sitting posture recognition using a spiking neural network［J］. IEEE Sensors Journal， 2021，21（2）： 1779-1786.

［25］李麗， 張榮芬， 劉宇紅， 等. 基于多尺度注意力機制的高分辨率網(wǎng)絡(luò)人體姿態(tài)估計［J］. 計算機應(yīng)用研究， 2022， 39（11）： 3487-3491.

［26］PETROPOULOS A， SIKERIDIS D， ANTONAKOPOULOS T. Spomo： IMU-based real-time sitting posture monitoring［C］//IEEE 7th International Conference on Consumer Electronics-Berlin （ICCE-Berlin）， Berlin， Germany， 2017. New York， NY： IEEE， 2017.

［27］GUPTA R， GUPTA S H， AGARWAL A， et al. A wearable multisensor posture detection system［C］//International Conference on ENT Computing and Control Systems， Madurai， India， 2020. New York， NY： IEEE， 2020.

［28］SINHA V K， PATRO K K， PLAWIAK P， et al. Smartphone-based human sitting behaviors recognition using inertial sensor［J］. Sensors， 2021，21（19）. DOI： 10.3390/s21196652.

［29］LIU W J， GUO Y F， YANG J， et al. Sitting posture recognition based on human body pressure and CNN［C］//3rd International Conference on Advances in Materials， Machinery， Electronics（AMME 2019）， Wuhan， China， 2019. Melville， NY： AIP Publishing LLC， 2019.

［30］WAN Q L， ZHAO H M， LI J， et al. Hip positioning and sitting posture recognition based on human sitting pressure image［J］. Sensors， 2021，21（2）. DOI： 10.3390/s21020426.

［31］YUAN L Q， LI J. Smart cushion based on pressure sensor array for human sitting posture recognition［C］//IEEE Sensors， Sydney， Australia， 2021. New York， NY： IEEE， 2021.

［32］LICCIARDO G D， RUSSO A， NADDEO A， et al. A resource constrained neural network for the design of embedded human posture recognition systems［J］. Applied Sciences-Basel， 2021，11（11）. DOI： 10.3390/app11114752.

［33］HUANG H Z， DONG Y D， WAN S， et al. A transient dual-type sensor based on MXene/cellulose nanofibers composite for intelligent sedentary and sitting postures monitoring［J］. Carbon， 2022，200： 327-336.

［34］ZHANG X Y， FAN J M， PENG T， et al. A privacy-preserving and unobtrusive sitting posture recognition system via pressure array sensor and infrared array sensor for office workers［J］. Advanced Engineering Informatics， 2022，53. DOI： 10.1016/j.aei.2022.101690.

［35］RAN X， WANG C， XIAO Y， et al. A portable sitting posture monitoring system based on a pressure sensor array and machine learning［J］. Sensors and Actuators A：Physical， 2021，331. DOI： 10.1016/j.sna.2021.112900.

［36］SHELHAMER E， LONG J， DARRELL T. Fully convolutional networks for semantic segmentation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（4）： 640-651.

［37］楊觀賜， 楊靜， 蘇志東， 等. 改進的YOLO特征提取算法及其在服務(wù)機器人隱私情境檢測中的應(yīng)用［J］. 自動化學(xué)報， 2018，44（12）： 2238-2249.

［38］楊觀賜， 李楊， 趙樂， 等. 基于傳感器數(shù)據(jù)的用戶行為識別方法綜述［J］. 包裝工程， 2021，42（18）： 94-102.

［39］LI T H， FAN L J， ZHAO M M， et al. Making the invisible visible： action recognition through walls and occlusions［C］//IEEE/CVF International Conference on Computer Vision （ICCV 2019）， Seoul， Korea （South）， 2019. Los Alamitos， CA： IEEE， 2019.

［40］WANG L， SU X， SU H C， et al. Contactless continuous activity recognition based on meta-action temporal correlation in mobile environments［J］. Mobile Networks & Applications， 2020，25（6）： 2174-2190.

［41］HUANG W Q， LIU Y， ZHU S Y， et al. TSCNN： a 3D convolutional activity recognition network based on RFID RSSI［C］//International Joint Conference on Neural Networks （IJCNN）， Glasgow， UK， 2020. New York， NY： IEEE， 2020.

［42］HU J Z， ZHANG H L， DI B Y， et al. Reconfigurable intelligent surface based RF sensing： design， optimization， and implementation［J］. IEEE Journal on Selected Areas in Communications， 2020，38（11）： 2700-2716.

［43］CHEN K， WANG F W， LI M Y， et al. Headsee： device-free head gesture recognition with commodity RFID［J］. Peer-to-Peer Networking and Applications， 2022，15（3）： 1357-1369.

［44］CHEN B， MANG Q， ZHAO R， et al. SGRS： a sequential gesture recognition system using COTS RFID［C］//IEEE Wireless Communications and Networking Conference （WCNC）， Barcelona， Spain， 2018. New York， NY： IEEE， 2018.

［45］周瑋， 門耀華， 辛立剛. 基于機器視覺的柔性包裝袋噴碼缺陷檢測研究［J］. 包裝工程， 2022，43（9）： 249-256.

［46］陳東亮， 師素雙， 房立慶， 等. 基于機器視覺的金屬絲網(wǎng)缺陷識別方法［J］. 包裝工程， 2023，44（3）： 164-171.

［47］武松林， 崔榮一. 基于PCA的坐姿行為識別［J］. 計算機應(yīng)用研究， 2010，27（7）： 2786-2788.

［48］黃安義， 沈捷， 秦雯， 等. 基于MIMO-CNN的多模態(tài)坐姿識別［J］. 計算機工程與設(shè)計， 2021，42（3）： 770-775.

［49］劉敏， 潘煉， 曾新華， 等. 基于MTCNN的坐姿行為識別［J］. 計算機工程與設(shè)計， 2019， 40（11）： 3293-3298.

［50］CAI Z N， LIU Q S， WANG S M， et al. Joint head pose estimation with multi-task cascaded convolutional networks for face alignment［C］//24th International Conference on Pattern Recognition， Beijing， China， 2018. New York， NY： IEEE， 2018.

［51］豐婧， 程耀瑜， 賀磊. 基于PHOG特征的坐姿識別方法研究［J］. 國外電子測量技術(shù)， 2021， 40（5）： 83-87.

［52］LI L H， YANG G C， LI Y， et al. Abnormal sitting posture recognition based on multi-scale spatiotemporal features of skeleton graph［J］. Engineering Applications of Artificial Intelligence， 2023，123： 106374.

［53］趙威， 李毅. 基于Kinect的人體姿態(tài)估計優(yōu)化和動畫生成［J］. 計算機應(yīng)用， 2022，42（9）： 2830-2837.

［54］馬敬奇， 雷歡， 陳敏翼. 基于AlphaPose優(yōu)化模型的老人跌倒行為檢測算法［J］. 計算機應(yīng)用， 2022， 42（1）： 294-301.

［55］MIN W D， CUI H， HAN Q， et al. A scene recognition and semantic analysis approach to unhealthy sitting posture detection during screen-reading［J］. Sensors， 2018， 18（9）. DOI： 10.3390/s18093119.

［56］REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149.

［57］CAO Z， HIDALGO G， SIMON T， et al. Openpose： realtime multi-person 2D pose estimation using part affinity fields［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（1）： 172-186.

［58］鄭佳罄， 石守東， 胡加鈿，等. 基于雙目視覺的實時坐姿檢測研究［J］. 傳感器與微系統(tǒng)， 2022， 41（6）： 33-36.

［59］陳錦濤， 石守東， 鄭佳罄， 等. 基于神經(jīng)網(wǎng)絡(luò)的坐姿下頭部肩部姿態(tài)估計［J］. 傳感器與微系統(tǒng)， 2021， 40（1）： 9-12.

［60］CHEN K H. Sitting posture recognition based on openpose［J］. IOP Conference Series： Materials Science and Engineering， 2019， 677（3）： 32056-32057.

［61］TRAN D， BOURDEV L， FERGUS R， et al. Learning spatiotemporal features with 3D convolutional networks［C］//Proceedings of the IEEE International Conference on Computer Vision （ICCV 2015）， Santiago， Chile， 2015. New York， NY： IEEE， 2015.

［62］FANG Y， SHI S D， FANG J S， et al. SPRNet： sitting posture recognition using improved vision transformer［C］//International Joint Conference on Neural Networks （IJCNN）， Padua， Italy， 2022. New York， NY： IEEE， 2022.

［63］DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： transformers for image recognition at scale［J］. Arxiv， 2020， abs/2010. 11929. DOI： 10. 48550/arXiv. 2010. 11929.

［64］XIAO T， SINGH M， MINTUN E， et al. Early convolutions help transformers see better［J］. Advances in Neural Information Processing Systems， 2021， 36： 30392-30400.

［65］王越， 楊觀賜. 基于多通道卷積注意力機制的精神狀態(tài)識別方法［J］. 貴州大學(xué)學(xué)報（自然科學(xué)版）， 2023， 40（1）： 79-87.

［66］李中益， 楊觀賜， 李楊， 等. 基于圖像語義的服務(wù)機器人視覺隱私行為識別與保護系統(tǒng)［J］. 計算機輔助設(shè)計與圖形學(xué)學(xué)報， 2020， 32（10）： 1679-1687.

［67］KULIKAJEVAS A， MASKELIUNAS R， DAMASEVICIUS R. Detection of sitting posture using hierarchical image composition and deep learning［J］. PeerJ Computer Science， 2021. DOI： 10. 7717/peerj-cs. 442.

［68］VASWANI A， SHAZEER N， PARMAR N， er al. Attention is all you need［C］//Advances in Neural Information Processing Systems 30 （NIPS 2017）， Los Angeles， USA， 2017. La Jolla， California： Neural Informatiion Processing Systems （NIPS）， 2017.

［69］朱書德， 李少波， 王錚， 等. 基于機器視覺的膠囊缺陷檢測裝置設(shè)計［J］. 貴州大學(xué)學(xué)報（自然科學(xué)版）， 2020， 37（3）： 42-48.

［70］KAPPATTANAVAR A M， DA CRUZ H F， ARNRICH B， et al. Position matters： sensor placement for sitting posture classification［C］//IEEE International Conference on Healthcare Informatics （ICHI）， Oldenburg， Germany， 2020. Los Alamitos， CA： IEEE， 2020.

［71］RAMALINGAM M， PUVIARASI R， CHINNAVAN E， et al. Alarming assistive technology： an IoT enabled sitting posture monitoring system［C］//International Conference on Software Engineering & Computer Systems and 4th International Conference on Computational Science and Information Management， Pekan， Malaysia， 2021. New York， NY： IEEE， 2021.

［72］ZHANG X Y， FAN J M， PENG T， et al. A privacy-preserving and unobtrusive sitting posture recognition system via pressure array sensor and infrared array sensor for office workers［J］. Advanced Engineering Informatics， 2022， 53. DOI： 10. 1016/j. aei. 2022. 101690.

［73］吳建超， 王利民， 武港山. 視頻群體行為識別綜述［J］. 軟件學(xué)報， 2023， 34（2）： 964-984.

（責(zé)任編輯：曾 晶）

Review of Abnormal Sitting Postures Recognition

YANG Guanci^{*1，2，3，4}， LI Linhan1， LUO Kexin^1，4， HE Ling1， ZHAO Tianyi1， MENG Zili1， LU Minglang1

（1.Key Laboratory of Advanced Manufacturing Technology of the Ministry of Education， Guizhou University， Guiyang 550025，

China； 2.State Key Laboratory of Public Big Data， Guizhou University， Guiyang 550025， China； 3.Guizhou Provincial Key Laboratory of

“Internet+” Collaborative Intelligent Manufacturing， Guizhou University， Guiyang 550025， China； 4.School of Mechanical Engineering， Guizhou University， Guiyang 550025， China）

Abstract： In daily life， sitting for a long time often leads to abnormal sitting postures and frequent abnormal sitting postures lead to an increasingly common phenomenon of skeletal muscle diseases. Therefore， recongizing abnormal sitting postures and reminding people of them are of great significance for peoples health. In this paper， the approaches of abnormal sitting postures recognition are summarized. Approaches are divided into three methods by data acquisition， abnormal sitting postures recognition methods based on the contact sensors， on radio frequency signals， and on machine vision respetively. These three methods are summarized and the characteristics of each method are analyzed. Among them， the methods based on contact sensors are reviewed from the perspectives of wearable devices and pressure sensors. The methods based on machine vision are reviewed from the perspectives of applied foreground image and the key points of human skeleton. Finally， the representative dataset of abnormal sitting postures is summarized and analyzed， and the performance of typical abnormal sitting postures recognition algorithm is analyzed， and the development trend of abnormal sitting postures recognition is summarized and prospected.

Key words： abnormal sitting postures recognition; sensing data understanding; feature extraction; machine learning; classification algorithm

楊觀賜，男，1983年10月生，工學(xué)博士，教授，博士生導(dǎo)師，主要從事自主無人系統(tǒng)與機器人、多源數(shù)據(jù)融合與認(rèn)知研究。貴州省委教育工委“優(yōu)秀共產(chǎn)黨員”，貴州省省管專家，貴州省高層次創(chuàng)新型人才（百層次），貴州省優(yōu)秀青年科技人才。主持國家自然科學(xué)基金、國家科技支撐計劃子課題、國家外專局重點項目、貴州省科技計劃項目等20余項。在《Information Fusion》《自動化學(xué)報》等刊物上發(fā)表SCI/EI收錄論文60余篇（其中累計ESI高被引論文5篇，熱點論文1篇）。曾獲貴州省科技進步二等獎4次、三等獎1次。