基于OpenPose學(xué)習(xí)坐姿分析的桌椅人機適應(yīng)性研究

郭園，郭晨旭，時新，申黎明

(1. 南京林業(yè)大學(xué)家居與工業(yè)設(shè)計學(xué)院,南京210037； 2. 重慶交通大學(xué)，重慶400074)

由于不良的坐姿將直接影響學(xué)生的骨骼及肌肉健康，因此，國內(nèi)外人機工程、醫(yī)療等多領(lǐng)域的學(xué)者不斷通過實驗論證桌椅與使用者坐姿行為保持匹配關(guān)系的重要性，許多新興技術(shù)及設(shè)備被持續(xù)引入到試驗中，希望可以在用戶與不斷改進中的桌椅之間搭建科學(xué)動態(tài)的交互橋梁。

Kinect作為一種骨架跟蹤性能優(yōu)異且價格低廉的非接觸式運動捕捉系統(tǒng)，近年來逐步開始被國內(nèi)外學(xué)者關(guān)注并加以應(yīng)用。Manghisi等[1]使用深度傳感器kinectV2進行實時的快速上肢評估(rapid upper limb assessment,RULA)；孫辛欣等[2]利用Kinect進行辦公座椅坐姿行為的聚類與分析，這些研究的出現(xiàn)說明使用Kinect傳感器進行姿態(tài)研究已逐步被家具等人機領(lǐng)域所認可。但在更為深入的坐姿測試研究中，Kinect傳感器配套的開發(fā)套件SDK V2存在捕捉點不穩(wěn)以及肢體與環(huán)境區(qū)分受限等一些不足。而實際應(yīng)用往往需要獲取更為精準(zhǔn)全面的坐姿數(shù)據(jù)，以幫助確定使用者與桌椅的實時適應(yīng)情況。美國卡耐基梅隆大學(xué)(CMU)在2017年開發(fā)OpenPose二維姿勢檢測開源實時系統(tǒng)，可以實現(xiàn)對身體及五官等關(guān)鍵點精準(zhǔn)穩(wěn)定的捕捉，并且在經(jīng)過大量試驗和優(yōu)化后，2018年底發(fā)布的最新版本擁有了更加穩(wěn)定的API(application programming interface)[3]。目前，OpenPose尚處于應(yīng)用開發(fā)的拓展期，Mazhar等[4]使用OpenPose構(gòu)建手勢檢測實時人機交互框架；唐心宇等[5]將OpenPose應(yīng)用于漸進式康復(fù)訓(xùn)練情景交互之中。這些不同領(lǐng)域的學(xué)者都在努力挖掘OpenPose更廣泛的應(yīng)用空間，以期充分發(fā)揮其優(yōu)勢特性。因此，本研究選擇OpenPose與Kinect V2傳感器相結(jié)合，以獲取更加理想的動態(tài)人體關(guān)鍵節(jié)點信息，幫助判斷學(xué)生學(xué)習(xí)坐姿與桌椅的適應(yīng)情況。

1 坐姿適應(yīng)性試驗判別指標(biāo)的選取

本研究中的適應(yīng)性是指小學(xué)生的坐姿行為與桌椅之間所形成的相輔相成的動態(tài)平衡關(guān)系，這種平衡由同化和順應(yīng)兩種狀態(tài)動態(tài)交替而成。同化是指人能夠直接將桌椅作為自身的一個行為構(gòu)成因素，納入到自己動作的結(jié)構(gòu)或組織中，即小學(xué)生的人體尺度等與桌椅基礎(chǔ)屬性相匹配，桌椅所表現(xiàn)出來的特征能夠幫助其順利完成動作。而順應(yīng)則是指人在與桌椅的互動過程中，改變自己的動作行為去適應(yīng)桌椅及內(nèi)外環(huán)境的變化，即小學(xué)生改變先前持續(xù)的坐姿去適應(yīng)桌椅等外在狀態(tài)的變動或內(nèi)部身心舒適性的調(diào)整需求。同化適應(yīng)與順應(yīng)適應(yīng)的交替出現(xiàn)，同時也體現(xiàn)著人與家具之間一體化的概念。在本試驗中主要獲取同化適應(yīng)狀態(tài)中的相關(guān)數(shù)據(jù)，即身體知覺沒有受到打擾時的坐姿數(shù)據(jù)，以便發(fā)現(xiàn)總結(jié)從同化適應(yīng)到順應(yīng)適應(yīng)轉(zhuǎn)變時的內(nèi)在變化規(guī)律。

本試驗選取頸部彎曲、軀干彎曲、軀干大腿角、膝關(guān)節(jié)角以及視距等5項作為小學(xué)生學(xué)習(xí)坐姿適應(yīng)性判別因素，其中頸部彎曲和軀干彎曲是被國外學(xué)者廣泛認可的攜式人體工學(xué)觀察法(PEO)對于不健康坐姿認定的代表性特征[6]。而軀干大腿角和膝關(guān)節(jié)角是國外研究學(xué)者常用的最佳坐姿認定參照標(biāo)準(zhǔn)之一[7]，適宜的視距同樣關(guān)系著小學(xué)生學(xué)習(xí)行為的健康。因此在本試驗中采用這5項指標(biāo)作為適應(yīng)性學(xué)習(xí)坐姿判斷的標(biāo)準(zhǔn)，名稱及定義見表1，其中具體指標(biāo)皆為矢狀面的角度，所描述點的位置及角度見圖1和圖2。由于試驗采用PEO模型中的頸部彎曲和軀干彎曲參數(shù)沒有統(tǒng)一界定，現(xiàn)有文獻對軀干彎曲選取有兩種不同的方法，本研究將同時采用兩種方式進行數(shù)據(jù)采集，因此軀干彎曲參數(shù)分為軀干彎曲①和軀干彎曲②。

表1 測試項目定義Table 1 Definition of test items

圖1 OpenPose 25個關(guān)鍵點Fig. 1 Twenty five joints in OpenPose

圖2 測試中的坐姿角度Fig. 2 Angles of sitting posture

2 小學(xué)生學(xué)習(xí)坐姿適應(yīng)性試驗

2.1 試驗設(shè)備與環(huán)境

本試驗采用Kinect V2傳感器，捕捉的每幀彩色圖像分辨率為1 920×1 080，深度圖像分辨率為512×424；惠普(HP)暗影精靈3代電腦：Core i5 8400，內(nèi)存8GB，GTX1060 6GB；桌椅采用市面上較為通用的可調(diào)節(jié)式小學(xué)生專用學(xué)習(xí)桌椅，桌椅品牌為科樂威爾Z901藍桌+ KT1001藍椅(圖3)。

圖3 測試中OpenPose關(guān)鍵點識別Fig. 3 Recognition of OpenPose key points

為了避免周圍人員以及嘈雜環(huán)境對試驗過程的干擾，試驗選擇在獨立開闊的房間開展。試驗使用的KinectV2放置在被試人員右側(cè)的矢狀平面上，設(shè)備與被試人員之間沒有其他物體進行阻隔，兩者間隔距離為1.5 m，保證可以得到該方向下的正投影，以便于坐姿角度的獲取。試驗桌椅高度與角度，均會依據(jù)每位測試者實際身高、肘高、小腿加足高等數(shù)據(jù)進行調(diào)節(jié)，桌面高度為坐姿肘高加4 cm[10]，傾斜角度設(shè)置為15°[11]，高度與角度設(shè)置的目的是使桌椅能夠達到使用者實現(xiàn)同化適應(yīng)的條件要求。

2.2 被試者

選取12名1～6年級小學(xué)生(6男6女)作為被試者。參照GB/T 26158—2010《中國未成年人人體尺寸》標(biāo)準(zhǔn)，其中身高位于P5～P10之間的1人，位于P90～P95之間的1人，位于P25～P50之間的2人、位于P50～P75之間的3人、位于P75～P90之間的5人，被試兒童均身體健康，無腰背疼痛病史，有正常的裸眼視力或矯正視力，均右手握筆，全程能夠保持較為準(zhǔn)確的握筆姿勢，筆與紙面夾角約50°，拇指、食指、中指執(zhí)筆，且離筆尖3 cm左右，保證書寫中不遮擋目光。測試前被試者無疲勞狀態(tài)。測試儀器設(shè)備對被試兒童無任何傷害，全程征得家長及兒童同意，測試前獲取被試者身高、體質(zhì)量、肘高、小腿加足高、膝高等人體尺寸數(shù)據(jù)，結(jié)果見表2。

表2 受試者相關(guān)數(shù)據(jù)Table 2 Statistical data of testees

2.3 試驗準(zhǔn)備

1)試驗第一步對Kinect V2進行標(biāo)定，通過標(biāo)定以確保后期試驗?zāi)軌颢@取距離等數(shù)據(jù)。由于本試驗需要使用OpenPose進行人體姿態(tài)識別，同時為了保證后續(xù)試驗過程的修正，選擇離線數(shù)據(jù)分析的形式，因此無法使用Microsoft Kinect SDK。而試驗中需要獲取三維空間中的視距，這就首先需要對Kinect的兩個相機進行標(biāo)定，獲取彩色相機和深度相機的內(nèi)參數(shù)矩陣Krgb和Kir，以及紅外相機到彩色相機的旋轉(zhuǎn)平移矩陣R，與平移向量t，以此來建立彩色圖像-深度圖像-相機空間坐標(biāo)系之間的映射關(guān)系。

2)使用OpenPose獲取試驗所需的身體關(guān)鍵點數(shù)據(jù)信息，由于OpenPose定義的25個點不包含頭部質(zhì)心點，而本試驗測試需要該關(guān)鍵點，因此需要使用二值圖像的質(zhì)心求法單獨計算確定頭部質(zhì)心位置，以保證獲取試驗所需的全部參照點。

3)在確保程序能夠正確識別所需全部關(guān)鍵點后，開始錄像，每個受試者需要分別完成書寫、閱讀和使用平板電腦3種任務(wù)，每項任務(wù)15 min，所完成內(nèi)容為各個年級課業(yè)內(nèi)容，字體大小為正式出版教材及作業(yè)輔導(dǎo)材料常規(guī)字號。

3 坐姿數(shù)據(jù)計算與統(tǒng)計分析

3.1 數(shù)據(jù)計算方法

視距是眼睛與所視物體的距離，試驗中將檢測到的書本在彩色圖像坐標(biāo)系中的坐標(biāo)記作prgb=[x1,y1]T，眼睛坐標(biāo)記作qrgb=[x2,y2]T,利用坐標(biāo)映射關(guān)系，將其映射到相機坐標(biāo)系，記作：pcamera=[u1,v1,w1]T,眼部在相機坐標(biāo)系中的坐標(biāo)記為qcamera=[u2,v2,w2]T。

此時視距d即為pcamera與qcamera歐氏距離：

(1)

坐姿角度即為兩關(guān)節(jié)點連線與重力向量的夾角，如圖4左圖。由于實驗中Kinect V2被放置在被試者的矢狀面，所以可以使用關(guān)節(jié)點的矢狀面投影來代替三維關(guān)節(jié)點，即用關(guān)節(jié)點在彩色圖像中的坐標(biāo)進行計算。

兩個相連線的關(guān)節(jié)在彩色圖像中的投影點分別記作p1=[x1,y1]T，p2=[x2,y2]T，則其連線為l=[x1-x2,y1-y2]T，而豎直方向可以用單位向量e=[0,-1]T表示，可得出傾角φ，見公式(2)：

(2)

圖4 傾角(左)與夾角(右)Fig. 4 Inclination (left) and angle (right)

對于夾角：如圖4右圖所示，高低相鄰的3個關(guān)節(jié)點中，關(guān)節(jié)點1、3與關(guān)節(jié)點2連線所成的以關(guān)節(jié)點2為頂點的角，即為所求的夾角。試驗中同樣使用彩色圖像中的關(guān)節(jié)點坐標(biāo)進行計算。關(guān)節(jié)點2的投影點p2=[x2,y2]T與關(guān)節(jié)點1的投影點p1=[x1,y1]T的連線記作l1=p1-p2，關(guān)節(jié)點2與關(guān)節(jié)點3的連線記作l2=p3-p2；則二者夾角φ1見公式(3)：

(3)

3.2 統(tǒng)計分析

試驗數(shù)據(jù)采集完成后，經(jīng)SPSS 24計算各項指標(biāo)的均值以及振幅概率分布函數(shù)APDF的第90和第10百分位之間的差值，即振幅范圍的度量APDF(90-10)[12]。并對各項指標(biāo)的均值和APDF(90-10)值進行方差分析(ANOVA)，P<0.05被認為是顯著的。本研究同時使用Matplotlib進行數(shù)據(jù)可視化分析，分析頸部彎曲和軀干彎曲、視距等3組數(shù)據(jù)在不同學(xué)習(xí)任務(wù)中及不同時間段的動態(tài)變化規(guī)律。

4 結(jié)果與分析

4.1 頸部彎曲

試驗中不同任務(wù)下受試者頸部彎曲均值從大到小依次是書寫>閱讀>使用平板電腦。任務(wù)對頸部彎曲變化的影響較為顯著(P<0.05)，結(jié)果見表3。在國外現(xiàn)有PEO研究模型中，頸部彎曲和軀干彎曲的20°這一閾值被認定為健康坐姿的一項判別參數(shù)，一些學(xué)者在應(yīng)用研究中又增加了45°這一閾值[13]。在本試驗中，頸部彎曲超過20°和45°的時間占比見表4，數(shù)據(jù)說明書寫狀態(tài)下更易出現(xiàn)不健康的頸部彎曲角度。

表3 不同任務(wù)的測試項目結(jié)果Table 3 The results of test categories in three tasks

表4 3種任務(wù)中頸部彎曲和軀干彎曲超過健康閾值的時間占比Table 4 The proportion of neck flexion and trunk flexion exceeded the health threshold in three tasks %

頸部彎曲在3項任務(wù)下的振幅概率分布范圍APDF(90-10)值見圖5和表5，任務(wù)對頸部彎曲的振幅概率分布影響不顯著，其中閱讀狀態(tài)的振幅概率分布與書寫狀態(tài)近似。較大的APDF(90-10)表示姿勢發(fā)生較大的變化，從而反映出坐姿活動的變異性增加，即姿勢不單調(diào)。而APDF(90-10)數(shù)值小，則說明姿勢變化幅度小，國外一些學(xué)者也提出了無論是長時間重復(fù)的短周期振幅或幾乎持續(xù)很長時間的相同振幅，這種缺乏變化的彎曲都與MSD(musculoskeletal disorders)風(fēng)險有關(guān)[14]。這也說明，如果頸部長時間保持一個彎曲角度不動或者持續(xù)相同幅度的彎曲變化對于小學(xué)生來說都會產(chǎn)生不適。此外，實驗數(shù)據(jù)還顯示出頸部彎曲在書寫任務(wù)中隨著時間延長而增大波動幅度，角度值有所增加。

圖5 不同任務(wù)下頸部彎曲、軀干彎曲②、視距的均值和APDF(90-10)Fig. 5 Mean and APDF(90-10) of neck flexion, trunk flexion, visual distance in different tasks

表5 3種任務(wù)下測試項目的振幅概率分布(APDF(90-10))Table 5 APDF(90-10) of test items in three tasks %

4.2 軀干彎曲

軀干彎曲角度均值見表3和圖5。任務(wù)對軀干彎曲變化的影響不顯著(P>0.05)。軀干彎曲①和軀干彎曲②雖然是兩種不同的界定方式，但最后數(shù)值所表現(xiàn)出來的趨勢是相同的。軀干彎曲整體角度值變化相對平穩(wěn)，試驗中軀干彎曲②在使用平板電腦任務(wù)中超過20°和45°的時間占比大于其他兩種任務(wù)，這也說明，在相同桌高的情況下，小學(xué)生習(xí)慣通過軀干彎曲來適應(yīng)屏幕的高低，并且易出現(xiàn)超過45°的大幅度彎曲。

軀干彎曲振幅概率分布范圍APDF(90-10)見圖5和表5，使用平板電腦任務(wù)中軀干彎曲變化幅度大于同任務(wù)中頸部彎曲變化幅度，即平板電腦任務(wù)中軀干活動更為豐富。書寫任務(wù)中則是頸部彎曲變化幅度大于同任務(wù)下軀干彎曲變化幅度，即書寫時頸部活動更為豐富。

4.3 軀干大腿角

任務(wù)對軀干大腿角的影響不顯著(P>0.05)，學(xué)生在坐姿過程中，雙腿并不一定同步調(diào)整，時常會出現(xiàn)高低前后的差異，雙腳有時會踩在座椅滑輪上，而非一直平放在地面，這就使得軀干大腿角(左、右)存在輕微差異，均值見表3。閱讀任務(wù)下的軀干大腿角均值略大于其他兩種任務(wù)下的該數(shù)值，相對更加接近120°～135°這個放松坐姿角度區(qū)間，說明學(xué)生在閱讀紙質(zhì)材料狀態(tài)下的人體相對更加放松，軀干會自主尋找更加適應(yīng)的舒適姿態(tài)。而使用平板電腦過程雖然也是一種閱讀形式，但是軀干大腿角度與書寫狀態(tài)更為接近。

軀干大腿角振幅概率分布范圍APDF(90-10)見表5。由于Kinect右側(cè)放置，且Kinect從圖像數(shù)據(jù)流里讀取的圖像是鏡像呈現(xiàn)，使得左邊數(shù)據(jù)相對更加精準(zhǔn)。因此，以左側(cè)數(shù)據(jù)為主要比較依據(jù)。

4.4 膝關(guān)節(jié)角

2種任務(wù)下的膝關(guān)節(jié)角(左、右)均值都沒有達到90°，閱讀與使用平板電腦狀態(tài)下的膝關(guān)節(jié)角數(shù)值比較接近，大于書寫狀態(tài)(表3)。膝關(guān)節(jié)角振幅概率分布范圍(APDF)見表5。任務(wù)對膝關(guān)節(jié)角振幅概率分布范圍APDF值存在顯著影響(P<0.05)。

4.5 視 距

視距均值見表3，任務(wù)對視距影響極顯著P<0.001。試驗結(jié)果表明，在書寫和閱讀兩種任務(wù)下近距離用眼程度較高。在我國兒童青少年近視眼防控方法規(guī)范中，日常需嚴格控制視距小于33 cm且大于45 min的持續(xù)近距離用眼。因此，減少近距離用眼的總量尤為重要[15]?，F(xiàn)有研究表明，頸部角度數(shù)值的加大帶來視距縮短，這與裸眼視力的下降有顯著關(guān)系。試驗中，3種狀態(tài)下的視距與頸部彎曲關(guān)系見圖6。使用平板電腦時，頸部彎曲值較小且視距相對較遠，而閱讀紙質(zhì)書本時，大部分受試者采用平放書本方式進行閱讀，因此視距與書寫狀態(tài)近似。視距振幅概率分布范圍(APDF)見表5和圖5。試驗中書寫和使用平板電腦任務(wù)中的視距整體隨時間呈現(xiàn)明顯下降趨勢，說明近距離用眼逐步加劇(圖7)。

圖6 3種任務(wù)下頸部彎曲和視距關(guān)系Fig. 6 Relation of neck flexion and visual distance in three tasks

圖7 視距隨時間變化Fig. 7 Visual distance variation at different time periods

4.6 同化適應(yīng)向順應(yīng)適應(yīng)轉(zhuǎn)變中的桌椅調(diào)控建議

調(diào)節(jié)好的桌椅可以與小學(xué)生初始狀態(tài)構(gòu)成同化適應(yīng)，但是在使用過程中，由于學(xué)習(xí)任務(wù)的變化以及身體局部疲勞感的出現(xiàn)，就會打破最初的同化適應(yīng)，人體自身及外在環(huán)境都會產(chǎn)生變化要求。小學(xué)生可以感知到疲勞，但這個感知過程往往有延遲，并且感知度比較有限，例如對近距離用眼的感知較弱。在整個學(xué)習(xí)坐姿行為過程中，隨著時間的延長，小學(xué)生會出現(xiàn)身體姿勢不斷變化的情況，這些都是人體主動改變進入順應(yīng)適應(yīng)的表現(xiàn)，此刻的桌椅可以提供更加符合順應(yīng)適應(yīng)要求的調(diào)整，尤其是在智能環(huán)境與監(jiān)測技術(shù)介入后，桌椅可以根據(jù)實時獲取的坐姿數(shù)據(jù)，運用數(shù)學(xué)方法進行不健康姿勢判斷，并通過語音信息提醒功能或者使用微控制器開發(fā)的機構(gòu)改變桌椅高低等狀態(tài)，以緩解較大的頸部彎曲和軀干彎曲以及視距過近等問題。同時還可以通過合理的功能設(shè)置來引導(dǎo)兒童采用45°～60°豎立放置書本的閱讀方式，以改善頸部彎曲和近距離用眼。這種桌椅的動態(tài)調(diào)控以及與使用者之間的實時交互將更好地實現(xiàn)持續(xù)健康的人機適應(yīng)過程。

5 結(jié) 論

Kinect與OpenPose結(jié)合可以精準(zhǔn)捕捉小學(xué)生動態(tài)學(xué)習(xí)坐姿中的身體關(guān)鍵指標(biāo)，幫助判斷坐姿與桌椅的適應(yīng)情況。試驗中3種任務(wù)對頸部彎曲及視距影響顯著，書寫任務(wù)下的頸部彎曲均值最大并且振幅概率變化最為明顯，說明頸部是書寫任務(wù)中變化性最大的身體部位，并且該數(shù)值在書寫和使用平板電腦任務(wù)中隨時間延長有增長趨勢。軀干彎曲在使用平板電腦過程中均值最大并且振幅概率變化最為明顯，說明軀干是使用平板電腦任務(wù)中變化性最大的身體部位。軀干大腿角在閱讀任務(wù)中均值最大，說明身體比較放松，但頸部彎曲和視距的數(shù)值卻與書寫狀態(tài)比較近似，建議學(xué)習(xí)桌可以通過設(shè)計引導(dǎo)小學(xué)生變化閱讀方式，以減少頸部彎曲和近距離用眼，對于監(jiān)測到的不健康姿勢給予及時提醒;同時可以適時調(diào)整桌高滿足書寫任務(wù)到使用平板電腦任務(wù)的轉(zhuǎn)變，以幫助小學(xué)生保持更健康動態(tài)平衡的適應(yīng)狀態(tài)。