姿勢估計(jì)技術(shù)在多人場景中的試驗(yàn)方法探索

姜昱健 應(yīng)夢 尾方義人

作者簡介：姜昱健（1992— ），男，上海人，博士研究生；研究方向：藝術(shù)工學(xué)。

摘要：日常生活中包含了很多與他人之間的相互行為，相互行為分析研究中經(jīng)常會(huì)用到對身體運(yùn)動(dòng)和對話互動(dòng)的微觀分析。文章以JENGA游戲?yàn)檠芯繉ο螅ㄟ^嘗試多拍攝角度，使用二維姿勢檢測系統(tǒng)OpenPose獲取人體關(guān)鍵點(diǎn)坐標(biāo)信息，對比不同拍攝角度下所獲取的關(guān)鍵點(diǎn)的信任度，抽取信任度高的關(guān)鍵點(diǎn)作為分析對象，以此探索多人場景下的人體姿態(tài)數(shù)據(jù)化分析方法，為行為觀察法提供客觀的量化分析手段，豐富姿態(tài)捕捉技術(shù)的應(yīng)用場景。

關(guān)鍵詞：姿態(tài)數(shù)據(jù)化；行為觀察；設(shè)計(jì)輔助；JENGA；OpenPose

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)志碼：A

0 引言

人們的日常生活中包含了很多與他人之間的相互行為（不僅僅包含會(huì)話，也包含與他人一同搬運(yùn)物體、游戲等），這些相互行為因?yàn)樽陨聿町悾ㄉ砀?、視力、聽力、性格等），效果也?huì)有明顯的差異。

相互行為分析研究中經(jīng)常會(huì)用到對身體運(yùn)動(dòng)和對話互動(dòng)的微觀分析，以在工作場景中的“常規(guī)化實(shí)踐”為例，池古在2016年提到，能夠把特定工作場景中被習(xí)慣化的相互行為模式作為知識(shí)進(jìn)行學(xué)習(xí)，并在相應(yīng)的場景下進(jìn)行再現(xiàn)與實(shí)踐。這種可學(xué)習(xí)可復(fù)制的方式具有公共屬性。錄像機(jī)使人們有可能記錄這些相互行為，通過反復(fù)觀看，并具體分析這些由語言和動(dòng)作組成的相互行為。

Martin等［1］指出，伴隨著相互行為分析的發(fā)展，數(shù)據(jù)和分析結(jié)果的共享增多，增進(jìn)了設(shè)計(jì)師和工程師的合作。利用視頻數(shù)據(jù)進(jìn)行相互行為分析，使人們能夠創(chuàng)造一個(gè)以視頻數(shù)據(jù)為中心的被分析和討論的環(huán)境（也包括其他現(xiàn)場中的環(huán)境數(shù)據(jù)）。工作環(huán)境研究中，相互行為分析的發(fā)展不僅提供了一種新的方法，而且還擴(kuò)展了技術(shù)與設(shè)計(jì)間的合作。對比目前姿態(tài)數(shù)據(jù)化技術(shù)，非接觸式測定方法與接觸式測定方法相比具有高效性、低花費(fèi)的特征［2］。因此，本研究使用Cao等［3］在2017年開發(fā)的二維姿勢檢測開源系統(tǒng)OpenPose，采集試驗(yàn)過程中關(guān)鍵位置信息。

1 選擇JENGA作為試驗(yàn)內(nèi)容的原因

在JENGA游戲中，游戲參與者們可被分為實(shí)施者及等待者，實(shí)施者與等待者的角色隨著游戲的進(jìn)行而不斷發(fā)生改變。游戲過程中所發(fā)生的社會(huì)相互作用可以用社會(huì)信息加工模型（Information Processing Theory）［4］進(jìn)行解釋。這個(gè)模型中，個(gè)體從接觸社會(huì)線索到做出反應(yīng)，需要經(jīng)歷6個(gè)信息加工步驟：社會(huì)線索編碼、社會(huì)線索解釋、明確目標(biāo)、反應(yīng)提取或構(gòu)建、反應(yīng)決策、實(shí)施行為反應(yīng)。

根據(jù)這個(gè)模型，在JENGA游戲中，當(dāng)下實(shí)施者將一塊積木從塔中拔出放置于最上層被稱作“一回”；等待者將實(shí)施者在此回的動(dòng)作結(jié)果進(jìn)行編碼、解釋（步驟1與步驟2）；從哪一層用什么樣的方式將積木取出的目標(biāo)進(jìn)行明確化（步驟3）；選擇最好的方式（步驟4）；決定取出哪一塊積木（步驟5）；實(shí)施動(dòng)作（步驟6）。如此一連串過程結(jié)束之后，實(shí)施者的身份向等待者進(jìn)行轉(zhuǎn)移交換。因此，引入JENGA的任務(wù)環(huán)境可以定義成不斷變化的環(huán)境，在這個(gè)環(huán)境中，參與者的身份以一種變化的方式發(fā)生，即對方的反應(yīng)是相互產(chǎn)生的。

2 試驗(yàn)設(shè)計(jì)

試驗(yàn)場景如圖1所示。JENGA游戲過程分為合作與競爭。其中合作過程為3名試驗(yàn)者協(xié)作，將散亂于桌面的積木搭建起來，3條并排積木為1層，下一層積木與上一層積木呈90°直角交叉狀。

競爭過程為3名試驗(yàn)者依次以單手狀態(tài)從搭建好的積木中的任意層（除頂層）中抽取或推拉出一塊積木，隨后按照3條1層的方式將取出的積木重新放回積木塔頂層，隨著游戲的進(jìn)行，積木塔會(huì)越疊越高，造成高塔倒塌的那一位試驗(yàn)者為當(dāng)回合的輸家。

以上述流程進(jìn)行3回合的游戲，并對其進(jìn)行視頻記錄。

如圖1所示，在3位試驗(yàn)參與者的前方、右方分別設(shè)置一臺(tái)攝像機(jī)。前方攝像機(jī)用于拍攝記錄試驗(yàn)對象的上肢運(yùn)動(dòng)過程，右方攝像機(jī)用于拍攝記錄試驗(yàn)對象的軀干狀態(tài)。每個(gè)拍攝角度可獲得25個(gè)關(guān)鍵點(diǎn)的位置信息。

3 關(guān)鍵點(diǎn)的選取

因?yàn)榕臄z角度與遮擋情況的發(fā)生，并不是獲取的每個(gè)關(guān)鍵點(diǎn)都可以用于數(shù)據(jù)分析。OpenPose所獲取的每個(gè)關(guān)鍵點(diǎn)信息分別以x值、y值、信任度進(jìn)行表示。其中信任度也稱作可信度，以0～1的數(shù)值進(jìn)行表示，數(shù)值越大，可信任水平越高。因此，首先將每個(gè)試驗(yàn)者、每個(gè)拍攝視角下所得到的關(guān)鍵點(diǎn)信任度進(jìn)行匯總與對比分析。

從正面拍攝與右側(cè)拍攝得到的各點(diǎn)信任度平均值如圖2—3所示［5］。

從表1、表2可知，利用相關(guān)分析去研究試驗(yàn)者1分別和試驗(yàn)者2、 試驗(yàn)者3共兩項(xiàng)之間的相關(guān)關(guān)系，使用Pearson相關(guān)系數(shù)去表示相關(guān)關(guān)系的強(qiáng)弱情況。具體分析可知：在正視角拍攝中，試驗(yàn)者1和試驗(yàn)者2之間的相關(guān)系數(shù)值為0.955，并且呈現(xiàn)出0.01水平的顯著性。試驗(yàn)者1和試驗(yàn)者3之間的相關(guān)系數(shù)值為0.976，并且呈現(xiàn)出0.01水平的顯著性。在右視角拍攝中，試驗(yàn)者1和試驗(yàn)者2之間的相關(guān)系數(shù)值為0.899，并且呈現(xiàn)出0.01水平的顯著性。試驗(yàn)者1和試驗(yàn)者3之間的相關(guān)系數(shù)值為0.784，并且呈現(xiàn)出0.01水平的顯著性。因而說明在相同視角下，不同試驗(yàn)者之間的關(guān)鍵點(diǎn)信任度有著顯著的正相關(guān)關(guān)系。數(shù)據(jù)化分析將會(huì)置于信任度高的關(guān)鍵點(diǎn)上。

4 分析結(jié)果

基于右側(cè)視角拍攝到的視頻資料所得到的關(guān)鍵點(diǎn)坐標(biāo)信息中，point1與point8的信任度均在0.7以上，兩點(diǎn)連線與y軸的夾角可以計(jì)算出上肢軀干的前后傾斜狀態(tài)。如圖4所示，兩點(diǎn)連線平行于y軸時(shí)為0°，軀干向前傾斜為正數(shù)角度，軀干向后傾斜為負(fù)數(shù)度數(shù)。

3名試驗(yàn)者的軀干在試驗(yàn)過程中的狀態(tài)如圖5所示。試驗(yàn)者1的軀干傾斜角度在試驗(yàn)中有29%的時(shí)間維持在-10°～10°，70%的時(shí)間軀干傾斜角度大于10°。試驗(yàn)者2的軀干傾斜角度有84.6%的時(shí)間在-10°～+10°，13.5%的時(shí)間軀干傾斜角度大于10°。試驗(yàn)者3的軀干傾斜角度有95.6%的時(shí)間在-10°～+10°，0.2%的時(shí)間軀干傾斜角度大于10°。

由此可見試驗(yàn)者1相比其他兩名試驗(yàn)者，在試驗(yàn)過程中軀干更多是前傾的狀態(tài)。試驗(yàn)者3相比其他兩名試驗(yàn)者，在試驗(yàn)過程中軀干更多是維持直立的狀態(tài)，且前后變化要小于另外兩名試驗(yàn)者。

5 結(jié)語

通過以上所述對姿勢的量化統(tǒng)計(jì)，研究組發(fā)現(xiàn)了傳統(tǒng)行為觀察法依靠人眼重復(fù)瀏覽視頻所難以發(fā)現(xiàn)的運(yùn)動(dòng)規(guī)律，并將在后續(xù)研究中加入性格評(píng)價(jià)，進(jìn)一步探索行為與性格間的關(guān)系，為姿態(tài)分析提供更廣泛的應(yīng)用場景。

參考文獻(xiàn)

［1］MARTIND， SOMMERVILLE I. Patterns of cooperative interaction： linking ethnomethodology and design［J］.ACM Transactions on Computer-Human Interaction， 2004（1）：59-84.

［2］姜昱健，應(yīng)夢，尾方義人.輔助器具設(shè)計(jì)開發(fā)中肢體姿態(tài)的測定方法研究［J］.藝術(shù)設(shè)計(jì)研究，2021（1）：28-30.

［3］CAO Z， HIDALGO G， SIMON T， et al. Realtime multi-person 2D pose estimation using part affinity fields［J］. Transactions on Institute of Electrical and Electronics Engineers， 2017（7）：21-26.

［4］CRICK N R， DODGE K A. A review and reformulation of social information-processing mechanisms in childrens social adjustment ［J］. Psychological Bulletin，1994（1）： 74-101.

［5］The SPSSAUproject（2022）. SPSSAU（Version 22.0）［EB/OL］. （2016-08-18）［2022-01-10］.www.spssau.com.

（編輯 王雪芬）

Abstract： Daily lives contain many mutual behaviors with others， and microscopic analyses of body movements and conversational interactions are often used in mutual behavior analysis studies. This study takes JENGA game as the research object， by trying multiple shooting angles， using the two-dimensional pose detection system OpenPose to obtain the coordinate information of human key points， comparing the trust degree of the key points obtained under different shooting angles， and extracting the key points with high trust degree as the analysis object. In this way， we explore the data analysis method of human posture in multi-person scenes， provide objective quantitative analysis means for behavior observation method， and enrich the application scenarios of posture capture technology.

Key words： postural datafication; behavioral observation; design assistance; JENGA; OpenPose