基于人體姿態(tài)估計(jì)的用戶偏好分析系統(tǒng)

劉慧娟，趙東明

(1.天津廣播影視職業(yè)學(xué)院 天津300112；2.中國(guó)移動(dòng)通信集團(tuán)天津有限公司 天津300020)

0 引 言

在商場(chǎng)或店鋪?zhàn)錾唐窢I(yíng)銷時(shí)，店內(nèi)營(yíng)業(yè)人員大多是在店外進(jìn)行商品展示或隨機(jī)下發(fā)消息向客戶推薦，并不能根據(jù)客戶在廳店內(nèi)的姿態(tài)變化，來(lái)確定用戶是否對(duì)商品感興趣，其結(jié)果是工作人員往往在做無(wú)用功，并沒有吸引到潛在的客戶，從而失去了很多商機(jī)。傳統(tǒng)的營(yíng)銷方式還是基于問(wèn)詢、解答的模式，缺乏新技術(shù)應(yīng)用下針對(duì)性強(qiáng)、智能化的業(yè)務(wù)新方式。為了促進(jìn)商品銷售，提升廳店人員的工作效率和吸引更多的客戶，可以基于人體姿態(tài)的分析輔助廳店人員進(jìn)行場(chǎng)景化營(yíng)銷和個(gè)性化推薦。本文基于人體姿態(tài)估計(jì)開發(fā)了用戶偏好分析系統(tǒng)，重點(diǎn)解決廳店中用戶偏好分析不準(zhǔn)確造成的商機(jī)流失問(wèn)題。

隨著人工智能的技術(shù)成熟，卷積神經(jīng)網(wǎng)絡(luò)(CNN)技術(shù)在計(jì)算機(jī)視覺方面的應(yīng)用發(fā)展速度極快，人體姿態(tài)估計(jì)在行為估計(jì)、人機(jī)交互、異常檢測(cè)等方面有著廣闊的應(yīng)用前景。該系統(tǒng)將人體姿態(tài)估計(jì)技術(shù)引入到廳店零售環(huán)節(jié)，通過(guò)對(duì)用戶肢體形態(tài)進(jìn)行分析，判斷用戶對(duì)商品的偏好及情緒，進(jìn)而輔助廳店人員進(jìn)行場(chǎng)景化接觸營(yíng)銷和個(gè)性化推薦，對(duì)廳店運(yùn)營(yíng)效率提升很有幫助。

1 人體姿態(tài)估計(jì)

基于人體姿態(tài)的估計(jì)進(jìn)行客戶偏好分析，關(guān)鍵在于人體特征點(diǎn)的定位。其核心是人體骨架模型由肢體上的特征點(diǎn)(關(guān)節(jié))決定，與人臉上的五官特征點(diǎn)定位非常相似(圖1)。在樣本圖片上標(biāo)注人體骨架點(diǎn)，可用于訓(xùn)練CNN模型，從而進(jìn)行特征點(diǎn)的定位。

為解決上述問(wèn)題，本文提供了一種基于人體姿態(tài)估計(jì)的用戶偏好分析和推薦方法，核心流程包括：①關(guān)節(jié)點(diǎn)位置數(shù)據(jù)采樣；②計(jì)算特征向量；③關(guān)鍵幀提?。虎苣Ｐ陀?xùn)練與測(cè)試，根據(jù)測(cè)試結(jié)果對(duì)用戶喜好進(jìn)行分類；⑤根據(jù)喜好分類結(jié)果，進(jìn)行個(gè)性化的推薦服務(wù)。

圖1 人體姿態(tài)示意圖Fig.1 Human body posture diagram

1.1 關(guān)節(jié)點(diǎn)位置數(shù)據(jù)采樣

以監(jiān)控系統(tǒng)拍攝的人體圖像為依據(jù)(圖1)，從中提取出圖像中每幀人體關(guān)節(jié)點(diǎn)位置坐標(biāo)，即根據(jù)監(jiān)控系統(tǒng)拍攝到的圖像，對(duì)圖像中每幀人體進(jìn)行姿態(tài)估計(jì)，得到人體頭部、脖頸、左肩、右肩、左手肘、右手肘、左手腕、右手腕、尾椎、左臀部、右臀部、左膝蓋、右膝蓋、左腳踝和右腳踝這15個(gè)關(guān)節(jié)點(diǎn)的位置坐標(biāo)。

圖2 人體形體關(guān)鍵點(diǎn)采樣Fig.2 Key point sampling of human posture

1.2 計(jì)算特征向量

利用提取的各關(guān)節(jié)點(diǎn) 3D坐標(biāo)計(jì)算人體關(guān)節(jié)點(diǎn)之間的角度作為人體動(dòng)作識(shí)別的特征，從一幀圖像的關(guān)節(jié)位置中計(jì)算出的15個(gè)角度組成的特征向量為：

1.3 關(guān)鍵幀提取

在一個(gè)動(dòng)作視頻序列中為了概括反映該動(dòng)作的圖像幀，需要體現(xiàn)動(dòng)作視頻中具有代表意義的關(guān)鍵姿態(tài)。因此關(guān)鍵幀的提取能夠最大限度地使該行為區(qū)別于其他類型的行為，同時(shí)減少數(shù)據(jù)存儲(chǔ)空間的使用。但是考慮到動(dòng)作執(zhí)行、動(dòng)作速率不一致問(wèn)題，采用 K-均值聚類算法進(jìn)行聚類，提取出相似數(shù)據(jù)的聚類中心，然后進(jìn)行關(guān)鍵幀提取。

具體提取步驟如下：

②計(jì)算每一個(gè)樣本(i)x到每一個(gè)聚類質(zhì)心的距離最小值，D取最小值時(shí)，表示將其歸為 j類，即

進(jìn)行聚類前，K-means算法需要規(guī)定聚類個(gè)數(shù)，且初始聚類中心選取具有隨機(jī)性，如數(shù)據(jù)集中的動(dòng)作(擺手、搖頭、試戴等)，以及這些動(dòng)作幅度大小都需要予以統(tǒng)一的規(guī)定。完成關(guān)鍵幀提取后，形成可識(shí)別的客戶偏好基礎(chǔ)特征。

2 客戶偏好分析

2.1 用戶喜好的分類

人體姿態(tài)識(shí)別過(guò)程包括對(duì)數(shù)據(jù)的預(yù)處理、構(gòu)造3D卷積神經(jīng)網(wǎng)絡(luò)和分類訓(xùn)練過(guò)程，最終輸出結(jié)果。算法流程圖如圖3所示。

圖3 基于人體姿態(tài)估計(jì)的客戶偏好分析流程圖Fig.3 Customer preference analysis based on human posture estimation

①在預(yù)處理階段，將提取的關(guān)鍵幀圖像大小統(tǒng)一到120×160像素，得到統(tǒng)一大小尺寸下的圖像；

②對(duì)圖像進(jìn)行均分，分成 5份，其中第 1～4份為訓(xùn)練集，第5份作為測(cè)試集；

③將訓(xùn)練集數(shù)據(jù)輸入到卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行模型訓(xùn)練，得到表現(xiàn)好的模型，然后將測(cè)試集數(shù)據(jù)輸入到模型中得到測(cè)試分類結(jié)果。

根據(jù)聚類算法提前約定的規(guī)則，將測(cè)試結(jié)果劃分到對(duì)應(yīng)的類中，從而判斷用戶行為?；谌梭w姿態(tài)估計(jì)，首先基于 CNN來(lái)進(jìn)行客戶對(duì)商品感興趣程度的分類，再基于精確肢體(如手部、頭部)的動(dòng)作捕捉，可以進(jìn)一步推斷用戶對(duì)商品的喜好，是不感興趣的搖頭、擺手以及猶豫不決地在廳店內(nèi)駐留，還是感興趣試戴，精準(zhǔn)把控客戶對(duì)商品的感知。

2.2 根據(jù)喜好進(jìn)行個(gè)性化的推薦服務(wù)

面向廳店的人體姿態(tài)分析和推薦系統(tǒng)，基于高清攝像頭和人工智能圖像處理程序，利用 CNN卷積神經(jīng)網(wǎng)絡(luò)不斷優(yōu)化識(shí)別模型，結(jié)合行為、形態(tài)、姿態(tài)的估計(jì)算法，判別客戶對(duì)某一類商品的偏好情緒，通過(guò)客戶對(duì)商品的喜好程度，輔助廳店人員進(jìn)行場(chǎng)景化營(yíng)銷和個(gè)性化推薦，從而提升廳店的零售轉(zhuǎn)化率和客戶體驗(yàn)價(jià)值。整體流程如圖4所示。

圖4 客戶偏好分析的業(yè)務(wù)推薦流程Fig.4 Business recommendation process for customer preference analysis

廳店高清攝像頭采集店內(nèi)顧客的圖像后，立即根據(jù)姿態(tài)進(jìn)行估計(jì)，根據(jù)模型輸出的結(jié)果判斷其所處的分類結(jié)果，從而得出用戶對(duì)商品的喜好程度。系統(tǒng)將客戶的喜好推斷結(jié)果實(shí)時(shí)地傳送到廳店人員的手機(jī)上，廳店人員收到消息后，立刻行動(dòng)。廳店人員根據(jù)用戶對(duì)商品的喜好程度結(jié)果，先是進(jìn)行主動(dòng)式的某一商品介紹，然后利用實(shí)物或者是手持終端設(shè)備為用戶進(jìn)行詳細(xì)的商品展示。最后，根據(jù)客戶對(duì)商品的反應(yīng)，注冊(cè)客戶的用戶資料，錄入廳店的會(huì)員庫(kù)，為客戶做后續(xù)的推薦服務(wù)。

3 應(yīng)用與實(shí)踐

基于人體姿態(tài)估計(jì)的客戶偏好分析系統(tǒng)能夠有效減少客戶特征點(diǎn)的數(shù)量級(jí)，把人體行為轉(zhuǎn)換成十幾維的特征點(diǎn)，降低了模型輸入的復(fù)雜度，完成快速的算法輸出，便于廳店人員做出實(shí)時(shí)的業(yè)務(wù)推薦舉措。在下一階段工作中，將拓展人體姿態(tài)分析模型，將客戶表情、客戶動(dòng)作識(shí)別功能納入智慧營(yíng)銷，有效拓展應(yīng)用范圍。

該系統(tǒng)在保護(hù)用戶隱私的前提下，能夠完成智能化的業(yè)務(wù)推薦，提高了廳店人員的工作效率，并且能夠幫助廳店人員挖掘潛在的客戶，提高經(jīng)濟(jì)效益，有極大的實(shí)用價(jià)值。其立足天津移動(dòng)營(yíng)銷進(jìn)行了使用推廣，已應(yīng)用于天津移動(dòng)兩個(gè)智慧營(yíng)業(yè)廳，支撐營(yíng)銷人員基于客戶實(shí)時(shí)感知場(chǎng)景進(jìn)行現(xiàn)場(chǎng)營(yíng)銷。驗(yàn)證表明可以有效提升現(xiàn)場(chǎng)營(yíng)銷效率，節(jié)省客戶選購(gòu)時(shí)間，提升了產(chǎn)品推薦成功率，在新零售背景下、流動(dòng)式營(yíng)銷場(chǎng)景下，都有極大應(yīng)用潛力。

4 結(jié) 語(yǔ)

本文開發(fā)了一套面向廳店的人體姿態(tài)分析和推薦系統(tǒng)，基于高清攝像頭和人工智能圖像處理程序。利用 CNN卷積神經(jīng)網(wǎng)絡(luò)不斷優(yōu)化識(shí)別模型，結(jié)合行為、形態(tài)、姿態(tài)的估計(jì)算法，判別出客戶對(duì)某一類商品的偏好情緒，通過(guò)客戶對(duì)商品的喜好程度，輔助廳店人員進(jìn)行場(chǎng)景化營(yíng)銷和個(gè)性化推薦，從而提升廳店的零售轉(zhuǎn)化率和客戶體驗(yàn)價(jià)值。