融合深度學(xué)習(xí)與外極線約束的三維人體位姿測量方法

宋麗梅，呂昆昆，楊燕罡

（1.天津工業(yè)大學(xué) 電氣工程與自動化學(xué)院 天津市電工電能新技術(shù)重點實驗室，天津 300387；2.天津職業(yè)技術(shù)師范大學(xué) 機(jī)械工程學(xué)院，天津 300222）

引言

為設(shè)計更符合我國駕駛員人體工學(xué)的汽車座椅，需采集大量汽車座椅上人體的三維數(shù)據(jù)。目前人體關(guān)節(jié)點采集方式主要是基于二維圖像和三維點云[1-3]。

賴軍等人[4]提出的基于點云的人體尺寸測量方法能夠精確獲取人體關(guān)鍵尺寸，但需粘貼標(biāo)記點。朱欣娟等人[5]提出的基于改進(jìn)ASM（active shape model）的人體特征點定位和建模方法具有定位精度高、測量速度快的優(yōu)勢，但需要被測者保持特定的姿態(tài)。鮑陳等人[6]提出的基于散亂點云三維姿態(tài)測量方法精度高，但需被測者保持直立姿態(tài)。Deng J 等人[7]提出的堆疊沙漏網(wǎng)絡(luò)（stacked hourglass）能夠適應(yīng)不同的測量場景。Shen C 等人[8]在堆疊沙漏網(wǎng)絡(luò)基礎(chǔ)上提出的生成對抗網(wǎng)絡(luò)（generative adversarial network，GAN）在識別精度上提高了0.2%。Kaiming H 等人[9]提出的Mask R-CNN網(wǎng)絡(luò)耗時長且精度受待測場景復(fù)雜度影響大。SIMON T 等人[10]提出利用自底向上進(jìn)行關(guān)節(jié)點識別的模型OpenPose，該模型能準(zhǔn)確獲取人體二維關(guān)節(jié)點坐標(biāo)并利用PAF 方法[11]提取人體骨架。基于深度學(xué)習(xí)的二維關(guān)節(jié)點檢測方法耗時短、精度高，但缺乏深度信息，無法滿足設(shè)計的需求。

針對上述問題，本文設(shè)計了融合深度學(xué)習(xí)和外極線約束的三維關(guān)節(jié)點獲取方法。在保留了深度學(xué)習(xí)二維關(guān)節(jié)點檢測方法精度高、耗時短優(yōu)勢的同時也能獲取關(guān)節(jié)點的三維信息。

1 二維關(guān)節(jié)點提取網(wǎng)絡(luò)

現(xiàn)有二維關(guān)節(jié)點提取網(wǎng)絡(luò)主要分為基于回歸和基于檢測2類，基于回歸的網(wǎng)絡(luò)檢測精度較高，但其受待測場景影響較大且耗時較長。基于檢測的網(wǎng)絡(luò)通過輸出關(guān)節(jié)點熱圖來獲取關(guān)鍵點位置，檢測速度快，但無法排除誤檢點的影響[12]。實際應(yīng)用中，通常將關(guān)節(jié)點熱圖和回歸網(wǎng)絡(luò)相結(jié)合，提高網(wǎng)絡(luò)檢測效率。

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的初始化階段分為關(guān)節(jié)點位置初始化ρ1和肢體初始化 ?1，如圖1所示。

該階段采用VGGNet-19 網(wǎng)絡(luò)前10 層的輸出作為輸入，經(jīng)過卷積處理最終得到與輸入圖像大小相同的掩模圖像，2個初始化階段的處理過程分別如公式（1）和公式（2）所示。

圖1 初始化網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Structure of initialization network

網(wǎng)絡(luò)核心階段主要用來獲取關(guān)節(jié)點和肢體的準(zhǔn)確位置，如圖2所示。

圖2 核心網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2 Structure of core network

該階段采用VGGNet-19 網(wǎng)絡(luò)前10 層的輸出及前一層關(guān)節(jié)點和肢體檢測網(wǎng)絡(luò)的輸出作為輸入，通過卷積運算得到修正后的掩模圖像。處理過程如公式（3）和公式（4）所示。

1.2 損失函數(shù)

由于采用雙通道網(wǎng)絡(luò)，因而采取雙損失函數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，損失函數(shù)分別如公式（5）和公式（6）所示。

式中：I、J分別表示St、Lt特征圖中特征關(guān)節(jié)點和肢體的數(shù)量；（x,y）為特征點的位置；W(x,y)表示二值化函數(shù)；Sti(x,y)和Lt j(x,y)分別代表第t次迭代時St、Lt掩模圖上各點像素值；Si*(x,y)、L*j(x,y)分別代表關(guān)節(jié)點和肢體的真值置信圖，其中S*i(x,y)可由公式（7）獲取。

L*j(x,y)表示圖像中肢體的位置，其計算過程由公式（8）和公式（9）共同決定。

式中：nc(x,y)表示非零向量L*j,k(x,y)個數(shù)。

2 人體三維位姿測量方法

2.1 基于外極線約束的雙目三維數(shù)據(jù)獲取方法

文中采用如圖3所示的雙目系統(tǒng)進(jìn)行數(shù)據(jù)采集，系統(tǒng)包含2個工業(yè)相機(jī)和1個輔助照明投影儀。

圖3 雙目采集裝置結(jié)構(gòu)示意圖Fig.3 Structure of binocular acquisition device

假設(shè)某一關(guān)節(jié)點的三維坐標(biāo)為[X,Y,Z,1]T，其在左右相機(jī)成像平面的坐標(biāo)分別為[u1,v1,1]T和[u2,v2,1]T。經(jīng)雙目相機(jī)標(biāo)定后可分別獲取左右相機(jī)的內(nèi)參矩陣Ml、Mr及其旋轉(zhuǎn)矩陣Rl、Rr和平移矩陣Tl、Tr。根據(jù)世界坐標(biāo)系和相機(jī)成像坐標(biāo)系的轉(zhuǎn)換關(guān)系，上述參數(shù)滿足公式（10）和公式（11）。

為了簡化后續(xù)描述，做如公式（12）的假設(shè)。

將公式（12）分別代入公式（10）和公式（11），得到公式（13）和公式（14）。

聯(lián)立公式（13）和公式（14）可得公式（15）。

從二維關(guān)節(jié)點獲取三維關(guān)節(jié)點的過程可歸結(jié)為公式（15）所示的方程求解問題。文中采用外極線約束補足漏檢二維關(guān)節(jié)點，原理如圖4所示[13]。

圖4 外極限匹配示意圖Fig.4 Schematic diagram of epipolar line matching

空間中某一點P(x,y,z)分別投影到左右相機(jī)成像平面Pl、Pr處，分別位于極平面POlOr與左右圖像平面交線Plel和Prer上。

搜索過程中采用Brief特征作為待匹配特征，Brief特征描述算子是一種簡單有效的特征提取方法，通過統(tǒng)計特征點 (x,y)周圍S×S區(qū)域內(nèi)N對像素點的像素變化，得到該點的特征表示[14]。提取Brief特征時，首先在特征點的鄰域內(nèi)按照公式（16）選取一對點 (xi,yi),i=1,2。

式中：N(μ,σ2)表示服從均值為μ ；方差為σ2的正態(tài)分布。

假設(shè)隨機(jī)選取2點的像素值分別為a、b，則2點處的Brief特征可做如公式（17）的表示。

由于人體關(guān)節(jié)點位置接近，選取S=35 作為Brief特征算子的作用范圍?？紤]到關(guān)節(jié)點位置的像素較為相似，選取N=256 作為Brief特征算子的位數(shù)。文中采用漢明距離作為特征相似度衡量的指標(biāo)，選取Brief特征相同位數(shù)最多的2個點作為匹配點對。

2.2 人體三維關(guān)節(jié)點數(shù)據(jù)獲取流程

文中采用二維關(guān)節(jié)點提取網(wǎng)絡(luò)獲取左右相機(jī)圖像中關(guān)節(jié)點位置，利用外極線約束和Brief特征獲取左右相機(jī)圖像中關(guān)節(jié)點的匹配關(guān)系，整個三維關(guān)節(jié)點獲取流程如圖5所示。

圖5 人體三維關(guān)節(jié)點獲取流程示意圖Fig.5 Flow chart of 3-D joint point acquisition of human body

本文關(guān)節(jié)點提取方法，不僅保留了基于深度學(xué)習(xí)的二維關(guān)節(jié)點提取網(wǎng)絡(luò)速度快、精度高的特點，并且采用雙目采集裝置與外極線約束相結(jié)合的方式提高了三維關(guān)節(jié)點檢測效率。

3 實驗結(jié)果與分析

綜合考慮設(shè)備成本和采集效果，選取?？低暪镜腞S_A1300_GM60_M10 相機(jī)和Computar系列的M0814-MP 鏡頭搭建文中的雙目采集系統(tǒng)，選取BenQ 公司的E540系列投影儀作為輔助照明裝置。系統(tǒng)構(gòu)成如圖6所示。

圖6 人體姿態(tài)三維測量系統(tǒng)Fig.6 Human position 3D measurement system

雙目標(biāo)定采用的靶標(biāo)及標(biāo)定數(shù)據(jù)如圖7所示。靶標(biāo)圓心的水平距離為55 mm，豎直距離為51 mm。

圖7 標(biāo)定靶標(biāo)及采集標(biāo)定數(shù)據(jù)Fig.7 Calibrate target and collect calibration data

將5個不同位置的標(biāo)定數(shù)據(jù)輸入基于OpenCV 2.4.10 設(shè)計的標(biāo)定程序[15]，得到左右相機(jī)的內(nèi)參，具體如表1所示。利用表1所得相機(jī)內(nèi)參可得表2所示的雙目相機(jī)外參。

通過統(tǒng)計水平和豎直方向上測量數(shù)據(jù)與真值數(shù)據(jù)的差異，得到系統(tǒng)的標(biāo)定誤差。計算過程如公式（18）所示。

表1 左右相機(jī)的內(nèi)部參數(shù)Table1 Internal parameters of left and right cameras

表2 雙目相機(jī)外部參數(shù)Table2 External parameters of binocular cameras

式中：yi為圓心距離的測量值；為圓心距離的標(biāo)稱值；N為測量數(shù)據(jù)樣本數(shù)，文中水平方向誤差評定時有N=10×9=90，豎直方向評定時有N=8×11=88，測量結(jié)果如圖8所示。

文中所測量人體關(guān)節(jié)點如圖9所示。

由于文中采集的待檢測數(shù)據(jù)有限，選取COCO2017數(shù)據(jù)集作為本文的訓(xùn)練及驗證數(shù)據(jù)。文中采用的訓(xùn)練測試數(shù)據(jù)構(gòu)成如表3所示。

圖8 雙目三維測量系統(tǒng)立體標(biāo)定誤差Fig.8 Stereo calibration error of 3-D measurement system

圖9 本文采集人體關(guān)節(jié)點位置示意圖Fig.9 Position diagram of human joints collected in this paper

表3 二維人體關(guān)節(jié)點提取網(wǎng)絡(luò)訓(xùn)練測試數(shù)據(jù)集構(gòu)成Table3 Construction of dataset of human 2-D joint extraction network

訓(xùn)練過程中每隔10 張進(jìn)行一次驗證以獲取訓(xùn)練過程中各項數(shù)據(jù)，通過選取不同核心網(wǎng)絡(luò)循環(huán)次數(shù)t，得到如圖10所示的訓(xùn)練結(jié)果。

由圖10可知，當(dāng)t=6時，網(wǎng)絡(luò)具有較快的收斂速度和檢測精度，實際使用中也選取t=6。為測試其在本文待測場景中的檢測準(zhǔn)確率，采集左右相機(jī)各50 張圖像構(gòu)成測試集，測試結(jié)果如圖11所示（紅色圈部位代表漏檢關(guān)節(jié)點）。

通過統(tǒng)計每輛車左相機(jī)和右相機(jī)檢測情況，利用公式（19）得到二維關(guān)節(jié)點提取網(wǎng)絡(luò)在整個測試集上的檢測精度。

圖10 COCO2017 數(shù)據(jù)集中的人體圖像Fig.10 Human body image in COCO2017 dataset

圖11 網(wǎng)絡(luò)訓(xùn)練過程中精度值變化趨勢Fig.11 Trend of precision during network training

式中：P為測試精度；n代表待測樣本關(guān)節(jié)點總數(shù)；nr和nl分別表示左相機(jī)和右相機(jī)采集關(guān)節(jié)點總數(shù)，具體統(tǒng)計數(shù)據(jù)如表4所示。

由表4可知，二維關(guān)節(jié)點提取網(wǎng)絡(luò)平均提取精度為92%，并且漏檢往往發(fā)生在左右相機(jī)某一幅圖中，因而可通過本文提出的基于外極線匹配的方法來獲取漏檢點的位置，進(jìn)行缺失點補足后的二維關(guān)節(jié)點檢測，結(jié)果如表5所示。

采用外極線約束和Brief特征后二維關(guān)節(jié)點檢測精度從原來的92%增加到了98%。文中采用圖12中 θ1、θ2、θ3對算法進(jìn)行穩(wěn)定性評價。

表4 左右相機(jī)關(guān)節(jié)點檢測結(jié)果統(tǒng)計Table4 Joint point detection results of left and right cameras

表5 改進(jìn)二維關(guān)節(jié)點檢測結(jié)果統(tǒng)計Table5 Statistics of improved 2-D joint detection results

圖12 左右相機(jī)不同的檢測結(jié)果Fig.12 Different test results of left and right cameras

假設(shè)B(x1,y1,z1)、C(x2,y2,z2)、D(x3,y3,z3)，根據(jù)余弦定理可知：

分別利用傳統(tǒng)測量方法和本文方法獲取40組三維關(guān)節(jié)點 坐標(biāo)信息，計算待測關(guān)鍵角度 θ1、θ2、θ3，求取其均值和方差作為觀測量，如表6所示。

表6 不同方法關(guān)鍵角度統(tǒng)計結(jié)果Table6 Statistical results of key angles of different methods

由表6可知，本文方法和傳統(tǒng)方法所得θ1、θ3均值基本相同，但θ2測量結(jié)果存在較大偏差。駕駛情況下 θ2角度通常大于90°，因而傳統(tǒng)方法測量結(jié)果存在較大偏差。本文方法穩(wěn)定性較高，適用于汽車座椅上三維人體位姿數(shù)據(jù)的測量。

4 結(jié)論

對比傳統(tǒng)關(guān)節(jié)點測量方法，本文提出了一種融合深度學(xué)習(xí)和外極線約束的人體三維關(guān)節(jié)點檢測方法。該方法采用多階段循環(huán)網(wǎng)絡(luò)提取關(guān)節(jié)點二維坐標(biāo)，利用外極線約束和Brief特征進(jìn)行缺失關(guān)節(jié)點補足和匹配，最終獲取人體關(guān)節(jié)點的三維信息。實驗結(jié)果表明，本文三維關(guān)節(jié)點檢測方法檢測精度達(dá)到98%，并且相比傳統(tǒng)三維關(guān)節(jié)點獲取方法，該方法穩(wěn)定性較高。目前該方法仍存在以下問題：1）二維關(guān)節(jié)點提取網(wǎng)絡(luò)存在漏檢，需搜集自采數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)性能調(diào)節(jié)。2）采集系統(tǒng)對環(huán)境光線要求較高，后續(xù)需增加多組補光裝置，保證采集環(huán)境光線波動較小。