深度攝像機(jī)和卡爾曼濾波器在人體目標(biāo)跟蹤中的應(yīng)用研究

陳錫鍛　陳鵬

摘? 要：針對(duì)人體跟蹤過(guò)程中因遮擋、姿態(tài)變化而導(dǎo)致的跟蹤器魯棒性變差的問(wèn)題，提出一種基于深度相機(jī)和卡爾曼濾波的人體目標(biāo)跟蹤方法，在深度圖像下，基于人體骨架關(guān)鍵點(diǎn)，將人體目標(biāo)分解成若干個(gè)關(guān)鍵點(diǎn)的位置狀態(tài)，分別建立各關(guān)鍵點(diǎn)運(yùn)動(dòng)的數(shù)學(xué)模型，通過(guò)卡爾曼濾波器的跟蹤，增加了人體目標(biāo)跟蹤不確定性的描述，提高了對(duì)遮擋、識(shí)別錯(cuò)誤等不利因素的魯棒性。

關(guān)鍵詞：人體目標(biāo);深度相機(jī);卡爾曼濾波;魯棒性

中圖分類號(hào)：TP391? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ? ? ? ?文章編號(hào)：1672-0105（2022）01-0072-05

Application of Depth Camera and Kalman Filter in Human Target Tracking

CHEN Xiduan， CHEN Peng

Abstract：? In view of the poor robustness of the tracker caused by occlusion and attitude change in the process of human tracking， a human target tracking method based on depth camera and Kalman filter is proposed. In the depth image， based on the key points of human skeleton， the human target is decomposed into the position state of each key point， and the mathematical models of the movement of each key point are established respectively， Through the tracking of Kalman filter， the description of human target tracking uncertainty is increased， and the robustness to adverse factors such as occlusion and recognition errors is improved.

Key Words：? human targets; depth camera; Kalman filter; robustness

引言

人體目標(biāo)跟蹤在人員安全監(jiān)控、運(yùn)動(dòng)員比賽分析、智能人機(jī)交互等領(lǐng)域具有廣泛的應(yīng)用[1]，研究人體目標(biāo)跟蹤技術(shù)，助力公共安全、智能交通、智慧城市等領(lǐng)域的發(fā)展，這對(duì)于促進(jìn)社會(huì)發(fā)展具有深遠(yuǎn)的意義[2]。

實(shí)現(xiàn)人體目標(biāo)跟蹤任務(wù)前，首先需要解決的問(wèn)題是如何對(duì)人體目標(biāo)進(jìn)行實(shí)時(shí)性、強(qiáng)魯棒性的檢測(cè)。本文針對(duì)人體跟蹤過(guò)程中因遮擋、姿態(tài)變化而導(dǎo)致的跟蹤器魯棒性變差的問(wèn)題，提出一種基于深度相機(jī)和卡爾曼濾波器的人體目標(biāo)跟蹤方法，該方法在深度圖像下，基于人體骨架關(guān)鍵點(diǎn)，將人體目標(biāo)分解成若干個(gè)關(guān)鍵點(diǎn)的位置狀態(tài)，分別建立各關(guān)鍵點(diǎn)運(yùn)動(dòng)的數(shù)學(xué)模型，通過(guò)卡爾曼濾波器的預(yù)測(cè)跟蹤，增加了人體目標(biāo)跟蹤不確定性的描述，提高了跟蹤器對(duì)遮擋、識(shí)別錯(cuò)誤等不利因素的魯棒性。

1? 人體骨架關(guān)鍵點(diǎn)

深度相機(jī)的骨架提取算法可獲取到豐富的人體姿態(tài)信息。檢測(cè)到的人體骨架關(guān)鍵點(diǎn)總共有17個(gè)，分別為頭部、頸部、軀干、左肩、右肩、左肘部、右肘部、左手、右手、左胸、右胸、左腰、右腰、左膝、右膝、左足和右足，如圖1所示。

在人體目標(biāo)跟蹤時(shí)，對(duì)人體骨架關(guān)鍵點(diǎn)建立運(yùn)動(dòng)數(shù)學(xué)模型如下：

（1）

其中[j=1，…，17]為人體目標(biāo)關(guān)鍵點(diǎn)[j]的狀態(tài)，[xjp，k]，[yjp，k]和[zjp，k]分別為關(guān)鍵點(diǎn)[j]在x、y和z軸上的位置，[xjv，k]，[yjv，k]和[zjv，k]分別為關(guān)鍵點(diǎn)[j]在x、y和z軸上的速度，[xja，k]，[yja，k]和[zja，k]分別為關(guān)鍵點(diǎn)[j]在x、y和z軸上的加速度。

2? 卡爾曼濾波器

卡爾曼濾波器是一個(gè)對(duì)動(dòng)態(tài)系統(tǒng)的狀態(tài)序列進(jìn)行線性最小誤差估計(jì)的算法，一般用于線性系統(tǒng)[3]。卡爾曼濾波在物體互相遮擋和測(cè)量值帶噪聲的情況下仍然可以實(shí)現(xiàn)實(shí)時(shí)目標(biāo)跟蹤的效果，預(yù)測(cè)時(shí)具有無(wú)偏、穩(wěn)定和最優(yōu)的特點(diǎn)[4-5]。

2.1 算法描述

根據(jù)公式（1）建立的人體骨骼關(guān)鍵點(diǎn)的運(yùn)動(dòng)數(shù)學(xué)模型，建立卡爾曼濾波狀態(tài)和觀測(cè)模型如下所示：

（2）

（3）

其中，[Fjk]為關(guān)鍵點(diǎn)[j]的狀態(tài)轉(zhuǎn)移

（4）

[wjk-1]和[vjk]分別為零均值且協(xié)方差為[Qjk-1]和[Rjk]的高斯白噪聲?；诋?dāng)前時(shí)刻各關(guān)鍵點(diǎn)的狀態(tài)估計(jì)值，利用公式（5）和（6）預(yù)測(cè)下一時(shí)刻關(guān)鍵點(diǎn)[j]的狀態(tài)[xjk]和[Pjk]。

（5）

（6）

其中，[xjk-1]與[Pjk-1]為k-1時(shí)刻的狀態(tài)估計(jì)值，接著，深度相機(jī)采集人體目標(biāo)深度圖像，實(shí)現(xiàn)人體目標(biāo)的識(shí)別，并計(jì)算出人體各關(guān)鍵點(diǎn)的位置，讀取人體目標(biāo)各關(guān)鍵點(diǎn)的量測(cè)值[zjk]，[j=1，…，17]。并利用公式（7）和（8）計(jì)算關(guān)鍵點(diǎn)[j]在卡爾曼更新后的狀態(tài)估計(jì)值[xjk]和[Pjk]。

（7）

（8）

其中[Kjk]如下：

（9）

2.2 算法實(shí)現(xiàn)流程

基于深度相機(jī)的卡爾曼濾波人體目標(biāo)跟蹤算法的具體做法如下，其流程圖如圖2所示：

（1）將人體目標(biāo)狀態(tài)分解成17個(gè)關(guān)鍵點(diǎn)的位置狀態(tài)，建立各關(guān)鍵點(diǎn)運(yùn)動(dòng)的模型，并確定卡爾曼濾波器參數(shù);

（2）根據(jù)上一時(shí)刻的人體目標(biāo)關(guān)鍵點(diǎn)位置估計(jì)，分別預(yù)測(cè)下一時(shí)刻人體目標(biāo)關(guān)鍵點(diǎn)位置;

（3）讀取深度圖像傳感器的信息，識(shí)別并計(jì)算人體目標(biāo)關(guān)鍵點(diǎn)位置，讀取人體目標(biāo)關(guān)鍵點(diǎn)位置信息;

（4）根據(jù)讀取到的人體目標(biāo)關(guān)鍵點(diǎn)位置信息，分別對(duì)預(yù)測(cè)的人體目標(biāo)關(guān)鍵點(diǎn)位置進(jìn)行量測(cè)更新;

（5）重復(fù)執(zhí)行步驟2～步驟4，完成人體目標(biāo)的魯棒實(shí)時(shí)跟蹤。

3? 實(shí)驗(yàn)與分析

在人體運(yùn)動(dòng)目標(biāo)自動(dòng)跟蹤系統(tǒng)的實(shí)際應(yīng)用中，考慮到卡爾曼濾波算法需要進(jìn)行大量的矩陣運(yùn)算，故在本文中將卡爾曼運(yùn)動(dòng)預(yù)測(cè)跟蹤方法做了簡(jiǎn)化，不考慮系統(tǒng)誤差和觀測(cè)誤差對(duì)系統(tǒng)的影響[6]，在室內(nèi)環(huán)境，固定背景情況下，采用卡爾曼預(yù)測(cè)方法，預(yù)測(cè)人體目標(biāo)各關(guān)鍵點(diǎn)下一時(shí)刻目標(biāo)最可能出現(xiàn)的位置，獲取實(shí)驗(yàn)數(shù)據(jù)，并對(duì)結(jié)果進(jìn)行分析。

深度相機(jī)采用北京韻動(dòng)體感科技有限公司的YDSENS韻動(dòng)體感深度攝像頭，1 080P分辨率，深度范圍為0.5～4米，實(shí)時(shí)性高，攝像頭幀率為每秒30幀。其中SDK支持人體骨架關(guān)鍵點(diǎn)識(shí)別，同時(shí)支持市場(chǎng)上多種相機(jī)，包括Intel Realsense。其深度原始圖片與深度圖像如圖3所示，圖片左側(cè)為行人目標(biāo)圖像，右側(cè)為深度圖像下的骨架關(guān)鍵點(diǎn)圖。

人體目標(biāo)跟蹤效果如圖4所示，其中圖（a）為正常行人目標(biāo)下的人體目標(biāo)跟蹤圖，圖（b）為手臂部分被遮擋后的人體目標(biāo)跟蹤圖，圖（c）為雙手被擋后的人體目標(biāo)跟蹤圖，圖（d）為人體加速向右上方運(yùn)動(dòng)并遮擋右腿的人體目標(biāo)跟蹤圖。由圖可知：在深度圖像下，利用卡爾曼對(duì)人體目標(biāo)骨架關(guān)鍵點(diǎn)進(jìn)行運(yùn)動(dòng)預(yù)測(cè)從而實(shí)現(xiàn)人體目標(biāo)跟蹤，效果比較理想。

為了方便數(shù)據(jù)的分析處理，將運(yùn)動(dòng)目標(biāo)各關(guān)鍵點(diǎn)的三維坐標(biāo)數(shù)據(jù)轉(zhuǎn)化為二維坐標(biāo)數(shù)據(jù)，將各關(guān)鍵點(diǎn)實(shí)際位置坐標(biāo)（X，Y）和卡爾曼濾波得到的數(shù)據(jù)四舍五入以.csv文件的形式保存，其部分?jǐn)?shù)據(jù)如表1所示。

人體局部數(shù)據(jù)（右手）所得實(shí)際值與卡爾曼預(yù)測(cè)值數(shù)據(jù)做對(duì)比，其中被遮擋人體部位數(shù)據(jù)處理為（0，0）坐標(biāo)，圖5為X坐標(biāo)數(shù)據(jù)，圖6為Y坐標(biāo)數(shù)據(jù)。從中我們可以看出，在2～2.5秒時(shí)間里，由于右手部分被遮擋，從而觀測(cè)數(shù)據(jù)丟失，因而卡爾曼預(yù)測(cè)值與實(shí)際值有偏差，但在整體預(yù)測(cè)過(guò)程中，卡爾曼對(duì)運(yùn)動(dòng)目標(biāo)跟蹤有著較好的效果。

采取跟蹤精度為算法性能指標(biāo)來(lái)評(píng)價(jià)算法性能，跟蹤精度定義為預(yù)測(cè)目標(biāo)位置與實(shí)際位置之間的距離誤差小于特定閾值的幀數(shù)與總幀數(shù)之比[7]，其中誤差距離公式如下：

（10）

其中[（xp，yp）]為人體預(yù)測(cè)目標(biāo)中心位置，[（xt，yt）]為表示實(shí)際目標(biāo)所在中心位置，實(shí)驗(yàn)以25的距離作為特定閾值，本文通過(guò)比較傳統(tǒng)卡爾曼人體目標(biāo)跟蹤方法與本文方法的跟蹤精度，其中在遮擋性環(huán)境下測(cè)試算法性能時(shí)，通過(guò)間斷性遮擋人體目標(biāo)部位進(jìn)行實(shí)驗(yàn)，得到結(jié)果如表2所示：

由表2我們可以得知在無(wú)遮擋環(huán)境下本文方法和傳統(tǒng)方法的跟蹤精度相差無(wú)幾，在遮擋環(huán)境下，尤其是遮擋上半身部位和大面積遮擋下半身部位，本文算法能夠顯著提高系統(tǒng)的跟蹤精度，增強(qiáng)系統(tǒng)的魯棒性。

4? 結(jié)語(yǔ)

在深度圖像下，基于人體骨架，本文首先將人體骨架分為17個(gè)關(guān)鍵特征點(diǎn)，并分別對(duì)各關(guān)鍵點(diǎn)建立運(yùn)動(dòng)數(shù)學(xué)模型，其次通過(guò)卡爾曼濾波器對(duì)各關(guān)鍵點(diǎn)進(jìn)行目標(biāo)跟蹤，從而增加了人體目標(biāo)跟蹤不確定性的描述，最后通過(guò)實(shí)驗(yàn)測(cè)試得出數(shù)據(jù)和結(jié)果。

從實(shí)驗(yàn)測(cè)試結(jié)果可以看出：在深度圖像下，基于人體骨架關(guān)鍵點(diǎn)，采用卡爾曼預(yù)測(cè)人體骨架關(guān)鍵點(diǎn)，增加了人體目標(biāo)跟蹤不確定性的描述，對(duì)人體目標(biāo)的運(yùn)動(dòng)趨勢(shì)和方向能夠做出正確的預(yù)測(cè)估計(jì)，特別對(duì)于人體跟蹤過(guò)程中因遮擋、姿態(tài)變化而導(dǎo)致的跟蹤器魯棒性變差的問(wèn)題能夠很好的解決，從而能夠較準(zhǔn)確完成人體目標(biāo)跟蹤任務(wù)，為系統(tǒng)的整體穩(wěn)定性提供了保證。

收稿日期：2022-01-26

基金項(xiàng)目：2021年浙江工貿(mào)職業(yè)技術(shù)學(xué)院院級(jí)課題“基于結(jié)構(gòu)特征匹配與漸進(jìn)卡爾曼濾波的人體目標(biāo)跟蹤方法研究”（G210101）

作者簡(jiǎn)介：陳錫鍛（1989—），男，浙江蒼南人，浙江工貿(mào)職業(yè)技術(shù)學(xué)院助教，主要研究方向：模式識(shí)別、信號(hào)與信息處理、語(yǔ)音識(shí)別;陳鵬（1979—），女，四川開(kāi)江人，浙江工貿(mào)職業(yè)技術(shù)學(xué)院講師，主要研究方向：圖像處理、數(shù)字排版、界面設(shè)計(jì)。