壓縮感知W-HOG特征的運(yùn)動(dòng)手勢跟蹤

史東承，倪康

(長春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，吉林 長春130012)

壓縮感知W-HOG特征的運(yùn)動(dòng)手勢跟蹤

史東承，倪康

(長春工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，吉林 長春130012)

摘要：運(yùn)用單一特征或較簡單的特征進(jìn)行手勢跟蹤容易產(chǎn)生跟蹤偏差。為提高手勢跟蹤的精確性，將壓縮感知運(yùn)動(dòng)目標(biāo)跟蹤運(yùn)用到手勢跟蹤中，并提取運(yùn)動(dòng)區(qū)域的HOG特征替換原來廣義的類Harr特征進(jìn)行壓縮感知目標(biāo)跟蹤。為減少不同圖像塊HOG特征等權(quán)值串聯(lián)對(duì)手勢跟蹤所產(chǎn)生的累積跟蹤誤差，需計(jì)算HOG特征權(quán)值，并將特征權(quán)值與HOG特征進(jìn)行有效融合，形成W-HOG壓縮特征。實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)結(jié)果表明本文所改進(jìn)的算法在精確度方面較CT算法提高近16%，較HOG-CT算法提高6%左右。且在復(fù)雜背景下能夠較精確地檢測出運(yùn)動(dòng)手勢，提高了手勢跟蹤在光照變化、背景存在類膚色物體等情況下的魯棒性，減少手勢跟蹤漂移的發(fā)生。

關(guān)鍵詞：壓縮感知；Harr特征；HOG特征；手勢跟蹤；跟蹤漂移

中文引用格式：史東承，倪康.壓縮感知W-HOG特征的運(yùn)動(dòng)手勢跟蹤[J]. 智能系統(tǒng)學(xué)報(bào)， 2016, 11(1): 124-128.

英文引用格式：SHI Dongcheng， NI Kang. Motion gesture trackingbased on Compressed sensing W-HOG features[J]. CAAI Transactions on Intelligent Systems, 2016, 11(1): 124-128.

在運(yùn)動(dòng)目標(biāo)跟蹤方面，實(shí)時(shí)性和魯棒性是衡量跟蹤效果必不可少的2個(gè)因素。傳統(tǒng)方法在實(shí)時(shí)性和魯棒性存在或大或小的缺陷。ZhangKaihua等2012年在ECCV會(huì)議上提出了基于壓縮感知的目標(biāo)跟蹤算法(compress tracking)[1]，該算法在實(shí)時(shí)性和魯棒性有了很大的提高，但復(fù)雜背景下效果欠佳。文獻(xiàn)[2]在壓縮感知目標(biāo)跟蹤的基礎(chǔ)上結(jié)合了運(yùn)動(dòng)估計(jì)算法，較好地抑制了跟蹤漂移，但在較復(fù)雜背景下算法效果不容樂觀。文獻(xiàn)[3]和文獻(xiàn)[4]都引用了特征加權(quán)的思想，但都是基于壓縮感知跟蹤原始特征，故在復(fù)雜背景下魯棒性較差。文獻(xiàn)[5]和文獻(xiàn)[6]分別將光流法和SIFT特征點(diǎn)融入到壓縮感知目標(biāo)跟蹤中，在復(fù)雜背景下，這2種算法均能夠較準(zhǔn)確進(jìn)行目標(biāo)跟蹤，但是由于計(jì)算量的增加，實(shí)時(shí)性差。文獻(xiàn)[7]提出了基于HOG特征的壓縮感知目標(biāo)跟蹤，但由于特征誤差的累積也容易產(chǎn)生跟蹤漂移。本文擯棄了經(jīng)典HOG特征描述中對(duì)HOG特征的等權(quán)值串聯(lián)的理念，彌補(bǔ)了HOG特征的在特征描述上的不足。將HOG特征和HOG特征權(quán)值融合形成W-HOG壓縮特征，以此進(jìn)行運(yùn)動(dòng)手勢跟蹤和對(duì)分類器進(jìn)行更新，以提高算法在復(fù)雜背景下的魯棒性。

1經(jīng)典壓縮感知目標(biāo)跟蹤簡介

Donoho等于2006年首次提出了壓縮感知理論，該理論指出，通過一個(gè)滿足約束等距性條件的稀疏測量矩陣對(duì)原圖像特征空間做投影，會(huì)把保留高維特征的信息壓縮到低維特征子空間。文獻(xiàn)[1]中的Zhang Kaihua等將壓縮感知理論運(yùn)用到運(yùn)動(dòng)目標(biāo)跟蹤中去(compressive tracking)，此后，該跟蹤算法在視頻跟蹤領(lǐng)域得到廣泛應(yīng)用。

該算法低維特征提取公式為

(1)

式中：X∈Rn×1為高維的原始特征，P∈Rk×n為滿足約束等距性條件的隨機(jī)測量矩陣，V∈Kk×1為壓縮后的低維特征。文獻(xiàn)[1]中提出的X為各種不同尺度的矩形濾波器與原圖像卷積結(jié)果的組合，實(shí)際為計(jì)算一系列矩形內(nèi)所有像素的灰度差。樣本的實(shí)際特征提取公式為

(2)

式中：NR為圖像塊的數(shù)目，其數(shù)值一般在2～4之間隨機(jī)取，pi,k在1和-1之間等概率隨機(jī)取，R為候選區(qū)域隨機(jī)選取的圖像塊。

其后的目標(biāo)跟蹤就是通過迭代運(yùn)算尋找與目標(biāo)特征最相似的候選區(qū)域，文獻(xiàn)[7]中首先在后續(xù)幀中遍歷目標(biāo)位置臨近區(qū)域，然后在候選區(qū)域選用貝葉斯分類器計(jì)算其分類分?jǐn)?shù)，以得分?jǐn)?shù)值最大的候選區(qū)域作為目標(biāo)位置，判別公式[8]如下：

(3)

2壓縮感知W-HOG的運(yùn)動(dòng)手勢跟蹤

HOG特征是用梯度和方向來表現(xiàn)局部目標(biāo)的表象和形狀，其優(yōu)點(diǎn)是具有旋轉(zhuǎn)和平移不變性、局部光照不變性。文獻(xiàn)[7]提出的基于HOG特征的壓縮感知目標(biāo)跟蹤，雖然使用HOG特征代替原來的灰度特征，但是由于每個(gè)HOG圖像塊特征對(duì)整體手勢跟蹤效果的影響存在差異，若等權(quán)值相加每個(gè)圖像塊的HOG特征，必會(huì)對(duì)手勢跟蹤造成較大影響。故在背景信息中含有噪聲點(diǎn)、背景灰度變化較大以及背景中含有類膚色信息時(shí)，容易發(fā)生跟蹤偏離和漂移。本文使用HOG特征和特征權(quán)重代替原來的灰度特征，從而避免了等權(quán)值相加對(duì)進(jìn)行運(yùn)動(dòng)手勢跟蹤所造成的累計(jì)誤差。

2.1W-HOG壓縮特征空間的生成

本研究初步提示，早期足量肝素用于STEMI患者，有助于改善冠脈血流、改善心功能，且并不增加出血事件。但，本研究為單中心研究，樣本數(shù)量有限，還需要以后更大樣本量的研究。

采用W-HOG特征代替原來的灰度特征后，原始的高維特征為不同尺度的矩形濾波器與原圖像卷積后的結(jié)果提取HOG特征。為了增加算法對(duì)復(fù)雜背景的魯棒性，需要對(duì)HOG特征和特征權(quán)值進(jìn)行特征融合，形成W-HOG特征，該特征為壓縮后的低維特征。

2.1.1梯度方向直方圖的構(gòu)建與特征計(jì)算

對(duì)于候選區(qū)域隨機(jī)選擇不同大小的2～4個(gè)矩形圖像塊Ri,k，統(tǒng)計(jì)每個(gè)圖像塊的梯度方向直方圖Hi,k。將梯度方向分成bin塊，塊內(nèi)的每個(gè)像素點(diǎn)向該方向進(jìn)行投票加權(quán)，運(yùn)用積分直方圖[9]快速計(jì)算該方向上的梯度幅值，繼而得到子塊的梯度方向直方圖，總的梯度方向直方圖特征為子塊特征的加權(quán)和。最終特征[10]為

(4)

圖1　低維HOG特征生成示意圖Fig.1　Schematic diagram of low dimensional HOG feature generating

2.1.2HOG特征權(quán)值的計(jì)算

手勢圖像中不同圖像塊中所包含的特征信息量是不同的，信息熵反映了圖像中所帶信息量的大小，信息熵越大,該圖像塊所包含信息量就越大，則對(duì)手勢跟蹤的影響也就越大。本文對(duì)壓縮后的矩形塊進(jìn)行信息熵計(jì)算來構(gòu)造HOG加權(quán)系數(shù)。首先把該手勢圖像轉(zhuǎn)換成灰度圖像，則第i個(gè)子塊信息熵的計(jì)算公式如下[12]：

(5)

(6)

式中：wi為該像素塊的加權(quán)系數(shù)，Ei為第i個(gè)子塊信息熵[13]。計(jì)算得到的HOG特征權(quán)值與相應(yīng)的梯度方向直方圖相乘即得到W-HOG融合特征。融合后的低維W-HOG特征可表示為

(7)

1) 初始化分類器

a)視頻序列的第一幀運(yùn)用坐標(biāo)信息選擇運(yùn)動(dòng)手勢圖像。

b)正負(fù)樣本的采集：在0<‖l(x)-l‖<α范圍內(nèi)取正樣本；在β<‖l(x)-l‖<γ范圍內(nèi)取負(fù)樣本，并計(jì)算0<‖l(x)-l‖<γ范圍內(nèi)的積分直方圖并保存。

c)利用積分直方圖，快速計(jì)算運(yùn)動(dòng)手勢目標(biāo)和背景的梯度直方圖[14]。

(8)

繼而按照式(7)計(jì)算融合低維W-HOG特征，按照式(8)更新分類器的均值和方差。

2)運(yùn)動(dòng)手勢目標(biāo)跟蹤

讀取下一圖像幀，在0<‖l(x)-l‖<γ周圍采集手勢樣本，并根據(jù)算式(7)計(jì)算候選區(qū)域樣本的低維W-HOG特征，繼而代入算式(3)，取其最大值作為運(yùn)動(dòng)手勢目標(biāo)區(qū)域。

3)分類器的更新

在所確定的運(yùn)動(dòng)手勢目標(biāo)周圍采集正負(fù)樣本[15]，并計(jì)算正負(fù)樣本HOG特征，根據(jù)算式(8)分別更新分類器。

4)跳轉(zhuǎn)到步驟2)進(jìn)行下一幀的處理。

3實(shí)驗(yàn)結(jié)果和分析

本實(shí)驗(yàn)背景選擇為復(fù)雜靜態(tài)背景，背景中含有多個(gè)類膚色物體的存在，自行拍攝的運(yùn)動(dòng)手勢視頻約為9秒，經(jīng)拆幀視頻拆分為260幀，另外本實(shí)驗(yàn)還對(duì)該視頻分別進(jìn)行CT跟蹤以及基于HOG特征的CT跟蹤進(jìn)行對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中，更新率取值為0.6、α=4、β=8、γ=20。實(shí)驗(yàn)環(huán)境為Intel Core i5 CPU 3.0GHZ,安裝內(nèi)存：2.0GB，Window7操作系統(tǒng)，使用MATLAB 2014b進(jìn)行仿真實(shí)驗(yàn)。經(jīng)仿真實(shí)驗(yàn)后，視頻序列第95幀仿真結(jié)果如圖2所示，視頻序列第197幀仿真結(jié)果如圖3所示。

圖2　第95幀仿真結(jié)果Fig.2　Simulation results of Video sequence frame95

圖3　第197幀仿真結(jié)果Fig.3　Simulation results of Video sequence frame197

經(jīng)對(duì)比實(shí)驗(yàn)可以看出，基于W-HOG的壓縮感知目標(biāo)跟蹤算法在背景復(fù)雜、背景中含有類膚色物體等情況下能夠準(zhǔn)確地檢測出運(yùn)動(dòng)手勢。表1為3種跟蹤算法運(yùn)動(dòng)手勢跟蹤準(zhǔn)確率的統(tǒng)計(jì)結(jié)果，其中總幀數(shù)為260。

表1　準(zhǔn)確性統(tǒng)計(jì)結(jié)果

從表格數(shù)據(jù)統(tǒng)計(jì)可以看出：較其他2種手勢跟蹤算法，基于W-HOG的壓縮感知運(yùn)動(dòng)手勢跟蹤算法手勢跟蹤正確率較高。特征對(duì)每個(gè)圖像塊的HOG特征進(jìn)行加權(quán)處理，擯棄了經(jīng)典HOG特征描述中對(duì)HOG特征的等權(quán)值串聯(lián)的理念，彌補(bǔ)了HOG特征在特征描述上的不足。為驗(yàn)證該算法的實(shí)時(shí)性，本文對(duì)該算法的運(yùn)行時(shí)間進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表2所示，其中總幀數(shù)數(shù)為260。

表2　實(shí)時(shí)性統(tǒng)計(jì)結(jié)果

從表格數(shù)據(jù)統(tǒng)計(jì)可以看出：基于W-HOG的壓縮感知運(yùn)動(dòng)手勢跟蹤運(yùn)行時(shí)間較其他兩種算法運(yùn)行時(shí)間稍長，造成該現(xiàn)象的主要原因是W-HOG特征的計(jì)算增加了對(duì)圖像塊特征權(quán)值的計(jì)算。雖然HOG特征的計(jì)算過程中增加了積分直方圖以加快特征的計(jì)算，但較經(jīng)典HOG特征，計(jì)算復(fù)雜程度較高。從手勢跟蹤對(duì)算法實(shí)時(shí)性的要求來看，該速率已經(jīng)能夠滿足基本要求，不會(huì)造成跟蹤延遲等問題的發(fā)生。

4結(jié)束語

本文將壓縮感知運(yùn)動(dòng)目標(biāo)跟蹤運(yùn)用到了運(yùn)動(dòng)手勢跟蹤中，并且將HOG特征替代原來的類Harr特征，同時(shí)運(yùn)用HOG特征權(quán)值進(jìn)行特征融合，確定運(yùn)動(dòng)手勢的位置，最后進(jìn)行分類器的更新，完成了運(yùn)動(dòng)手勢跟蹤。該算法擯棄了經(jīng)典HOG特征描述中對(duì)HOG特征的等權(quán)值串聯(lián)的理念，有效減少了HOG特征等權(quán)值相加對(duì)手勢跟蹤所造成的累積誤差，并且能夠在較復(fù)雜環(huán)境下準(zhǔn)確地進(jìn)行運(yùn)動(dòng)手勢跟蹤，本算法還運(yùn)用積分直方圖減少運(yùn)算量，但是手勢跟蹤的實(shí)時(shí)性有待提高。在尺度方面，該算法不能夠有效地滿足運(yùn)動(dòng)手勢跟蹤在尺度自適應(yīng)方面的要求，手勢發(fā)生形變時(shí)，手勢跟蹤產(chǎn)生一定的誤差。因此，在實(shí)時(shí)性的提高和尺度自適應(yīng)方面是以后研究工作的重點(diǎn)。

參考文獻(xiàn):

[1]ZHANG Kaihua, ZHANG Lei, YANG M H. Real-time compressive tracking[C]//Proceedings of the 12th European Conference on Computer Vision. Florence, Italy, 2012: 866-879.

[2]WU Jiayun, CHEN Daquan, YI Rui. Real-time compressive tracking with motion estimation[C]//Proceedings of IEEE International Conference on Robotics and Biomimetics (ROBIO). Shenzhen, China, 2013: 2374-2379.

[3]ZHU Jianzhang, MA Yue, ZHENG Chen, et al. Adaptive weighted real-time compressive tracking[J]. IET computer vision, 2014, 8(6): 740-752.

[4]王松林, 項(xiàng)欣光. 基于壓縮感知的多特征加權(quán)目標(biāo)跟蹤算法[J]. 計(jì)算機(jī)應(yīng)用研究, 2014, 31(3): 929-932.

WANG Songlin, XIANG Xinguang. Real-time tracking using multi-feature weighting based on compressive sensing[J]. Application research of computers, 2014, 31(3): 929-932.

[5]劉丹, 竇勇. 基于光流和壓縮感知的目標(biāo)跟蹤[J]. 計(jì)算機(jī)技術(shù)與自動(dòng)化, 2013, 32(4): 84-87.

LIU Dan, DOU Yong. Object tracking based on optical flow and compressive sensing[J]. Computer technology and automation, 2013, 32(4): 84-87.

[6]鐘權(quán), 周進(jìn), 崔雄文. 融合SIFT特征的壓縮跟蹤算法[J]. 光電工程, 2015, 42(2): 66-72.

ZHONG Quan, ZHOU Jin, CUI Xiongwen. Compressive tracking algorithm based on SIFT[J]. Opto-Electronic Engineering, 2015, 42(2): 66-72.

[7]孫曉燕, 常發(fā)亮. 梯度特征稀疏表示目標(biāo)跟蹤[J]. 光學(xué)精密工程, 2013, 21(12): 3191-3197.

SUN Xiaoyan, CHANG Faliang. Object tracking based on sparse representation of gradient feature[J]. Optics and precision engineering, 2013, 21(12): 3191-3197.

[8]LIU Jin, HAN Chongzhao, HAN Feng. A novel compressed sensing based track before detect algorithm for tracking multiple targets[C]//Proceedings of the 16th International Conference on Information Fusion (FUSION). Istanbul, the Republic of Turkey, 2013: 1514-1519.

[9]LI Hanxi, SHEN Chunhua, SHI Qinfeng. Real-time visual tracking using compressive sensing[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Providence, USA, 2011: 1305-1312.

[10]張雷, 王延杰, 何舒文. 基于相位一致性的實(shí)時(shí)壓縮跟蹤方法[J]. 光子學(xué)報(bào)， 2014, 43(8): 124-131.

ZHANG Lei, WANG Yanjie, HE Shuwen. Real-time compressive tracking method based on phase congruency[J]. Acta photonica sinica, 2014, 43(8): 124-131.

[11]張潔玉, 武小川. 加權(quán)局部二值模式的人臉特征提取[J]. 中國圖象圖形學(xué)報(bào), 2014, 19(12): 1794-1801.

ZHANG Jieyu, WU Xiaochuan. Feature extraction of faces based on a weighted local binary pattern[J]. Journal of image and graphics, 2014, 19(12): 1794-1801.

[12]朱秋平, 顏佳, 張虎, 等. 基于壓縮感知的多特征實(shí)時(shí)跟蹤[J]. 光學(xué)精密工程, 2013, 21(2): 437-444.

ZHU Qiuping, YAN Jia, ZHANG Hu, et al. Real-time tracking using multiple features based on compressive sensing[J]. Optics and precision engineering, 2013, 21(2): 437-444.

[13]王梅, 屠大維, 周許超. SIFT特征匹配和差分相乘融合的運(yùn)動(dòng)目標(biāo)檢測[J]. 光學(xué)精密工程, 2011, 19(4): 892-899.

WANG Mei, TU Dawei, ZHOU Xuchao. Moving object detection by combining SIFT and differential multiplication[J]. Optics and precision engineering, 2011, 19(4): 892-899.

[14]HASAN H S, KAREEM S A. Human computer interaction for vision based hand gesture recognition: a survey[C]//Proceedings of International Conference on Advanced Computer Science Applications and Technologies. Kuala Lumpur, Malaysia, 2012: 55-60.

[15]宋海東, 陳二虎, 邊敏. 基于HOG-LBP特征的自適應(yīng)實(shí)時(shí)手掌檢測算法[J]. 計(jì)算機(jī)與數(shù)字工程, 2013, 41(11): 1826-1828.

SONG Donghai, CHEN Erhu, BIAN Min. HOG-LBP feature adaptive real-time palm detecting algorithm[J]. Computer and digital engineering, 2013, 41(11): 1826-1828.

Motion gesture tracking based on compressed sensing W-HOG features

SHI Dongcheng， NI Kang

( College of Computer Science and Engineering, Changchun University of Technology, Changchun 130012, China)

Abstract：The use of a single or simple feature for gesture tracking always induces tracking errors. To improve the accuracy of hand tracking, this study uses compressed-sensing motion tracking to track a hand and extracts HOG features in the movement area instead of original generalized class Harr features to track the target. At the same time, to reduce the accumulation of errors of gesture tracking generated by weight series, such as HOG features of different image blocks, the study calculates the HOG feature weight and effectively integrates the weight with HOG features to form W-HOG compression characteristics. The statistical experimental results show that the improved algorithm provided increased accuracy by approximately 16% compared with CT algorithm and approximately 6% compared with HOG-CT algorithm. Moreover, the algorithm can accurately detect the moving gesture in a complex background, improve the tracking robustness of gesture tracking in circumstances of illumination changes and background objects with a color similar to the skin, and reduce the occurrence of gesture tracking drifting.

Keywords：compressed sensing; Harr features; HOG features; gesture tracking; tracking drifting

DOI:10.11992/201507005

收稿日期：2015-07-16. 網(wǎng)絡(luò)出版日期：2016-01-05.

通信作者：史東承. E-mail：dcshi@foxmail.com.

中圖分類號(hào)：TP391.9

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-4785(2016)01-0124-05

作者簡介：

史東承，男，1959年生，教授。主要研究方向?yàn)閳D像處理與機(jī)器視覺。主持完成信息產(chǎn)業(yè)部重點(diǎn)項(xiàng)目1項(xiàng)，吉林省級(jí)課題6項(xiàng)。曾獲中國通信學(xué)會(huì)科學(xué)技術(shù)二等獎(jiǎng)1項(xiàng)、 吉林省自然科學(xué)學(xué)術(shù)成果二等獎(jiǎng)1項(xiàng)。發(fā)表學(xué)術(shù)論文50余篇。

倪康，男，1991年生，碩士研究生，主要研究方向?yàn)閳D像處理與機(jī)器視覺，發(fā)表學(xué)術(shù)論文3篇。

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20160105.1532.010.html