基于人臉檢測(cè)的多媒體互動(dòng)游戲系統(tǒng)的研究

昔 克，周珊珊，馬新春，趙文龍

（新疆電子研究所有限公司 新疆 烏魯木齊　830013）

基于人臉檢測(cè)的多媒體互動(dòng)游戲系統(tǒng)的研究

昔 克，周珊珊，馬新春，趙文龍

（新疆電子研究所有限公司 新疆 烏魯木齊830013）

針對(duì)多媒體互動(dòng)游戲系統(tǒng)實(shí)時(shí)互動(dòng)的要求，提出一種人臉膚色與局部特征相結(jié)合的實(shí)時(shí)人臉檢測(cè)與跟蹤方法。首先對(duì)視頻圖像光線補(bǔ)償，且?guī)罘ㄌ崛〕鲆曨l中運(yùn)動(dòng)目標(biāo)；然后根據(jù)膚色在YCbCr顏色空間內(nèi)Cr和Cb分量的特定分布范圍建立膚色模型，確定出可能存在人臉的類(lèi)膚色區(qū)域；中值濾波去除噪聲后，通過(guò)人臉簡(jiǎn)單幾何特征和唇部獨(dú)有的顏色特征濾除非人臉膚色區(qū)域，準(zhǔn)確定位人臉在圖像中的位置。實(shí)際應(yīng)用表明，該互動(dòng)游戲系統(tǒng)能快速準(zhǔn)確的跟蹤玩家的面部位置，通過(guò)處理器判斷人臉與掉落物體是否對(duì)接，打分計(jì)數(shù)器做出相應(yīng)打分，實(shí)現(xiàn)整個(gè)互動(dòng)效果。該互動(dòng)裝置使玩家無(wú)需控制器即可享受交互體驗(yàn)，同時(shí)達(dá)到商品宣傳促銷(xiāo)的目的，具有巨大的商業(yè)前景。

運(yùn)動(dòng)目標(biāo)追蹤；人臉檢測(cè)；膚色模型；唇部檢測(cè)；人機(jī)互動(dòng)

隨著計(jì)算機(jī)通信技術(shù)的快速發(fā)展，越來(lái)越多的電子設(shè)備為人們所應(yīng)用，隨著各種電子設(shè)備的不斷更新?lián)Q代，人機(jī)互動(dòng)技術(shù)應(yīng)運(yùn)而生，觸控技術(shù)就是人機(jī)互動(dòng)技術(shù)的研究成果之一。目前現(xiàn)有的人機(jī)互動(dòng)技術(shù)實(shí)現(xiàn)的體感游戲通常是通過(guò)計(jì)算機(jī)及控制裝置來(lái)實(shí)現(xiàn)。控制裝置如游戲手柄、觸摸屏等通常會(huì)被用戶單手或者雙手握于手中進(jìn)行操作。當(dāng)玩家長(zhǎng)時(shí)間處于玩游戲狀態(tài)中的時(shí)候，這種游戲形式的弊端就顯現(xiàn)出來(lái)了，比如長(zhǎng)時(shí)間游戲操作造成的手指、手腕、眼睛等器官或關(guān)節(jié)的過(guò)度疲勞、勞損等問(wèn)題；若是以游戲?yàn)楣ぷ鞯耐婕?，上述?wèn)題就會(huì)顯現(xiàn)的尤為明顯。

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，文中研制了一種基于人臉檢測(cè)的多媒體互動(dòng)游戲裝置，用于解決現(xiàn)有技術(shù)中無(wú)需控制裝置也可以實(shí)現(xiàn)人機(jī)互動(dòng)游戲的問(wèn)題。針對(duì)互動(dòng)游戲系統(tǒng)的需求，結(jié)合人臉檢測(cè)技術(shù)的最新研究進(jìn)展，提出了一種適用于互動(dòng)游戲中的人臉檢測(cè)追蹤方法。突破人臉檢測(cè)應(yīng)用于身份檢測(cè)的狹義領(lǐng)域，開(kāi)放性的將其應(yīng)用于互動(dòng)游戲的控制。該游戲系統(tǒng)可根據(jù)客戶的需求，在設(shè)備里更換適合客戶商品展示的內(nèi)容，并打印出相應(yīng)的優(yōu)惠券。不僅滿足不同客戶的要求，而且讓玩家在實(shí)現(xiàn)娛樂(lè)健身的同時(shí)又可以得到商家提供的優(yōu)惠券，是一種新型獨(dú)特的促銷(xiāo)手段，具有極大的商業(yè)推廣空間。

1　系統(tǒng)簡(jiǎn)介

該多媒體互動(dòng)游戲裝置如圖1所示主要包括：顯示設(shè)備，攝像設(shè)備，處理器，打分計(jì)數(shù)器，打印設(shè)備。玩家站在游戲裝置正前方，跟隨顯示設(shè)備顯示連續(xù)動(dòng)態(tài)掉落的元素做出相應(yīng)動(dòng)作，攝像設(shè)備捕捉玩家的臉部圖像，并定位追蹤玩家的臉部圖像。與顯示設(shè)備和攝像設(shè)備分別相連的處理器判斷臉部圖像與元素是否對(duì)接，然后打分計(jì)數(shù)器根據(jù)判斷進(jìn)行計(jì)數(shù)打分，最后打印設(shè)備打印輸出打分結(jié)果。系統(tǒng)的工作流程如圖2所示。

圖1　裝置的硬件系統(tǒng)圖Fig.1　The hardware system diagram of the device

圖2　系統(tǒng)工作流程圖Fig.2　The flow chart of system work

2　互動(dòng)游戲中人臉檢測(cè)與追蹤技術(shù)

視頻圖像序列中人臉的檢測(cè)和追蹤是整個(gè)互動(dòng)游戲系統(tǒng)中最關(guān)鍵的部分，針對(duì)互動(dòng)游戲的實(shí)時(shí)性要求，人臉檢測(cè)定位過(guò)程必須快速準(zhǔn)確。大量研究發(fā)現(xiàn)，建立膚色模型進(jìn)行人臉檢測(cè)，可有效排除面部姿態(tài)、表情等因素的干擾，且具有算法簡(jiǎn)單，檢測(cè)迅速的優(yōu)點(diǎn)，但其缺點(diǎn)是易受類(lèi)膚色區(qū)域的干擾準(zhǔn)確性差。因此，典型的人臉檢測(cè)系統(tǒng)一般先用膚色模型進(jìn)行人臉初檢測(cè)，然后結(jié)合其它檢測(cè)方法精確檢測(cè)人臉[1-2]。文中采用膚色檢測(cè)與人臉局部特征檢測(cè)相結(jié)合的方法在運(yùn)動(dòng)目標(biāo)中進(jìn)行人臉檢測(cè)，前者主要標(biāo)定出輸入圖像中可能存在人臉的類(lèi)膚色區(qū)域；后者則通過(guò)人臉幾何特征及標(biāo)志器官檢測(cè)逐步確立人臉區(qū)域位置，總體結(jié)構(gòu)如圖3所示。該方法不僅充分發(fā)揮兩種檢測(cè)技術(shù)各自的優(yōu)點(diǎn)，獲得較快的速度和較好的魯棒性，而且在三幀差分法圖像處理后的運(yùn)動(dòng)目標(biāo)中進(jìn)行人臉檢測(cè)，完成目標(biāo)跟蹤的同時(shí)又可以減少背景環(huán)境對(duì)游戲互動(dòng)的影響。

2.1圖像預(yù)處理

2.1.1光線補(bǔ)償

攝像頭自動(dòng)對(duì)進(jìn)入互動(dòng)裝置拍攝范圍內(nèi)的用戶進(jìn)行圖像采集。考慮到互動(dòng)游戲裝置本身的可移動(dòng)性及在游戲廳、餐廳、酒吧等燈光特效應(yīng)用較多場(chǎng)所的市場(chǎng)需求，系統(tǒng)直接采集的視頻圖像序列很可能會(huì)受光線及設(shè)備自身的影響，存在噪聲及色彩偏差，影響人臉灰度的相對(duì)分布，進(jìn)而直接影響人臉檢測(cè)與定位的準(zhǔn)確性。因此，為滿足互動(dòng)裝置的實(shí)用性要求，本系統(tǒng)對(duì)采集視頻圖像進(jìn)行了自適應(yīng)光線補(bǔ)償。每幅視頻圖像有N個(gè)像素點(diǎn)，設(shè)像素點(diǎn)亮度值為f（x，y），將圖像按亮度值從高到低分成256個(gè)灰度等級(jí)，第K級(jí)灰度值為mk，出現(xiàn)頻數(shù)為nk，則該灰度級(jí)出現(xiàn)頻率為Pm（mk）:

圖3　人臉檢測(cè)方法流程Fig.3　The flow chart of face detection process

K級(jí)以上灰度像素點(diǎn)的分布概率為：

系統(tǒng)自適應(yīng)光線補(bǔ)償取圖像灰度分布前5%的像素點(diǎn)，即Sk≤5%，Sk-1≥5%時(shí)K級(jí)以上灰度的像素點(diǎn)，對(duì)其進(jìn)行線性放大，使這些像素的平均亮度達(dá)到255[3-4]。另外，在此基礎(chǔ)上，其它的像素點(diǎn)則按照光線補(bǔ)償系數(shù)進(jìn)行相應(yīng)補(bǔ)償。

2.1.2運(yùn)動(dòng)目標(biāo)區(qū)域提取

本互動(dòng)游戲裝置采集的視頻序列中，人臉是一個(gè)運(yùn)動(dòng)區(qū)域，根據(jù)運(yùn)動(dòng)檢測(cè)和運(yùn)動(dòng)分析可以分離出視頻中的背景和前景。去除圖像中靜止背景區(qū)域的干擾，只在運(yùn)動(dòng)前景中檢測(cè)人臉，不僅保證檢測(cè)的準(zhǔn)確性且滿足人臉快速實(shí)時(shí)檢測(cè)的要求。目前，常用的前景提取方法有背景差分法、光流法和幀差法[5-7]。背景差分法對(duì)動(dòng)態(tài)場(chǎng)景變化要求較高，光流法能在運(yùn)動(dòng)攝像機(jī)中檢測(cè)出運(yùn)動(dòng)目標(biāo)，但這種方法計(jì)算太復(fù)雜，不適合實(shí)時(shí)系統(tǒng)使用；而幀差法比較適合變化的動(dòng)態(tài)場(chǎng)景，且實(shí)現(xiàn)簡(jiǎn)單，計(jì)算速度快，適合互動(dòng)裝置的實(shí)時(shí)處理。為了提高運(yùn)動(dòng)目標(biāo)提取的可靠性，本系統(tǒng)采用連續(xù)三幀視頻圖像進(jìn)行對(duì)稱(chēng)差分。提取運(yùn)動(dòng)目標(biāo)的具體步驟 ：首先，等時(shí)間間隔抽取3幀連續(xù)視頻圖像，并將k時(shí)刻抽取視頻圖像在位置（x，y）處的像素記為Fk（x，y），k代表t-Δt，t，t+Δt 3個(gè)時(shí)間點(diǎn)。設(shè)像素Fk（x，y）對(duì)應(yīng)的灰度值為Hk（x，y）。將相鄰兩幀圖像分別進(jìn)行差分處理：

若連續(xù)兩幀圖像灰度差分Dt（x，y），Dt+Δt（x，y）大于閾值Th，被判斷為運(yùn)動(dòng)點(diǎn)，賦值1，否則為靜止背景點(diǎn)，賦值0。然后，為了盡量減小背景因素的影響，增加運(yùn)動(dòng)目標(biāo)提取的精確性，對(duì)Dt（x，y），Dt+Δt（x，y）進(jìn)行相“與”運(yùn)算。此處，閾值Th選取非常重要，如果取值太大，將會(huì)引入大量噪聲，取值太小，又會(huì)漏掉很多有效信息造成運(yùn)動(dòng)目標(biāo)區(qū)域嚴(yán)重碎化。本文運(yùn)用實(shí)時(shí)采集圖像的灰度值確定動(dòng)態(tài)閾值的方法[8]，保證了視頻圖像中運(yùn)動(dòng)目標(biāo)信息提取的準(zhǔn)確性和完整性。

2.2人臉區(qū)域定位

該部分首先通過(guò)膚色和人臉典型幾何特征快速確定視頻圖像中可能存在人臉的區(qū)域；然后通過(guò)唇部檢測(cè)確定人臉區(qū)域及位置。本系統(tǒng)采用膚色和面部特征相結(jié)合的方法來(lái)確定視頻序列中的人臉，提高人臉檢測(cè)準(zhǔn)確性的同時(shí)又達(dá)到了檢測(cè)實(shí)時(shí)性的要求。

2.2.1膚色檢測(cè)

面部膚色在聚類(lèi)特性較好的YCbCr空間內(nèi)，Cr范圍約為133～173，Cb的范圍約為77～128[9-10]。本系統(tǒng)根據(jù)YCbCr空間內(nèi)Cr、Cb的這種特定分布，建立膚色模型對(duì)圖像處理后提取出的運(yùn)動(dòng)目標(biāo)進(jìn)行人臉粗檢測(cè)。首先需要將其從RGB色彩空間轉(zhuǎn)換到Y(jié)CbCr空間，為了使Cb，Cr分量為正數(shù)以適應(yīng)數(shù)字系統(tǒng)的處理，采用以下轉(zhuǎn)換公式:

然后，我們采用二維中值濾波器濾除空間轉(zhuǎn)換產(chǎn)生的噪聲，與其它濾波等方法相比，中值濾波不僅能有效濾除圖像中的孤立噪聲點(diǎn)，還能有效地保護(hù)邊界信息。通過(guò)公式（6）將圖像二值化處理，膚色點(diǎn)處理為亮白色，非膚色點(diǎn)處理為黑色像素點(diǎn)。

由于膚色建模是建立在色度空間的，忽略了亮度變化，這就造成人體其他裸露區(qū)域及運(yùn)動(dòng)的非人體區(qū)域等跟人臉膚色比較接近的區(qū)域可能被誤判為人臉的情況。因此，我們將膚色檢測(cè)后的多個(gè)類(lèi)人臉連通區(qū)域進(jìn)行標(biāo)記后，首先通過(guò)類(lèi)臉區(qū)域面積及其外接矩形長(zhǎng)寬比及歐拉數(shù)幾個(gè)人臉幾何參數(shù)作為篩選條件，進(jìn)行初步篩選，然后采用局部特征檢測(cè)確定人臉區(qū)域，并通過(guò)特征定位追蹤人臉的位置。

2.2.2幾何特征檢測(cè)

1）本應(yīng)用系統(tǒng)中玩家跟攝像機(jī)的距離不會(huì)很遠(yuǎn)，固輸入圖像中玩家面部區(qū)域占整個(gè)視頻圖像比例不應(yīng)很小，因此首先我們將小于視頻圖像1/200的類(lèi)人臉連通區(qū)域排除。

2）類(lèi)人臉區(qū)域長(zhǎng)寬比

③循環(huán)上述步驟，直到判定此區(qū)域的去留。

3）類(lèi)人臉區(qū)域內(nèi)孔洞數(shù)

由于互動(dòng)游戲系統(tǒng)是正面人臉檢測(cè)，人臉圖像中必存在眼睛、眉毛（有時(shí)也存在嘴巴、鼻孔區(qū)域）等明顯的非膚色區(qū)域，固人臉區(qū)域至少有一個(gè)或多個(gè)孔洞，可以根據(jù)歐拉數(shù)準(zhǔn)則濾除非人臉區(qū)域，設(shè)E為歐拉數(shù)，C為連通域數(shù)，H為孔洞數(shù)，則對(duì)人臉區(qū)域有：

舍棄E>0的非人臉區(qū)域。

2.2.3唇部檢測(cè)及面部區(qū)域定位

眼睛和嘴唇是人臉上與膚色特征分離較好的標(biāo)志器官，考慮到玩家運(yùn)動(dòng)時(shí)，面部表情豐富可能存在閉眼的情況，本文采用唇部檢測(cè)及定位最終確定運(yùn)動(dòng)目標(biāo)的人臉區(qū)域。通過(guò)采集圖像統(tǒng)計(jì)發(fā)現(xiàn)，在YCbCr空間中，相比其他面部膚色，嘴唇具有更高強(qiáng)度的Cr分量，Cr∈[145，160]。另一方面，人的膚色和唇色在而在YIQ顏色分布空間中具有明顯的聚類(lèi)性和可分離性，唇色Q∈[16，30]。為了簡(jiǎn)化運(yùn)算量，選取通過(guò)人臉幾何特征驗(yàn)證后的連通區(qū)域的下半部分進(jìn)行唇部檢測(cè)（唇部在面部的下半部分）。RGB空間向YIQ空間轉(zhuǎn)換的公式為：

將滿足Cr∈[145，160]且Q∈[16，30]區(qū)域標(biāo)定為唇部區(qū)域，并根據(jù)唇部在人臉中的分布規(guī)律，確定人臉區(qū)域。

3　互動(dòng)游戲系統(tǒng)的實(shí)現(xiàn)與應(yīng)用

圖4為多媒體游戲互動(dòng)裝置的實(shí)物效果圖。如圖4（a）所示，基于該人臉檢測(cè)系統(tǒng)的游戲裝置可以對(duì)人的頭部運(yùn)動(dòng)做出準(zhǔn)確快速的檢測(cè)和定位，在人臉正上方的小金碗隨著玩家的頭部運(yùn)動(dòng)做出實(shí)時(shí)準(zhǔn)確反映，并根據(jù)接到掉落物品做出“＋40”分和“＋20”分的打分響應(yīng)。如圖4（b）所示，經(jīng)過(guò)不同的外觀設(shè)計(jì)，該互動(dòng)游戲裝置可適用于不同的場(chǎng)所（酒吧、幼兒園、飯店等），得到了不同人群的廣泛喜愛(ài)。

圖4　基于人臉檢測(cè)的多媒體互動(dòng)游戲裝置的實(shí)物效果圖Fig.4　The physical map of device

4　結(jié)束語(yǔ)

文中提出了一種適用于互動(dòng)游戲系統(tǒng)的實(shí)時(shí)人臉檢測(cè)追蹤方案，首先采用幀差法跟蹤運(yùn)動(dòng)區(qū)域，然后通過(guò)膚色檢測(cè)及特征檢測(cè)相結(jié)合的方法快速精確的標(biāo)定人臉區(qū)域?；谠撊四槞z測(cè)技術(shù)的互動(dòng)游戲系統(tǒng)，通過(guò)定位跟蹤玩家臉部圖像，判斷與系統(tǒng)內(nèi)設(shè)置掉落元素是否對(duì)接進(jìn)行打分，并根據(jù)玩家最終得分打印出相應(yīng)的商家優(yōu)惠券?；?dòng)游戲裝置無(wú)需控制器即可操作，解決了人們長(zhǎng)時(shí)間基于體感控制裝置玩游戲?qū)е碌氖种浮⑹滞?、眼睛等器官或關(guān)節(jié)的過(guò)度疲勞、勞損等問(wèn)題，是一種非常好的娛樂(lè)健身裝置。同時(shí)，該互動(dòng)游戲裝置可根據(jù)客戶需求設(shè)置顯示的掉落元素，如可以設(shè)置成企業(yè)的產(chǎn)品或商標(biāo)等，并打印出不同的優(yōu)惠券，在實(shí)現(xiàn)娛樂(lè)使用者、達(dá)到商家宣傳的目的的同時(shí)，還起到了健身的作用，是現(xiàn)有任何基于體感控制的游戲裝置都無(wú)法比擬的，是一種具高度產(chǎn)業(yè)利用價(jià)值的文化創(chuàng)意展示系統(tǒng)[13-15]。

[1]顧偉，劉文杰，朱忠浩，等.一種基于膚色模型和模板匹配的人臉檢測(cè)算法[J].微型電腦應(yīng)用，2014，30（7）:13-16.

[2]劉翠響，肖伶俐.基于視頻的人臉檢測(cè)綜述[J].電子設(shè)計(jì)工程，2011，19（14）:172-174.

[3]Hsu R L，Abdel-Mottaleb M，Jain A K.Face detection in color images[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2002，24（5）:696-706.

[4]Yang J，Waibel A.A real-time face tracker[C]//Applications of Computer Vision，1996.WACV'96.，Proceedings 3rd IEEE Workshop on.IEEE，1996:142-147.

[5]胡永，師京晶，郭小丹.基于圖像差分的背景差分算法改進(jìn)及實(shí)驗(yàn)數(shù)據(jù)分析 [J].實(shí)驗(yàn)室研究與探索，2014，33（8）: 45-48.

[6]石祥濱，王萌，張德園，等.一種持續(xù)光流跟蹤的運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].小型微型計(jì)算機(jī)系統(tǒng)，2014，35（3）:642-647.

[7]何烈云.幀間差分法車(chē)速測(cè)算技術(shù)誤差分析與處理[J].中國(guó)人民公安大學(xué)學(xué)報(bào):自然科學(xué)版，2014（1）:56-59.

[8]陳磊，鄒北驥.基于動(dòng)態(tài)閾值對(duì)稱(chēng)差分和背景差法的運(yùn)動(dòng)對(duì)象檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用研究，2008，25（2）:488-490.

[9]田甜，樂(lè)嘉錦.基于膚色及 AdaBoost算法的改進(jìn)的人臉檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用與軟件，2009，26（12）:79-81.

[10]Chai D，Ngan K N.Locating facial region of a head-andshoulders color image[C]//Automatic Face and Gesture Recognition，1998.Proceedings.Third IEEE International Conference on.IEEE，1998:124-129.

[11]李智勇，田貞.基于膚色模型的人臉檢測(cè)研究[J].現(xiàn)代電子技術(shù)，2011，34（3）:131-133.

[12]曾龍龍.基于視頻監(jiān)控的實(shí)時(shí)人臉檢測(cè)與跟蹤算法研究[D].杭州:浙江理工大學(xué)，2012.

[13]湯欲濤，梁銳，劉暢.基于SOPC的人臉檢測(cè)系統(tǒng)的設(shè)計(jì)[J].電子設(shè)計(jì)工程，2014（21）:165-168.

[14]王寅.基于LARK特征提取的AdaBoost人臉檢測(cè)系統(tǒng)[J].電子科技，2014（7）:137-140.

[15]謝儀，鮑可進(jìn).智能視頻監(jiān)控中人臉檢測(cè)的研究與實(shí)現(xiàn)[J].計(jì)算機(jī)測(cè)量與控制，2013（11）:2921-2923.

Study of multimedia interaction game system based on face detection technology

XI Ke，ZHOU Shan-shan，MA Xin-chun，ZHAO Wen-long
（Xinjiang Electronic Research Institute Company，Urumqi 830013，China）

To fast detecting and tracking human face in real-time video，a method based on the color and local character of face was proposed.Firstly，moving objects were extracted from the video with light compensation by frame difference method. Then skin-alike region was segmented based on skin color model established by specific distribution of Cr and Cb component in YCbCr color space.After median filter to remove noise，the non-face skin area was eliminated according to the geometric characters of face and the unique color characters of lips，and then player's face was accurate positioning in real-time video. Practical applications show that this interactive game system can fast accurate tracking the player's face，then processor marked according to whether players'face docking with falling objects by score counter，realizing the interaction effects finally.This interactive device has a huge commercial prospect，not only allowing players enjoy interaction experience without controller but also reaching the purpose of product promotion at the same time.

moving target tracking；face detection；skin model；lip detection；human-computer interaction

TP391

A

1674－6236（2016）01-0058-04

2015-04-20稿件編號(hào)：201504216

國(guó)家科技支撐項(xiàng)目（2013BAH29F00）；新疆維吾爾族自治區(qū)戰(zhàn)略新興項(xiàng)目；新疆烏魯木齊高新區(qū)科技計(jì)劃項(xiàng)目（KJJH2014023）

昔 克（1973—），女，新疆烏魯木齊人，碩士，高級(jí)工程師。研究方向：物聯(lián)網(wǎng)、嵌入式系統(tǒng)集成及應(yīng)用。