基于低分辨率視頻圖像的手語識別方法

嚴(yán)　焰　劉　蓉

1(湖北師范學(xué)院教育信息與技術(shù)學(xué)院　湖北 黃石 435002)2(華中師范大學(xué)物理科學(xué)與技術(shù)學(xué)院　湖北 武漢 430079)

?

基于低分辨率視頻圖像的手語識別方法

嚴(yán)焰1劉蓉2

1(湖北師范學(xué)院教育信息與技術(shù)學(xué)院湖北 黃石 435002)2(華中師范大學(xué)物理科學(xué)與技術(shù)學(xué)院湖北 武漢 430079)

實(shí)際環(huán)境中常遇到大量低分辨率手語視頻圖像需要識別,但其只含有相對有限的判別信息，識別效率不高，因此提出一種手語識別方法。該方法在采用實(shí)時(shí)皮膚顏色特征提取目標(biāo)區(qū)域的基礎(chǔ)上，計(jì)算目標(biāo)區(qū)域形心、邊界鏈碼兩種識別特征值，利用動(dòng)態(tài)時(shí)間規(guī)整算法依次識別手勢起始幀與結(jié)束幀，結(jié)合識別結(jié)果還原手語單詞。在南佛羅里達(dá)大學(xué)公共手語數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，采用該方法與現(xiàn)有方法比較,識別出正確手語單詞增加21個(gè)，錯(cuò)誤手語單詞減少1個(gè)，消除了手語單詞殘缺干擾,證明該方法的有效性。

手語識別動(dòng)態(tài)時(shí)間規(guī)整算法數(shù)字圖像處理

0　引　言

低分辨率圖像識別是在分辨率低于320×240圖像數(shù)據(jù)中進(jìn)行自動(dòng)目標(biāo)內(nèi)容識別的過程。該類圖像中目標(biāo)內(nèi)容尺寸占整個(gè)圖像像素10%以下，并伴有一定噪聲和運(yùn)動(dòng)模糊[1]。

與高分辨率圖像識別系統(tǒng)相比，低分辨率圖像識別系統(tǒng)需要克服圖像信息量小、噪聲多、較少的可利用方法與工具等特殊難點(diǎn)。傳統(tǒng)基于高分辨率圖像識別算法直接應(yīng)用于低分辨率圖像中性能大多不理想。目前基于低分辨率圖像識別方法有：1) 超分辨率增強(qiáng)。首先對低分辨率圖像進(jìn)行增強(qiáng)得到高分辨率圖像，然后利用傳統(tǒng)的高分辨率識別方法進(jìn)行識別[2，3]。該種方法需要冗長的圖像重建時(shí)間，并且所應(yīng)用的算法并非針對低分辨率圖像識別設(shè)計(jì)。2)分辨率穩(wěn)健特征表達(dá)。直接從低分辨率圖像上提取識別特征信息，根據(jù)識別對象本身特點(diǎn)設(shè)計(jì)識別器[4,5]。

基于低分辨率視頻圖像手勢識別是手勢識別中一個(gè)研究熱點(diǎn)。雖然科學(xué)工作者在低分辨率手勢識別系統(tǒng)設(shè)計(jì)方面做了大量工作，但在實(shí)際應(yīng)用中，尤其在手語視頻中仍然存在一些挑戰(zhàn)性難題。本文針對以下兩個(gè)難題進(jìn)行研究：1) 分辨率穩(wěn)健特征提取。廣泛應(yīng)用高分辨率手勢識別系統(tǒng)中的有效特征如顏色、紋理特征[6,7]，對光照變化比較敏感，手部與人臉、背景區(qū)分度不高，將其直接應(yīng)用于低分辨率條件下性能有待提高。2) 基于多幀圖像的手語自動(dòng)識別。已有算法大部分關(guān)注單幀自定義手勢指令識別[8,9]，而手語作為一種以手勢變化為表達(dá)形式，具有完整語法規(guī)則的日常交流語言[10]，其識別技術(shù)有待發(fā)展。

1　手語圖像特征提取

在低分辨率圖像手勢識別過程中，靜態(tài)全局皮膚顏色特征易受到場景光線變化、手與身體其他部分相互遮擋影響，不能有效提取目標(biāo)區(qū)域。而手語中手勢動(dòng)作既有手部相對于頭部的位移信息又有手形變化信息，如何在低分辨率圖像中計(jì)算合適的識別特征值是一個(gè)難題。

1.1目標(biāo)區(qū)域檢測

本文采用相鄰幀差分法，快速去除背景，檢測運(yùn)動(dòng)目標(biāo)，然后在運(yùn)動(dòng)目標(biāo)中提取皮膚顏色特征，從低分辨率圖像中提取需要目標(biāo)區(qū)域。由于每一幀提取目標(biāo)區(qū)域所使用的顏色模版都是由該幀與后一幀進(jìn)行差分運(yùn)算提取的運(yùn)動(dòng)目標(biāo)顏色特征構(gòu)建，因此有效地避免了整個(gè)視頻中不同光照對皮膚顏色特征的影響，并減小如背景、臉部等運(yùn)動(dòng)幅度小的區(qū)域顏色對顏色模版構(gòu)建過程的干擾。整個(gè)目標(biāo)區(qū)域檢測算法流程如圖1所示。圖2是該目標(biāo)區(qū)域提取方法在低分辨率公共手語數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)的結(jié)果。

圖1　目標(biāo)區(qū)域檢測算法流程圖

圖2　目標(biāo)區(qū)域提取結(jié)果

1.2手勢特征提取

(1)

手形變化主要體現(xiàn)在手部像素邊界的改變，而八連通鏈碼與常用四連通鏈碼相比較，更符合局部細(xì)節(jié)像素分布情況，因此采用八連通鏈碼簡化手部邊界描述。

2　基于低分辨視頻圖像的手語識別器設(shè)計(jì)

2.1手語的運(yùn)動(dòng)學(xué)特點(diǎn)

手語單詞是構(gòu)建手語這門獨(dú)立語言的最小、完整、有意義的要素[11]，因此識別手語單詞是計(jì)算機(jī)在手語交互應(yīng)用發(fā)展中必須解決的難題。從手勢識別角度分析，手語單詞是一種變形類手勢，具有運(yùn)動(dòng)區(qū)域多變、運(yùn)動(dòng)快慢不同的特點(diǎn)。因此手語識別器設(shè)計(jì)過程需要充分研究手語自身語言特點(diǎn)。在人機(jī)交互應(yīng)用中，已有的預(yù)定義靜態(tài)手勢指令識別器識別自然手語性能不佳。

通過對不同手語視頻分析，手語句言簡意賅、語素完整，手語單詞分布均勻，無“省略”、“倒裝”等復(fù)雜語法。一個(gè)完整手語單詞包括手形、位置和運(yùn)動(dòng)三個(gè)要素。手語單詞內(nèi)部由一系列連續(xù)變化的手勢動(dòng)作組成，手語單詞之間由明顯起始、終止動(dòng)作區(qū)分。

2.2目標(biāo)手語單詞識別

常見手語識別器大多利用全局檢索方法在人工構(gòu)建的手語詞典上進(jìn)行手語識別。例如中科院設(shè)計(jì)的中國手語識別系統(tǒng)[12]，利用HMM算法將數(shù)據(jù)手套采集信息轉(zhuǎn)換成手語特征數(shù)據(jù)，然后進(jìn)行全局檢索手語識別。復(fù)雜的算法計(jì)算和全局檢索方式直接應(yīng)用在數(shù)據(jù)規(guī)模較大的低分辨率手語視頻中效果不一定理想。

在實(shí)際應(yīng)用中，手語單詞包含豐富運(yùn)動(dòng)軌跡、手形變化信息，視頻幀數(shù)受到攝像機(jī)采集速率、用戶表達(dá)習(xí)慣、詞語使用場景等因素影響而造成不同。動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法是一種能夠消除不同時(shí)空表示模式之間時(shí)間差異的簡便有效算法。為了快速識別手語，通過識別手語單詞的起始幀和終止幀特征信息，減少手語識別過程計(jì)算量，并利用起始幀與終止幀之間約束關(guān)系縮小檢索范圍，提高識別效率。

具體步驟如下：

1) 在起始幀識別過程中，利用條件迭代模式，計(jì)算一條手語短句每一幀與同組其他手語短句各幀之間BTW距離。將每幀BTW距離與該條手語短句所有幀BTW距離和的比值作為目標(biāo)手語單詞起始幀的后驗(yàn)概率，根據(jù)后驗(yàn)概率分布，構(gòu)建起始幀備選集。

2) 在結(jié)束幀識別過程中，由于完整手語短句在語法上包括主語、謂語、賓語，同一人表達(dá)語速平穩(wěn)，因此將起始幀備選集各幀作為步驟2)搜索的起點(diǎn)，沿時(shí)間軸向后搜索三分之一總幀長。然后按照步驟1)在搜索范圍內(nèi)構(gòu)建目標(biāo)手語結(jié)束幀備選集。

3) 因?yàn)樾枰紤]所還原手語單詞應(yīng)符合人們觀察認(rèn)知習(xí)慣，所以在步驟1)、步驟2)識別出的起始幀前、結(jié)束幀后各取一幀作為過渡幀，與識別結(jié)果組合還原完整目標(biāo)手語單詞。

3　手語識別實(shí)驗(yàn)與結(jié)果分析

本文選擇的實(shí)驗(yàn)素材(http://marathon.csee.usf.edu/ASL/)滿足低分辨率視頻識別實(shí)驗(yàn)要求。視頻分辨率為24位，184×176；視頻流幀率為15.00 fps；視頻比特率為436 kbps。該手語視頻數(shù)據(jù)集由136條機(jī)場出行常用手語短句的視頻序列組成，分為動(dòng)詞、名詞兩大類共10組手語單詞。本文實(shí)驗(yàn)識別結(jié)果如表1所示。

表1　實(shí)驗(yàn)仿真結(jié)果

在相同手語數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，本文提出的方法與文獻(xiàn)[13]相比較，識別結(jié)果：完整正確手語單詞增加21個(gè)，錯(cuò)誤手語單詞減少1個(gè)，消除了手語單詞殘缺干擾。鄭韡等[14]利用數(shù)據(jù)手套采集10種美國單詞的動(dòng)態(tài)手勢,其平均識別率為87%。本文采用的方法識別效果與之相當(dāng)，但低分辨率攝像機(jī)拍攝與數(shù)據(jù)手套采集方式比較，在外部設(shè)備成本與用戶體驗(yàn)方面具有一定的優(yōu)勢。

4　結(jié)　語

本文針對手語識別在低分辨率視頻條件下遇到的兩個(gè)難題展開研究，在識別過程中結(jié)合手語手勢內(nèi)在特性，提高識別效率。并與國內(nèi)外的相關(guān)成果進(jìn)行比較，證明本文提出手語識別方法的有效性。在進(jìn)一步工作中，尋找描述目標(biāo)區(qū)域各部分之間層次關(guān)系的有效特征，解決左右手之間位置關(guān)系不明顯、頭部和手部邊界重合問題，提高識別效率。

[1] Fookes C, Lin F,Chandran V,et al. Evaluation of image resolution and super-resolution on face recognition performance[J].Journal of Visual Communication and Image Representation,2012,23(1):75-93.

[2] Xiang Ma,Junping Zhang,Chun Qi.Hallucinating face by position-patch[J].Pattern Recognition,2010,43(6):2224-2236.

[3] Yu Hu,KinMan Lam,Guoping Qiu,et al.From local pixel structure to global image super-resolution:A new face hallucination framework[J].IEEE Transactions on,Image Processing,2011,20(2):433-445.

[4] Zhen Lei,Ahonen T,Pietikainen M,et al.Local frequency descriptor for low-resolution face recognition[C]//IEEE International Conference on,Automatic Face & Gesture Recognition and Workshops, 2011:161-166.

[5] Jae Young Choi,Yong Man Ro,Plataniotis K N.Boosting color feature selection for color face recognition[J].IEEE Transactions on,Image Processing,2011,20(5):1425-1434.

[6] 張彤,趙瑩雪.基于膚色與邊緣檢測及排除的手勢識別[J].軟件導(dǎo)刊,2012,11(7):151-152.

[7] Vasilis Papadourakis,Antonis Argyros.Multiple objects tracking in the presence of long-term occlusions[J].Computer Vision and Image Understanding,2010,114(7):835-846.

[8] 林水強(qiáng),吳亞東,陳永輝.基于幾何特征的手勢識別方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(2):636-640.

[9] 楊波,宋曉娜,馮志全,等.復(fù)雜背景下基于空間分布特征的手勢識別算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(10):1841-1848.

[10] 姜華強(qiáng),潘紅.基于關(guān)鍵幀的多級分類手語識別研究[J].計(jì)算機(jī)應(yīng)用研究,2010,27(2):491-493.

[11] 肖曉燕.歐美手語語言學(xué)研究[J].中國特殊教育,2011(8):41-46.

[12] 張良國,高文,陳熙霖，等.面向中等詞匯量的中國手語視覺識別系統(tǒng)[J].計(jì)算機(jī)研究與發(fā)展,2006,43(3):476-482.

[13] Nayak S,Sarkar S,Loeding B.Automated extraction of signs from continuous sign language sentences using Iterated Conditional Modes.[C]//IEEE Conference on,Computer Vision and Pattern Recognition, 2009:2583-2590.

[14] 鄭韡,沈旭昆.基于連續(xù)數(shù)據(jù)流的動(dòng)態(tài)手勢識別算法[J].北京航空航天大學(xué)學(xué)報(bào),2012,38(2):273-279.

SIGN LANGUAGE RECOGNITION METHOD BASED ON LOW RESOLUTION VIDEO

Yan Yan1Liu Rong2

1(College of Educational Information and Technology,Hubei Normal University,Huangshi 435002,Hubei,China)2(CollegeofPhysicalScienceandTechnology,CentralChinaNormalUniversity,Wuhan430079,Hubei,China)

In practical environment,there are a lot of recognition requirements in regard to low resolution sign language video,but only relatively limited discrimination information are contained,thus the recognition efficiency is low.In light of this,we proposed a sign language recognition method.Based on the extraction of target area using real-time skin colour feature,the method calculates two recognition feature values of centroid and boundary chain code of target area,uses dynamic time warping algorithm to recognise the starting frame and ending frame of hand gestures in turn,and restores the sign language words in combination with recognition results.In experiment using the public sign language dataset of the University of South Florida,the use of the proposed method has been compared with current method.The correctly recognised sign language words were increased by 21,and the wrong words was decreased by 1.It eliminated the interference of crippled sign language words,and this proved the effectiveness of the method.

Sign language recognitionDynamic time warpingDigital image processing

2015-03-25。國家社會科學(xué)基金項(xiàng)目(12BTQ038)。嚴(yán)焰，助教，主研領(lǐng)域：人機(jī)交互，圖像處理。劉蓉，副教授。

TP3

A

10.3969/j.issn.1000-386x.2016.09.036