ALBP識(shí)別方法及其在聾人視覺輔助系統(tǒng)中的應(yīng)用

楊小義，鄧新梅

(1.重慶師范大學(xué) 教育科學(xué)學(xué)院，重慶 401331;2.重慶科技學(xué)院圖書館，重慶 401331)

高新技術(shù)發(fā)展使人們工作更快捷，生活更便利，同時(shí)對(duì)一直存在于我們身邊的2 000多萬(wàn)聾啞人弱勢(shì)群體也更加關(guān)注。為使他們更好、更快地融入正常社會(huì)，消除健全人與聾啞人之間交流的障礙，聾人視覺識(shí)別研究已受到國(guó)內(nèi)外越來(lái)越多的專家和學(xué)者的關(guān)注。在現(xiàn)有的各種聾人視覺識(shí)別方法中，處于主導(dǎo)地位的主要是基于數(shù)據(jù)手套和基于數(shù)字圖像處理的聾人視覺識(shí)別方法。大部分研究是將兩者相結(jié)合，將前者用于圖像采集，而將后者用于圖像的識(shí)別和處理，以期取得更好的識(shí)別效果。盡管研究已取得某些進(jìn)展，但仍面臨如手勢(shì)不變特征提取、手勢(shì)過(guò)渡模型建立等許多挑戰(zhàn)性課題，導(dǎo)致手語(yǔ)識(shí)別率低等諸多不足。在實(shí)際應(yīng)用中，環(huán)境往往比較復(fù)雜，如光照變化強(qiáng)烈、有遮擋物等，使環(huán)境具有較高的不確定性，從而影響識(shí)別效果，這就要求圖像識(shí)別算法具有強(qiáng)魯棒性以適應(yīng)各種復(fù)雜環(huán)境要求［1－3］。在光照變化較為強(qiáng)烈時(shí)，由于目前廣泛采用的LBP算法沒有對(duì)圖像進(jìn)行預(yù)處理［4－6］，因此難以消除因光照變化強(qiáng)烈導(dǎo)致的圖像非線性扭曲。本文提出的ALBP視覺識(shí)別方法可在復(fù)雜光照條件下獲得比較好的人臉特征識(shí)別效果［7－9］。

1 ALBP算法的基本思想

ALBP算法的基本思想:首先找到圖像的某個(gè)局部區(qū)域內(nèi)最大、最小像素值，再以最大值和最小值作為上下邊界，將圖像中的像素對(duì)比度分成若干個(gè)區(qū)間，計(jì)算領(lǐng)域像素與中心像素的對(duì)比度值，再將該差值映射到已經(jīng)劃分好的某個(gè)區(qū)間上，以便對(duì)圖像的LBP進(jìn)行分區(qū)間的處理。區(qū)間就是相應(yīng)對(duì)比度值的對(duì)應(yīng)層次。

1.1 提取LBP特征層

設(shè)在半徑為R，領(lǐng)域點(diǎn)為P的局部區(qū)域內(nèi)，其對(duì)比度最大值和最小值為:

對(duì)于每個(gè)區(qū)間，對(duì)比度的取值范圍為

其中:L為區(qū)間個(gè)數(shù);用ls表示每個(gè)鄰域點(diǎn)與中心點(diǎn)的對(duì)比度值的對(duì)應(yīng)區(qū)間，ls可由式(3)計(jì)算得到。

為獲取每個(gè)區(qū)間的ALBP特征值，需要計(jì)算有多少個(gè)點(diǎn)的對(duì)比度值在中心點(diǎn)鄰域的該區(qū)間上。每個(gè)區(qū)間的ALBP特征值可由式(4)計(jì)算得到。

基于每個(gè)區(qū)間的ALBP特征值將人臉圖像劃分為N個(gè)局部區(qū)域，并按式(5)計(jì)算每個(gè)區(qū)域的ALBP值即可獲得相應(yīng)的直方圖，如式(6)所示。

最后將不同區(qū)域的H連接起來(lái)，即可得到描述全局人臉多對(duì)比度層次的特征直方圖。

1.2 光照歸一化預(yù)處理

由上述描述可知，如要減小因光照變化產(chǎn)生的圖像扭曲，就必須將光照變化對(duì)圖像的影響控制在一定的范圍之內(nèi)，因此有必要對(duì)圖像進(jìn)行平滑處理，以減小因光照變化強(qiáng)烈而引起的圖像對(duì)比度值的變化。由于聾人視覺識(shí)別具有綜合性和多通道性的特點(diǎn)，相對(duì)通常的視覺識(shí)別而言，聾人視覺識(shí)別更重視人臉面部表情與手語(yǔ)的融合識(shí)別。因此，為了更好地進(jìn)行聾人視覺識(shí)別研究，人臉面部表情的識(shí)別變得非常重要。圖1是同一張人臉區(qū)域在不同光照條件下的對(duì)比度層次映射，該圖像進(jìn)行了配準(zhǔn)處理，中心點(diǎn)代表人臉上的同一個(gè)點(diǎn)。3張人臉圖像在中心點(diǎn)處得到的ALBP值是基本相同的，可見在光照有變化但不劇烈的情況下所得到的ALBP特征值是大致相同的，說(shuō)明ALBP特征值不隨光照的變化而變化。

圖1 不同光照下人臉圖像的ALBP特征值

當(dāng)光照條件發(fā)生變化時(shí)，圖像中各點(diǎn)的像素值也會(huì)發(fā)生較大的變化，在一個(gè)較小的局部區(qū)域內(nèi)，各點(diǎn)的像素值都是同時(shí)變大或減少，但它們的差值卻基本保持不變。在ALBP算法中，采用中心點(diǎn)像素值與鄰域點(diǎn)像素值的差值代替原來(lái)各點(diǎn)的像素值，由此得到的ALBP特征值是大致相似的，較好地避免了光照變化對(duì)圖像紋理產(chǎn)生的影響。

上述分析結(jié)果表明，在不同光照條件下，若將人臉圖像進(jìn)行適當(dāng)?shù)念A(yù)處理，再計(jì)算圖像的ALBP特征值，就可較好地消除光照變化對(duì)圖像的影響，減小圖像的扭曲，取得較好的圖像識(shí)別結(jié)果。在對(duì)光照進(jìn)行歸一化預(yù)處理時(shí)，可首先用對(duì)數(shù)公式將圖像轉(zhuǎn)換到對(duì)數(shù)域，然后利用差分高斯濾波器(σ0=1.0，σ1=2.0)對(duì)圖像進(jìn)行平滑處理，最后采用式(7)對(duì)圖像進(jìn)行全局對(duì)比度均衡化，實(shí)現(xiàn)對(duì)圖像的直方圖均衡化處理，以得到具有較強(qiáng)對(duì)比度的預(yù)處理圖像。

圖2給出了采用上述預(yù)處理方法后得到的人臉圖像。其中:在第1列圖像中，由于受到光照變化強(qiáng)烈的影響，圖像存在嚴(yán)重的扭曲現(xiàn)象;第2列是采用Log對(duì)數(shù)對(duì)圖像進(jìn)行轉(zhuǎn)化后的結(jié)果;第3列是采用高斯濾波器平滑后的圖像;第4列是對(duì)圖像進(jìn)行全局均衡化后的結(jié)果;第5列是對(duì)圖像進(jìn)行直方圖均衡化后的結(jié)果。

圖2 不同光照下的人臉圖像預(yù)處理結(jié)果

2 實(shí)驗(yàn)結(jié)果及其性能分析

為驗(yàn)證作者提出的ALBP算法的有效性，進(jìn)行了ALBP算法的仿真實(shí)驗(yàn)，并分析了算法的性能。實(shí)驗(yàn)是在ORL人臉庫(kù)中進(jìn)行的。在ORL人臉庫(kù)中包括了40個(gè)人不同的人臉圖像，每個(gè)人的人臉有10幅圖像，其圖像尺寸均為92像素×111像素，但卻由于光照、姿態(tài)、表情等的不同而存在較大差異。在實(shí)驗(yàn)中，將圖像分為訓(xùn)練集和測(cè)試集。在實(shí)驗(yàn)之前首先對(duì)圖像進(jìn)行相同的預(yù)處理:① 對(duì)原始圖像進(jìn)行剪切，保留最能體現(xiàn)人臉特征的主要區(qū)域;②將剪切后的圖像作幾何歸一化和壓縮處理，將圖像尺寸變?yōu)?4像素×64像素，以減少算法的計(jì)算量和節(jié)省存儲(chǔ)空間。

實(shí)驗(yàn)1 考查ALBP算法與傳統(tǒng)的LBP算法的識(shí)別率大小。

從ORL人臉庫(kù)中隨機(jī)選擇每個(gè)人的l(0≤l≤8)張圖像作為訓(xùn)練樣本，未被選擇的圖像為測(cè)試樣本。采用最小近鄰分類器(NN)算法估算識(shí)別率，并以10次實(shí)驗(yàn)的平均識(shí)別率分別作為兩種算法的最終識(shí)別率。表1為ALBP算法與傳統(tǒng)LBP算法的識(shí)別率對(duì)照情況，其中，兩種算法的維數(shù)均為39維。

表1 ALBP與LBP算法的識(shí)別率對(duì)照情況

表1中每個(gè)人訓(xùn)練的樣本數(shù)為l。表1數(shù)據(jù)表明:在訓(xùn)練樣本數(shù)目相同時(shí)，ALBP算法明顯高于LBP算法的識(shí)別率，且其識(shí)別率隨l的增大而增大。當(dāng)每個(gè)人的訓(xùn)練樣本數(shù)為8幅圖片時(shí)，LBP算法的識(shí)別率為81.3%，而ALBP算法的識(shí)別率為85.7%。在LBP與ALBP兩種算法中，其特征向量維數(shù)是相同的，因此ALPB算法在沒有增加特征向量的維數(shù)的情況下具有比LBP算法更高的識(shí)別率。

實(shí)驗(yàn)2 考察標(biāo)識(shí)數(shù)據(jù)數(shù)目對(duì)LBP與ALBP兩種算法識(shí)別率的影響。

該實(shí)驗(yàn)的訓(xùn)練圖像和測(cè)試圖像均為200幅，即從每人的10幅圖像中選擇5幅作為訓(xùn)練圖像，剩下的5幅作為測(cè)試圖像，標(biāo)識(shí)數(shù)據(jù)的個(gè)數(shù)分別為20，40，60，80，100，120，剩下的為無(wú)標(biāo)識(shí)數(shù)據(jù)，分別采用LBP和ALBP算法對(duì)人臉進(jìn)行識(shí)別。實(shí)驗(yàn)中仍然采用與實(shí)驗(yàn)1相同的最小近鄰分類器(NN)算法估算識(shí)別率，并以10次實(shí)驗(yàn)的平均識(shí)別率分別作為兩種算法的最終識(shí)別率。識(shí)別率隨標(biāo)識(shí)數(shù)據(jù)個(gè)數(shù)的變化情況如圖3所示。

圖3 識(shí)別率隨標(biāo)識(shí)數(shù)據(jù)個(gè)數(shù)的變化情況

分析圖3可知，LBP算法的識(shí)別率受標(biāo)識(shí)數(shù)據(jù)個(gè)數(shù)影響較小。當(dāng)標(biāo)識(shí)數(shù)據(jù)個(gè)數(shù)增大時(shí)，LBP算法的識(shí)別率只出現(xiàn)較小波動(dòng)，在標(biāo)識(shí)個(gè)數(shù)為60時(shí)，其識(shí)別率甚至低于標(biāo)識(shí)個(gè)數(shù)為40時(shí)的識(shí)別率。ALBP算法的識(shí)別率雖然也會(huì)出現(xiàn)波動(dòng)，但其總體趨勢(shì)是隨著標(biāo)識(shí)個(gè)數(shù)的增大而增大的。當(dāng)標(biāo)識(shí)的數(shù)據(jù)個(gè)數(shù)為140時(shí)，LBP算法的識(shí)別率為75%，而ALBP算法的識(shí)別率為85%，比LBP算法的識(shí)別率提高了10百分點(diǎn)。這是因?yàn)锳LBP算法有效地利用了局部數(shù)據(jù)間的類別信息，所以其識(shí)別率明顯高于傳統(tǒng)的LBP算法。

3 ALBP在聾人教學(xué)軟件開發(fā)中的應(yīng)用

手語(yǔ)和口語(yǔ)一樣也存在地方差異問(wèn)題，比如北京手語(yǔ)和上海手語(yǔ)就存在一定的差別。在高等聾人教育教學(xué)中，由于學(xué)生來(lái)自于不同的地區(qū)，即使在聽障學(xué)生之間，手語(yǔ)表達(dá)也存在一定的差異。因此，在聾人的教育教學(xué)過(guò)程中，為了更好地在學(xué)生之間、老師與聽障學(xué)生之間進(jìn)行交流，以獲得更好的教學(xué)效果，同時(shí)，為了適應(yīng)現(xiàn)代聾人教育教學(xué)改革的新要求，有必要開發(fā)一套隨堂教學(xué)手語(yǔ)輔助軟件。該軟件可充當(dāng)同聲翻譯角色，使手語(yǔ)實(shí)時(shí)地轉(zhuǎn)化為文字符號(hào)或語(yǔ)音信息，以彌補(bǔ)手語(yǔ)理解存在差異性與某些教師或聽障學(xué)生手語(yǔ)理解與表達(dá)不充分的不足。

基于Win7系統(tǒng)，隨堂教學(xué)手語(yǔ)輔助軟件的開發(fā)和測(cè)試借助Matlab2009平臺(tái)通過(guò)編程實(shí)現(xiàn)，其相關(guān)數(shù)據(jù)存儲(chǔ)于mat文件中。在手語(yǔ)輔助軟件系統(tǒng)中，需要用到手形庫(kù)和表情庫(kù)。手形庫(kù)主要是根據(jù)《中國(guó)手語(yǔ)》中的30個(gè)漢語(yǔ)手指字母語(yǔ)和2 000多個(gè)常用詞匯建立的。表情庫(kù)的建立主要來(lái)源于兩個(gè)方面:一是《中國(guó)手語(yǔ)》中常用詞匯的表情;二是用傳感器進(jìn)行自行采用的表情。限于篇幅，本文只對(duì)采用到的人臉表情圖像的處理做簡(jiǎn)要描述。

本文以選用手語(yǔ)“勇敢”的兩幅人臉表情圖像為例進(jìn)行分析。這兩幅圖像具有不同的光照條件，因此圖像中存在不同程度的扭曲。為了較好地消除光照產(chǎn)生的圖像扭曲，系統(tǒng)對(duì)采集到的人臉表情圖像首先進(jìn)行預(yù)處理，計(jì)算圖像的ALBP特征值，進(jìn)行相應(yīng)的表情識(shí)別;再將表情識(shí)別結(jié)果與手形識(shí)別結(jié)果進(jìn)行融合識(shí)別，從而得出手語(yǔ)的識(shí)別結(jié)果;最后與后臺(tái)手語(yǔ)模板進(jìn)行匹配，將識(shí)別結(jié)果轉(zhuǎn)化成手語(yǔ)信息或文字符號(hào)。圖4為手語(yǔ)“勇敢”表情經(jīng)教學(xué)手語(yǔ)輔助軟件系統(tǒng)處理后的結(jié)果。從處理結(jié)果可以看出，借助ALBP算法對(duì)圖像進(jìn)行識(shí)別，可較好地消除復(fù)雜光照的影響，使兩張?jiān)诓煌庹諚l件下的圖像識(shí)別結(jié)果的視覺差異不大。

圖4 手語(yǔ)“勇敢”表情的ALBP算法處理結(jié)果

4 結(jié)束語(yǔ)

測(cè)試結(jié)果表明，手語(yǔ)輔助軟件的開發(fā)和使用可在聽障人士之間、聽障人士和健聽人士之間搭建起一個(gè)良好溝通、交流的橋梁，經(jīng)系統(tǒng)切換就可較好地將聽障學(xué)生的手語(yǔ)方便地轉(zhuǎn)換為健聽教師或健聽學(xué)生便于理解的語(yǔ)音信息或文字符號(hào)，也可將健聽人士的語(yǔ)音信息轉(zhuǎn)換為聽障學(xué)生能理解的手語(yǔ)序列，從而消除教學(xué)過(guò)程中的交流障礙，提高教學(xué)效果。盡管ALBP方法還存在非線性分層準(zhǔn)則與降維處理等問(wèn)題，需要進(jìn)一步研究解決，但在解決圖像非線性扭曲問(wèn)題方面的應(yīng)用效果還是比較令人滿意的。

［1］陳孟元，孫書誠(chéng)，王虎.基于圖像識(shí)別的尋跡智能車設(shè)計(jì)［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2013(3):80－84，103.

［2］趙明富，夏曦，張政委，等.基于高光譜圖像技術(shù)的指紋識(shí)別研究［J］.激光雜志，2013(1):45－47.

［3］李明富，何宸，凌艷，等.圖像識(shí)別技術(shù)在戰(zhàn)斗部靜爆試驗(yàn)分析中的應(yīng)用［J］.四川兵工學(xué)報(bào)，2014(6):101－104.

［4］Topi Maenpaa，Matti Pietikainen.Texture Analysis with Local Binary Patterns［D］.Finland:Dept.of Electrical and Information Engineering，University of Oulu，2004.

［5］Guoying Zhao，Pietikainen M.Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions［J］，IEEE Trans.Pattern Analysis and Machine Intelligence，2007，29:915 －928.

［6］李志煥.改進(jìn)型的LBP算法及其在運(yùn)動(dòng)目標(biāo)檢測(cè)中的應(yīng)用［D］.廣州:中山大學(xué)，2009.

［7］Xiaoyi Yang，Wu Qian，Qing Zhou.Method Study for Facial Character Recognition Based on Improved LBP［J］.Journal on Information ＆ Computational Science，2013，10(9):2519－2528.

［8］Xiaoyi Yang，Jianwei Li.Study on Facial Character Recognition under Complex Illumination［J］.Information Engineering and Applications，2012，100:375 －389.

［9］Wu Qian，Xiaoyi Yang，Qing Zhou.Pattern Recognition and Its Application in Fault Diagnosis of Electromechanical System［J］.Journal on Information ＆ Computational Science，2012，9(8):2221 －2228.