基于HSV空間優(yōu)化耦合參數(shù)PCNN的人眼定位方法

王 霞，牟駿杰，王蒙軍，栗 洋

(河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津 300401)

基于HSV空間優(yōu)化耦合參數(shù)PCNN的人眼定位方法

王 霞，牟駿杰，王蒙軍，栗 洋

(河北工業(yè)大學(xué) 電子信息工程學(xué)院，天津 300401)

為解決人眼定位中受光照、人臉姿態(tài)、人眼開(kāi)閉影響的問(wèn)題，提出了一種HSV空間膚色模型與優(yōu)化耦合參數(shù)的脈沖耦合神經(jīng)網(wǎng)絡(luò)(Pulse Coupled Neural Network，PCNN)相結(jié)合的人眼定位算法。將RGB空間圖像轉(zhuǎn)化為HSV空間圖像，根據(jù)膚色檢測(cè)人臉圖像，利用優(yōu)化耦合參數(shù)PCNN模型良好的捕捉特性及衰減特性，對(duì)圖像進(jìn)行分割，提取出人眼范圍，利用形態(tài)學(xué)運(yùn)算對(duì)圖像進(jìn)行增強(qiáng)處理，去除背景干擾，精確定位人眼。實(shí)驗(yàn)結(jié)果表明，所提算法在不同光照條件、不同人臉姿態(tài)，人眼閉合均能成功定位，且具有定位準(zhǔn)確、速度快、不受人眼開(kāi)閉程度影響的特點(diǎn)。

膚色模型；數(shù)學(xué)形態(tài)學(xué)；脈沖耦合神經(jīng)網(wǎng)絡(luò)；人眼檢測(cè)

人眼定位在計(jì)算機(jī)視覺(jué)領(lǐng)域中具有重要地位，提高定位準(zhǔn)確性、加快檢測(cè)速度對(duì)于疲勞檢測(cè)、臨床醫(yī)學(xué)以及虹膜支付等領(lǐng)域發(fā)展具有極大的現(xiàn)實(shí)意義。人眼定位算法發(fā)展至今，已經(jīng)出現(xiàn)了一些實(shí)現(xiàn)方法，文獻(xiàn)[1-2]使用基于色彩信息概率模型的檢測(cè)法，依據(jù)眼睛顏色與膚色差異定位人眼。該方法具有檢測(cè)速度快的特點(diǎn)，但受光照、亮度等因素影響。文獻(xiàn)[3-5]利用Adaboost算法對(duì)眼部圖片訓(xùn)練，用訓(xùn)練生成的檢測(cè)器定位人眼。該方法具有檢測(cè)成功率高的特點(diǎn)，但是每次檢測(cè)前都需要利用Harr-like特征進(jìn)行訓(xùn)練，檢測(cè)速度低。文獻(xiàn)[6-7]用積分投影方法檢測(cè)出人眼大致位置，利用邊緣算子提取邊緣信息，再用Hough變換定位人眼。該方法不能在人臉姿態(tài)變化的狀態(tài)下檢測(cè)人眼。文獻(xiàn)[8-9]在YCb’Cr’色彩空間中，利用膚色對(duì)人臉進(jìn)行檢測(cè)，采用幾何特征對(duì)人眼分割，利用積分投影定位人眼，該方法具有光照，人臉姿態(tài)不敏感特性，但當(dāng)眼睛處于閉合狀態(tài)時(shí)，該方法檢測(cè)失效。

針對(duì)人眼定位過(guò)程中易受到光照、人臉姿態(tài)、人眼閉合等因素的影響，本文提出了一種基于HSV色彩空間優(yōu)化耦合參數(shù)PCNN結(jié)合的人眼定位算法，HSV色彩空間具有亮度分離的特性能有效的克服光照對(duì)檢測(cè)的影響。優(yōu)化耦合參數(shù)PCNN模型具有良好的衰減和捕捉特性并且不必進(jìn)行特征訓(xùn)練，即可準(zhǔn)確完整地分割人眼，去除眉毛、頭發(fā)等干擾，克服了人眼閉合情況下檢測(cè)失效的難題，提高了檢測(cè)速度。對(duì)人眼分割結(jié)果進(jìn)行形態(tài)學(xué)處理可以去除背景邊緣干擾，進(jìn)一步提高人眼定位準(zhǔn)確性。

1 人眼定位算法設(shè)計(jì)

1.1 人眼初定位

利用HSV空間膚色模型檢測(cè)人臉，去除不同自然光照和背景環(huán)境影響，根據(jù)人的五官特征，將人眼檢測(cè)范圍縮小到人臉上半部分，實(shí)現(xiàn)人眼的初定位。

1.1.1 RGB色彩空間轉(zhuǎn)換為HSV色彩空間

在HSV色彩空間下，利用膚色進(jìn)行人臉檢測(cè)， HSV分別代表Hue色調(diào)、Saturation飽和度以及Value值[9-10]。對(duì)人臉進(jìn)行檢測(cè)，實(shí)際上就是尋找人臉在色彩空間中的聚類特征，但聚類特征極易受到亮度的影響。依據(jù)HSV色彩空間具有亮度，色調(diào)以及飽和度分離的特點(diǎn)，可直接得到亮度信息，使用飽和度以及色調(diào)進(jìn)行聚類，這樣人臉檢測(cè)不受亮度干擾。

1.1.2 確定人臉?lè)秶?/p>

設(shè)定Hue的閾值對(duì)膚色區(qū)域進(jìn)行分割，濾波，自適應(yīng)區(qū)域歸并，使膚色的像素值為1，非膚色的像素值為0，同時(shí)將人眼眉毛部位像素也置1，從而獲取膚色范圍。膚色范圍提取參數(shù)值設(shè)定為

(1)

式中：Cr為紅色分量，Cb為藍(lán)色分量。提取出膚色范圍，如圖1b所示，與原始圖像(如圖1a)相乘，即可得到人臉?lè)秶?，如圖1c所示。

a原始圖像 b膚色范圍 c人臉?lè)秶鷪D1 人臉檢測(cè)結(jié)果

由圖1檢測(cè)結(jié)果可知，HSV色彩空間膚色模型法實(shí)現(xiàn)的人臉檢測(cè)，可以有效的屏蔽人臉以外的區(qū)域。

1.1.3 人眼初定位

圖2 人眼初定位

依據(jù)人的五官特征可知，人眼約位于臉高2/5處，因此可以截取人臉上半?yún)^(qū)域作為待檢測(cè)區(qū)域，縮小人眼檢測(cè)的范圍，為人眼分割做準(zhǔn)備，所截取的部分如圖2所示。

1.2 人眼分割

設(shè)計(jì)優(yōu)化耦合連接系數(shù)PCNN模型，根據(jù)其良好的衰減和捕捉特性，對(duì)初定位圖像進(jìn)行人眼分割，獲取人眼分割圖像。

1.2.1 PCNN模型

PCNN模型是由Eckhorn根據(jù)哺乳動(dòng)物大腦視覺(jué)皮層運(yùn)行的機(jī)理提出的一種視覺(jué)皮層同步發(fā)放脈沖的網(wǎng)絡(luò)模型，作為一種單層次的二維反饋型的神經(jīng)網(wǎng)絡(luò)，它由若干個(gè)脈沖耦合神經(jīng)單元互聯(lián)構(gòu)成[11]，其結(jié)構(gòu)如圖3所示。由于PCNN模型直接源自哺乳動(dòng)物的視覺(jué)特性，利用神經(jīng)元的學(xué)習(xí)特性、閾值指數(shù)衰減特性以及神經(jīng)元之間的鏈接強(qiáng)度，可有效的對(duì)圖像進(jìn)行分割。與其他的圖像分割方法不同，PCNN是模仿人類視覺(jué)特性，對(duì)圖像進(jìn)行分割時(shí)完全利用圖像的自身屬性，不需要像傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型一樣進(jìn)行訓(xùn)練，可以有效提高分割速度。

圖3 PCNN模型結(jié)構(gòu)

為提高PCNN模型運(yùn)行的效率，根據(jù)分割時(shí)具體參數(shù)要求，將PCNN模型進(jìn)行簡(jiǎn)化。簡(jiǎn)化后，單個(gè)PCN(Pulse Coupled Neural)神經(jīng)元通過(guò)連接域?qū)崿F(xiàn)相互影響，可以通過(guò)改變連接矩陣控制連接強(qiáng)度，操控神經(jīng)元的影響程度。簡(jiǎn)化后的表達(dá)式如。

Fij(n)=Iij

(2)

(3)

Uij(n)=Fij(n)(1+βLij(n))

(4)

Eij(n)=exp(-αE)Eij(n-1)

(5)

(6)

式中：Fij(n)是反饋輸入通道；Iij灰度圖像的灰度值；Lij(n)是各個(gè)神經(jīng)元內(nèi)部連接輸入矩陣；Uij(n)是神經(jīng)元內(nèi)部活動(dòng)信號(hào)；Eij(n)是動(dòng)態(tài)閾值；Yij(n)是脈沖輸出序列；Wijkl是連接閾值矩陣；β是連接強(qiáng)度；αE是閾值衰減的時(shí)間常數(shù)。

1.2.2 改進(jìn)參數(shù)的PCNN進(jìn)行人眼分割

由PCNN的單個(gè)神經(jīng)元PCN鄰域捕捉特性可知，圖像像素點(diǎn)灰度值越大，其脈沖發(fā)放周期越短，由于人臉中眼睛部分灰度值比其他部位灰度值都低，因此人眼外的膚色區(qū)域理應(yīng)先被點(diǎn)火。當(dāng)鏈接輸入信號(hào)到達(dá)時(shí)，動(dòng)態(tài)連接項(xiàng)Uij升高，同時(shí)由于PCNN具有指數(shù)衰減的特性，且被參數(shù)αE所控制，促使膚色區(qū)域帶動(dòng)周圍的非人眼區(qū)域同步點(diǎn)火，人眼區(qū)域由于灰度值最低，最后被點(diǎn)火。根據(jù)PCNN的領(lǐng)域捕捉特性以及衰減特性，通過(guò)選取恰當(dāng)?shù)狞c(diǎn)火次數(shù)及衰減率，可有效的分割出人眼區(qū)域。由于人眼部分與眉毛部分灰度值接近，在利用PCNN對(duì)閉眼圖像進(jìn)行分割時(shí)，可能同時(shí)分割眉毛區(qū)域，干擾分割結(jié)果，因此衰減指數(shù)及迭代次數(shù)的選取，對(duì)分割結(jié)果的好壞起著決定性作用。本文通過(guò)大量實(shí)驗(yàn)，選取最佳的迭代次數(shù)N=12，衰減指數(shù)αE=0.185，使眉毛及膚色區(qū)域都被優(yōu)先捕捉，人眼得以分割。

神經(jīng)元PCN的連接強(qiáng)度β控制著鄰域?qū)χ行纳窠?jīng)元點(diǎn)火貢獻(xiàn)程度，一般取值固定，若選取固定的連接強(qiáng)度，容易使

分割過(guò)程中灰度值相近神經(jīng)元不能被同步激發(fā)，造成人眼區(qū)域殘缺的問(wèn)題。根據(jù)區(qū)域內(nèi)的數(shù)據(jù)及的離散程度可通過(guò)均方差反應(yīng)，因此本文提出用眼睛邊緣區(qū)域PCN的灰度均方差來(lái)表示β。改進(jìn)的連接系數(shù)β，一定程度上兼顧了人眼區(qū)域以及邊緣信息的完整性。β改進(jìn)模型為

(7)

式中：xmn表示的是以(i,j)神經(jīng)元為中心的其他9個(gè)領(lǐng)域神經(jīng)元的灰度值；xij表示的是m×n區(qū)域神經(jīng)元灰度的均值。利用改進(jìn)參數(shù)后的PCNN模型進(jìn)行分割，12次迭代點(diǎn)火過(guò)程分別由圖4～5所示。

圖4 睜眼12次點(diǎn)火過(guò)程

圖5 閉眼圖像12次點(diǎn)火過(guò)程

1.3 精確定位人眼

利用形態(tài)學(xué)變換去除分割圖像中邊緣干擾，遍歷二值化圖像，取值為1且面積最大的兩個(gè)區(qū)域，作為人眼區(qū)域，實(shí)現(xiàn)人眼精確定位。

1.3.1 形態(tài)學(xué)變換

低帽變換(bottom-hat)和高帽變換(top-hat)都是由數(shù)學(xué)形態(tài)學(xué)中基本運(yùn)算推導(dǎo)出來(lái)的算法。其中低帽變換具有低通濾波的特性，而高帽變換具有高通濾波的特性。對(duì)圖像進(jìn)行開(kāi)啟運(yùn)算、閉合運(yùn)算、低帽變換、高帽變換分別由式(11)～(14)表示。

(8)

(9)

Bottom=f=(f·b)

(10)

Top=f-(fob)

(11)

式中：f是原始圖像；b是結(jié)構(gòu)元素因子；Θ是腐蝕算子；⊕是膨脹算子。

由式(8)～(11)可以看出，數(shù)學(xué)形態(tài)學(xué)運(yùn)算中結(jié)構(gòu)元素因子b的形狀和大小對(duì)于形態(tài)學(xué)處理結(jié)果有著重要的影響。選取構(gòu)造形狀、大小不同的元素可以分析不同的圖像成分。本文選取了3×3圓盤形狀的結(jié)構(gòu)元素，利用此結(jié)構(gòu)元素進(jìn)行形態(tài)學(xué)運(yùn)算具有運(yùn)算速率快，運(yùn)算結(jié)果精確的特點(diǎn)，并且小尺寸的結(jié)構(gòu)元素對(duì)于背景邊緣去除的效果要優(yōu)于大尺寸的結(jié)構(gòu)元素。

高帽變換具有高通濾波的特性，圖像經(jīng)過(guò)高帽變換后突出其灰度峰值，即為圖像背景信息，低帽變換具有低通濾波特性，原始圖像經(jīng)過(guò)低帽變換后突出其灰度谷值，即為突出目標(biāo)區(qū)域。將高帽變換和低帽變換相結(jié)合，起到圖像增強(qiáng)的作用，如式(12)。

Top_Bottom=f+Top-Bottom

(12)

高帽變換和低帽變換相結(jié)合后圖像得以增強(qiáng)，將增強(qiáng)后的圖像輸入b為3×3的圓盤形結(jié)構(gòu)元素因子的開(kāi)運(yùn)算中，即可以得到去除邊緣后的人眼圖像。如圖6所示。

a 睜眼形態(tài)學(xué)處理 b 閉眼形態(tài)學(xué)處理圖6 高低帽變換及去背景過(guò)程

1.3.2 精確定位人眼

根據(jù)去邊緣后二值圖像，值為1且面積最大的兩個(gè)區(qū)域，即為人眼精確區(qū)域。利用矩形框出人眼區(qū)域?qū)崿F(xiàn)精確定位，定位結(jié)果如圖7所示。

a 睜眼定位結(jié)果 b 閉眼定位結(jié)果圖7 精確定位效果圖

2 實(shí)驗(yàn)結(jié)果

2.1 仿真平臺(tái)搭建

在型號(hào)為VN7-591G-56BD的宏碁筆記本電腦上設(shè)計(jì)一個(gè)人眼檢測(cè)的系統(tǒng)，硬件采用Intel酷睿i5第四代處理器，處理頻率2.90 GHz， NVIDIA GEFORCE GTX860m顯卡，內(nèi)存為4 Gbyte，軟件采用MATLAB平臺(tái)。實(shí)驗(yàn)圖片來(lái)自由普通手機(jī)攝像頭，分辨率為640×480，共采集了200張樣本圖片，根據(jù)不同自然光照，不同人眼開(kāi)閉狀態(tài), 不同人臉姿態(tài)等要素，共分為10組測(cè)試樣本。

2.2 仿真結(jié)果及結(jié)果分析

2.2.1 主觀結(jié)果及結(jié)果分析

人眼定位主觀結(jié)果共分為以下三部分：1)不同光照條件下人眼定位結(jié)果，如圖8所示；2)不同人眼開(kāi)閉狀態(tài)定位結(jié)果，如圖9所示；3)不同人臉姿態(tài)定位結(jié)果，如圖10所示。

a 強(qiáng)光下 b 弱光下圖8 不同光照定位結(jié)果

a 閉眼 b 睜眼1 c 睜眼2 d 睜眼3圖9 不同人眼開(kāi)閉狀況定位結(jié)果

a 仰視 b 俯視 c 左偏 d 右偏圖10 不同人臉姿態(tài)定位結(jié)果

由圖8分析可知，本算法適用于不同自然光照條件下的人眼定位，無(wú)論光照強(qiáng)度強(qiáng)弱，均能準(zhǔn)確定位人眼。由圖9分析可知，本算法不受人眼開(kāi)閉狀態(tài)影響，人眼不同開(kāi)閉狀態(tài)下均能準(zhǔn)確定位人眼。由圖10分析可知，本算法基本不受人臉姿態(tài)、角度偏移的影響，人臉左右偏離不大于45°，上下偏離不大于60°，均可準(zhǔn)確定位人眼。

2.2.2 客觀結(jié)果及結(jié)果分析

對(duì)不同光照強(qiáng)度，眼睛不同開(kāi)閉狀態(tài)，人臉不同姿態(tài)的10組200張樣本圖像進(jìn)行實(shí)驗(yàn)，成功率如表1所示，檢測(cè)時(shí)間如表2所示。

表1 不同方法定位成功率表

樣本圖片成功率/%本文方法色彩模型法Otsu法正常光照94.0086.4086.80非正常光照91.3080.0083.50人眼打開(kāi)96.4090.2090.10人眼關(guān)閉89.60——無(wú)姿態(tài)變化94.5088.6088.90姿態(tài)變化90.3084.4083.00

表2 不同方法定位時(shí)間

樣本圖片定位時(shí)間/s本文方法色彩模型法Otsu法正常光照1.812.563.67非正常光照1.962.683.78人眼打開(kāi)1.872.873.54人眼關(guān)閉2.06——無(wú)姿態(tài)變化1.782.763.47姿態(tài)變化2.092.843.63

表1給出結(jié)果表明，色彩模型法和Otsu法中法在正常光照條件以及姿態(tài)不變化的情況下都可以給出較好的檢測(cè)效果，但當(dāng)人臉姿態(tài)發(fā)生變化以及光照不正常這兩種情況下，定位的成功率有所下降。在人眼閉合的情況下，兩種方法均不能成功定位人眼。表2給出的結(jié)果表明，本文定位方法速度較其他兩種方法速度更快。綜上，本文提出的人眼定位方法，在不同光照條件下，人臉偏離中心發(fā)生姿態(tài)變換及人眼處于閉合狀態(tài)下，均能實(shí)現(xiàn)人眼定位，具有適應(yīng)性強(qiáng)、速度較快的特點(diǎn)。

3 小結(jié)

傳統(tǒng)方法受關(guān)照強(qiáng)度、臉部偏離、人眼開(kāi)閉等因素影響較大，而這些敏感因素對(duì)于定位人眼來(lái)說(shuō)，是亟待解決的問(wèn)題，本文提出了一種將HSV色彩空間膚色模型、改進(jìn)脈沖耦合神經(jīng)網(wǎng)絡(luò)以及數(shù)學(xué)形態(tài)學(xué)三者相結(jié)合的人眼檢測(cè)方法，實(shí)現(xiàn)了人眼的精確定位。根據(jù)檢測(cè)結(jié)果可以看出，本文人眼定位方法具有對(duì)自然光照不敏感、臉部偏離不敏感、人眼開(kāi)閉不敏感的特性。

[1] 朱淑亮, 王增才, 王樹(shù)梁,等. 頭部多角度的眼睛定位與狀態(tài)分析[J]. 重慶大學(xué)學(xué)報(bào)：自然科學(xué)版, 2010, 33(11):20-26.

[2] BAPTISTE C, SOTOMAYOR M, VIZCAYA P. Segmentación -y parametrización automática de rostros en videos[J]. Bogotá: Pontificia Universidad Javeriana, 2002, (10):13-15.

[3] NIU Z, SHAN S, YAN S, et al. 2D Cascaded AdaBoost for Eye Localization[C]// Proc. of Internationl Conference on Pattern Recognition, 2006. [S.l.]：IEEE Press, 2006:1216-1219.

[4] ZHANG X, TANG Q, JIN H, et al. Eye location based on adaboost and random forests[J]. Journal of Software, 2012, 7(10):2365-2371.

[5] 孟令軍, 于磊, 郭雄飛. 疲勞檢測(cè)中人眼定位方法研究[J]. 電視技術(shù), 2015, 39(1):133-135.

[6] 張杰, 楊曉飛, 趙瑞蓮. 基于積分投影和Hough變換圓檢測(cè)的人眼精確定位方法研究[J]. 電子器件, 2005, 28(4):706-709.

[7] KHAIROSFAIZAL W,NOR'AINI A J. Eyes detection in facial images using circular Hough transform[C]//Proc. 5th International Colloquium on Signal Processing & Its Applications.[S.l.]: IEEE Press, 2009: 238-242.

[8] WANG X, YAN G, YAN W. Eyes location based on maximum entropy segmentation and skin model[J]. Computer Engineering，2010，7(36):161-165.

[9] 楊秀芳, 戚銀城, 李婷,等. 基于YCb'Cr'膚色特征和Otsu算法的人眼定位優(yōu)化方法[J]. 南京郵電大學(xué)學(xué)報(bào)：自然科學(xué)版, 2014, 34(1):99-102.

[10] GHIMIRE D, LEE J. A robust face detection method based on skin color and edges[J]. JIPS, 2013, 9(1):141-156.

[11] CHEN J, SHIBATA T. A neuron-MOS-based VLSI implementation of pulse-coupled neural networks for image feature generation[J]. IEEE Trans. Circuits & Systems I Regular Papers, 2010, 57(6):1143-1153.

王 霞(1970— )，女，博士，教授，碩士生導(dǎo)師，主研計(jì)算機(jī)視覺(jué)、光電圖像處理；

牟駿杰(1990— )，碩士生，主研計(jì)算機(jī)視覺(jué)、光電圖像處理；

王蒙軍(1978— )，博士，副教授，碩士生導(dǎo)師，主研機(jī)器視覺(jué)、光電信息檢測(cè)與處理、光譜分析；

栗 洋(1989— )，碩士生，主研計(jì)算機(jī)視覺(jué)、光電圖像處理。

責(zé)任編輯：哈宏疆

Eye Location Based on HSV Space Optimized Coupling Parameters of PCNN

WANG Xia, MOU Junjie, WANG Mengjun, LI Yang

(SchoolofElectronicsandInformationEngineering,HebeiUniversityofTechnology,Tianjin300401,China)

The paper proposes an algorithm of human eye location, which combines skin color model with optimized coupling parameters PCNN model. Transforming RGB space image into HSV space image, detect skin color. Then detecting the image of human face based on skin color model. In order to separate out the scope of the human eye, properties of coupling parameters optimized PCNN model of well capturing and attenuation are employed to segment the image. Conducting image enhancement by combining the top hat transformation with a low cap transformation. Implementing morphological open operation processing on the enhanced image, removing background noise, and locking the accurate positioning of the eyes with the gray curve. According to the result of simulation, it shows that this algorithm can achieve accurate positioning of human eye under differently illuminant background. This algorithm has superiorities both in positioning accuracy and high speed. Moreover, it is not affected by human eyes’ states, which means it can operates well in all conditions no matter the human eyes are opening or closing.

skin color model; mathematical morphology; PCNN; eye detection

河北省高等學(xué)校自然科學(xué)研究重點(diǎn)基金項(xiàng)目(ZD20131043)

TP391.41

A

10.16280/j.videoe.2015.24.027

2015-06-07

【本文獻(xiàn)信息】王霞，牟駿杰，王蒙軍，等.基于HSV空間優(yōu)化耦合參數(shù)PCNN的人眼定位方法[J].電視技術(shù),2015，39(24).