基于改進(jìn)型最大類間方差法的瞳孔定位方法

黃麗麗，楊 帆，王東強(qiáng)，唐云建

1.重慶郵電大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065

2.重慶市科學(xué)技術(shù)研究院 信息與自動化技術(shù)研究中心，重慶 401123

基于改進(jìn)型最大類間方差法的瞳孔定位方法

黃麗麗1，楊 帆2，王東強(qiáng)2，唐云建2

1.重慶郵電大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065

2.重慶市科學(xué)技術(shù)研究院 信息與自動化技術(shù)研究中心，重慶 401123

1 引言

近年來，視線跟蹤[1-2]在人機(jī)交互中的應(yīng)用已經(jīng)成為一個熱門的研究趨勢，該方式使人機(jī)對話變得簡單，因此備受關(guān)注。瞳孔定位作為視線跟蹤中的一個重要研究課題，其準(zhǔn)確性和有效性直接影響整個視線跟蹤系統(tǒng)的優(yōu)劣。

目前，對瞳孔定位的研究方法很多，大多數(shù)方法是基于對圓的檢測，主要考慮到瞳孔的幾何特性，常將其看作一個圓或橢圓。常用的方法包括Hough變換[3]和橢圓擬合[4-5]的方法，就其本質(zhì)而言，Hough變換和橢圓擬合都是利用圖像的邊緣信息作為基礎(chǔ)來獲得瞳孔的位置和大小。Hough變換的方法是通過參數(shù)搜索確定一個圓，而橢圓擬合主要是通過最小二乘法或其他方法來進(jìn)行橢圓的擬合。Hough變換和橢圓擬合的方法首先都需要對眼部灰度圖像進(jìn)行二值化，然后對二值圖像進(jìn)行邊緣信息的提取，就其邊緣信息實現(xiàn)定位。然而在求取二值圖像時，閾值的選取成為困難，尤其在紅外光照下閾值的選取更是不易。Wildes[3]和Tisse[6]等通過Hough變換的投票機(jī)制在參數(shù)空間尋求最優(yōu)值，Takeshi Takegami[7]等人提出Hough變換擬合橢圓的算法來定位橢圓，張書強(qiáng)、來躍深[8]等人利用Sobel算子結(jié)合Hough圓檢測的方法來定位瞳孔，王長元、史學(xué)穎[9]提出了基于強(qiáng)邊緣和弱邊緣的情況下采用Hough變換檢測圓的方法定位瞳孔。這些方法雖然取得了一定的準(zhǔn)確性，但是采用固定閾值的方法無疑增加了方法的局限性，通用性較差，且Hough找圓的方法遍布整幅圖像，盲目搜索，同時該方法復(fù)雜度大、資源需求大，運(yùn)算時間長。

朱柳柳、盧光明[10]在虹膜定位中提出基于最長弦定義邊界的檢測方法，該方法在圖像二值化時采用最大類間方差法來實現(xiàn)閾值的提取，最大類間方差法提高了圖像閾值選取的自適應(yīng)性，但是在光線較暗情況下，效果不是很好，易造成較多黑色區(qū)域，且整個方法運(yùn)算時間較長。

基于以上算法的不足，本文提出一種基于改進(jìn)型最大類間方差法的瞳孔定位方法。該方法的特點(diǎn)是：（1）從圖像預(yù)處理入手，采用光線補(bǔ)償和中值濾波來提升紅外光線照射下采集的圖像質(zhì)量；（2）從閾值提取入手，根據(jù)圖像直方圖，采用只對圖像中存在的像素灰度值計算最大類間方差的方法現(xiàn)實自適應(yīng)閾值提取，獲取最佳二值圖像；（3）最后采用基于最小二乘法的橢圓擬合方法進(jìn)行瞳孔中心的精確定位。實驗證明，該方法提高了瞳孔定位的準(zhǔn)確性和運(yùn)行速度。

2 方法實現(xiàn)

2.1 閾值提取

為了更好地將瞳孔部分分割出來，需要獲取能將瞳孔部分與其他部分區(qū)分的最佳二值圖像，因此閾值的選取成為整個過程的關(guān)鍵。最大類間方差法是一種常用的自適應(yīng)閾值選取方法。該方法介紹如下。

2.1.1 最大類間方差法（OTSU）

最大類間方差法（OTSU）[11]又稱大津法。其主要原理為：

計t為圖片前景和背景的分割閾值，其中前景點(diǎn)數(shù)占整個圖像比例為w0，其圖像平均灰度值為u0，背景點(diǎn)數(shù)占圖像比例為w1，其圖像平均灰度值為u1，于是可計算得圖像總平均灰度為u。從最小灰度值到最大灰度值遍歷為t，當(dāng)t使得類間方差值g最大時，此時t即為分割的最佳閾值。設(shè)圖像大小為M像素×N像素，L為圖像灰度級，設(shè)圖像中像素的灰度值小于t的像素個數(shù)記作N0，像素灰度大于t的像素個數(shù)記作N1，可計算得：

t將從0～L－1依次取值，當(dāng)g取最大時的t值為圖像分割的最佳閾值。

由此可見，最大類間方差法主要是根據(jù)圖像的灰度特性，將圖像分成前景（即目標(biāo)）和背景兩個部分。前景和背景之間的類間方差越大，圖像兩部分的差別就越大，圖像分割的效果就越好。

2.1.2 改進(jìn)型最大類間方差法

最大類間方法目前適應(yīng)較廣，但是在較暗光照條件下，效果仍然不好，例如用于本文實驗時，由于紅外光的照射，采集的眼部圖像會存在圖像整體偏暗和噪聲的情況，不能獲得較好的分割效果，同時該方法在計算最大類間方差時需要遍歷0～255的每一個灰度級，降低了運(yùn)算效率。因此，本文主要采用一種改進(jìn)型最大類間方差法來實現(xiàn)閾值的提取。該方法首先通過亮度補(bǔ)償和中值濾波來提升紅外光照下的圖像質(zhì)量，利于區(qū)分瞳孔部分與其他部分；然后根據(jù)圖像的直方圖，只對圖像中存在的像素灰度值計算最大類間方差的方法來求取二值化圖像的最佳閾值，提高運(yùn)行速度。

步驟1圖像預(yù)處理，增加圖像整體亮度及濾除噪聲。

由于眼部圖像是在紅外光源的采集下得到的，因此不可避免存在圖像偏暗、模糊和噪聲情況。如果將此圖像不做處理直接用最大類間方差法來提取閾值的話會造成背景和前景錯分概率大，不能獲得好的分割結(jié)果。因此可對采集的圖像進(jìn)行預(yù)處理，提升圖像亮度和濾噪，主要采用光線補(bǔ)償和中值濾波來實現(xiàn)。光線補(bǔ)償時，通過眼部圖像的直方圖，統(tǒng)計出整個圖像中所有像素點(diǎn)的灰度值，求取最高約5%～10%的像素灰度值的平均值，以此平均值作為基準(zhǔn)，將圖像其他部分的灰度值按比例系數(shù)進(jìn)行補(bǔ)償。在圖像濾噪時，采用二維的中值濾波器[12]實現(xiàn)。

圖1（a）、（b）分別表示采集到的眼睛原圖和經(jīng)過光線補(bǔ)償和中值濾波（Sobel模板）的結(jié)果圖像。

圖1 眼睛原圖和預(yù)處理效果圖

由圖1（a）、（b）對比可看出，經(jīng)過光線補(bǔ)償和中值濾波后的眼部圖像，圖像整體亮度增加了，噪聲減少了，同時更利于區(qū)分瞳孔、虹膜、礬膜及皮膚。

步驟2根據(jù)直方圖，統(tǒng)計出圖像中未出現(xiàn)的像素灰度值，計算余下像素的最大類間方差。

根據(jù)最大類間方差法，將眼部圖像分成M0和M1兩類。M0由灰度值為0～t之間的像素組成，M1由t+1～L－1之間的像素組成。在計算最大類間方差時，t遍歷的過程將從圖像直方圖灰度級為0處一直遍歷到灰度值為255處。然而根據(jù)實驗，攝像機(jī)采集到的大量眼部圖像，經(jīng)統(tǒng)計直方圖后發(fā)現(xiàn)，并非每個灰度級上都有像素數(shù)目，也有某些灰度值像素數(shù)目為零的情況，因此圖像并非完全覆蓋全部的256級灰度。如果在實驗過程中，對某個灰度值像素數(shù)目為零的像素也計算方差的話，這將增加不必要的運(yùn)算量。因此，可以將這些數(shù)目為零的像素灰度值不納入類間方差的計算，而僅計算圖像中數(shù)目非零的像素的類間方差。根據(jù)這樣的思路，可以大大降低方差計算次數(shù)，提高運(yùn)行速度。

圖2為眼部攝像機(jī)所采集到的某一眼部圖像所對應(yīng)的直方圖，由該直方圖可看出，在圖像灰度級約0～35之間及210～255之間的這兩部份灰度級所對應(yīng)的像素數(shù)目都為零，因此在求取最大類間方差時，先將圖像中這兩部分像素灰度值統(tǒng)計出來，不計算其所對應(yīng)的類間方差值，只對余下的像素進(jìn)行計算。

圖2 某一眼部圖像所對應(yīng)的直方圖

為了驗證該算法的可行性，根據(jù)文獻(xiàn)[13]，可將式（6）推導(dǎo)如下：

其中，i為圖像中各個灰度級；ni為圖像中各個灰度級所對應(yīng)的像素數(shù)目；Pi為圖像中各個灰度級所出現(xiàn)的概率；假設(shè)灰度值為t'的像素數(shù)目為0，即Pt'=0，若選t'-1為閾值時：

因此可知：gt'-1=gt。

若有連續(xù)灰度級t1，t2，…，tn的像素數(shù)目為0，仍可得到：

于是，根據(jù)推導(dǎo)，對于圖像中不存在的像素灰度值，也即是像素數(shù)目為零的灰度級，不計算以之為閾值時的類間方差，可將最近的像素數(shù)目不為零的較小灰度級所對應(yīng)的類間方差作為其類間方差值。因此在求取最大類間方差時，對于數(shù)目為零的像素灰度級，并不計算其所對應(yīng)的類間方差值，這并不影響最終閾值選取的結(jié)果。

圖3（a）為拍攝的三幅不同角度下的眼部圖像，（b）和（c）為采用改進(jìn)型最大類間方差法所獲得的效果圖像，可知瞳孔部分已很好地分離出來，其中背景部分灰度值為255（白色），瞳孔部分灰度值為0（黑色）。

圖3 不同角度下的眼部圖像及采用改進(jìn)型最大類間方差法相對應(yīng)的效果圖

2.2 確定瞳孔中心及半徑

在通過改進(jìn)型最大類間方差法計算得到二值化圖像的基礎(chǔ)上，通過輪廓提取方法（即掏空內(nèi)部點(diǎn)的方法[14]）與最小二乘法的橢圓擬合方法的結(jié)合實現(xiàn)瞳孔的精確定位。在閾值提取基礎(chǔ)之上，可知，背景像素灰度值為255，瞳孔像素灰度值為0，瞳孔輪廓提取的步驟如下：

（1）若中心像素為255，不論其余相鄰的8個像素為何值，一律保留中心像素值255。

（2）若中心像素為0，且其余相鄰的8個像素值為0，則改變中心像素值為255。

（3）其余情況時，全部將中心像素值改為0。

瞳孔的邊緣信息是橢圓擬合的基礎(chǔ)條件，獲取到輪廓的邊緣信息后，可對邊緣信息進(jìn)行橢圓擬合。本文采用基于最小二乘法來實現(xiàn)對邊緣點(diǎn)的擬合鏈接，其基本思想是求各候選點(diǎn)到圓上距離的平方和最小。設(shè)瞳孔橢圓方程為：

由此可得到一個線性方程組，然后結(jié)合約束條件，可解得方程系數(shù)A，B，C，D，E，F(xiàn)的值。于是橢圓的中心坐標(biāo)(xp，yp)、長軸和短軸(a，b)均可通過以下式子求的，從而獲得了瞳孔的半徑和中心坐標(biāo)值：

3 實驗結(jié)果與分析

本實驗基于XP環(huán)境下，通過在Visual Studio 2010+ OpenCV平臺下編程實現(xiàn)。利用本實驗室制作的一個帶有紅外攝像機(jī)的圖像采集設(shè)備實現(xiàn)眼部圖像的采集，采集了一定規(guī)模的瞳孔圖像（40人，40瞳孔，2 000張不同角度的瞳孔圖像），圖像分辨率為320×240，圖像灰度為0～255。

3.1 定位精度對比測試

為了考察算法的有效性，將文獻(xiàn)[8]中的方法（以下簡稱方法1）、文獻(xiàn)[10]中的方法（以下簡稱方法2）與本文方法定位瞳孔的準(zhǔn)確性對比測試：

方法2定位結(jié)果損失掉了大量瞳孔的邊緣信息，定位的瞳孔中心也與實際瞳孔中心值偏差較大，如圖4（a）；方法2定位的結(jié)果較為準(zhǔn)確，但由于圖像未做預(yù)處理，仍然存在少量瞳孔邊緣損失的情況，如圖4（b）；而本文方法通過采用改進(jìn)型最大類間方差法獲取了較佳的二值圖像，實現(xiàn)了瞳孔邊緣信息的完整提取，使得瞳孔定位結(jié)果更加準(zhǔn)確，如圖4（c）。

圖4 不同方法下瞳孔定位比較

3.2 定位速度對比測試

表1為方法1、方法2及本文方法定位圖3（a）中三個不同角度下眼部圖像時所耗時間對比表。由表1可知，本文方法在保證瞳孔定位準(zhǔn)確性的前提下，有效地降低了定位時間。

表1 三種方法所消耗比較 ms

4 結(jié)束語

本文提出了一種基于改進(jìn)型最大類間方差法的瞳孔定位方法，該方法通過圖像預(yù)處理操作和對圖像中存在的像素灰度值計算最大類間方差的方法，快速且準(zhǔn)確地求取了圖像的最佳閾值，為瞳孔邊緣信息的完好提取奠定基礎(chǔ)；最后在此基礎(chǔ)上采用輪廓提取方法和基于最小二乘法的橢圓擬合方法實現(xiàn)瞳孔的精確定位。實驗證明，本文方法在保證定位準(zhǔn)確度的情況下，運(yùn)行速率也得到很大的提高，是一種有效的瞳孔定位方法。

[1]Salvucci D D.Inferring intent in eye-based interfaces：tracing eye movements with process models[C]//CHI’99，1999：254-261.

[2]廖衛(wèi)華，嚴(yán)由偉，徐子清.視線跟蹤技術(shù)在人機(jī)交互中的研究[J].長春師范學(xué)院學(xué)報：自然科學(xué)版，2005，24（2）：130-132.

[3]Wildes R P.Iris recognition：an emerging biometric technology[J]. Proceedings of IEEE，1997，85（9）：1348-1363.

[4]Kennedy R B，Pressman I S，Chen S，et al.Statistical analysis of barefoot impressions[J].Journal of Forensic Sciences，2003，48（1）：55-63.

[5]Jung J W，Sato T，Bien Z.Dynamic footprint-based person recognition method using a hidden Markov model and a neuralnetwork[J].InternationalJournalIntelligentSystem，2004，19（11）：1127-1141.

[6]Tisse C，Martin L，Torres L.Person identification technique using human iris recognition[C]//Proc Vision Interface.[S.l.]：IEEE Press，2002：294-299.

[7]Takegami T，Gotoh T，Ohyama G.An algorithm for modelbased stable pupil detection for eye tracking system[J].Systems and Computers in Japan，2004，35（13）：21-31.

[8]張書強(qiáng)，來躍深，尚雅層，等.瞄準(zhǔn)器的眼跟蹤算法研究[J].國外電子元器件，2008（12）：69-70.

[9]王長元，史學(xué)穎.基于視頻眼震圖的瞳孔中心定位方法研究[J].計算機(jī)與數(shù)字工程，2011，39（3）：128-130.

[10]朱柳柳，盧光明.一種改進(jìn)的虹膜快速定位算法[J].計算機(jī)應(yīng)用，2008，28（3）：674-676.

[11]Otsu N.A threshold selection method from gray-level histogram[J].IEEE Trans on Actions on SMC，1979，9：652-655.

[12]鄭玉麗，陳衛(wèi)兵.圖像加窗中值濾波算法研究[J].微計算機(jī)應(yīng)用，2011，32（9）：9-14.

[13]李鑒慶，左坤隆.圖像閾值選取的一種快速算法[J].計算機(jī)與現(xiàn)代化，2001，76（6）：11-19.

[14]吳鳳和.基于計算機(jī)視覺測量技術(shù)的圖像輪廓提取方法研究[J].計量學(xué)報，2007，28（1）：18-22.

HUANG Lili1,YANG Fan2,WANG Dongqiang2,TANG Yunjian2

1.College of Computer Science and Technology,Chongqing University of Posts and Telecommunications,Chongqing 400065,China
2.Research Center for Information and Automation Technologies,Chongqing Academy of Science&Technology,Chongqing 401123,China

To improve the accuracy and rapidity of pupil location in human-computer interaction,a method based on the improved OTSU algorithm is proposed in this paper.The image is pre-processed using light compensating and median filtering to calculate the maximum between-class variance of the pixels which exist in the image,and obtain the optimum threshold of the binary image, the pupil center and radius are got by using ellipse fitting.Experimental results show that the method is quite accurate and fast, which lays a great foundation for the eye tracking.

pupil location;threshold;OTSU algorithm;ellipse fitting

為了提高人機(jī)交互中瞳孔定位的精確性與快速性，提出一種基于改進(jìn)型最大類間方差法的瞳孔定位方法。對圖像進(jìn)行基于光線補(bǔ)償和中值濾波的預(yù)處理操作，進(jìn)而根據(jù)直方圖統(tǒng)計出圖像中未出現(xiàn)的像素灰度值，計算余下像素的最大類間方差，求取二值化圖像的最佳閾值，采用橢圓擬合方法確定瞳孔中心及半徑。實驗結(jié)果證明，該方法準(zhǔn)確快速，為視線跟蹤奠定必要的基礎(chǔ)。

瞳孔定位；閾值；最大類間方差法；橢圓擬合

A

TP391

10.3778/j.issn.1002-8331.1205-0396

HUANG Lili,YANG Fan,WANG Dongqiang,et al.Pupil location method based on improved OTSU algorithm.Computer Engineering and Applications,2013,49（23）：137-140.

重慶市科技攻關(guān)計劃基金資助重點(diǎn)項目（No.cstc2011ggB0028）。

黃麗麗（1987—），女，碩士，主要研究領(lǐng)域為智能信息處理、模式識別；楊帆（1977—），女，博士；王東強(qiáng)（1977—），男，博士；唐云建（1981—），男，博士。E-mail：huangliliym@163.com

2012-06-01

2012-08-13

1002-8331（2013）23-0137-04

CNKI出版日期：2012-09-07 http://www.cnki.net/kcms/detail/11.2127.TP.20120907.0900.012.html