一種基于眼動輸入的手機解鎖方法

林亮亮，陳 洋，徐 璐

(1.西安音樂學院 現(xiàn)代教育技術與網(wǎng)絡信息中心，陜西 西安 710061； 2.西安交通大學 軟件學院，陜西 西安 710049；3.中國人民解放軍61741部隊，北京 100078)

?

一種基于眼動輸入的手機解鎖方法

林亮亮1，陳 洋2，徐 璐3

(1.西安音樂學院 現(xiàn)代教育技術與網(wǎng)絡信息中心，陜西 西安 710061； 2.西安交通大學 軟件學院，陜西 西安 710049；3.中國人民解放軍61741部隊，北京 100078)

提出了一種基于眼動輸入的手機解鎖方法，該方法首先使用AdaBoost級聯(lián)分類器進行人臉區(qū)域檢測，利用眼部特征點建立眼睛相對坐標系，進行人眼視線方位的估計；然后利用K-Means聚類算法對視場坐標系中的凝視區(qū)域進行聚類；最后使用隨機生成的密碼序列對視線方位進行加密。實驗結(jié)果表明，該身份認證方法具有較高的認證精度和效率。

眼動輸入；身份認證；手機解鎖；視線方位；特征檢測

林亮亮，陳洋，徐璐.一種基于眼動輸入的手機解鎖方法[J].西安石油大學學報(自然科學版)，2016，31(4):122-126.

LIN Liangliang,CHEN Yang,XU Lu.A mobile phone unlocking method based on eye tracking [J].Journal of Xi'an Shiyou University (Natural Science Edition),2016,31(4):122-126.

引　言

隨著智能手機終端的大屏化和應用體驗的不斷提升，手機已成為網(wǎng)民主要的上網(wǎng)終端設備。國內(nèi)對于視線輸入認證方式的研究起步較晚。黃喬[1]對基于視線輸入法的人機交互系統(tǒng)進行了研究；蔣春燕[2]對視線跟蹤技術在人機交互字符輸入中的應用進行了研究；崔耀等[3]在TMS320DM6446 EVM上實現(xiàn)了視線跟蹤的打字系統(tǒng)；謝歡等[4]利用外接紅外燈和攝像機在手機上進行了注視姿勢輸入方法的研究。本文提出一種基于人眼視線交互的手機身份認證方法。該方法對資源需求小，實現(xiàn)成本低，認證準確實時，方便易用，而且用戶無需用手就可完成整個認證過程。

1　安全密碼輸入總體方案

基于眼動輸入的身份認證方法通過使用主動形狀模型(Active Shape Model，ASM)算法實時檢測用戶眼球的位置來判斷人眼視線注視的方位，對相應視線方位所代表的密碼進行輸入，以避免用戶密碼泄露或者偽造，盡可能地提高認證精度和效率。具體過程如圖1所示。

圖1　基于ASM眼動輸入手機安全密碼過程Fig.1　Password input steps of mobile phone based on ASM eye tracking location

密碼表格是用戶進行密碼輸入的依據(jù)和視線方位的參考；圖像采集：當用戶在智能手機上開始使用人眼注視方位進行密碼輸入時，系統(tǒng)調(diào)用智能手機攝像頭實時采集連續(xù)的用戶面部圖像，并交由人臉區(qū)域檢測流程進行處理；人臉區(qū)域識別：使用Vioal-Jones人臉級聯(lián)檢測器在智能手機攝像頭獲取的原始圖片上進行人臉區(qū)域的快速檢測；人眼特征點追蹤定位：將經(jīng)過人臉區(qū)域檢測的圖像通過使用ASM主動形狀模型算法預先訓練，并建立通用人臉模型進行人臉面部特征點的定位；視線方位估計：利用選取的人眼特征點建立眼睛參考系，將特征點的圖像坐標轉(zhuǎn)換成眼睛參考系中的坐標，并以此來確定人眼視線方位；認證密碼生成：利用生成的人眼視線方位來將相對應的密碼字符標識進行輸入。

2　人眼特征點追蹤定位與檢測

2.1數(shù)據(jù)收集

選用公開的MUCT數(shù)據(jù)集進行通用人臉模型的訓練。由于手機平臺計算資源緊張，使用較少數(shù)量的特征點可以加快運算速度，因此本文選取40個特征點進行訓練。

2.2形狀模型的建立

形狀模型的建立是利用Procrustes方法對數(shù)據(jù)集進行對齊的過程。經(jīng)過歸一化處理后，數(shù)據(jù)集中各樣本形狀向量之間存在一定的相關性，且每一幅人臉圖像都有2n維的特征，數(shù)量較大會造成計算量過大。對于這種情況，采用主成分分析(Principal Component Analysis,PCA)進行簡化處理。

2.3塊模型的建立

塊模型是用來檢測和表示數(shù)據(jù)集中不同圖像上每一個特征點的局部特征。當塊模型與含有面部特征的圖像區(qū)域交叉相關時，就會對特征區(qū)域有一個強烈的響應。

對于數(shù)據(jù)集中第j個圖像上第i個標注點，塊模型的創(chuàng)建過程為：①在第j個圖像上第i個標注點的兩側(cè)，沿著垂直于該點前后2個特征點連線的方向上分別選擇m個像素以構成一個長度為2m+1的向量；②對該向量所包含像素的灰度值求導得到一個局部紋理gij；③對數(shù)據(jù)集中其他數(shù)據(jù)樣本圖像上第i個標注點進行同樣的操作，得到第i個標注點的N個局部紋理gi1,gi2,…,giN；④求取均值

(1)

以及方差

(2)

得到第i個標注點的局部特征塊模型。對其他所有的標注點均進行同樣的操作，就可以得到每個標注點的局部特征塊模型。這樣，一個標注點新的特征g與其建立好的塊模型局部特征之間的相似度量就可以用馬氏距離作為匹配函數(shù)，即

(3)

2.4人臉特征檢測

在通過數(shù)據(jù)集訓練建立起形狀模型和塊模型的基礎上，使用Vioal-Jones人臉級聯(lián)檢測器對使用智能手機攝像頭獲取的連續(xù)人臉圖像視頻序列進行人臉特征點的快速檢測工作。

本文使用人臉檢測區(qū)域與人臉特征之間的幾何關系來設置模型的初始形狀。

3　視線方位估計和安全密碼生成

3.1視線方位估計

選用人眼視線范圍作為視場參照系，人眼運動在正常的視覺觀察過程中表現(xiàn)為在被觀察目標上的一系列停留和停留點之間的快速轉(zhuǎn)移。如果這些停留在100ms以上，稱之為凝視。當人眼凝視一個靜止的事物時，并不是完全靜止不動的，在注視的過程中眼球仍有一些微小的運動。由于這些微小運動的存在，普遍認為沒有固定不變的凝視點，稱之為凝視區(qū)域?？梢院唵蔚貙⒁晥鰠⒄障祫澐殖捎蒑×N個凝視區(qū)域組成的矩陣形狀，不同的凝視區(qū)表示視場參照系中不同的視線注視方位，如圖2所示。

圖2　人眼視線方位注視示意圖Fig.2　Schematic diagram for sight line orientation of human eye gaze

對于M×N個凝視區(qū)域中每一個凝視區(qū)域由對應的瞳孔特征點在眼睛參照系中的點集范圍來標識。為了簡化計算過程，可對該點集進行聚類，求出每個點集的質(zhì)心，使用質(zhì)心來標識該凝視區(qū)域。

3.2密碼生成

使用本文提出的視線方位估計方法定位出用戶當前所注視的凝視區(qū)域，對標識該凝視區(qū)域的密碼字符進行輸入。另外，需解決以下2個問題：

(1)消除視線方位的同一性

視線方位的同一性是指：用戶每次根據(jù)視線方位來對相應密碼字符進行輸入時，所注視的視線方位都是一樣的。本方法采用隨機亂序分布的方法來對視線方位的同一性進行消除，如圖3所示。通過這樣的過程使得用戶每次輸入密碼時眼睛凝視的方位不會完全相同，從而增加了安全性，有效防止了由于正面偷窺而造成的密碼猜測和身份欺騙。

圖3　視線方位同一性的消除Fig.3　Elimination of sight orientation identity

(2)密碼字符輸入結(jié)束的判定

采用判斷用戶眨眼的方法對字符輸入做結(jié)束判定。據(jù)相關領域統(tǒng)計得出，小于200 ms的短時間眨眼屬于習慣性不自主眨眼，而超過200 ms的長時間眨眼屬于有意識的主動眨眼。因此就可以根據(jù)手機執(zhí)行前文提出的圖像處理方法時的運行時間(幀/s)來設置一個眨眼時間閾值用以區(qū)分不自主眨眼和有意識的主動眨眼。

對于是否眨眼的檢測，可通過由ASM主動形狀模型算法得出的上下眼皮特征點在眼睛參考系統(tǒng)中坐標的距離來進行判斷，如圖2所示。眨眼過程中，上下眼皮特征點距離會不斷縮小至大約為零，因此可以設置一個系數(shù)，使得上下眼皮特征點間的距離跟內(nèi)外眼角特征點間的距離相關的一個閾值進行比較，可判定眨眼發(fā)生。閾值等于參數(shù)p與內(nèi)外眼角特征點距離之積。經(jīng)過相關試驗統(tǒng)計，該參數(shù)可以取0.08，即當上下眼皮特征點距離小于內(nèi)外眼角特征點距離的8%時，即可判定發(fā)生眨眼活動。

4　系統(tǒng)測試與結(jié)果分析

對手機解鎖系統(tǒng)進行測試及實驗，包括基于ASM人眼追蹤定位算法對瞳孔特征點定位的準確度及效率、系統(tǒng)在不同凝視區(qū)域劃分情況下的使用情況，以及不同密碼位數(shù)對系統(tǒng)的影響等。

4.1測試環(huán)境

本文在訓練用凝視區(qū)域質(zhì)心指紋模板的過程中，共組織12人參與訓練，并采用華為榮耀4X、HTC 919d及小米2作為采集平臺，見表1。

表1　系統(tǒng)實驗平臺參數(shù)Tab.1　Parameters of experiment platform

4.2測試結(jié)果與分析

4.2.1系統(tǒng)瞳孔定位準確率和效率使用在PC平臺上利用數(shù)據(jù)集訓練生成的通用人臉模型分別對JAFFE人臉庫和測試人群人臉圖像進行測試，結(jié)果如圖4所示。

圖4　系統(tǒng)對不同圖庫瞳孔定位的準確率和運行時間Fig.4　Relationships between pupil location accuracy and time under different mobile hardware conditions

由圖4可以看出，本文針對資源受限的智能手機平臺所提出的安全密碼輸入方法具有較好的運行效率。用本文的方法在不同手機硬件條件下對一幅JAFFE圖像進行處理的平均時間約為57 ms，幀率約為17幀/s，對一幀實時采集到的實驗者圖像進行處理的平均時間約為85 ms，幀率約為11幀/s。本算法在JAFFE人臉庫上實現(xiàn)了99%的定位準確率，而且在個別面部旋轉(zhuǎn)角度過大或帶有黑框眼鏡等情況下的定位準確率也達到了92%以上。

4.2.2視場參考系中凝視區(qū)劃分對系統(tǒng)的影響本實驗參與實驗人數(shù)為8人，使用5個4位人眼視

線方位標識序列作為認證參考信息。實驗者在本系統(tǒng)中通過使用人眼視線方位信息對給出的參考標識信息進行輸入。實驗平臺為華為榮耀4X，實驗結(jié)果如圖5所示。

圖5　凝視區(qū)域劃分與身份認證正確率的關系Fig.5　Correct rate of identity authentication under different gaze region division forms

由圖5可以看出，當凝視區(qū)數(shù)量設置為2×2、2×3、3×3時，認證系統(tǒng)有非常好的正確率，超過了90%。凝視區(qū)數(shù)量設置為3×4時，正確率下降為83.75%，從4×4開始，正確率下降開始加快，4×6開始已經(jīng)低于50%。

為了更好地分析下降原因，需要結(jié)合訓練凝視區(qū)域質(zhì)心指紋模板中收集到的坐標點集數(shù)據(jù)進行分析。 如圖6所示， 當凝視區(qū)數(shù)量設置為2×2、2×3、3×3時，系統(tǒng)正確率較高，其原因在于凝視區(qū)之間的距離大，特點明顯，易于區(qū)分識別。凝視區(qū)數(shù)量設置為3×4時，正確率有所下降的原因在于認證時由于缺乏實際的方位參考點， 用戶只能憑直觀感受定位凝視區(qū)范圍，所以會出現(xiàn)錯誤率的增大。當凝視區(qū)域劃分從4×4開始，認證系統(tǒng)的正確率明顯降低。所以本文中使用3×3的凝視區(qū)域劃分設置，在保證認證系統(tǒng)具有較高準確率的同時盡量提升視線方位信息的復雜度。

圖6　視場坐標系采用不同凝視區(qū)劃分時的瞳孔信息Fig.6　Pupil coordinates under different gaze region number in visual field coordinate system

4.2.3不同密碼位數(shù)下的認證準確度和效率本實驗參與實驗人數(shù)為8人，依次使用1～6位密碼字符標識序列作為認證參考信息。實驗結(jié)果如圖7所示。

圖7　系統(tǒng)在不同密碼位數(shù)下的認證準確度和效率Fig.7　Identity authentication accuracy and efficiency of system under different password number

從圖7中可以看出，在密碼位數(shù)設置為不大于4位時，系統(tǒng)有著較好的正確率和效率。當位數(shù)大于4位時，認證時間有所提高，而正確率有所下降。

[1]黃喬.基于視線輸入法的人機交互系統(tǒng)研究[J].計算機系統(tǒng)應用,2008(5):14-16.

[2]蔣春燕.視線跟蹤技術研究及其在人機交互字符輸入中的應用[D].上海：上海交通大學,2008.

[3]崔耀,何迪,于明軒,等.基于眼視線跟蹤的打字系統(tǒng)在TMS320DM6446 EVM上的實現(xiàn)[J].數(shù)據(jù)采集與處理,2012,27(6):737-741.

CUI Yao,HE Di,YU Mingxuan,et al.Realization of eye-tying system based on eye-tracking on TMS320DM6446 EVM[J].Journal of Data Acquisition & Processing,2012,27(6):737-741.

[4]謝歡,趙歆波,侯陽.適用于手機的眼動輸入方法研究[J].計算機與現(xiàn)代化,2013(4):81-85.

XIE Huan,ZHAO Xinbo,HOU Yang.Eye-input interaction for mobile phones[J].Computer and Modernization,2013(4):81-85.

[5]VOLKER Roth,KAI Richter,RENE Freidinger.A PIN entry method resilient against shoulder surfing[C].Proc.11th ACM Conference on Computer and Communications Security,Washington,DC,USA,October 2004.

[6]WARE C,MIKAELIAN H H.An evaluation of an eye tracker as a device for computer input[C].Proceedings of the SIGCHI.GI Conference on Human Factors in Computing Systems and Graphics Interface.1987:183-188.

[7]JACOB R J K.What you look at is what you get:eye movement-based interaction techniques[C].Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.1990:11-18.

[8]KASPROWSKI P,OBER J.Eye movement tracking for human identification[C].6th World Conference BIOMETRICS 2003,London (2003).

[9]KUMAR M,GARFINKEL T,BONEH D,et al.Reducing Shouldersurfing by Using Gaze-based Password Entry[C].Technical Report CSTR 2007-05,Stanford University,Stanford 2007.

責任編輯：張新寶

A Mobile Phone Unlocking Method Based on Eye Tracking

LIN Liangliang1,CHEN Yang2,XU Lu3

(1.Modern Education Technology and Network Information Center,Xi'an Conservatory of Music,Xi'an 710061,Shaanxi,China;2.Software Institute,Xi'an Jiaotong University,Xi'an 710049,Shaanxi,China;3.Chinese People's Libration Army 61741,Beijing,China)

A mobile phone unlocking method based on eye tracking is proposed.In this method,AdaBoost cascade classifier is used for the detection of human face,and to use the feature points of the eye establishes the relative coordinates of the eye to estimate the direction of eye gaze.Then using the field of view as the human eye visual field coordinate system,we estimate the human eye sight orientation.Then the gaze regions in the view coordinate system are clustered using K-Means clustering algorithm.At last,the randomly generated password sequence is used to encrypt the direction of sight line.Experimental results show that the proposed authentication method has high authentication accuracy and efficiency.

eye movement input;authentication;mobile phone unlocking;sight orientation;feature detection

A

2016-04-05

陜西省工業(yè)科技攻關項目(編號：2015GY026)

林亮亮(1980-)，男，碩士，工程師，主要從事教育信息化、軟件工程等研究。E-mail：Lin_LL@126.com

10.3969/j.issn.1673-064X.2016.04.021

TP391.4

1673-064X(2016)04-0122-05