基于眼部坐標(biāo)提取算法的眼控智能眼鏡

謝超

（株洲長(zhǎng)遠(yuǎn)智造股份有限公司，湖南株洲，412000）

0 緒論

社會(huì)調(diào)查顯示，目前我國(guó)約有20萬(wàn)“漸凍人”，目前該癥還無(wú)法根治，只能延緩?fù)纯嗪蜕鏁r(shí)間?；加袧u凍癥的病者生活無(wú)法自理，事無(wú)巨細(xì)只能依靠外界的幫助，并且我國(guó)有肢體障礙和語(yǔ)言障礙的殘障人士不在少數(shù)?；谶@一社會(huì)現(xiàn)實(shí)，結(jié)合我國(guó)蓬勃發(fā)展的物聯(lián)網(wǎng)技術(shù)，現(xiàn)開(kāi)發(fā)出了一款眼控智能眼鏡，旨在為這部分特殊人群服務(wù)，做出實(shí)質(zhì)性的公益幫助。本智能設(shè)備在外觀和功能皆考慮到使用者的身體狀況以及實(shí)際需求，研究出了一款后置式便攜式眼鏡，不僅能在智能手機(jī)、電腦PC端及智能家居三個(gè)平臺(tái)多方面應(yīng)用，還擁有輔助性交互界面。

1 總體設(shè)計(jì)

本產(chǎn)品以智能家居為依托，融入了互聯(lián)網(wǎng)+和大數(shù)據(jù)的技術(shù)，能提供高精準(zhǔn)的服務(wù)，該產(chǎn)品的設(shè)計(jì)由系統(tǒng)整體設(shè)計(jì)、硬件設(shè)計(jì)、手機(jī)APP設(shè)計(jì)、智能家居設(shè)計(jì)、電腦端設(shè)計(jì)等部分組成。

本系統(tǒng)中，使用者通過(guò)自己眼球的移動(dòng)，來(lái)控制離自己很遠(yuǎn)的聯(lián)網(wǎng)家用電器和智能手機(jī)端。

流程一：使用者通過(guò)眼球移動(dòng)來(lái)發(fā)出指令，智能眼鏡上的攝像頭來(lái)捕捉眼球的動(dòng)作，再通過(guò)眼鏡上的主控芯片，來(lái)判斷眼球的移動(dòng)，進(jìn)而得到使用者的指令。然后把獲取的指令通過(guò)藍(lán)牙模塊發(fā)送到智能手機(jī)端，通過(guò)操控手機(jī)端App，使用者就可以體驗(yàn)到手機(jī)上便捷的服務(wù)。

流程二：使用者通過(guò)眼球移動(dòng)來(lái)發(fā)出指令，智能眼鏡上的攝像頭來(lái)捕捉眼球的動(dòng)作，再通過(guò)眼鏡上的主控芯片，來(lái)判斷眼球的移動(dòng)，進(jìn)而得到使用者的指令。利用zigbee通信發(fā)送到PC（電腦）端，PC端接受傳來(lái)的指令就執(zhí)行相應(yīng)的操作。比如模擬鼠標(biāo)動(dòng)作，瀏覽電子圖書(shū)，觀看視頻，玩休閑游戲等休閑活動(dòng)。

流程三：使用者發(fā)送指令通過(guò)局域網(wǎng)服務(wù)器來(lái)控制的聯(lián)網(wǎng)家電，同時(shí)服務(wù)器就可以獲取使用者的指令代碼，分析這些數(shù)據(jù)，這樣就可以推測(cè)出使用者的生活習(xí)慣，使使用者不懂移動(dòng)就可以操控身邊的智能家居電器。

流程四：使用者通過(guò)本產(chǎn)品可實(shí)現(xiàn)語(yǔ)音交流功能。通過(guò)眼動(dòng)來(lái)控制光標(biāo)的移動(dòng)來(lái)輸入使用者的想要說(shuō)的話，再通過(guò)語(yǔ)音轉(zhuǎn)換軟件來(lái)是實(shí)現(xiàn)使用者“說(shuō)話”的功能。

2 硬件設(shè)計(jì)

圖2中所示的便是智能眼鏡的組成框圖，眼鏡上硬件主要包括搭載控制器的集成電路板、貼片藍(lán)牙模塊、數(shù)字?jǐn)z像頭、液晶顯示屏和鋰電池，通過(guò)將這些部分組合起來(lái)，共同構(gòu)建了一個(gè)智能眼鏡系統(tǒng)。

圖2 系統(tǒng)硬件設(shè)計(jì)圖

控制器采集數(shù)字?jǐn)z像頭拍攝的人眼圖像，經(jīng)過(guò)處理后得到眼球的坐標(biāo)，從而達(dá)到實(shí)時(shí)追蹤人眼移動(dòng)軌跡的效果。控制器再將眼球移動(dòng)的信息以光標(biāo)的形式顯示在液晶顯示屏上，液晶顯示屏上同時(shí)還會(huì)顯示出功能菜單，用戶(hù)可以通過(guò)轉(zhuǎn)動(dòng)眼球來(lái)移動(dòng)屏幕上的光標(biāo)，從而實(shí)現(xiàn)功能選擇。控制器還可以通過(guò)藍(lán)牙向外部的模塊發(fā)送控制指令，以及接收一定的信息。智能眼鏡上的鋰電池用于為整個(gè)眼鏡供電。眼鏡上還設(shè)置了一個(gè)休眠按鍵，用戶(hù)可以通過(guò)按下此按鍵來(lái)使眼鏡脫離休眠狀態(tài)或者是進(jìn)入休眠狀態(tài)，眼鏡上的控制器在大多數(shù)情況下是處于休眠狀態(tài)下的，以此來(lái)降低整個(gè)設(shè)備的功耗，增長(zhǎng)了眼鏡的使用時(shí)間。

3 眼部坐標(biāo)提取算法

由于裝置的操作與判定基于使用者的眼球坐標(biāo)與運(yùn)動(dòng)軌跡，因此使用者眼球圖像的捕捉提取十分重要，準(zhǔn)確高效的提取算法是整套系統(tǒng)穩(wěn)定運(yùn)行的關(guān)鍵。

如圖3所示，在眼部坐標(biāo)提取流程上，首先由攝像頭捕獲使用者的眼部圖像，實(shí)時(shí)將圖像傳至主控芯片中；然后經(jīng)過(guò)基本圖像處理，獲取出較為純凈的使用者眼部二值化圖像；最終通過(guò)中心計(jì)算，獲取并記錄實(shí)時(shí)使用者的眼珠中心點(diǎn)位置。至此系統(tǒng)便可獲得使用者眼部的實(shí)時(shí)坐標(biāo)與運(yùn)動(dòng)軌跡，從而可進(jìn)行后續(xù)相應(yīng)判斷操作。

圖3 眼部坐標(biāo)提取流程

進(jìn)一步地，為避免使用者不清楚目前自己眼睛所處位置是否為自己的預(yù)期點(diǎn)，系統(tǒng)依據(jù)眼珠相對(duì)坐標(biāo)實(shí)時(shí)在顯示模塊上繪制光標(biāo)用以對(duì)使用者進(jìn)行視覺(jué)上的反饋。這一設(shè)計(jì)可以提高使用者的操作感，極大的降低了誤操作的概率。

4 圖像處理流程

在眼部坐標(biāo)提取算法中，圖像處理流程如圖4所示。主要流程為：灰度處理、濾波處理、邊緣檢測(cè)、中心識(shí)別。

圖4 圖像處理流程圖

(1)灰度處理：由攝像頭采集回來(lái)的為RGB格式彩色圖像，如圖5所示，圖上坐標(biāo)為像素坐標(biāo)示意。在系統(tǒng)應(yīng)用中，色彩信息并不重要，并且會(huì)占據(jù)大量的存儲(chǔ)空間。因此首先需要將圖像進(jìn)行灰度處理，去除顏色信息，僅保留灰度信息。這將使圖像簡(jiǎn)化，改善畫(huà)質(zhì)，提升圖像顯示效果，并有利于后續(xù)對(duì)圖像進(jìn)行的運(yùn)算處理。

圖5 捕獲的原始圖像

在RGB格式的彩色圖像中，每一個(gè)像素點(diǎn)都有R、G、B三分量數(shù)據(jù)，分別表示該點(diǎn)的紅色光、綠色光、藍(lán)色光的相對(duì)亮度。將某點(diǎn)的RGB分量轉(zhuǎn)換為灰度時(shí)，可以依據(jù)式1來(lái)進(jìn)行計(jì)算。

但是在實(shí)際應(yīng)用中，單片機(jī)進(jìn)行的浮點(diǎn)運(yùn)算是十分低速的，這不適宜在追求高效的環(huán)境下使用。因此，可以依據(jù)式2對(duì)其進(jìn)行縮放來(lái)進(jìn)行高效的整數(shù)運(yùn)算。

對(duì)圖像中各點(diǎn)進(jìn)行灰度計(jì)算后，便可將整體彩色圖像轉(zhuǎn)換為灰度圖像，如圖6所示。

圖6 灰度處理后的圖像

(2)濾波處理：圖像常常被強(qiáng)度隨機(jī)信號(hào)所污染，亦或稱(chēng)作噪聲，這些噪聲的來(lái)源既有傳感器的電子噪聲，也有光斑噪點(diǎn)。一些常見(jiàn)的噪聲有椒鹽噪聲、脈沖噪聲等。

在進(jìn)行邊緣檢測(cè)算法錢(qián)，要先對(duì)原始數(shù)據(jù)進(jìn)行濾波處理。這樣，單獨(dú)的一個(gè)像素噪聲在經(jīng)過(guò)平滑的圖像上將變得幾乎沒(méi)有影響。

在理想的平滑后的圖像上，各個(gè)像素的顏色不僅由自身決定，同時(shí)其周?chē)南袼匾鄷?huì)對(duì)其進(jìn)行加權(quán)。從客觀上來(lái)看，則是減少了和周?chē)南袼氐牟町悾瑫r(shí)這些權(quán)重的設(shè)定也滿(mǎn)足了越近權(quán)重越大的規(guī)律。而從理論上來(lái)看，這些權(quán)重的分布則滿(mǎn)足式3所示高斯分布。

式3中，x、y表示的就是當(dāng)前點(diǎn)到對(duì)應(yīng)點(diǎn)的距離。

在使用高斯均值濾波時(shí)，便可使用由式3特化而來(lái)的模板進(jìn)行帶權(quán)平均濾波。這里采用的是三階模板，如式4所示。

在對(duì)圖6的圖像運(yùn)用式4的高斯濾波器后，原圖像上的噪聲被平滑、剔除，得到的圖像如圖7所示。

圖7 濾波處理后的圖像

可以看到，相比圖6，在圖7中尖銳的噪聲信號(hào)被移除，單獨(dú)的邊界干擾（如睫毛）被平滑處理。這些干擾被濾除后，則為后續(xù)的邊緣檢測(cè)做好了鋪墊。

(3)邊緣檢測(cè)：圖像的邊緣是圖像的最基本特征。所謂邊緣，是指其周?chē)袼鼗叶扔刑荻茸兓哪切┫袼丶?。在灰度圖像中，物體的邊緣是由灰度不連續(xù)性所反映的。

能夠高效、快捷且簡(jiǎn)單的提取出圖像的邊緣是所需要的，因此采用邊緣檢測(cè)局部算子法，考察圖像的每一個(gè)像素在某個(gè)領(lǐng)域內(nèi)的灰度變化，利用了邊緣鄰近一階或二階方向?qū)?shù)變化規(guī)律。

現(xiàn)有諸多的學(xué)術(shù)以及參考論文提出了許多的邊緣檢測(cè)算子，如Sobel算子、Prewitt算子等。但是本裝置上需要高效快捷的提取出使用者的眼珠坐標(biāo)，過(guò)于復(fù)雜的算子雖然效果令人滿(mǎn)意，但是不免太過(guò)累贅。在多次的實(shí)驗(yàn)比較后，采用Roberts算子進(jìn)行邊緣檢測(cè)。Roberts算子采用對(duì)角線方向相鄰兩像素之差近似梯度幅值進(jìn)行邊緣檢測(cè)，其實(shí)現(xiàn)簡(jiǎn)單，效益比高，邊緣檢測(cè)的結(jié)果適宜裝置上使用。

Roberts模板是用斜向上的4個(gè)交叉差分定義的，即如式5所示：

對(duì)圖7應(yīng)用式7與式8的Roberts交叉算子模板，進(jìn)行邊緣提取后，結(jié)果如圖8所示。可以看出，眼部圖像的邊緣大部分已被完好的提取出來(lái)。由于圖7在進(jìn)行邊緣檢測(cè)之前已經(jīng)過(guò)濾波，雖然Roberts算子對(duì)噪聲敏感，但實(shí)際應(yīng)用上效果可觀。

圖8 邊緣檢測(cè)后的圖像

(4) 中心識(shí)別：在經(jīng)過(guò)前述圖像處理流程后，圖像數(shù)據(jù)已變得十分單純。灰度值上，高值點(diǎn)為邊緣，圖像上的體現(xiàn)便是白色；低值點(diǎn)為非邊緣部分，圖像上的體現(xiàn)便是黑色。接下來(lái)所要做的便是進(jìn)行使用者眼部眼珠部分的中心提取。人眼珠近似為一圓形，在圖像處理上可以使用經(jīng)典的Hough變換來(lái)檢測(cè)圓。

在二維空間上使用Hough變換來(lái)檢測(cè)圓時(shí)，一般采取如圖9所示的流程來(lái)進(jìn)行檢測(cè)。

圖9 Hough變換檢測(cè)圓形流程

算法依次掃描輪廓中各點(diǎn)，設(shè)該點(diǎn)為擬想圓心，在三維參數(shù)空間內(nèi)，以該點(diǎn)為xy平面上圓心點(diǎn)，而以變量半徑作為z軸。依此，便可以構(gòu)造出一個(gè)圓錐模型，接下來(lái)則計(jì)算其余各輪廓點(diǎn)到達(dá)當(dāng)前擬想圓心的距離，在圓錐模型上進(jìn)行映射。掃描完全部輪廓點(diǎn)后以契合度最高的擬想圓心為實(shí)際圓心，契合度最大的半徑則作為該圓的半徑，依此構(gòu)造出圓形。

但是在實(shí)際應(yīng)用中，標(biāo)準(zhǔn)Hough變換耗時(shí)長(zhǎng)，內(nèi)存空間要求高，因此必須對(duì)其進(jìn)行優(yōu)化。

由于人眼眼珠大小差別較小，因此可以限定三維參數(shù)空間中半徑的有效范圍，減少算法迭代次數(shù)。同時(shí)對(duì)于圖像在進(jìn)行Hough變換檢測(cè)前，先進(jìn)行一次腐蝕、高斯濾波處理，可減少無(wú)用擬想點(diǎn)，降低復(fù)雜度。經(jīng)過(guò)上述處理和Hough變換后，便可以得到圖像中使用者的眼珠中心坐標(biāo)。當(dāng)使用者眼部運(yùn)動(dòng)時(shí)，其眼珠中心坐標(biāo)便能被實(shí)時(shí)記錄。檢測(cè)得到的圖形與圓心如圖10所示。

圖1 系統(tǒng)整體設(shè)計(jì)

圖10

5 手機(jī)端設(shè)計(jì)

用戶(hù)使用智能眼鏡，通過(guò)眼睛的移動(dòng)來(lái)發(fā)出指令，通過(guò)搭載在控制平臺(tái)的藍(lán)牙模塊，與手機(jī)app進(jìn)行通信。手機(jī)端接收到終端發(fā)出的指令，并即時(shí)的執(zhí)行，來(lái)響應(yīng)用戶(hù)的需求，這樣就可以實(shí)現(xiàn)電子圖書(shū)的閱讀等簡(jiǎn)單的工作。

圖11 設(shè)備協(xié)議棧

根據(jù)本產(chǎn)品要實(shí)現(xiàn)的功能，需要設(shè)置我們需要的部分協(xié)議，我們定義自己的協(xié)議族為：基帶協(xié)議、連接管理協(xié)議（LMP）、邏輯鏈路控制和適配協(xié)（L2CAP）、服務(wù)發(fā)現(xiàn)協(xié)議（SDP）等。在以上基本核心模塊下，本系統(tǒng)使用以下協(xié)議模式。

注意：此模式下，語(yǔ)音數(shù)據(jù)流不經(jīng)過(guò)L2CAP層而直接接入基帶協(xié)議層。

6 總結(jié)

本智能設(shè)備出發(fā)點(diǎn)是服務(wù)社會(huì)、給予特殊人群實(shí)質(zhì)性的幫助。在經(jīng)過(guò)線上數(shù)據(jù)論文研究、實(shí)地調(diào)查和分析之后，從而設(shè)計(jì)裝置的外觀、功能，再一步步進(jìn)行優(yōu)化。

本智能設(shè)備是基于目前殘障人士的現(xiàn)狀和實(shí)際需求開(kāi)發(fā)的具有多樣性功能的一款眼控智能眼鏡。設(shè)備開(kāi)發(fā)的智能穿戴裝置是并不需要依靠外物進(jìn)行復(fù)雜連接的，在手機(jī)、電腦以及智能家具三個(gè)方面都同步開(kāi)發(fā)了相應(yīng)的app,電腦接口和zigbee模塊，在任意智能手機(jī)、電腦、智能家居都能應(yīng)用。