結(jié)合增強(qiáng)實(shí)境技術(shù)的眼控裝置研究＊

陳欣民，孟超，曲景影

（南開大學(xué)電子信息與光學(xué)工程學(xué)院，天津300071）

引 言

谷歌作為普適計(jì)算的一大終端，在兩大領(lǐng)域有重要應(yīng)用：增強(qiáng)實(shí)境和人機(jī)交互。增強(qiáng)實(shí)境的研究者主要關(guān)注怎樣呈現(xiàn)更多的物理世界的信息；而人機(jī)交互研究者主要是致力于自然控制模式上的新方法［2]。本系統(tǒng)結(jié)合谷歌增強(qiáng)實(shí)境的“輸入”實(shí)現(xiàn)信息的放大以及谷歌人際交互的“輸出”控制機(jī)器或者計(jì)算機(jī)，這樣形成信息雙向傳輸并且使得交互性更強(qiáng)。

由于要設(shè)計(jì)成一個(gè)終端，本系統(tǒng)僅適用于兩種信號(hào)（眼部運(yùn)動(dòng)和頭部運(yùn)動(dòng)）的獲取以及具有一定透明度的屏顯裝置，其他計(jì)算通過(guò)普通的智能手機(jī)來(lái)實(shí)現(xiàn)。特別的，系統(tǒng)主要允許使用者可以和電動(dòng)輪椅進(jìn)行交互，方便使用者控制輪椅的行進(jìn)。

1 眼信號(hào)的特征

由于眼部移動(dòng)的角度與探測(cè)到的電信號(hào)幾乎成正比，我們可以通過(guò)濾波和放大得到眼睛移動(dòng)引起的電位變化，如圖1所示［3]。

圖1 眼部移動(dòng)與電信號(hào)的關(guān)系

眼電信號(hào)是通過(guò)左右眼眶附近的一對(duì)Agcl電極獲得，將得到的電信號(hào)送入濾波放大電路中［4]。濾波放大電路主要包括由INA128P組成的放大倍數(shù)為51、高共模抑制比的一級(jí)放大器，截止頻率為0.05Hz的二階高通濾波器，放大倍數(shù)為131的二級(jí)放大器，截止頻率為27.6Hz的一級(jí)二階低通濾波器，截止頻率為15.2Hz的二級(jí)二階低通濾波器和電壓偏置調(diào)整電路，放大濾波電路示意圖如圖2所示。

圖2 信號(hào)處理電路

信號(hào)處理電路通過(guò)濾波去除了EEG、ECG和EMG信號(hào)，得到了頻率范圍為0.05～15.02Hz的眼電信號(hào)，并且通過(guò)放大得到0～5V適合于單片機(jī)的工作電壓，通過(guò)A／D轉(zhuǎn)換器輸入到單片機(jī)中。對(duì)于眼睛移動(dòng)產(chǎn)生的信號(hào)，當(dāng)眼睛從正視前方到向右看（或者左側(cè)），然后恢復(fù)向前看，這樣被認(rèn)為是一個(gè)完整的控制信號(hào)發(fā)出動(dòng)作。對(duì)于頭部運(yùn)動(dòng)，點(diǎn)頭或者搖頭則被認(rèn)為是一個(gè)完整的控制信號(hào)。

2 眼鏡的屏顯功能

系統(tǒng)通過(guò)結(jié)合GPS和電子羅盤，提供給使用者要前往地點(diǎn)的實(shí)時(shí)路線。在本系統(tǒng)中，智能手機(jī)中的電子羅盤由于平時(shí)置于使用者的口袋中，不能很有效地顯示路線，且開車人不方便拿手機(jī)觀察路線［5]。所以，眼鏡裝置被嵌入電子羅盤功能。使用者所面對(duì)的方向可以通過(guò)電子羅盤進(jìn)行識(shí)別從而發(fā)送到智能手機(jī)與GPS信號(hào)進(jìn)行綜合。這幫助使用者到達(dá)目的地。

要注意的是，通過(guò)GPS獲得的放大數(shù)據(jù)以及眼鏡中的電子羅盤與使用者前方的某些物體是無(wú)關(guān)聯(lián)的。事實(shí)上，許多AR的應(yīng)用都會(huì)考慮實(shí)景3D物體的具體特征，并且呈現(xiàn)出準(zhǔn)確的虛擬圖像到屏幕上。這里主要指一些特征諸如放縮、透明度以及內(nèi)物空間關(guān)系等。在這些情境下，常需要一個(gè)前置攝像頭記錄實(shí)時(shí)環(huán)境情況。

3 系統(tǒng)功能實(shí)現(xiàn)

這部分討論了在輪椅上通過(guò)使用本系統(tǒng)提供非手動(dòng)控制的方法。根據(jù)輕便和電源的要求，系統(tǒng)的眼鏡部分由三部分模塊組成：信號(hào)處理模塊、顯示驅(qū)動(dòng)模塊、與手機(jī)以及輪椅通信的信號(hào)交互模塊。這三個(gè)模塊都集成到AR控制器中，這樣可攜帶性很強(qiáng)。在本系統(tǒng)中，大多數(shù)計(jì)算過(guò)程被去除，這是因?yàn)橄駃Phone和Android的手機(jī)可以提供OpenGL和GPS的技術(shù)。本系統(tǒng)的眼鏡極其輕便，AR的控制器可以完成信號(hào)處理的功能。圖3為本系統(tǒng)的原型裝置。

圖3 系統(tǒng)原型裝置

圖4為利用本系統(tǒng)控制輪椅的架構(gòu)。在這個(gè)系統(tǒng)中，使用者可以不通過(guò)手來(lái)控制輪椅行動(dòng)，同時(shí)通過(guò)眼鏡屏幕接收實(shí)時(shí)信息［6]。輪椅的運(yùn)動(dòng)是通過(guò)使用者眼睛和頭部的運(yùn)動(dòng)來(lái)控制的，其控制邏輯如圖5所示。

考慮到使用者在輪椅前進(jìn)的過(guò)程中可能四處觀望，系統(tǒng)提供兩種模式：在模式1下，眼睛的移動(dòng)能夠控制輪椅前進(jìn)；在模式2下，使用者能夠在輪椅前進(jìn)時(shí)自由觀看周圍景物。這兩種模式通過(guò)使用者較大幅度點(diǎn)頭信號(hào)進(jìn)行切換。

圖4 眼控輪椅架構(gòu)

圖5 眼控輪椅控制邏輯

4 系統(tǒng)硬件實(shí)現(xiàn)

本系統(tǒng)的硬件主要包括基于STC12C5A60S2單片機(jī)系統(tǒng)控制核心、采集信號(hào)的傳感器與電極、信號(hào)處理的模擬電路以及無(wú)線發(fā)送和接收模塊。首先利用Agcl電極采集眼電信號(hào)，加速度傳感器采集頭部運(yùn)動(dòng)信號(hào)，然后將采集的信號(hào)送入到信號(hào)處理電路（放大濾波）中，這部分前文已經(jīng)提到。

將放大濾波電路處理后的信號(hào)調(diào)整到0～5V，通過(guò)A／D轉(zhuǎn)換器送入單片機(jī)STC12C5A60S2中，在單片機(jī)中實(shí)現(xiàn)邏輯控制，并轉(zhuǎn)換成對(duì)輪椅的控制信號(hào)，通過(guò)串口連接無(wú)線發(fā)送設(shè)備APC220，將信號(hào)發(fā)送至接收端的APC220中，再通過(guò)串口傳送到接收端的Arduino控制器中，完成對(duì)輪椅的控制。系統(tǒng)硬件框圖如圖6所示。

圖6 系統(tǒng)硬件框圖

眼鏡的屏顯功能主要通過(guò)將手機(jī)的電子羅盤顯示外接，顯示到眼鏡集成的屏幕中，利用手機(jī)的GPS功能完成路線的顯示。

5 軟件實(shí)現(xiàn)

系統(tǒng)的軟件實(shí)現(xiàn)主要將通過(guò)模數(shù)轉(zhuǎn)換器得到的信號(hào)進(jìn)行處理，轉(zhuǎn)化成對(duì)于輪椅方向和前進(jìn)后退控制的邏輯信號(hào)，并通過(guò)串口發(fā)送到APC220中，以便無(wú)線傳輸。軟件實(shí)現(xiàn)框圖如圖7所示。

圖7 軟件實(shí)現(xiàn)框圖

結(jié) 語(yǔ)

增強(qiáng)實(shí)境系統(tǒng)將使用者看到的情景放到虛擬的世界中。因此，眼鏡能夠給人們呈現(xiàn)最適合的虛擬世界的媒介，是理想的終端。

為了最大化應(yīng)用眼鏡的功能，把眼鏡移動(dòng)所帶來(lái)的皮膚表皮信號(hào)的變化和點(diǎn)頭搖頭引起加速度的變化引入到系統(tǒng)控制方式中。這樣不通過(guò)手，使用者就可以對(duì)眼鏡上的信息進(jìn)行選擇。在日常的情景中，用手控制輪椅常常使人厭倦，本系統(tǒng)提供了2D導(dǎo)航信息在眼鏡上，并且允許使用者不通過(guò)手控制輪椅的行進(jìn)。很明顯，非手動(dòng)電動(dòng)輪椅減輕了使用者家庭負(fù)擔(dān)，并且提高了使用者生活信心。在未來(lái)，為了減少對(duì)使用者眼睛的損害，OLED制作的屏幕將更加有意義。

［1] Kristina Grifantini.Augmented Reality Goggles［EB／OL] .［2013－07] .http：／／www.technologyreview.com／computing／26692／？ref＝rss＆a＝f.

［3] Wu Jin，Zhang Jiacai，Yao Li.An automated detection and correction method of EOG artifacts in EEG－based BCI［C]／／ICME International Conference on Digital Object，New York，2009：1－5.

［4] LawrenceYDeng，ChunLiang Hsu，Tzu－Ching Lin，et al.EOG－based Human－Computer Interface system development［J] .Expert Systems with Applications，2010，37（4）：3337－3343.

［5] Blaine Bell，Steven Feiner，Tobias HOllerer.View Management for Virtual and Augmented Reality［EB／OL] .［2013－07] .http：／／dl.acm.org／citation.cfm？id＝502363.

［6] Min Lin，Bin Li.A wireless EOG－based Human Computer Interface［C]／／Biomedical Engineering and Informatics（BMEI）3rd International Conference，Shandong，2010：1794－1796.