仿真假體視覺下的尋路任務(wù)研究

趙瑛 蔣廣琪 耿秀琳 李琦

摘 要： 在現(xiàn)實(shí)場景中開展仿真假體視覺下尋路任務(wù)研究。受試者佩戴頭戴式顯示器，由顯示器上方的攝像裝置獲取外界圖像，并通過數(shù)據(jù)傳輸線連接電腦對實(shí)時(shí)場景圖像進(jìn)行像素化處理。實(shí)驗(yàn)采用標(biāo)準(zhǔn)輪滑樁擺設(shè)實(shí)驗(yàn)通路，要求受試者佩戴頭戴式顯示器在預(yù)先擺設(shè)通路中尋路和判別方向，并對尋路時(shí)間、尋路碰撞次數(shù)等進(jìn)行分析研究。結(jié)果表明：分辨率為64×64時(shí)尋路時(shí)間最短；分辨率由32×32增加至48×48，尋路時(shí)間減少40%，碰撞次數(shù)減少43%；分辨率由48×48增至64×64，尋路時(shí)間減少22%，碰撞次數(shù)減少31%。隨著實(shí)驗(yàn)分辨率提升，尋路時(shí)間和碰撞次數(shù)明顯減少。受試者性別和實(shí)驗(yàn)時(shí)間（白天/晚上）無顯著性差異，女性受試者在白天實(shí)驗(yàn)效果較好。該研究可為人工視覺假體系統(tǒng)的設(shè)計(jì)和開發(fā)提供前期的理論儲(chǔ)備。

關(guān)鍵詞： 尋路任務(wù)； 視覺假體； 像素化處理； 分辨率； 尋路時(shí)間； 碰撞次數(shù)

中圖分類號(hào)： TN820.4?34； Q81 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）14?0173?05

Research on pathfinding task under simulated prosthetic vision

ZHAO Ying， JIANG Guangqi， GENG Xiulin， LI Qi

（School of Information Engineering， Inner Mongolia University of Science and Technology， Baotou 014010， China）

Abstract： The pathfinding task under simulated prosthetic vision is studied in the realistic scene. The subject wears a head?mounted displayer， the external images are obtained by the photographing device above the displayer， and pixelized processing of real?time scene images is performed by connecting the displayer and photographing device to the computer via the data transmission line. In the experiment， the standard roller skating piles were used to lay the experimental channel， the subject was asked to find the path and discriminate the direction in the pre?laid channel after wearing a head?mounted displayer， and the pathfinding time and collision times were analyzed and researched. The results show that when the resolution ratio is 64×64， the pathfinding time is the shortest； when the resolution ratio increases from 32×32 to 48×48， the pathfinding time decreases by 40%， and the collision times decrease by 43%； when the resolution ratio increases from 48×48 to 64×64， the pathfinding time decreases by 22%， and the collision times decrease by 31%. As the experimental resolution ratio increases， the pathfinding time and collision times decrease significantly. The subject′ gender and the experimental time （day or night） have no significant influence on the pathfinding time， and the female subjects have better experimental results during the day. The research can provide an early?stage theoretical reserve for the design and development of the artificial visual prosthetic system.

Keywords： pathfinding task； visual prosthesis； pixelized processing； resolution ratio； pathfinding time； collision times

0 引 言

視覺作為認(rèn)知世界最直接也是最基本的獲取信息的一種方式，為人類日常生活中提供了70%的外界信息，因此，失明是人類最嚴(yán)重的殘疾之一[1]。視覺通路任何一部分病變或損壞都會(huì)致盲，以視網(wǎng)膜色素變性和老年黃斑變性最為普遍。目前，全世界視力殘疾的人約有2.85億，中國約有7 500萬視力殘疾患者，其中有820萬盲人，能夠重見光明是每位盲人的美好希望[2?4]。

視覺假體的研發(fā)為盲人重見光明帶來了可能性，其利用盲人殘存的部分完整且結(jié)構(gòu)和功能完好的視覺通路，通過人工進(jìn)行電刺激誘發(fā)“光幻視”使盲人產(chǎn)生部分視覺感受[4?8]。視覺假體由圖像采集、數(shù)據(jù)轉(zhuǎn)換、無線傳導(dǎo)、神經(jīng)刺激等組成部分[9?11]。

ArgusⅡ[12]目前已經(jīng)投入市場并在不斷研發(fā)過程中，但由于臨床試驗(yàn)具有一定局限性，無法對患者進(jìn)行大規(guī)模植入，因此，仿真假體視覺[13]下任務(wù)實(shí)驗(yàn)具有重要意義。吳昊等人研究了仿真假體視覺下不規(guī)則光幻視的眼手協(xié)調(diào)研究[14]；Macé M J等人研究了基于仿真視覺假體下的目標(biāo)識(shí)別及等位任務(wù)[15]；Wang J等人進(jìn)行了模擬人工視覺的圖像處理策略的研究[16]；Xia等人進(jìn)行多目標(biāo)識(shí)別任務(wù)[17]；Luo等人進(jìn)行物體定位和三維空間抓握實(shí)驗(yàn)[18]；Dagnelie 小組采用仿真假體視覺同樣研究了虛擬現(xiàn)實(shí)中尋路問題。尋路實(shí)驗(yàn)的關(guān)鍵在于通路的設(shè)計(jì)，對通路的空間構(gòu)型和內(nèi)在可讀性具有較高的要求[19?20]。

本研究通過頭戴式顯示器上方的攝像頭采集現(xiàn)實(shí)場景圖像，圖像經(jīng)一系列處理策略成為像素化圖像顯示在頭戴式顯示器的屏幕中。受試者通過頭戴式顯示器提供的視覺信息進(jìn)行尋路實(shí)驗(yàn)，實(shí)驗(yàn)員記錄并分析了不同分辨率對尋路時(shí)間與碰撞次數(shù)的影響。

1 材料與方法

1.1 受試者及合規(guī)聲明

受試者為20名內(nèi)蒙古科技大學(xué)的研究生，男女各10人，所有人的視力或校正視力后均可達(dá)到20/20的視覺敏銳度。實(shí)驗(yàn)前已經(jīng)對受試者進(jìn)行實(shí)驗(yàn)步驟和內(nèi)容的講解，并且每位受試者承諾能夠認(rèn)真對待實(shí)驗(yàn)內(nèi)容。實(shí)驗(yàn)滿足《界醫(yī)學(xué)協(xié)會(huì)赫爾辛基宣言》中以人作為受試對象的生物醫(yī)學(xué)研究的倫理原則和限制條件，所有參與的受試者在參與之前簽署知情同意書。

1.2 實(shí)驗(yàn)設(shè)備及方法

實(shí)驗(yàn)中使用攝像頭（羅技c920）獲取實(shí)時(shí)圖像，經(jīng)個(gè)人電腦（聯(lián)想 30AGA29BCN Tower臺(tái)式電腦）完成圖像像素化的實(shí)時(shí)處理，再由頭戴式顯示器（5DT HMD 800?40 3D，分辨率800×600，視野區(qū)域40°）呈現(xiàn)給被試像素化的實(shí)時(shí)圖像。通過輪滑樁（標(biāo)準(zhǔn)輪滑樁，直徑7.8 cm，高度8 cm，材質(zhì)為塑料）構(gòu)建所需通路。

在假體視覺中，眼手協(xié)調(diào)的訓(xùn)練能幫助假體植入者更有效地完成日常視覺任務(wù)。本研究中使用32×32，48×48，64×64三種分辨率由低到高進(jìn)行測試，主要考察被試在尋路過程中的碰撞次數(shù)、尋路時(shí)間等參數(shù)。實(shí)驗(yàn)路徑采用輪滑樁進(jìn)行鋪設(shè)，相鄰輪滑樁間距平均為30 cm，通路兩側(cè)輪滑樁間距平均為60 cm。受試者走入通路則記為實(shí)驗(yàn)開始，結(jié)束時(shí)間以受試者走出實(shí)驗(yàn)路徑時(shí)停止計(jì)時(shí)。受試者在判斷方向和尋路過程中踢倒或越過輪滑樁記為一次碰撞，實(shí)驗(yàn)的通路示意圖如圖1所示。

1.3 實(shí)驗(yàn)步驟

實(shí)驗(yàn)選擇在一間空曠安靜的教室內(nèi)進(jìn)行，確保不受任何干擾且受試者狀態(tài)良好。實(shí)驗(yàn)中要求被試者佩戴頭戴式顯示器，頭戴式顯示器上方固定有攝像裝置，頭顯和攝像頭的數(shù)據(jù)傳輸線與聯(lián)想筆記本連接。筆記本電腦通過軟件運(yùn)行程序?qū)z像頭采集的原始圖像進(jìn)行實(shí)時(shí)像素化處理，筆記本電腦和頭顯圖像一致，實(shí)驗(yàn)采用錄像設(shè)備及秒表記錄數(shù)據(jù)。預(yù)實(shí)驗(yàn)為一些簡單的日常任務(wù)，包括受試者通過頭戴式顯示器觀察周圍環(huán)境，熟悉實(shí)驗(yàn)設(shè)備及內(nèi)容。在此之后開始正式試驗(yàn)，受試者首先在實(shí)驗(yàn)員的引導(dǎo)下走到實(shí)驗(yàn)通路的入口處，待受試者調(diào)整實(shí)驗(yàn)設(shè)備可以看見前方通路則宣布實(shí)驗(yàn)開始。受試者佩戴頭戴式顯示器的視野區(qū)域?yàn)?0°，受試者可以通過頭部旋轉(zhuǎn)判斷其尋路方向。實(shí)驗(yàn)場景如圖2所示。

2 結(jié) 果

2.1 不同分辨率與尋路時(shí)間的分析

圖3所示為尋路時(shí)間統(tǒng)計(jì)圖，其中橫坐標(biāo)代表實(shí)驗(yàn)的三種分辨率：32×32，48×48，64×64，縱坐標(biāo)表示三種分辨率下受試者尋路時(shí)間。由圖3可知，分辨率為64×64時(shí)受試者所用尋路時(shí)間為（174.11±43.38） s，分辨率為48×48的尋路時(shí)間為（249.20±63.83） s，比分辨率為64×64時(shí)的尋路時(shí)間增加了75 s，而分辨率為32×32的尋路時(shí)間為（420.08±127.14） s，比分辨率為48×48的尋路時(shí)間增加171 s。對于三種分辨率下尋路時(shí)間比較，分辨率變化對被試者尋路時(shí)間有顯著性差異（P<0.05）。

2.2 不同分辨率與碰撞次數(shù)分析

圖4表示三種分辨率下受試者尋路時(shí)間和碰撞的對應(yīng)散點(diǎn)圖。由圖4a）可以看出，分辨率為32×32時(shí)，尋路時(shí)間集中在200～500 s，碰撞次數(shù)最大值為11次且集中在0～7次；圖4b）分辨率為48×48的受試者尋路時(shí)間集中在200～400 s，碰撞次數(shù)最大值為9次且集中在0～4次；圖4c）可以發(fā)現(xiàn)分辨率為64×64時(shí)，尋路時(shí)間集中在100～300 s，碰撞次數(shù)最大值為4次且集中在0～2次。接下來，對碰撞次數(shù)與實(shí)驗(yàn)時(shí)間進(jìn)行相關(guān)性分析。P>0.05，分辨率為32×32（r（18）=0.012）；分辨率為48×48（r（18）=0.012，）；分辨率為64×64（r（18）=0.292）。以上三種分辨率尋路時(shí)間與碰撞次數(shù)相關(guān)性不大，說明尋路時(shí)間與碰撞沒有必然聯(lián)系，但是分辨率的改變對碰撞次數(shù)有明顯的影響。

2.3 性別與實(shí)驗(yàn)時(shí)間組間比較分析

性別與實(shí)驗(yàn)時(shí)間組間比較分析如表1～表3所示。

表2表示尋路實(shí)驗(yàn)時(shí)間（白天/晚上）均值及標(biāo)準(zhǔn)差。實(shí)驗(yàn)時(shí)間F（1，8）=0.83，P>0.05，偏η2=0.049，白天進(jìn)行尋路時(shí)間為（267.92±20.54） s，比晚上所用的（294.34±20.54） s時(shí)間少27 s?？梢缘贸鼋Y(jié)論，白天利用自然光比晚上用日光燈尋路效果更好但無顯著性差異。

表3為性別和實(shí)驗(yàn)時(shí)間的交互效應(yīng)， F（1，16）=0.075，P=0.79，得出P>0.05，偏η2=0.005。男女的尋路時(shí)間差異不顯著，男受試者白天進(jìn)行實(shí)驗(yàn)所用時(shí)間為（273.99±29.06） s，比其晚上進(jìn)行實(shí)驗(yàn)少19 s。而女受試者白天做實(shí)驗(yàn)用時(shí)為（261.84±29.06） s，比其晚上進(jìn)行實(shí)驗(yàn)少35 s。由以上數(shù)據(jù)可以發(fā)現(xiàn)，女受試者白天進(jìn)行實(shí)驗(yàn)效果較好。

3 結(jié) 論

1） 分辨率與尋路時(shí)間的關(guān)系。由分辨率的不同引起尋路時(shí)間變化可得出以下結(jié)論：隨著分辨率的提升，尋路時(shí)間隨之減少且三種分辨率在尋路時(shí)間上具有顯著性差異。隨著分辨率的增加被試者的尋路時(shí)間集中程度加強(qiáng)，表現(xiàn)趨于穩(wěn)定。通過一元線性回歸模型分析，本實(shí)驗(yàn)中無法通過低分辨率尋路時(shí)間對高分辨尋路時(shí)間做出準(zhǔn)確預(yù)測。

2） 尋路時(shí)間與碰撞次數(shù)的關(guān)系。由對尋路時(shí)間和碰撞次數(shù)分析得出結(jié)論：隨著分辨率的提升，尋路時(shí)間不斷減少且集中程度增強(qiáng)，碰撞次數(shù)逐漸減少，受試者總體差異性不大分辨率提升對碰撞次數(shù)有很大影響；但是通過對尋路時(shí)間和碰撞次數(shù)進(jìn)行相關(guān)性分析發(fā)現(xiàn)，碰撞次數(shù)與尋路時(shí)間相關(guān)性較小。

3） 性別與實(shí)驗(yàn)時(shí)間的關(guān)系。由以上分析能得出結(jié)論：根據(jù)性別分類，女性被試尋路平均時(shí)間比男性被試短，但無顯著差異性，即性別不同對實(shí)驗(yàn)無顯著影響。根據(jù)實(shí)驗(yàn)時(shí)間分類，二者經(jīng)統(tǒng)計(jì)分析無顯著性差異，但白天實(shí)驗(yàn)效果優(yōu)于晚上實(shí)驗(yàn)效果。根據(jù)性別及時(shí)間組間分析可以發(fā)現(xiàn)，女受試較易受實(shí)驗(yàn)時(shí)間影響且在白天實(shí)驗(yàn)用時(shí)最少，男受試者實(shí)驗(yàn)數(shù)據(jù)較穩(wěn)定。

由于受試者需要佩戴頭戴式顯示器進(jìn)行尋路實(shí)驗(yàn)頭戴式顯示器自身具有一定重量，顯示器的圖像尺寸相當(dāng)于視野范圍2.5 m外50寸屏幕大小，因此，受試者在實(shí)驗(yàn)過程中會(huì)有部分視覺誤差，但在進(jìn)行預(yù)實(shí)驗(yàn)時(shí)受試者已經(jīng)熟悉實(shí)驗(yàn)設(shè)備，視覺差異對實(shí)驗(yàn)的影響不大。

本實(shí)驗(yàn)采用實(shí)際場景進(jìn)行仿真假體視覺實(shí)驗(yàn)。受試者佩戴頭戴式顯示器，模擬仿真視覺假體進(jìn)行尋路實(shí)驗(yàn)。實(shí)驗(yàn)過程中，受試者可以通過移動(dòng)頭部判斷自己的位置和所處空間結(jié)構(gòu)，實(shí)驗(yàn)內(nèi)容接近盲人植入后的尋路實(shí)驗(yàn)。受試者在現(xiàn)實(shí)場景中學(xué)習(xí)識(shí)路及判別方向等技巧，通過不斷地學(xué)習(xí)積累經(jīng)驗(yàn)，可為視覺假體植入后的康復(fù)訓(xùn)練提供有效的理論和實(shí)際支持。

參考文獻(xiàn)

[1] 李孟輝，任秋實(shí).視覺假體：盲人復(fù)明的新希望[J].世界復(fù)合醫(yī)學(xué)，2015（3）：231?237.

LI Menghui， REN Qiushi. Visual prosthesis： a new hope for vision restoration [J]. World journal of complex medicine， 2015（3）： 231?237.

[2] 閆妍，柴新禹，陳垚，等.視覺假體的研究進(jìn)展[J].生理學(xué)報(bào)，2016（5）：628?636.

YAN Yan， CHAI Xinyu， CHEN Yao， et al. Research progress of visual prosthesis [J]. Acta Physiologica Sinica， 2016（5）： 628?636.

[3] SHEPHERD R K， SHIVDASANI M N， NAYAGAM D A X， et al. Visual prostheses for the blind [J]. Trends in biotechnology， 2013， 31（10）： 562?571.

[4] 黃偉昌，王國鶴，吳開杰，等.視覺假體神經(jīng)刺激器的發(fā)展現(xiàn)狀和挑戰(zhàn)[J].中國醫(yī)學(xué)物理學(xué)雜志，2010，27（4）：2051?2055.

HUANG Weichang， WANG Guohe， WU Kaijie， et al. The development and challenges of neural stimulator for visual prosthesis [J]. Chinese journal of medical physics， 2010， 27（4）： 2051?2055.

[5] TROY J B. Visual prostheses： technological and socioeconomic challenges [J]. Engineering， 2015， 1（3）： 288?291.

[6] CASPI A， ZIVOTOFSKY A Z. Assessing the utility of visual acuity measures in visual prostheses [J]. Vision research， 2015， 108： 77?84.

[7] LEWIS P M， ROSENFELD J V. Electrical stimulation of the brain and the development of cortical visual prostheses： an historical perspective [J]. Brain research， 2016， 1630： 208?224.

[8] 趙瑛.視覺假體最小信息需求研究[D].上海：上海交通大學(xué)，2010.

ZHAO Ying. Minimum requirements for visual prosthesis to restore useful vision [D]. Shanghai： Shanghai Jiao Tong University， 2010.

[9] 李晟，胡潔，柴新禹，等.基于視覺信息處理的視覺假體研究與設(shè)計(jì)[J].生物醫(yī)學(xué)工程學(xué)雜志，2012（4）：754?759.

LI Sheng， HU Jie， CHAI Xinyu， et al. Research and design of visual prosthesis based on visual information processing [J]. Journal of biomedical engineering， 2012（4）： 754?759.

[10] 夏鵬，胡潔，戚進(jìn)，等.視覺修復(fù)系統(tǒng)模型建立與信息處理[J].上海交通大學(xué)學(xué)報(bào)，2014，48（2）：164?167.

XIA Peng， HU Jie， QI Jin， et al. Visual prosthetic system modeling and visual information processing [J]. Journal of Shanghai Jiao Tong University， 2014， 48（2）： 164?167.

[11] 顧柳君，王靜，陸燕玉，等.仿真假體視覺下的行動(dòng)能力研究進(jìn)展[J].中國醫(yī)療器械雜志，2012，36（2）：110?113.

GU Liujun， WANG Jing， LU Yanyu， et al. The research progress of mobility performance in simulated prosthetic vision [J]. Chinese journal of medical instrumentation， 2012， 36（2）： 110?113.

[12] CASPI A， ROY A， DORN J D， et al. Retinotopic to spatiotopic mapping in blind patients implanted with the Argus II retinal prosthesis [J]. Investigative ophthalmology & visual science， 2017， 58（1）： 119?127.

[13] 吳小貝，陸燕玉，王靜，等.仿真假體視覺下的人臉識(shí)別研究進(jìn)展[J].中國醫(yī)學(xué)物理學(xué)雜志，2012，29（4）：3505?3509.

WU Xiaobei， LU Yanyu， WANG Jing， et al. The research progress of facial recognition under simulated prosthetic vision [J]. Chinese journal of medical physics， 2012， 29（4）： 3505?3509.

[14] 吳昊.仿真假體視覺下基于不規(guī)則光幻視的眼手協(xié)調(diào)研究[D].上海：上海交通大學(xué)，2014.

WU Hao. Eye?hand coordination using irregular phosphene maps in simulated prosthetic vision [D]. Shanghai： Shanghai Jiao Tong University， 2014.

[15] MAC? M J M， GUIVARCH V， DENIS G， et al. Simulated prosthetic vision： the benefits of computer?based object recognition and localization [J]. Artificial organs， 2015， 39（7）： 102?113.

[16] WANG J， LI H， FU W， et al. Image processing strategies based on a visual saliency model for object recognition under simulated prosthetic vision [J]. Artificial organs， 2016， 40（1）： 94?100.

[17] XIA P， HU J， PENG Y. Adaptation to phosphene parameters based on multi?object recognition using simulated prosthetic vision [J]. Artificial organs， 2016， 39（12）： 1038?1045.

[18] LUO Y H， ZHONG J J， DA C L. The use of Argus? II retinal prosthesis by blind subjects to achieve localisation and prehension of objects in 3?dimensional space [J]. Graefes archive for clinical & experimental ophthalmology， 2015， 253（11）： 1907?1914.

[19] 王冠生.基于Haptic和空間認(rèn)知的盲人路徑誘導(dǎo)服務(wù)研究[D].烏魯木齊：新疆大學(xué)，2013.

WANG Guansheng. Route guidance for blind based on Haptic technology and their spatial cognition [D]. Urumqi： Xinjiang University， 2013.

[20] 盧國英.建筑內(nèi)部空間的標(biāo)識(shí)導(dǎo)向系統(tǒng)交互設(shè)計(jì)[J].昆明理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，41（5）：39?45.

LU Guoying. Interactive design of signage system for architectural interior space [J]. Journal of Kunming University of Science and Technology （Natural science edition）， 2016， 41（5）： 39?45.