仿真假體視覺下的行動(dòng)能力研究進(jìn)展

【作 者】顧柳君，王靜，陸燕玉，柴新禹

上海交通大學(xué)生物醫(yī)學(xué)工程學(xué)院，上海，200240

0 引言

視覺是人們認(rèn)識(shí)客觀世界的基礎(chǔ)，是人們?nèi)粘Ｉ钪斜３知?dú)立活動(dòng)的必要條件。視覺為人類提供了超過(guò) 70%的外界信息，是人類最重要的感官，因而失明被認(rèn)為是人類最嚴(yán)重的殘疾。目前全世界視力殘疾約有1.5億，而我國(guó)約有1200萬(wàn)，其中盲人約有550萬(wàn)。研究者們從光動(dòng)力學(xué)、藥物、基因等方面展開了治盲的研究，但還沒有非常有效的臨床治療措施，特別是對(duì)視網(wǎng)膜色素變性(Retinitis Pigmentosa,RP)、老年黃斑變性(Age-related Macular Degeneration,AMD)等眼底疾病和外傷導(dǎo)致的失明，目前都缺乏有效的治療措施。近年來(lái)，新興電子科學(xué)與計(jì)算機(jī)技術(shù)的飛速發(fā)展和廣泛應(yīng)用，以及生物醫(yī)學(xué)工程、仿生學(xué)、神經(jīng)工程、醫(yī)學(xué)等各領(lǐng)域的研究進(jìn)展促進(jìn)了人工視覺研發(fā)的開展，視覺假體有望為失明患者開辟一條復(fù)明之路。

視覺神經(jīng)通路主要包括視網(wǎng)膜、視神經(jīng)、視皮層等部分，而大多數(shù)盲人僅某一部分發(fā)生病變。視覺假體針對(duì)視覺通路中組織結(jié)構(gòu)和功能尚完好的神經(jīng)部位，通過(guò)施加特定的人工微電流刺激從而誘發(fā)出“光幻視”，使盲人重新獲得視覺感受。國(guó)際上已有多個(gè)研究小組進(jìn)行了臨床實(shí)驗(yàn)，并成功誘發(fā)了光幻視，證明了通過(guò)植入視覺假體使患者恢復(fù)視覺感受的可行性[1-4]。視覺假體包括獲取視覺圖像的攝像頭，將圖像轉(zhuǎn)換為合適電刺激模式的圖像處理系統(tǒng)，多通道微電流刺激器以及給予視覺神經(jīng)系統(tǒng)電刺激的微電極陣列。Humayun小組研制的第一代視網(wǎng)膜上假體包含16個(gè)(4×4)刺激電極，在2002年植入人體開始一期臨床實(shí)驗(yàn)。目前，包含60個(gè)(6×10)刺激電極的第二代假體裝置已進(jìn)入2/3臨床階段，而超過(guò)200個(gè)電極的陣列也在研制中[5-7]。Zrenner小組研制的視網(wǎng)膜下假體包含1500個(gè)刺激電極，并已進(jìn)行了前期的臨床實(shí)驗(yàn)[8]。從現(xiàn)階段的研究進(jìn)展來(lái)看，由于電極尺寸、供能效率、散熱和生物相容性等問(wèn)題及現(xiàn)有技術(shù)的局限性，使視覺假體中的微電極數(shù)量受到了限制，從而只能誘發(fā)出有限數(shù)量的光幻視點(diǎn)。攝像頭獲取的高分辨率圖像必須經(jīng)過(guò)降低像素處理，轉(zhuǎn)換為適合微電極數(shù)量的刺激模式。因此，目前視覺假體研究中最為關(guān)鍵的問(wèn)題之一是如何優(yōu)化圖像處理策略，使有限分辨率下的光幻視陣列呈現(xiàn)更多的視覺信息，幫助假體設(shè)計(jì)者改進(jìn)圖像信息的處理編碼方案，使植入者獲得最佳的視覺感受。

基于仿真假體視覺的心理物理學(xué)研究，能夠定量探索視覺假體中的最小信息需求，為假體視覺的建模和表達(dá)提供了一種有效的方法。與假體植入者的真實(shí)人體實(shí)驗(yàn)相比，基于正常視覺被試的仿真實(shí)驗(yàn)?zāi)軌蛘偌礁嗟闹驹刚?，在視覺刺激的呈現(xiàn)模式、參數(shù)調(diào)節(jié)等方面上也能進(jìn)行更精確的控制。目前，國(guó)際上已經(jīng)有許多研究團(tuán)隊(duì)利用這一方法，對(duì)日常生活中的不同視覺任務(wù)展開了研究，主要包括視敏度[9-10]、閱讀[11-13]、物體識(shí)別[14-15]、面部識(shí)別[16]、手眼協(xié)調(diào)[17]、行動(dòng)能力[18-21]、視覺跟蹤[22-23]等方面。其中行動(dòng)能力（如在有障礙物的環(huán)境中尋找路徑并順利穿行等）是日常生活中保證活動(dòng)的獨(dú)立性和安全性的必要能力之一，因此針對(duì)這一方面的假體視覺最小信息需求研究具有重要意義。本文主要對(duì)仿真假體視覺下行動(dòng)能力方面的心理物理學(xué)研究進(jìn)行綜述。

1 光幻視陣列分辨率的影響

有限數(shù)量的電刺激點(diǎn)只能誘發(fā)有限的光幻視點(diǎn)，所構(gòu)成的假體視覺比正常視覺的分辨率要低很多。分辨率越低的圖像，所包含的視覺信息越少。針對(duì)仿真假體視覺下不同分辨率對(duì)行動(dòng)能力的影響，國(guó)際上多個(gè)研究團(tuán)隊(duì)基于皮層視覺假體和視網(wǎng)膜假體進(jìn)行了深入研究。

Cha等人[18]針對(duì)皮層視覺假體仿真了其光幻視陣列，并進(jìn)行了行動(dòng)能力的研究。仿真光幻視陣列的分辨率從10×10到32×32不等，光幻視點(diǎn)的間距從0.053o到0.17o不等，視野大小從2.0o到45.5o不等。試驗(yàn)要求受試者在光幻視陣列組成的低像素視覺引導(dǎo)下穿過(guò)由白墻、地板、天花板和黑色障礙物組成的迷宮，并根據(jù)受試者穿行的速度以及碰到障礙物的次數(shù)來(lái)評(píng)價(jià)其行動(dòng)能力。試驗(yàn)發(fā)現(xiàn)，受試者的行動(dòng)能力隨著攝像機(jī)拍攝視角的增大而提高；在最理想的視野范圍時(shí)，受試者的行動(dòng)能力隨分辨率的增加而提高，而與點(diǎn)密度幾乎無(wú)關(guān)。實(shí)驗(yàn)結(jié)論為視野范圍為30o時(shí)，光幻視陣列需要25×25或32×32的分辨率，才能幫助皮層視覺假體植入者具有在熟悉環(huán)境中保證安全、獨(dú)立活動(dòng)的行動(dòng)能力。

Dagnelie等人[19]在行動(dòng)能力方面對(duì)視網(wǎng)膜假體的最小信息需求進(jìn)行了研究。仿真光幻視陣列由離散的圓點(diǎn)組成，分辨率為16(4×4)、60(6×10)和256(16×16)，分別對(duì)應(yīng)11o×11o、16o×27o和27o×27o大小的視野，攝像機(jī)拍攝的視角固定為37o。試驗(yàn)分別讓缺乏仿真假體視覺經(jīng)驗(yàn)和經(jīng)過(guò)訓(xùn)練的受試者穿行過(guò)相似環(huán)境的路徑，并測(cè)算穿行時(shí)間和碰撞次數(shù)，發(fā)現(xiàn)受試者的表現(xiàn)能力隨分辨率的提高而提高。研究結(jié)果表明，無(wú)經(jīng)驗(yàn)的受試者需要16×16的分辨率、經(jīng)過(guò)訓(xùn)練的受試者至少需要6×10的分辨率，才有一定的行動(dòng)能力。

Wang等人[21]在文獻(xiàn)[19]的基礎(chǔ)上，研究了固定眼動(dòng)時(shí)低分辨率的視網(wǎng)膜假體視覺是否仍然能夠幫助假體植入者擁有基本的行動(dòng)能力。研究發(fā)現(xiàn)，當(dāng)固定受試者的眼動(dòng)在1o的視窗之內(nèi)時(shí)，6×10的分辨率（對(duì)應(yīng)16.2o×27o大小的視野）能夠?yàn)槭茉囌咛峁┍３只拘袆?dòng)能力的視覺信息。

以上研究表明，隨著分辨率的提高，受試者的行動(dòng)能力也隨之提高。60個(gè)(6×10)電極的視網(wǎng)膜假體給植入者的視覺信息，能使其具有基本的行動(dòng)能力。

2 光幻視點(diǎn)缺失的影響

通過(guò)調(diào)節(jié)視覺假體裝置的刺激參數(shù)，可以改變視野范圍內(nèi)植入者對(duì)光幻視的感知[1]。神經(jīng)節(jié)細(xì)胞的興奮具有一定的電刺激閾值，一旦視覺假體微電流刺激器的刺激強(qiáng)度沒有達(dá)到誘發(fā)光幻視的閾值，則電極在視野中相應(yīng)位點(diǎn)就會(huì)發(fā)生光幻視點(diǎn)的缺失[1]。若電極位點(diǎn)接觸到的是壞死或退化的神經(jīng)節(jié)細(xì)胞，電刺激不起作用，缺失的情況同樣會(huì)發(fā)生。因此，一定光幻視點(diǎn)的缺失是視覺假體植入后可能出現(xiàn)的一個(gè)現(xiàn)象。

Dagnelie等人[19]基于分辨率為6×10的仿真視網(wǎng)膜假體視覺，研究了缺失率對(duì)受試者行動(dòng)能力的影響。他們讓經(jīng)過(guò)至少10小時(shí)訓(xùn)練的受試者通過(guò)10個(gè)房間的虛擬環(huán)境，給予假體視覺的光幻視點(diǎn)缺失率分別為0%、10%和30%。實(shí)驗(yàn)結(jié)果表明，缺失率會(huì)影響受試者的行動(dòng)能力，當(dāng)缺失率達(dá)到30%時(shí)會(huì)導(dǎo)致受試者的行動(dòng)能力發(fā)生顯著的下降。

Wang等人[21]也基于分辨率為6×10的仿真視網(wǎng)膜假體視覺，研究了固定眼動(dòng)時(shí)，噪聲、對(duì)比度和缺失率等因素對(duì)行動(dòng)能力的影響。研究結(jié)果表明，噪聲和對(duì)比度對(duì)受試者行動(dòng)能力的影響不大，而缺失率的影響顯著，當(dāng)缺失率達(dá)到30%時(shí)，受試者穿過(guò)10個(gè)房間的時(shí)間增長(zhǎng)了40%。這與Dagnelie等人的結(jié)論一致。

Srivastava等人[17]基于皮層視覺假體進(jìn)行了仿真。他們讓受試者穿行過(guò)與Dagnelie和Wang等人的實(shí)驗(yàn)中相似的環(huán)境，光幻視點(diǎn)的缺失率分別為0%（650個(gè)光幻視點(diǎn)）、25%（488個(gè)光幻視點(diǎn)）和50%（325個(gè)光幻視點(diǎn)）。他們的研究發(fā)現(xiàn)，光幻視點(diǎn)的缺失對(duì)受試者的行動(dòng)能力并沒有顯著的影響，即使缺失率達(dá)到了50%，受試者們依然能夠在訓(xùn)練后完成任務(wù)。這一結(jié)果可能是由于他們的研究中仿真假體視覺的分辨率都很高，即使缺失率達(dá)到了50%，仍然有325個(gè)有效的光幻視點(diǎn)，大大高于Dagnelie等人的60個(gè)光幻視點(diǎn)；而前文中提到Dagnelie等人的研究表明60個(gè)電極的視網(wǎng)膜假體就能夠使受試者完成任務(wù)，因而在Srivastava等人的實(shí)驗(yàn)中，剩余的50%（325個(gè)）光幻視點(diǎn)依然能夠滿足基本行動(dòng)能力的需求。

以上研究表明，當(dāng)電極數(shù)較少時(shí)（如60個(gè)），光幻視點(diǎn)的缺失率達(dá)到一定程度時(shí)會(huì)導(dǎo)致植入者行動(dòng)能力的顯著下降；當(dāng)電極數(shù)量較多時(shí)（如超過(guò)600個(gè)），光幻視點(diǎn)的缺失對(duì)行動(dòng)能力沒有顯著影響。

3 圖像處理方法的影響

有限的電極數(shù)量只能提供給植入者低分辨率的假體視覺。如何通過(guò)一些圖像處理方法去除圖像中的非主要信息、保留那些對(duì)盲人最有用的信息，在視覺假體的研究中就顯得十分重要。為此研究者們將多種圖像處理算法應(yīng)用到了假體視覺中，并針對(duì)行動(dòng)能力方面進(jìn)行了心理物理學(xué)研究。

Boyle等人[20]研究了幾種基于提取圖像感興趣區(qū)域（Region-Of-Interest,ROI）的處理算法，對(duì)假體視覺信息的優(yōu)化效果。試驗(yàn)對(duì)分辨率為256×256的原始圖像應(yīng)用了6種不同的處理算法：（1）IM equal算法，特征圖（Importance Map,IM）中各個(gè)特征（如尺寸、形狀、對(duì)比度等）擁有相等的權(quán)重；（2）IM scene算法，特征圖中各個(gè)特征的權(quán)重根據(jù)盲人在日常生活中可能遇到的場(chǎng)景（如辦公室、家里、街道等）的不同而不同；（3）IM training算法，按照訓(xùn)練圖集選擇各個(gè)特征的權(quán)重；（4）IM optimization算法，不斷調(diào)整各個(gè)特征的權(quán)重以使結(jié)果圖中有最多的邊緣數(shù)；（5）Edge算法，使用Canny算法提取邊緣；（6）No IP算法，無(wú)特征圖算法。所有算法最終都使用近鄰算法，低像素化為25×25的分辨率。試驗(yàn)將6種處理算法的結(jié)果圖以隨機(jī)順序呈現(xiàn)給受試者，并要求受試者回答哪一版圖像提供的信息對(duì)穿行過(guò)這一場(chǎng)景最有用。結(jié)果發(fā)現(xiàn)，當(dāng)不進(jìn)行電子放大（Digital Zoom）時(shí)，大多數(shù)人都選擇No IP算法，而另外5種算法之間沒有顯著性差異；而當(dāng)對(duì)ROI區(qū)域進(jìn)行電子放大，舍棄那些不重要的區(qū)域后，對(duì)受試者的行動(dòng)能力有所提高。

Van Rheede等人[23]也研究了應(yīng)用于假體視覺的圖像處理算法。試驗(yàn)基于一套實(shí)時(shí)的假體視覺仿真系統(tǒng)，采用ROI、魚眼放大等算法對(duì)行動(dòng)能力的影響進(jìn)行了研究。試驗(yàn)要求受試者沉浸在有障礙物的虛擬3D環(huán)境中，尋找路徑并穿行而過(guò)。實(shí)驗(yàn)結(jié)果表明，在直接低像素化的算法下，任務(wù)完成時(shí)間最短，所找到的路徑也最短；而ROI算法和魚眼放大算法的結(jié)果之間沒有顯著差別。這一結(jié)論與Boyle等人[20]的研究結(jié)果相符。

目前的研究結(jié)果表明，利用基于視覺注意機(jī)制的ROI算法提取出感興趣區(qū)域，并進(jìn)行數(shù)字放大后，能夠優(yōu)化有限分辨率下的視覺信息，幫助受試者具有更佳的行動(dòng)能力。

4 總結(jié)

視覺假體是目前視覺修復(fù)的主要手段和研究熱點(diǎn)。但由于現(xiàn)階段技術(shù)的局限性，導(dǎo)致視覺假體的電極數(shù)量有限，只能形成由有限光幻視點(diǎn)構(gòu)成的低分辨率的假體視覺。因此，如何在低分辨率的視覺下為假體植入者提供最有效的信息，是目前視覺假體研究中亟待解決的主要問(wèn)題。在這方面研究中，基于仿真假體視覺的心理物理學(xué)研究方法得到了廣泛的應(yīng)用，并發(fā)揮了重要的作用。

本文討論了仿真假體視覺下行動(dòng)能力的影響因素，并對(duì)這一方面的心理物理學(xué)研究進(jìn)行了綜述?？偨Y(jié)這些研究的結(jié)論，假體視覺下行動(dòng)能力的表現(xiàn)主要取決于仿真假體視覺的分辨率，即光幻視點(diǎn)的個(gè)數(shù)。60（6×10）個(gè)電極的視網(wǎng)膜假體可以給假體植入者提供基本的行動(dòng)能力，但其效果會(huì)隨光幻視點(diǎn)的缺失而下降。通過(guò)一些圖像處理方法（如提取感興趣區(qū)域并電子放大）能夠在同樣的分辨率下提高行動(dòng)能力。這些研究結(jié)果證明了通過(guò)視覺假體使盲人獲得基本行動(dòng)能力的可行性，為應(yīng)用于視覺假體中行之有效的圖像處理策略和編碼方案提供了重要參考，并為視覺假體的設(shè)計(jì)和改進(jìn)提供了理論依據(jù)。

[1]Humayun MS,De Juan E Jr,Dagnelie G,et al.Visual perception elicited by electrical stimulation of retina in blind humans[J].Archives of Ophthalmology,1996,114(1): 40-46.

[2]Caspi A,Dorn JD,McClure KH,et al.Feasibility study of a retinal prosthesis: spatial vision with a 16-electrode implant[J].Archives of Ophthalmology,2009,127(4): 398-401.

[3]Rizzo JF 3rd,Wyatt J,Loewenstein J,et al.Perceptual efficacy of electrical stimulation of human retina with a microelectrode array during short-term surgical trials[J].Investigative Ophthalmology &Visual Science,2003,44(12): 5362-5369.

[4]Yanai D,Weiland JD,Mahadevappa M,et al.Visual performance using a retinal prosthesis in three subjects with retinitis pigmentosa[J].American Journal of Ophthalmology,2007,143(5):820-827.

[5]Humayun MS,De Juan E Jr,Weiland JD,et al.Pattern electrical stimulation of the human retina[J].Vision Research,1999,39(15):2569-2576.

[6]Humayun MS,Weiland JD,Fujii GY,et al.Visual perception in a blind subject with a chronic microelectronic retinal prosthesis[J].Vision Research,2003,43(24): 2573-2581.

[7]Chader GJ,Weiland J,Humayun MS.Artificial vision: needs,functioning,and testing of a retinal electronic prosthesis[J].Progress in Brain Research,2009,175: 317-332.

[8]Zrenner E.Restoring neuroretinal function by subretinal microphotodiode arrays[R].Presentation at ARVO,Fort Lauerdale,USA,2007.

[9]Cha K,Horch K,Normann RA.Simulation of a phosphene-based visual field: visual acuity in a pixelized system[J].Annals of Biomedical Engineering,1992,20(4): 439-449.

[10]Hayes JS,Yin VT,Piyathaisere D,et al.Visually guided performance of simple tasks using simulated prosthetic vision[J].Artificial Organs,2003,27(11): 1016-1028.

[11]Sommerhalder J,Rappaz B,De Haller R,et al.Simulation of artificial vision: II.Eccentric reading of full-page text and the learning of this task[J].Vision Research,2004,44(14): 1693-1706.

[12]Dagnelie G,Barnett D,Humayun MS,et al.Paragraph text reading using a pixelized prosthetic vision simulator: parameter dependence and task learning in free-viewing conditions[J].Investigative Ophthalmology & Visual Science,2006,47(3): 1241-1250.

[13]Zhao Y,Lu Y,Zhou C,et al.Chinese character recognition using simulated phosphene maps[J].Investigative Ophthalmology &Visual Science,2011,52(6): 3404-3412.

[14]Boyle JR,Maeder AJ,Boles WW.Challenges in digital imaging for artificial human vision[A].Proceedings of SPIE[C],2001,4299:533-543.

[15]Zhao Y,Lu Y,Tian Y,et al.Image processing based recognition of images with a limited number of pixels using simulated prosthetic vision[J].Information Sciences,2010,180 (16): 2915-2924.

[16]Dagnelie G,Thompson RW,Barnett D,et al.Simulated prosthetic vision: Perceptual and performance measures[A].In: VisionScience and its Applications,OSA Technical Digest[C].Washington DC: Optical Society of America,2001,43-46.

[17]Srivastava NR,Troyk PR,Dagnelie G.Detection eye-hand coordination and virtual mobility performance in simulated vision for a cortical visual prosthesis device[J].Journal of Neural Engineering,2009,6(3): 035008,1-14.

[18]Cha K,Horch KW,Normann RA .Mobility performance with a pixelized vision system[J].Vision Research,1992,32(7): 1367-1372.

[19]Dagnelie G,Keane P,Narla V,et al.Real and virtual mobility performance in simulated prosthetic vision[J].Journal of Neural Engineering,2007,4(1): S92-S101.

[20]Boyle JR,Maeder AJ,Boles WW.Region-of-interest processing for electronic visual prostheses[J].Journal of Electronic Imaging,2008,17(1): 013002,1-12.

[21]Wang L,Yang L,Dagnelie G.Virtual wayfinding using simulated prosthetic vision in gaze-locked viewing[J].Optometry and Vision Science,2008,85(11): E1057-E1063.

[22]Hallum LE,Suaning GJ,Taubman DS,et al.Simulated prosthetic visual fixation,saccade,and smooth pursuit[J].Vision Research,2005,45(6): 775-788.

[23]Wang L,Yang L,Dagnelie G.Initiation and stability of pursuit eye movements in simulated retinal prosthesis at different implant locations[J].Investigative Ophthalmology & Visual Science,2008,49(9): 3933-3939.

[24]Van Rheede JJ,Kennard C,Hicks SL.Simulating prosthetic vision:Optimizing the information content of a limited visual display[J].Journal of Vision,2010,10(14): 32,1-15.