視聽觸同步刺激的數(shù)字化盲文學(xué)習(xí)方法①

陳楷聞,林 棟,鐘澤棟,胡慶玲,吳新麗,劉 瑜,楊文珍,2

1(浙江理工大學(xué) 機(jī)械與自動(dòng)控制學(xué)院,杭州 310018)

2(之江實(shí)驗(yàn)室 超級(jí)感知研究中心,杭州 311121)

根據(jù)世界衛(wèi)生組織統(tǒng)計(jì),全球約有2.85 億視力障礙人士,其中3900 萬(wàn)人完全失去視力,2.46 億人為視力殘余人士[1,2].目前,我國(guó)視障群體龐大,約有1731 萬(wàn)人,其中824 萬(wàn)人完全失去視力,907 萬(wàn)為視力殘余人士.盲文是視障人士獲取信息,學(xué)習(xí)知識(shí)的重要媒介,高效的盲文學(xué)習(xí)方法對(duì)于廣大視障人士而言意義重大.

長(zhǎng)期以來(lái),視障人士依賴紙質(zhì)書籍學(xué)習(xí)盲文.當(dāng)盲童指尖摸讀紙質(zhì)盲文教材時(shí),盲校老師在旁邊解釋盲文點(diǎn)位觸覺(jué)刺激的含義,通過(guò)語(yǔ)音幫助盲童建立起盲文點(diǎn)位觸覺(jué)信息和文字之間的映射關(guān)系[3].為了提高盲文學(xué)習(xí)效率,Elliott 等人[4]以兒歌的方式,加深盲童對(duì)盲文點(diǎn)位觸覺(jué)刺激的記憶.但是,紙質(zhì)盲文教材造價(jià)高昂,工藝復(fù)雜,制作時(shí)間較長(zhǎng),內(nèi)容滯后,存在不便攜、不易用和學(xué)習(xí)效率低等問(wèn)題.而且,基于紙質(zhì)書籍的盲文學(xué)習(xí)方法,視障人士無(wú)法獨(dú)立學(xué)會(huì)盲文,需要他人的輔助.因此,廣大視障人士非?？释环N高效且無(wú)障礙的盲文學(xué)習(xí)方法,來(lái)滿足他們自主學(xué)習(xí)的需求.

Watanabe 等人[5]開發(fā)了一種盲文教材輔助教學(xué)裝置,可以引導(dǎo)視障人士按照規(guī)定方向摸讀盲文,并提供聽覺(jué)刺激,但是,該裝置僅支持有限且特定的盲文教材,無(wú)法提供其他盲文教材.Rantala 等人[6]設(shè)計(jì)了一種便攜式盲文顯示裝置,每次只能呈現(xiàn)一個(gè)盲文點(diǎn)位,不便于視障人士快速掌握盲文.Matsuda 等人[7]研發(fā)了一種基于語(yǔ)音識(shí)別的盲文教學(xué)平臺(tái),需要在老師幫助下,盲童才能學(xué)習(xí)盲文.Doi 等人[8]研發(fā)了一種盲文觸控筆,能夠把盲文轉(zhuǎn)化為語(yǔ)音,幫助視障人士快速獲取信息,但不適用于視障人士指尖摸讀學(xué)習(xí)盲文.蔣小艷等人[9]提出了一種基于電刺激的盲文顯示方法,容易引起指尖皮膚的刺痛感,不適合視障人士長(zhǎng)時(shí)間使用.趙宇等人[10]利用壓電陶瓷驅(qū)動(dòng)器研發(fā)了一種盲文點(diǎn)顯器,需要配套的電腦讀屏軟件,不方便視障人士的自主學(xué)習(xí).

學(xué)習(xí)盲文的本質(zhì)是在視覺(jué)和聽覺(jué)的輔助下,視障人士構(gòu)建起盲文點(diǎn)位觸覺(jué)信息與文字之間的映射,從而掌握盲文[11].完全失明的人只能依靠聽覺(jué)學(xué)會(huì)盲文,視力殘余的人可聯(lián)合聽覺(jué)和微弱的視覺(jué)學(xué)會(huì)盲文.為了提高盲文學(xué)習(xí)效率,本文提出了一種視、聽、觸同步感知的數(shù)字化盲文學(xué)習(xí)方法,能夠提供視覺(jué)、聽覺(jué)和觸覺(jué)的同步刺激,以期實(shí)現(xiàn)視障人士無(wú)障礙地學(xué)習(xí)盲文.

1 多感知信息的匹配問(wèn)題

1.1 多感知通道的盲文學(xué)習(xí)機(jī)

我們開發(fā)了一種多感知通道的盲文學(xué)習(xí)機(jī),能夠提供視覺(jué)、聽覺(jué)和觸覺(jué)的多通道刺激,輔助視障人士學(xué)習(xí)盲文.盲文學(xué)習(xí)機(jī)的4.3 寸LCD 液晶屏可以顯示普通文字和盲文點(diǎn)位圖形,提供視覺(jué)感知;盲文學(xué)習(xí)機(jī)的XFS5152 語(yǔ)音合成芯片可以播報(bào)語(yǔ)音,提供聽覺(jué)感知;盲文學(xué)習(xí)機(jī)的點(diǎn)顯裝置可以動(dòng)態(tài)生成盲文點(diǎn)位,提供觸覺(jué)感知,如圖1所示.

圖1 多感知通道的盲文學(xué)習(xí)機(jī)

盲文學(xué)習(xí)機(jī)是基于STM32F103ZET6 芯片開發(fā)的嵌入式系統(tǒng),通過(guò)FatFs 文件系統(tǒng)[12]對(duì)SD 卡內(nèi)的文件進(jìn)行管理.SD 卡內(nèi)的文件包括普通文字的文本文件和盲文二進(jìn)制的點(diǎn)序文件.文本文件控制普通文字的視覺(jué)和聽覺(jué)信息輸出,讓液晶屏顯示普通文字和語(yǔ)音合成芯片播報(bào)普通文字的語(yǔ)音,點(diǎn)序文件控制盲文點(diǎn)位的圖形輸出和觸覺(jué)信息輸出,供給液晶屏顯示盲文點(diǎn)位的圖形和點(diǎn)顯裝置動(dòng)態(tài)更新盲文點(diǎn)位.

1.2 多感知文件載體

1.2.1 文本文件

為了便于視障人士的摸讀,國(guó)家通用盲文規(guī)定在漢字語(yǔ)句轉(zhuǎn)化為盲文點(diǎn)位前,必須經(jīng)過(guò)分詞連寫處理,以提高視障人士理解語(yǔ)句的效率.例如,漢字語(yǔ)句“天氣涼了,樹葉黃了.”分詞連寫處理后,改為“天氣_涼_了_,_樹葉_黃_了_._”,“_”為空格表示空方盲文,占有6 個(gè)位.

文本文件就是由分詞連寫處理后的漢字語(yǔ)句組成,承載了視障人士學(xué)習(xí)盲文的文字和語(yǔ)音信息.盲文學(xué)習(xí)機(jī)讀取某一文本文件的語(yǔ)句,比如“瑞金_城外_有個(gè)”,就可以讓用戶在液晶屏上看到文字,并聽到此語(yǔ)句的朗讀聲音.

1.2.2 點(diǎn)序文件

一個(gè)盲文點(diǎn)字由3 行2 列的盲文點(diǎn)位組成,稱為一方,占有6 個(gè)位,可組合出64 種盲文二進(jìn)制點(diǎn)序.盲文二進(jìn)制點(diǎn)序由“0”和“1”表示,“0”代表盲文點(diǎn)位不凸起,“1”代表盲文點(diǎn)位凸起,比如,空方的盲文二進(jìn)制點(diǎn)序?yàn)椤?00000”,滿方的盲文二進(jìn)制點(diǎn)序?yàn)椤?11111”.通常,一個(gè)漢字轉(zhuǎn)化為盲文點(diǎn)位,需要二方,分別表示聲母和韻母,占有12 個(gè)位.例如,“盲”的拼音是“mang”,聲母“m”的盲文二進(jìn)制點(diǎn)序?yàn)椤?01100”,韻母“ang”的盲文二進(jìn)制點(diǎn)序?yàn)椤?11001”,組合為“101100011001”.然而,也有一些漢字轉(zhuǎn)化為盲文點(diǎn)位,只需要一方,占有6 個(gè)位.例如,“師”的拼音是“shi”,屬于整體認(rèn)讀音節(jié),只需要一方,其盲文二進(jìn)制點(diǎn)序?yàn)椤?00011”.此外,有的漢字符號(hào)為轉(zhuǎn)化盲文點(diǎn)位,需要二方,比如,“》”的盲文二進(jìn)制點(diǎn)序?yàn)椤?01001010000”,然而,也有一些漢字符號(hào)為轉(zhuǎn)化盲文點(diǎn)位,只需要一方.

點(diǎn)序文件就是由漢字轉(zhuǎn)化為盲文點(diǎn)位的盲文二進(jìn)制點(diǎn)序組成,承載了視障人士學(xué)習(xí)盲文的觸覺(jué)信息.盲文學(xué)習(xí)機(jī)讀取某一點(diǎn)序文件的點(diǎn)序,比如“111 110 011 011”,就可以讓用戶在液晶屏上看到盲文點(diǎn)位圖形,指尖觸覺(jué)感知到此盲文點(diǎn)位.

1.3 多感知信息的內(nèi)容匹配

從1.2 節(jié)可知,漢字轉(zhuǎn)化為盲文二進(jìn)制點(diǎn)序具有位數(shù)不確定性的現(xiàn)象,這導(dǎo)致了文本文件和點(diǎn)序文件存在位數(shù)不匹配問(wèn)題.例如,盲文二進(jìn)制點(diǎn)序120 位可以對(duì)應(yīng)不同字節(jié)數(shù)目的漢字語(yǔ)句,如圖2所示;同樣,20 個(gè)字節(jié)數(shù)目的漢字語(yǔ)句也可以對(duì)應(yīng)不同位數(shù)的盲文二進(jìn)制點(diǎn)序,如圖3所示.如果不能解決這一問(wèn)題,盲文學(xué)習(xí)機(jī)就會(huì)輸出文字、語(yǔ)音和盲文點(diǎn)位內(nèi)容不相同的信息,使得視障人士無(wú)法正確學(xué)習(xí)盲文.

圖2 盲文二進(jìn)制點(diǎn)序120 位可以對(duì)應(yīng)不同字節(jié)數(shù)的漢字語(yǔ)句

圖3 漢字語(yǔ)句20 個(gè)字節(jié)可以對(duì)應(yīng)不同位數(shù)的盲文二進(jìn)制點(diǎn)序

另外,依據(jù)國(guó)家通用盲文規(guī)定,一個(gè)漢字的盲文二進(jìn)制點(diǎn)序不能分行呈現(xiàn),即聲母和韻母的盲文二進(jìn)制點(diǎn)序要連續(xù);一個(gè)詞語(yǔ)和一個(gè)符號(hào)的盲文二進(jìn)制點(diǎn)序也不能分行呈現(xiàn),以保證盲文摸讀的連貫性.所以,文本文件和點(diǎn)序文件也要滿足這一規(guī)定.

為此,我們需要設(shè)計(jì)一種文字、聲音和盲文點(diǎn)位的多感知信息匹配算法,能夠?qū)崿F(xiàn)文本文件和點(diǎn)序文件的內(nèi)容相互對(duì)應(yīng),使得盲文學(xué)習(xí)機(jī)輸出相同內(nèi)容的視覺(jué)刺激、聽覺(jué)刺激和觸覺(jué)刺激,幫助視障人士正確且高效地學(xué)習(xí)盲文.

2 多感知信息的匹配算法設(shè)計(jì)

觀察漢字語(yǔ)句的文本文件和對(duì)應(yīng)的盲文二進(jìn)制點(diǎn)序文件,如圖4所示,我們發(fā)現(xiàn)文本文件以空格“_”字符切分,點(diǎn)序文件以空方“000000”切分.當(dāng)文本文件中空格的數(shù)目與點(diǎn)序文件中空方的數(shù)目相等時(shí),文本文件和點(diǎn)序文件的內(nèi)容相同.這一特征為實(shí)現(xiàn)多感知信息匹配算法提供了依據(jù).

圖4 文本文件中空格的數(shù)目與點(diǎn)序文件中空方的數(shù)目

盲文學(xué)習(xí)機(jī)的點(diǎn)顯裝置共有120 個(gè)觸點(diǎn),每次最多可以顯示20 方盲文.為了盡可能利用這120 個(gè)觸點(diǎn)顯示更多方盲文,多感知信息匹配算法從文本文件中讀取37 個(gè)字節(jié),從點(diǎn)序文件中讀取126 字節(jié),進(jìn)行文本文件和點(diǎn)序文件的內(nèi)容匹配處理.這里,37 個(gè)字節(jié)文本是預(yù)設(shè)值,已足夠匹配點(diǎn)序文件中內(nèi)容相同的126 字節(jié).經(jīng)過(guò)仔細(xì)分析,信息匹配算法需處理4 種情況:1) 第20 方和第21 方均不是空方;2)第20 方是空方但第21 方不是空方;3)第20 方不是空方但第21 方是空方;4)第20 方和第21 方都是空方.

情況1.第20 方和第21 方均不是空方.

此時(shí),第20 方與第21 方構(gòu)成了一個(gè)字(詞或符號(hào)).如果信息匹配算法保留第20 方盲文,會(huì)導(dǎo)致一個(gè)字(詞或符號(hào))被分割,不符合國(guó)家通用盲文規(guī)定.因此,匹配算法必須把當(dāng)前126 個(gè)盲文二進(jìn)制點(diǎn)序中,舍去最后一個(gè)字(詞或符號(hào))的盲文二進(jìn)制點(diǎn)序.具體實(shí)現(xiàn)過(guò)程為:

1)點(diǎn)序文本的處理:倒序統(tǒng)計(jì)前19 方中的空方數(shù)目,記錄最后一個(gè)空方的位置,即找到最后一個(gè)字(詞或符號(hào))的位置,存儲(chǔ)該位置之前的點(diǎn)序,然后添加“000000”至120 個(gè)字節(jié)并存儲(chǔ);

2)文本文件的處理:順序存儲(chǔ)文本并統(tǒng)計(jì)空格的數(shù)目,直到文本的空格數(shù)目和點(diǎn)序的空方數(shù)目相同,然后添加空格至37 個(gè)字節(jié)并存儲(chǔ).

情況2.第20 方是空方但第21 方不是空方.

此時(shí),第20 方與第21 方不構(gòu)成一個(gè)字(詞或符號(hào)),第20 方分隔了前一個(gè)字(詞或符號(hào))和后一個(gè)字(詞或符號(hào)),符合國(guó)家通用盲文規(guī)定.具體實(shí)現(xiàn)過(guò)程為:

1)點(diǎn)序文本的處理:順序存儲(chǔ)120 個(gè)字節(jié)的盲文二進(jìn)制點(diǎn)序,并統(tǒng)計(jì)前20 方中的空方數(shù)目.

2)文本文件的處理:順序存儲(chǔ)文本并統(tǒng)計(jì)空格的數(shù)目,直到文本的空格數(shù)目和點(diǎn)序的空方數(shù)目相同,然后添加空格至37 個(gè)字節(jié)并存儲(chǔ).

情況3.第20 方不是空方但第21 方是空方.

此時(shí),第20 方與第21 方不構(gòu)成一個(gè)字(詞或符號(hào)),第21 方分隔了前一個(gè)字(詞或符號(hào))和后一個(gè)字(詞或符號(hào)),符合國(guó)家通用盲文規(guī)定.具體實(shí)現(xiàn)過(guò)程為:

1)點(diǎn)序文本的處理:順序存儲(chǔ)120 個(gè)字節(jié)的盲文二進(jìn)制點(diǎn)序,并統(tǒng)計(jì)前20 方中的空方數(shù)目.

2)文本文件的處理:順序存儲(chǔ)文本并統(tǒng)計(jì)空格數(shù)目,直到文本的空格數(shù)目比點(diǎn)序的空方數(shù)目多一個(gè),然后添加空格至37 個(gè)字節(jié)并存儲(chǔ).

情況4.第20 方和第21 方都是空方.

此時(shí),第20 方與第21 方不構(gòu)成一個(gè)字(詞或符號(hào)).具體實(shí)現(xiàn)過(guò)程為:

1)點(diǎn)序文本的處理:順序存儲(chǔ)120 個(gè)字節(jié)的盲文二進(jìn)制點(diǎn)序,并統(tǒng)計(jì)前20 方中的空方數(shù)目.

2)文本文件的處理:順序存儲(chǔ)文本并統(tǒng)計(jì)空格數(shù)目,直到文本的空格數(shù)目和點(diǎn)序的空方數(shù)目相等,然后添加空格至37 個(gè)字節(jié)并存儲(chǔ).

信息匹配算法遍歷源文本文件和源點(diǎn)序文件,每次從源文本文件中讀取37 個(gè)字節(jié),從源點(diǎn)序文件中讀取126 字節(jié),進(jìn)行上述4 種情況的處理,找到并截取內(nèi)容相同的文本和點(diǎn)序,并存儲(chǔ)到新的文本文件和新的點(diǎn)序文件.圖5為算法的整體流程圖.

圖5 信息匹配算法流程圖

3 算法結(jié)果

3.1 實(shí)例分析

為了驗(yàn)證信息匹配算法的正確性和通用性,本節(jié)列舉了上述4 種情況的處理結(jié)果.

例子1.第20 方和第21 方均不是空方.

文本文件中漢字語(yǔ)句“第七課_《_開國(guó)大典_》_1949_年_10_月_1”中的字符“》”,在點(diǎn)序文件中第20 方和第21 方均不是空方,如圖6(a)所示.算法首先找到點(diǎn)序文件中前20 方盲文最后空格的位置(第19 方),存儲(chǔ)前19 方的二進(jìn)制點(diǎn)序,統(tǒng)計(jì)前19 方盲文中的空方數(shù)目(3 個(gè)),并把第20 方用空方填補(bǔ)且存儲(chǔ);然后,算法順序存儲(chǔ)文本文件中的字符并統(tǒng)計(jì)空格數(shù)目,直到空格數(shù)目與空方數(shù)目相等(“典”后面的空格),再添加空格至37 個(gè)字節(jié)且存儲(chǔ).信息匹配算法處理后的結(jié)果,如圖6(b)所示.

圖6 算法處理第20 方和第21 方均不為空方的例子

例子2.第20 方是空方但第21 方不是空方.

文本文件中漢字語(yǔ)句“秋天_的_夜晚_,_月亮_升_起來(lái)_了_,_從”,在點(diǎn)序文件中第20 方是空方但第21 方不是空方,如圖7(a)所示.算法首先找到點(diǎn)序文件中前20 方盲文最后空格的位置(第20 方),存儲(chǔ)前20 方的二進(jìn)制點(diǎn)序,統(tǒng)計(jì)前20 方盲文中的空方數(shù)目(6 個(gè));然后,算法順序存儲(chǔ)文本文件中的字符并統(tǒng)計(jì)空格數(shù)目,直到空格數(shù)目(6 個(gè))與空方數(shù)目相等(“升”后面的空格),并添加空格至37 個(gè)字節(jié)且存儲(chǔ).信息匹配算法處理后的結(jié)果,如圖7(b)所示.

圖7 算法處理第20 方是空方但第21 方不是空方的例子

例子3.第20 方不是空方但第21 方是空方.

文本文件中漢字語(yǔ)句“那邊_升_起來(lái)_了_._是_在_洱海_里_淘洗”,在點(diǎn)序文件中第20 方不是空方且第21 方是空方,如圖8(a)所示.算法首先順序存儲(chǔ)120 個(gè)字節(jié)的盲文二進(jìn)制點(diǎn)序,并統(tǒng)計(jì)前20 方中的空方數(shù)目(5 個(gè));然后順序存儲(chǔ)文本并統(tǒng)計(jì)空格的數(shù)目,直到文本的空格數(shù)(6 個(gè))比點(diǎn)序的空方數(shù)(5 個(gè))多一個(gè),再添加空格至37 個(gè)字節(jié)并存儲(chǔ).信息匹配算法處理后的結(jié)果,如圖8(b)所示.

圖8 算法處理第20 方不是空方且第21 方是空方的例子

例子4.第20 方和第21 方都是空方.

文本文件中漢字語(yǔ)句“數(shù)不清_的_雨點(diǎn)_.__太陽(yáng)_從_彩云_里_升”,在點(diǎn)序文件中第20 方和第21 方都是空方,如圖9(a)所示.算法順序存儲(chǔ)120 個(gè)字節(jié)的盲文二進(jìn)制點(diǎn)序,并統(tǒng)計(jì)前20 方中的空方數(shù)目(4 個(gè)),然后順序存儲(chǔ)文本并統(tǒng)計(jì)空格的數(shù)目,直到文本的空格數(shù)(4 個(gè))和點(diǎn)序的空方數(shù)相等,然后添加空格至37 個(gè)字節(jié)并存儲(chǔ).信息匹配算法處理后的結(jié)果,如圖9(b)所示.

圖9 算法處理第20 方和第21 方均為空方的例子

通過(guò)這4 個(gè)實(shí)例分析,信息匹配算法能夠正確匹配文本文件和點(diǎn)序文件的內(nèi)容,輸出相同內(nèi)容的文字、語(yǔ)音和盲文點(diǎn)位信息.

3.2 盲文學(xué)習(xí)機(jī)的多感知信息呈現(xiàn)

我們把經(jīng)過(guò)信息匹配算法處理后的新文本文件和新點(diǎn)序文件,存入盲文學(xué)習(xí)機(jī)的SD 卡,測(cè)試盲文學(xué)習(xí)機(jī)的輸出結(jié)果.

盲文學(xué)習(xí)機(jī)能夠輸出相同內(nèi)容的視覺(jué)刺激、聽覺(jué)刺激和觸覺(jué)刺激,幫助視障人士正確且高效地學(xué)習(xí)盲文.如圖10所示,LCD 液晶屏顯示出“詠鵝(唐)駱賓王”的文字和盲文點(diǎn)位圖形;語(yǔ)音合成芯片播報(bào)出“詠鵝(唐)駱賓王”的語(yǔ)音,點(diǎn)顯裝置生成出對(duì)應(yīng)的盲文點(diǎn)位,提供指尖觸覺(jué)感知摸讀.

圖10 盲文學(xué)習(xí)機(jī)的輸出結(jié)果

4 盲文學(xué)習(xí)效果評(píng)價(jià)實(shí)驗(yàn)

本實(shí)驗(yàn)經(jīng)過(guò)浙江理工大學(xué)心理委員會(huì)批準(zhǔn),招募了20 名被試,10 男,10 女,年齡處于10～20 歲之間,均為視力殘余人士.被試均掌握漢語(yǔ)拼音和阿拉伯?dāng)?shù)字,實(shí)驗(yàn)之前沒(méi)有任何盲文學(xué)習(xí)的經(jīng)驗(yàn),沒(méi)有做過(guò)類似實(shí)驗(yàn).為了保證實(shí)驗(yàn)材料的學(xué)習(xí)難度相近并且避免在短期學(xué)習(xí)后表現(xiàn)出地板效應(yīng)[13],每組實(shí)驗(yàn)材料的盲文均占一方盲文字.我們選取54 個(gè)漢語(yǔ)拼音和6 個(gè)阿拉伯?dāng)?shù)字的盲文,分成數(shù)量相等的6 組,每組10 個(gè)盲文,且每組實(shí)驗(yàn)材料的內(nèi)容由2 個(gè)兩點(diǎn)盲文,4 個(gè)三點(diǎn)盲文,3 個(gè)四點(diǎn)盲文和1 個(gè)5 點(diǎn)盲文組成.

實(shí)驗(yàn)?zāi)康氖翘骄恳曈X(jué)刺激、聽覺(jué)刺激、觸覺(jué)刺激對(duì)盲文學(xué)習(xí)效果的貢獻(xiàn)程度.被試在視、聽、觸這3 種自變量的不同組合下,借助盲文學(xué)習(xí)機(jī)學(xué)習(xí)實(shí)驗(yàn)材料內(nèi)的盲文,學(xué)習(xí)完畢后進(jìn)行測(cè)試.根據(jù)薛紅莉等人的實(shí)驗(yàn)[14],本實(shí)驗(yàn)將學(xué)習(xí)時(shí)間設(shè)定為8 分鐘.

實(shí)驗(yàn)的因變量為回答的正確率;自變量有3 個(gè),分別為視覺(jué)、聽覺(jué)和觸覺(jué),均為被試內(nèi)變量.每個(gè)自變量都有兩個(gè)水平,分別是有和無(wú).理論上,3 個(gè)自變量有8 種組合條件,但是如果只有盲文點(diǎn)位的觸覺(jué)刺激,被試無(wú)法建立盲文點(diǎn)位與普通文字的映射關(guān)系,無(wú)法在這種學(xué)習(xí)條件下學(xué)習(xí)盲文.此外,如果不借助視覺(jué)、聽覺(jué)和觸覺(jué)的刺激,被試也無(wú)法學(xué)習(xí)盲文.因此,實(shí)驗(yàn)共有6 種學(xué)習(xí)條件:視覺(jué)學(xué)習(xí)盲文,聽覺(jué)學(xué)習(xí)盲文,視覺(jué)和觸覺(jué)學(xué)習(xí)盲文,聽覺(jué)和觸覺(jué)學(xué)習(xí)盲文,聽覺(jué)和視覺(jué)學(xué)習(xí)盲文,視覺(jué)、聽覺(jué)和觸覺(jué)學(xué)習(xí)盲文.

針對(duì)本實(shí)驗(yàn)的6 種學(xué)習(xí)條件,分成兩種情況進(jìn)行方差分析:(1)以聽覺(jué)學(xué)習(xí)盲文為對(duì)照組,分析視覺(jué)和觸覺(jué)對(duì)于盲文學(xué)習(xí)的影響;(2)以視覺(jué)為對(duì)照組,分析聽覺(jué)和觸覺(jué)對(duì)于盲文學(xué)習(xí)的影響.使用雙側(cè)t 檢驗(yàn),分別對(duì)視覺(jué)和觸覺(jué)的交互項(xiàng),聽覺(jué)和觸覺(jué)的交互項(xiàng)進(jìn)行兩兩比較.當(dāng)P＜0.05 時(shí)認(rèn)為差異具有統(tǒng)計(jì)學(xué)差異.

表1羅列了6 種學(xué)習(xí)條件下盲文學(xué)習(xí)的正確率.以聽覺(jué)學(xué)習(xí)盲文為對(duì)照組:1)視覺(jué)因素的主效應(yīng)極其顯著[F(1,76)=486.13,P＜0.001],說(shuō)明視覺(jué)刺激對(duì)學(xué)習(xí)盲文的效率有影響;2) 觸覺(jué)因素的主效應(yīng)極其顯著[F(1,76)=96.34,P＜0.001],說(shuō)明觸覺(jué)刺激對(duì)學(xué)習(xí)盲文的效率有影響;3)視覺(jué)和觸覺(jué)的交互效應(yīng)同樣極其顯著[F(1,76)=14.75,P＜0.001].因此,我們需要對(duì)視覺(jué)和觸覺(jué)交互項(xiàng)進(jìn)行兩兩比較.

表1 視力殘余人士學(xué)習(xí)盲文正確率(%)

如圖11所示,固定觸覺(jué)因素考察視覺(jué)因素的效應(yīng),成對(duì)比較結(jié)果顯示視覺(jué)因素對(duì)于盲文學(xué)習(xí)的效率有極其顯著影響(P＜0.001).固定視覺(jué)因素,考察觸覺(jué)因素的效應(yīng),成對(duì)比較結(jié)果顯示觸覺(jué)因素對(duì)于盲文學(xué)習(xí)的效率也有極其顯著影響(P＜0.001).在聽觸學(xué)習(xí)條件下,加入視覺(jué)因素,對(duì)盲文學(xué)習(xí)效率有明顯提升,正確率均值提升了(45.5±2.5)%.因此,在聽覺(jué)因素存在的前提下,視覺(jué)因素和觸覺(jué)因素的交互作用對(duì)于盲文學(xué)習(xí)有促進(jìn)作用.

圖11 視覺(jué)和觸覺(jué)因素對(duì)盲文學(xué)習(xí)效果的影響(聽覺(jué)學(xué)習(xí)為對(duì)照組)

以視覺(jué)學(xué)習(xí)盲文為對(duì)照組:(1)聽覺(jué)因素的主效應(yīng)極其顯著[F(1,76)=43.07,P＜0.001],說(shuō)明聽覺(jué)刺激對(duì)學(xué)習(xí)盲文的效率有影響;(2)觸覺(jué)因素的主效應(yīng)極其顯著[F(1,76)=156.98,P＜0.001],說(shuō)明觸覺(jué)刺激對(duì)學(xué)習(xí)盲文的效率有影響;(3)聽覺(jué)和觸覺(jué)的交互效應(yīng)同樣顯著[F(1,76)=4.36,P＜0.05].因此,我們需要對(duì)聽覺(jué)和觸覺(jué)交互項(xiàng)進(jìn)行兩兩比較.

如圖12所示,固定觸覺(jué)因素考察聽覺(jué)因素的效應(yīng),結(jié)果顯示在沒(méi)有觸覺(jué)因素的條件下,聽覺(jué)因素對(duì)于盲文學(xué)習(xí)的效率有顯著影響(P＜0.05).在有觸覺(jué)因素的條件下,聽覺(jué)因素對(duì)于盲文學(xué)習(xí)的效率的影響是極其顯著的(P＜0.001).在固定聽覺(jué)因素考察觸覺(jué)因素的效應(yīng),成對(duì)比較結(jié)果顯示觸覺(jué)因素對(duì)于盲文學(xué)習(xí)的效率是有顯著影響(P＜0.001).在視聽學(xué)習(xí)條件下,加入觸覺(jué)因素,對(duì)盲文學(xué)習(xí)效率有明顯提升,正確率均值提升了(24.5±2.4)%.因此,在視覺(jué)因素存在的前提下,聽覺(jué)因素和觸覺(jué)因素的交互作用對(duì)于盲文學(xué)習(xí)有促進(jìn)作用.

圖12 聽覺(jué)和觸覺(jué)因素對(duì)盲文學(xué)習(xí)效果的影響(視覺(jué)學(xué)習(xí)為對(duì)照組)

上述實(shí)驗(yàn)結(jié)果表明:(1)在聽覺(jué)刺激學(xué)習(xí)條件下,加入視覺(jué)刺激和觸覺(jué)刺激都對(duì)盲文學(xué)習(xí)效果產(chǎn)生促進(jìn)作用,其中,視覺(jué)刺激對(duì)盲文學(xué)習(xí)效果的提升更多;(2)在視覺(jué)刺激學(xué)習(xí)條件下,加入聽覺(jué)刺激和觸覺(jué)刺激都對(duì)盲文學(xué)習(xí)的效果產(chǎn)生促進(jìn)作用,其中,觸覺(jué)刺激對(duì)盲文學(xué)習(xí)效果的提升更多;(3)在視覺(jué)刺激、聽覺(jué)刺激和觸覺(jué)刺激的共同作用下,盲文學(xué)習(xí)效果的提升最好.

5 總結(jié)

本文提出了一種多感知信息匹配算法,能夠輸出文字、聲音和盲文點(diǎn)位內(nèi)容相同的信息.多感知通道的盲文學(xué)習(xí)機(jī)可以同步提供視覺(jué)、聽覺(jué)和觸覺(jué)的刺激,輔助視障人士高效且無(wú)障礙的學(xué)習(xí)盲文.

對(duì)于視力殘余人士,在盲文學(xué)習(xí)過(guò)程中,加入視覺(jué)刺激,比如,特大號(hào)字體顯示盲文點(diǎn)位,是很有必要的,可以顯著提升他們的盲文學(xué)習(xí)效率.然而,對(duì)于只能依靠聽覺(jué)和觸覺(jué)的全盲人士,學(xué)習(xí)盲文并不是一件容易的事,需要較長(zhǎng)時(shí)間的學(xué)習(xí)和反復(fù)強(qiáng)化訓(xùn)練.不幸的是,僅在聽覺(jué)刺激下,盲文學(xué)習(xí)效率是很低的,人們很難學(xué)會(huì)盲文,因此,語(yǔ)音APP 學(xué)習(xí)盲文的方法,近似于安慰劑,并無(wú)多大實(shí)效.

經(jīng)過(guò)短期記憶的實(shí)驗(yàn)研究,本文提出的視聽觸同步刺激的數(shù)字化盲文學(xué)習(xí)方法,可以有效提高盲文學(xué)習(xí)效率,但是,有必要進(jìn)一步探究此學(xué)習(xí)方式對(duì)于盲文學(xué)習(xí)長(zhǎng)期記憶的影響.