用于盲人的圖像振動觸覺顯示系統(tǒng)設(shè)計

吳 涓 宋振中 吳偉雄 李蒞圓 宋愛國

(東南大學(xué)儀器科學(xué)與工程學(xué)院，南京 210096)

視覺障礙人士由于喪失了視覺，獲取信息主要依靠觸覺和聽覺，對于圖形圖像類信息，目前很難有效感知.如何讓盲人獲得一定程度的圖像信息，是研究者們廣泛關(guān)注的問題.觸覺是視覺障礙人士獲取環(huán)境信息的重要方式.通過觸覺刺激能夠獲得的環(huán)境信息除了直接的本體觸覺感受如紋理、冷熱、柔順性等，還能依靠人腦對各種觸覺刺激的解釋加工獲得感知對象的空間方位、距離、速度、形狀，甚至圖像、語義等信息，對觸覺刺激按照一定的規(guī)定進(jìn)行組合就能形成豐富的“觸覺語言”，實(shí)現(xiàn)信息的觸覺表達(dá)和感知［1］.

為了將圖像信息轉(zhuǎn)換為觸覺信息，國外研究者研制了各種陣列式的觸覺刺激發(fā)生裝置，能實(shí)現(xiàn)像素空間和觸覺陣列的映射.此類刺激單元的作用方式包括振動觸覺刺激、電刺激、射流力刺激等［2］.典型的如美國Bach-Y-Rita等研究的視覺-觸覺替代裝置(TVSS)［3］，這種 20×20的點(diǎn)陣裝置將壓力刺激作用于人的背部，圖像的亮度變化與振動觸點(diǎn)的振動相一致.2010年，英國國防部推出了一款名為Brain Port的裝置［4］，該裝置會將拍攝到的黑白影像變成電子脈沖，傳到盲人使用者口含的感應(yīng)器中，由脈沖信號刺激舌頭表面的神經(jīng)，并由感應(yīng)器上的電極傳到大腦，大腦就會將感知到的刺激轉(zhuǎn)化成一幅低像素的圖像，從而讓盲人“看到”各種物體的線條及形狀.在國內(nèi)，帥立國等［5］研制了射流觸覺顯示器，通過射流點(diǎn)陣中射流水柱施加在用戶皮膚表面的壓力，讓用戶感知觸覺圖文信息［5］.

為了實(shí)現(xiàn)圖像信息的準(zhǔn)確觸覺表達(dá)，同時減少硬件系統(tǒng)本身的體積和復(fù)雜度，本文提出了一種由8×8個盤片式振動電機(jī)組成的振動觸覺陣列，基于ARM系統(tǒng)設(shè)計了圖像信息的采集、輪廓特征提取和動態(tài)顯示的振動觸覺編碼方法及硬件驅(qū)動電路.該系統(tǒng)能在有限觸覺點(diǎn)陣空間內(nèi)，產(chǎn)生按圖像二維輪廓特征分布并隨時間變化的振動觸覺刺激，能較為準(zhǔn)確、快速地顯示物體輪廓特征.該裝置具有體積小和控制簡單的優(yōu)點(diǎn).

1 硬件結(jié)構(gòu)和實(shí)現(xiàn)

圖像的振動觸覺顯示首先是通過攝像頭采集圖片信息，然后通過圖像處理提取環(huán)境物體的輪廓特征，再根據(jù)輪廓的二維空間分布特性控制振動電機(jī)點(diǎn)陣中的振動單元按照一定頻率、時間順序和節(jié)奏產(chǎn)生振動觸覺刺激作用于人背部.由于該系統(tǒng)需要直接佩戴于人身體上，因此需具有體積小、功耗低、便于攜帶等特點(diǎn).基于以上考慮，本文設(shè)計了基于ARM11的圖像處理和電機(jī)驅(qū)動控制系統(tǒng).該系統(tǒng)選用ARMSYS6410嵌入式開發(fā)平臺，并根據(jù)功能需求對其硬件資源進(jìn)行配置.軟件部分基于WinCE嵌入式操作系統(tǒng)，采用Platform Builder 6.0集成開發(fā)環(huán)境來定制滿足要求的Windows CE 6.0操作系統(tǒng).圖像處理算法采用ANSI C語言編寫.該系統(tǒng)的硬件組成見圖1，包括圖像采集模塊、圖像處理與振動編碼模塊以及觸覺表達(dá)模塊3部分.

圖1 圖像的觸覺編碼和表達(dá)系統(tǒng)硬件結(jié)構(gòu)框圖

振動觸覺刺激單位由8×8振動電機(jī)陣列組成，振動電機(jī)選用小型振動電機(jī)JK-21260.振動電機(jī)最大工作電壓5 V，最大工作電流100 mA.ARM11微控芯片通過IO口擴(kuò)展，經(jīng)光耦隔離、電流放大后驅(qū)動64個振動電機(jī).

1.1 圖像采集

由于開發(fā)板移植了嵌入式操作系統(tǒng)WinCE，因此系統(tǒng)選用了可用于WinCE系統(tǒng)下并具有中星微301鎂光芯片的USB攝像頭，通過調(diào)用USB攝像頭驅(qū)動的接口函數(shù)實(shí)現(xiàn)圖像采集功能.圖像采集和處理流程如圖2所示.

圖2 圖像特征提取流程圖

圖像采集時，首先調(diào)用capInitCamera函數(shù)初始化攝像頭并返回當(dāng)前活動的攝像頭數(shù)目，利用capSetVideoFormat函數(shù)設(shè)置當(dāng)前視頻格式和尺寸模式(本系統(tǒng)設(shè)置為RGB24和320×240像素)，然后調(diào)用capStartCamera函數(shù)啟動攝像頭，借助capGrabFrame函數(shù)獲取一幀圖像并以bmp格式保存于緩存中.結(jié)束圖像采集時先調(diào)用capStopCamera函數(shù)停止攝像頭捕獲視頻，再調(diào)用 cap-CloseCamera函數(shù)關(guān)閉所有活動的攝像頭.實(shí)際圖像采集狀態(tài)如圖3所示.

圖3 圖像采集實(shí)物圖

1.2 圖像特征提取

形狀特征是反映圖像中物體最直接的視覺特征，要以觸覺方式呈現(xiàn)圖像信息，首先要提取圖像的邊緣輪廓信息.目前基于PC機(jī)上實(shí)現(xiàn)的圖像輪廓特征提取方法很多，但大多不能滿足實(shí)時性和小型化的要求.為此，本文采用效果較好且運(yùn)行效率較高的圖像處理算法，在Platform Builder 6.0集成開發(fā)環(huán)境上，利用ANSI C語言實(shí)現(xiàn)了適用于便攜式系統(tǒng)的輪廓特征提取程序，該程序基本原理和流程如下.

1.2.1 圖像預(yù)處理

為了保證運(yùn)算速度，同時不影響處理后的效果，攝像頭采集的原始圖片尺寸設(shè)為320×240像素，并以bmp格式保存于緩沖區(qū)中.RGB彩色圖進(jìn)行灰度處理后轉(zhuǎn)換為灰度圖.在提取圖片輪廓進(jìn)行邊緣檢測之前，通常需要首先進(jìn)行一定程度的降噪，以剔除圖像本身以及傳輸帶來的噪聲信號.常用的圖像濾波方法有均值濾波、中值濾波、Laplace濾波等.其中，中值濾波是一種實(shí)現(xiàn)簡單而有效的圖像濾波方法，首先取N×N大小的窗口(N為奇數(shù))，然后對圖像中位于該窗口內(nèi)像素的灰度值進(jìn)行排序，取中值作為窗口中心像素的灰度值.在考慮保證一定信噪比同時又保存邊緣特性的要求下，本系統(tǒng)采用3×3的中值濾波器.

1.2.2 邊緣檢測

圖像輪廓一般被認(rèn)為是像素鄰域內(nèi)灰度劇烈變化的部分.經(jīng)典的邊緣檢測方法通過構(gòu)造各種邊緣檢測算子，度量相鄰像素的變化程度.常用的邊緣檢測算子有 Sobel算子、Prewitt算子、Canny算子等.考慮到Sobel算子具有邊緣檢測效果好、實(shí)現(xiàn)簡單的優(yōu)點(diǎn)，本系統(tǒng)選用Sobel算子用于邊緣檢測.邊緣檢測是一個圖像二值化的過程.

閾值的設(shè)定是影響邊緣檢測效果的另外一個關(guān)鍵因素.本文選用Otsu法來確定閾值［6］，該方法以圖像的一維直方圖為依據(jù)，根據(jù)目標(biāo)和背景的類間方差最大為準(zhǔn)則計算閾值.基本思想是把圖像中物體邊緣輪廓作為目標(biāo)，其余部分作為背景，利用方差統(tǒng)計兩者之間的分散度.方差值越大，說明輪廓與背景間差別越大，當(dāng)部分目標(biāo)錯分為背景或部分背景錯分為目標(biāo)都會導(dǎo)致方差變小，因此使背景與輪廓之間的類間方差σ2B最大的分割意味著錯分概率最小，這樣可取得較好的閾值t*.該算法既能保證運(yùn)算速度，又能滿足一定的誤識率和低拒識率要求.

閾值計算的具體流程為:設(shè)一幅圖像的灰度等級分為1，2，…，L，處在灰度級i的所有像素點(diǎn)個數(shù)用fi表示，總像素個數(shù)用N表示，則有N=f1+f2.若用Pi表示圖像中灰度級為i的概率，則Pi=fi/N，且.將圖像中的灰度等級按閾值t劃分為2類C0和C1，即灰度等級小于或等于t的一類C0={1，2，…，t}，和灰度等級大于 t的一類 C1={t+1，t+2，…，L}.2 類灰度等級出現(xiàn)的概率分布為

2類的灰度均值為

對于任意的t值，下列等式成立:ω0+ω1=1，ω0u0+ω1u1=uL.

利用該方法得到閾值t*后，將像素灰度值小于等于t*的賦值0，而大于t*的賦值255，就可實(shí)現(xiàn)圖像的二值化，從而實(shí)現(xiàn)圖像邊緣檢測.

1.3 振動觸覺編碼

在振動觸覺陣列上顯示圖像輪廓最常見的形式是直接將像素空間和觸覺電機(jī)點(diǎn)陣一一對應(yīng).像素矩陣灰度值為255的點(diǎn)，對應(yīng)的電機(jī)狀態(tài)為振動“on”，像素矩陣中為0的點(diǎn)，對應(yīng)的振動單元狀態(tài)為“off”，輪廓的振動單元點(diǎn)同時振動［7］.目前，振動刺激陣列的規(guī)模由于受振動單元本身體積以及人接觸區(qū)域限制，遠(yuǎn)小于像素規(guī)模(電機(jī)陣列規(guī)模通常小于50×50，而像素規(guī)模通常大于100×100，本設(shè)計選用的圖片像素為320×240).因此，將像素陣列映射到振動陣列時，需要進(jìn)行一定比例的縮小，這樣所能顯示的圖像分辨率就降低了.實(shí)驗(yàn)研究表明，上述振動顯示模式下，受試者往往無法有效識別物體輪廓特性［8］.為此，本文提出了一種動態(tài)觸覺編碼的方法，這種編碼利用人對變化的觸覺刺激較為敏感的特性，讓對應(yīng)于物體邊緣位置上的振點(diǎn)以順時針的時序依次振動，電機(jī)陣列以一定的刷新頻率循環(huán)掃描.其原理如圖4所示.

圖4 電機(jī)陣列振動空間時間分布圖

假設(shè)物體輪廓空間映射到電機(jī)陣列后的形狀為如圖4所示的多邊形，將這些參與輪廓顯示的振動電機(jī)按照順時針方向依次編號為1，2，3，…，16.則實(shí)際1～16號電機(jī)在時序上的振動狀態(tài)如圖5所示，每個電機(jī)持續(xù)振動時間為0.2 s，間隔0.1 s觸發(fā)下一個電機(jī)的振動，直至所有位于輪廓邊緣上的電機(jī)都被逐個掃描到.該方法具有同時觸發(fā)的振動電機(jī)少、參數(shù)調(diào)節(jié)方便、能耗小的優(yōu)點(diǎn).

圖5 電機(jī)振動時序圖

為實(shí)現(xiàn)沿物體輪廓按順序觸發(fā)電機(jī)的振動觸覺刺激模式，本文引入“鏈碼”的方法對輪廓電機(jī)進(jìn)行隊列排序.遍歷振動電機(jī)陣列，將位于輪廓上的電機(jī)按順時針方向自動編成一個有方向性的鏈表.選用8-鄰域鏈碼，首先按照從左至右、從上至下的順序查找輪廓起點(diǎn);然后按照右、右下、下、左下的順序查找第2個輪廓點(diǎn);最后按照右、右下、下、左下、左、左上、上、右上的順序查找其他輪廓點(diǎn)，直到找到輪廓起點(diǎn)為止.當(dāng)檢測到角點(diǎn)(位于圖形頂點(diǎn))時，自動標(biāo)識該振動電機(jī)，并定義不同的振動強(qiáng)度以區(qū)分形狀的轉(zhuǎn)折點(diǎn).電機(jī)的順序編碼過程如圖6所示.

圖6 輪廓鏈路的搜索示意圖

2 圖像的振動觸覺表達(dá)系統(tǒng)

振動觸覺顯示裝置實(shí)物圖和實(shí)際穿戴于人背部的效果圖如圖7(a)、(b)所示.電機(jī)水平與垂直間距均為40 mm［9］，大于人體背部振動觸覺刺激空間閾值11 mm［10］.振動電機(jī)通過黏性膠帶貼合于彈性背帶上，每個單元的空間位置可根據(jù)實(shí)際需要調(diào)整.實(shí)際使用時，USB攝像頭以30 frame/s的速度采集圖片信息，系統(tǒng)自動對圖片信息進(jìn)行輪廓特征提取，然后驅(qū)動振動電機(jī)以輪廓跟蹤方式逐個振動，顯示圖片輪廓信息.

圖7 振動觸覺顯示裝置

對20個受試者利用該觸覺振動顯示裝置進(jìn)行了圖像感知和辨識實(shí)驗(yàn).采用如圖8所示的動態(tài)振動觸覺編碼方法，讓受試者戴上眼罩和耳塞，在排除視覺和聽覺輔助的情況下，依靠振動觸覺提示，判斷和辨識所指示物體的形狀.在20個受試者均沒有佩戴過觸覺提示裝置的經(jīng)驗(yàn)且未被告知所要顯示的物體形狀的前提下，讓受試者僅依靠觸覺提示畫出其感受到的大致形狀輪廓.

圖8 圖像的特征提取及動態(tài)編碼顯示示意圖

實(shí)驗(yàn)結(jié)果表明，20個受試者利用觸覺顯示系統(tǒng)感知物體形狀時，對于輪廓封閉的物體形狀辨識率平均達(dá)到82%以上.

3 結(jié)語

本文基于嵌入式系統(tǒng)、USB攝像頭和微型振動電機(jī)陣列構(gòu)建了圖像的振動觸覺顯示系統(tǒng).該系統(tǒng)能從圖像中提取環(huán)境物體的二維輪廓特征，并將輪廓特征轉(zhuǎn)換為振動刺激信號作用于人身體，利用人的觸覺空間定位特性，使人可以感知環(huán)境物體的輪廓、形狀特征和相對位置信息.該系統(tǒng)能夠幫助視覺障礙人士以非視覺方式感知外界圖像信息，也能用于危險或者復(fù)雜環(huán)境下的信息的非視覺通訊和傳遞.該系統(tǒng)具有便攜式、體積小、安裝方便、操作簡單的優(yōu)點(diǎn).動態(tài)輪廓跟蹤的振動電機(jī)驅(qū)動模式不僅能提高觸覺顯示的真實(shí)感，還能降低能耗，簡化控制.今后，將進(jìn)一步完善信息的觸覺編碼方法，重點(diǎn)研究復(fù)雜環(huán)境下，尤其是包含曲線邊緣和多個物體的圖像的觸覺編碼方法，以擴(kuò)大系統(tǒng)的實(shí)用性和魯棒性.

References)

［1］ Kyung Ki-Uk，Son Seung-Woo，Yang Gi-Hun，et al.How to effectively display surface properties using an integrated tactile display system［C］//Proceedings of the 2005 IEEE International Conference on Robotics and Automation.Barcelona，Spain，2005:1761-1766.

［2］吳涓，宋愛國，李建清.圖像的力/觸覺表達(dá)技術(shù)研究綜述［J］.計算機(jī)應(yīng)用研究，2007，24(5):1-9.Wu Juan，Song Aiguo，Li Jianqing.Research summarization of image expression with haptic rendering［J］.Application Research of Computers，2007，24(5):1-9.(in Chinese)

［3］Bach-Y-Rita P，Collins C C，Saunders F A，et al.Vision substitution by tactile image projection［J］.Nature，1969，221(5184):963-964.

［4］包美玲.用舌頭“看”世界［EB/OL］.(2010-04-07)［2010-06-20］.http://www.qdmx.qdedu.net/jyjx1.asp?fileid=1030＆clsName=%BD%CC%D3%FD%BD%CC%D1%A7.

［5］帥立國，姜昌金，周芝庭，等.斜坡觸覺及射流觸覺顯示器技術(shù)研究［J］.測控技術(shù)，2008，27(7):64-66.Shuai Liguo，Jiang Changjin，Zhou Zhiting，et al.Ramp tactile and the study on the technology of waterjet tactile display［J］.Measurement and Control Technology，2008，27(7):64-66.(in Chinese)

［6］ Jiang C W，Etorre B.A hybrid method of chaotic particle swarm optimization and linear interior for reactive power optimization［J］.Mathematics and Computers in Simulation，2005，68(1):57-65.

［7］ Benali-Khoudja M，Hafez M，Alexandre J-M，et al.VITAL:a new low-cost vibro-tactile display system［C］//Proceedings of IEEE International Conference on Robotics and Automation.New Orleans，LA，USA，2004:721-726.

［8］Brown L M，Brewster S A，Purchase H C.Multidimensional tactons for non-visual information presentation in mobile devices［C］//Proceedings of the 5th Australasian User Interface Conference.Espoo，F(xiàn)inland，2004:15-23.

［9］Jones L A，Ray K.Localization and pattern recognition with tactile displays［C］//Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems.Reno，NV，USA，2008:33-39.

［10］ Eskildsen P，Morris A，Collins C C，et al.Simultaneous and successive cutaneous two-point threshold for vibration［J］. Psychonomic Science， 1969，14:146-147.