非言語聽覺界面在人機界面中的應用

盧秀玲

一、前言

目前人機交互界面的主流是視覺界面，這種界面只利用了人的視覺通道，易造成視覺通道信息過載，影響工作效率；同時，盲人和有視覺缺陷的用戶根本無法使用這種視覺界面。另外隨著科技的發(fā)展，可攜帶式設備的應用越來越廣泛，這種設備的顯示屏大小有限，而要呈現(xiàn)的信息量卻越來越大，這樣信息量和視覺顯示屏大小之間的矛盾也愈加突出。而聽覺界面利用了人的第二大感覺通道——聽覺，具有很多優(yōu)勢，因而聽覺界面的開發(fā)也就成為多通道用戶界面的重點。聽覺界面的優(yōu)勢具體表現(xiàn)在：聽覺界面可為盲人和有視覺缺陷的用戶使用；人對聽覺信號的檢測快于視覺信號檢測，因而采用聽覺界面將使用戶更快地發(fā)現(xiàn)錯誤從而提高操作效率；聽覺具有全向特性，用戶無需將注意集中于某一點，聲音可以很好地引起用戶注意；聽覺界面可減輕用戶的視覺負擔，避免視覺信息過載；聽覺信息與視覺信息同時提供，可使人獲得更強烈的存在感和真實感。

二、非言語聽覺界面

聽覺界面根據(jù)使用的聲音可分為兩類：言語聽覺界面和非言語聽覺界面。

言語聽覺界面是運用語音作為信息表征方式的界面形式。言語聽覺界面具有內(nèi)容明確、易學習的特點，因而語音界面已經(jīng)普遍應用于電話通訊系統(tǒng)、車載系統(tǒng)、醫(yī)療救治等特殊情況以及盲人或視力低下的特殊人群。但是人類對語言的加工是序列加工，只有聽完整句話才能理解其含義，這樣加工速度就很慢。另外，不同國家、地區(qū)之間的語言、語音不同，這也限制了語言界面的使用。

非言語聽覺界面是運用日常聲音或樂音作為信息表征方式的界面形式。聽覺界面中常見的非言語信號表征主要有聽標（auditory icon）和耳標（earcon）兩類。 聽標是為表征某一事件或屬性而采用的在日常生活中與之有關聯(lián)的聲音[1]。例如運用盤子摔碎的聲音表征刪除文件的操作。聽標因為采用了生活中的聲音表征操作，所以表征性強且易學習；它的不足是只能表征結構比較簡單的信息。聽標所采用的自然聲音，與界面操作有較強的語義聯(lián)系，恰當?shù)穆牁藭p輕用戶的認知負荷，反之不恰當?shù)穆牁巳菀自斐捎脩舻恼`解，降低工作績效，因此，聽標和操作的語義對應關系就非常重要。而實際上，人機界面的許多操作不能找到對應的日常聲音，這也限制了聽標的使用范圍。耳標“是用來表征結構化信息的樂音，是計算機用戶界面中向用戶提供計算機客體、操作或交互信息的非言語聽覺信號”[2]。耳標的基本構成元素是一種特定的短節(jié)奏音高序列（也稱motive），其基本構成因素包括[3]節(jié)奏、音高、音色、音域、力度變化。通過對上述五種屬性的操縱可產(chǎn)生眾多不同的motive以表征不同的信息。人類對音樂表征的結構化信息很容易學習，且不受音樂特長的影響，這樣耳標就可以廣泛應用到人機界面中。

三、非言語聽覺界面研究的應用

非言語聽覺界面研究早在20世紀80年代就已經(jīng)開始，其研究根據(jù)用戶視力情況分為兩類，之所以這樣區(qū)分是因為視力正常的用戶和有視覺障礙的用戶對聽覺界面的要求不同。如果視覺界面可以滿足視力正常者的需求，那么聽標、耳標主要起輔助作用，充分發(fā)揮其遠距離傳輸、易引起注意和反應快的特點，用于操作反饋。Gaver1989年提出的Sonic Finder[1]，采用聽標表征計算機圖形界面的一些操作過程，如用盤子摔碎的聲音表征文件刪除。Crease和Brewster[4]采用耳標表征計算機圖形界面的一些操作過程，如采用長度為500ms、音高為65HZ吉他低音表示操作條的終點。其研究結果表明，采用聽標和耳標可使被試的錯誤大大下降，點擊鼠標的速度加快，重復點擊率下降；喜好評價表明被試更喜愛有聽覺反饋的界面，而且并未感到聲音是噪音。

針對有視覺障礙的用戶，聽標、耳標的設計就是不僅要對操作進行反饋，還要給用戶具體的指令，這樣，聽覺界面的內(nèi)容相對就比較復雜。針對視覺受損用戶可采用聽覺獲取信息的特點，常用的計算機界面多采用一定技術將文本文件轉換成語音信息。但由于語音界面語速較慢、易造成短時記憶超負荷工作、同時又難以表征圖形等信息，Edwards提出應在視覺受損用戶的界面中加入非語言界面[5]，她采用耳標和合成語言表征文字加工過程的操作，每個圖標都賦予聲音，點擊時會發(fā)出聲響。采用純音做反饋，和弦音標識菜單，菜單包含的下級菜單的數(shù)量用和弦數(shù)表示，從左向右、從上向下音高不斷增強，由此表示方向。針對這種技術的研究表明盲人可以非常成功地在界面中定位。Mercator system[6]采用視覺界面和聽覺界面匹配的方法用聽標表征物體，耳標表征二維圖形和數(shù)學概念。如它用敲玻璃聲音表征光標在屏幕上的移動，采用木箱子的聲音表征文件夾等。采用音高表示y軸，用持續(xù)時間表示x軸，由此可表征二維圖形。采用一些樂音表征一些數(shù)學概念，如不對稱性、單調(diào)性、斜率等。對這個系統(tǒng)的研究表明被試可以很快根據(jù)聲音做出正確反應。Alty等人[7]通過耳標中音色、音高等屬性的變化實現(xiàn)了對簡單圖形的表征，如采用風琴音表征x軸，用鋼琴音表征y軸，音高表示x、y軸上數(shù)值的大小。實驗結果表明，80%的用戶幾乎無需訓練就可完成對圖形、直線等對象的識別。

四、非言語聽覺界面研究現(xiàn)狀及展望

目前，非言語聽覺界面的研究還處于方興未艾的狀態(tài)，有許多研究者逐漸意識到非言語聽覺界面的重要性，非言語聽覺界面也在一些產(chǎn)品中得到了應用，如有人將聽標、耳標用于家電產(chǎn)品中。但是現(xiàn)有的非言語聽覺界面中使用的大部曲線來對學生的背單詞情況進行測試和分類，這就符合學生的個性化需求和發(fā)展。針對大多數(shù)學習者網(wǎng)絡學習策略、自分參數(shù)都缺乏實驗依據(jù)，開發(fā)者大多按照個人的主觀審美來選擇和使用聲音，這樣開發(fā)出的聽覺界面有可能是違背工效學原則的。因而非常有必要通過實驗的方法確定聽覺界面設計的指導原則，另外非言語界面是否能夠提高工作效率還需要謹慎對待。在復雜界面的設計中，運用耳標作為基本結構，適當結合聽標是一種行之有效的方式，兩者在不同使用場合的結合方式仍需進行進一步實驗探索。

[1]Gaver，W.The SonicFinder：An interface that uses auditory icons[J].Human Computer Interaction，1989，4（1）：67-94

[2]Blattner，M.，Sumikawa，D.，Greenberg，R.Earcons and icons：Their structure and common design principles[J].Human Computer Interaction，1989，4（1）：11-44

[3]沈模衛(wèi)，白金華，陳碩等.耳標在小屏幕界面設計中的應用[J].應用心理學，2003，9（2）：35-40

[4]Crease，M.C.，&Brewster，S.A.Making progress with sounds-The design and evaluation of audio progress bar[C].Paper presented at the Proceedings of ICAD′98，Glasgow，UK，1998

[5]Edwards，A.D.N.Soundtrack：An auditory interface for blind users[J].Human Computer Interaction，1989，4（1）：45-66

[6]Mynatt，E.D.，&Weber，G.Nonvisual Presentation of Graphical User Interfaces：Contrasting Two Approaches[C].Paper presented at the Proceedings of ACM CHI′94，Boston，Ma，1994

[7]1Alty，J.，&Rigas，D.Communicating graphical information to blind users using music：the role of context[C].Paper presented at the Proceedings of ACM CHI′98，Los Angeles，CA，1998