面向混合現(xiàn)實(shí)的人機(jī)界面設(shè)計(jì)研究

顏克彤， 邵 將， 劉 珂

（中國(guó)礦業(yè)大學(xué)， 江蘇 徐州 221116）

0 引言

近年來(lái)， 隨著計(jì)算機(jī)技術(shù)和信息控制理論的發(fā)展與突破， 基于混合現(xiàn)實(shí) （Mixed Reality， MR） 技術(shù)的交互界面逐漸成為研究熱點(diǎn)， 廣泛應(yīng)用于醫(yī)學(xué)圖像、 航空航天、 控制系統(tǒng)、 教育教學(xué)等領(lǐng)域。 借助混合現(xiàn)實(shí)系統(tǒng)信息， 既能有效提高系統(tǒng)性能， 也能擴(kuò)展用戶的認(rèn)知能力， 輔助人類決策， 提高解決問(wèn)題的能力。 在混合現(xiàn)實(shí)系統(tǒng)中， 多源、 實(shí)時(shí)、 動(dòng)態(tài)的海量信息最終是以交互界面的形式呈現(xiàn)給用戶， 交互界面信息的可視化呈現(xiàn)， 對(duì)于混合現(xiàn)實(shí)系統(tǒng)的功效、 可用性以及用戶獲取信息的效率都有著舉足輕重的作用， 已成為信息科學(xué)、 智能科學(xué)、 系統(tǒng)科學(xué)、 工效學(xué)等學(xué)科和領(lǐng)域共同關(guān)注的問(wèn)題。如何在混合現(xiàn)實(shí)界面中科學(xué)呈現(xiàn)數(shù)據(jù)信息， 使用戶更好的觀察現(xiàn)實(shí)信息、 搜索信息、 獲取信息， 更有效的實(shí)現(xiàn)信息的識(shí)別、 判斷并做出正確決策已經(jīng)成為了混合現(xiàn)實(shí)界面的可視化呈現(xiàn)研究的焦點(diǎn)問(wèn)題。 尤其在軍事領(lǐng)域、航空航天領(lǐng)域， 不僅需要用戶在復(fù)雜繁多的信息中找到目標(biāo)， 還要求精準(zhǔn)、 快速做出決策， 因此， 對(duì)混合現(xiàn)實(shí)系統(tǒng)界面進(jìn)行研究， 并提出界面信息呈現(xiàn)準(zhǔn)則與界面設(shè)計(jì)原則， 是十分必要的。

1 混合現(xiàn)實(shí)定義

提及混合現(xiàn)實(shí)， 就會(huì)想到虛擬現(xiàn)實(shí) （Virtual Reality，VR）和增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR），三者相互區(qū)別又相互聯(lián)系。 混合現(xiàn)實(shí)是在虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)基礎(chǔ)上的進(jìn)一步發(fā)展。 虛擬現(xiàn)實(shí)呈現(xiàn)的是一個(gè)三維的虛擬空間， 用戶看到的是虛擬的空間。 增強(qiáng)現(xiàn)實(shí)是把虛擬信息疊加到真實(shí)空間內(nèi)， 既有虛擬空間又有真實(shí)世界， 而混合現(xiàn)實(shí)是真實(shí)世界與虛擬世界的無(wú)縫連接， 在現(xiàn)實(shí)世界、 虛擬世界和用戶之間搭起了一個(gè)交互反饋的信息回路。對(duì)于混合現(xiàn)實(shí)的定義，Milgram 等[1]提出“虛擬連續(xù)統(tǒng)一體”的概念， 解釋了虛擬現(xiàn)實(shí)、 增強(qiáng)現(xiàn)實(shí)與混合現(xiàn)實(shí)三者之間的區(qū)別與聯(lián)系， 并對(duì)MR 概念做出了定義。 在連續(xù)體的一端顯示真實(shí)環(huán)境， 在另一端顯示虛擬環(huán)境， 而MR 是在這兩個(gè)極端之間的部分。 可以看出， 混合現(xiàn)實(shí)是包含增強(qiáng)現(xiàn)實(shí)與虛擬現(xiàn)實(shí)以及之間的所有組合。

2 混合現(xiàn)實(shí)及界面相關(guān)研究

隨著混合現(xiàn)實(shí)技術(shù)的發(fā)展， 越來(lái)越多的學(xué)者針對(duì)混合現(xiàn)實(shí)展開(kāi)了相關(guān)研究。李暢等[2]針對(duì)航天員混合現(xiàn)實(shí)系統(tǒng)艙內(nèi)環(huán)境智能理解任務(wù)的需求， 構(gòu)建了一種航天員混合現(xiàn)實(shí)空間場(chǎng)景理解原型系統(tǒng)架構(gòu)， 提出了基于深度學(xué)習(xí)的空間場(chǎng)景理解方法， 并通過(guò)實(shí)驗(yàn)驗(yàn)證了方法的有效性。 李喆等[3]基于微軟HoloLens 混合現(xiàn)實(shí)設(shè)備，提出了利用混合現(xiàn)實(shí)技術(shù)的核電站設(shè)備維修輔助系統(tǒng)解決方案。張馨文[4]提出博物館混合現(xiàn)實(shí)導(dǎo)覽系統(tǒng)界面呈現(xiàn)原則，并實(shí)現(xiàn)了一套基于用戶行為引導(dǎo)功能的混合現(xiàn)實(shí)博物館導(dǎo)覽系統(tǒng)。 張旭輝等[5]借助HoloLens 設(shè)計(jì)了一種基于混合現(xiàn)實(shí)的礦用設(shè)備維修指導(dǎo)系統(tǒng)， 維修人員可通過(guò)視線跟蹤、語(yǔ)音交互、手勢(shì)識(shí)別等方式與HoloLens 交互。 紀(jì)連恩等[6]研發(fā)了一個(gè)基于混合現(xiàn)實(shí)界面的下頜運(yùn)動(dòng)仿真系統(tǒng)，使用戶可以與其進(jìn)行多感知系統(tǒng)交互。 Ko 等[7]在之前的可用性相關(guān)研究的基礎(chǔ)上， 提出了智能手機(jī)AR 應(yīng)用的可用性原則，并進(jìn)行了可用性測(cè)試，以驗(yàn)證可用性原則的適用性。 Dυ··nser 等[8]結(jié)合一些已知的以用戶為中心的設(shè)計(jì)原則和AR 系統(tǒng)的需求總結(jié)了8 個(gè)較為通用的AR 界面設(shè)計(jì)原則。黃進(jìn)等[9]總結(jié)了混合現(xiàn)實(shí)中使用最多的幾種用戶界面形態(tài)，分別為實(shí)物用戶界面（TUI）、觸控用戶界面、3D 用戶界面、 多通道用戶界面與混合用戶界面。 但是，在實(shí)際應(yīng)用中這些界面之間會(huì)有交集，很難劃分清楚這幾種界面。 目前國(guó)內(nèi)外混合現(xiàn)實(shí)技術(shù)的研究熱點(diǎn)主要集中于核心的算法與軟硬件系統(tǒng)平臺(tái)等方向， 較少針對(duì)混合現(xiàn)實(shí)用戶界面信息呈現(xiàn)及其界面設(shè)計(jì)原則的研究，因此，本文以混合現(xiàn)實(shí)人機(jī)界面為研究對(duì)象，重點(diǎn)分析其界面特點(diǎn)，得出適用于混合現(xiàn)實(shí)系統(tǒng)界面的設(shè)計(jì)原則。

3 混合現(xiàn)實(shí)界面特點(diǎn)

從信息科學(xué)的角度，混合現(xiàn)實(shí)是一種多層次、多源的數(shù)據(jù)處理過(guò)程，系統(tǒng)對(duì)來(lái)自不同信息源的數(shù)據(jù)進(jìn)行檢測(cè)、識(shí)別、跟蹤、映射等處理，從而能夠獲得比單信息源數(shù)據(jù)更詳細(xì)、更精確的推理。虛實(shí)融合、實(shí)時(shí)交互、三維注冊(cè)是混合現(xiàn)實(shí)的主要特征[10]。 用戶通過(guò)混合現(xiàn)實(shí)界面交互可以更好地實(shí)時(shí)獲取事物（包括實(shí)體、關(guān)系和時(shí)間）的認(rèn)識(shí)或相關(guān)知識(shí)，以促進(jìn)有效決策。相比較傳統(tǒng)數(shù)字界面使用情境的單一性、局限性，交互方式的固定性，可視化呈現(xiàn)的低維性，混合現(xiàn)實(shí)界面信息在數(shù)據(jù)來(lái)源上具有多源性；在信息特征上具有實(shí)時(shí)性、動(dòng)態(tài)性；在信息呈現(xiàn)方式上具有重疊性、多維性、空間性。

但是相比較傳統(tǒng)數(shù)字界面， 混合現(xiàn)實(shí)界面受限于軟硬件平臺(tái)技術(shù)與用戶的視覺(jué)認(rèn)知，通常呈現(xiàn)低分辨率性、視場(chǎng)局限性、易干擾性等特征，造成目前混合現(xiàn)實(shí)界面在多源信息融合、虛實(shí)信息疊加、色彩飽和度、背景亮度控制、 信息提示形式、 圖標(biāo)符號(hào)語(yǔ)義等方面存在標(biāo)準(zhǔn)不統(tǒng)一、呈現(xiàn)不科學(xué)、用戶認(rèn)知負(fù)荷過(guò)載等設(shè)計(jì)問(wèn)題。因此，研究混合現(xiàn)實(shí)界面信息呈現(xiàn)方式與界面設(shè)計(jì)原則具有重要意義。

4 混合現(xiàn)實(shí)界面設(shè)計(jì)原則

用戶需要借助混合現(xiàn)實(shí)交互界面進(jìn)行實(shí)時(shí)交互、自然交互，因此在混合現(xiàn)實(shí)情境下，其界面信息呈現(xiàn)需要充分考慮到混合現(xiàn)實(shí)技術(shù)的虛實(shí)結(jié)合的呈現(xiàn)特點(diǎn)和混合現(xiàn)實(shí)自然行為的人機(jī)交互方式。 傳統(tǒng)的用戶界面設(shè)計(jì)原則雖然可以用在混合現(xiàn)實(shí)界面設(shè)計(jì)中，但是范圍較為廣泛，還是應(yīng)在傳統(tǒng)界面設(shè)計(jì)原則基礎(chǔ)之上， 結(jié)合混合現(xiàn)實(shí)界面的虛實(shí)融合和軟硬件技術(shù)的限制等特點(diǎn)， 提出面向混合現(xiàn)實(shí)系統(tǒng)的界面設(shè)計(jì)原則。 結(jié)合已有混合現(xiàn)實(shí)與界面設(shè)計(jì)研究基礎(chǔ)，針對(duì)混合現(xiàn)實(shí)界面特點(diǎn)，主要總結(jié)出以下六點(diǎn)MR 界面設(shè)計(jì)原則。

（1）一致性?；旌犀F(xiàn)實(shí)界面信息呈現(xiàn)首先應(yīng)保持界面風(fēng)格、界面視覺(jué)要素的一致性，相同類別或者任務(wù)的交互方式也要保持一致性，不能讓用戶感到困惑或者歧義。界面設(shè)計(jì)還要考慮用戶的認(rèn)知特性和認(rèn)知習(xí)慣， 與用戶認(rèn)知保持一致，從而使用戶快速上手，減少學(xué)習(xí)成本。另外，在多通道用戶界面中，還要保持各個(gè)通道（視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等） 之間的一致性， 讓用戶在不同通道得到的反饋一致，避免產(chǎn)生混亂。

（2）可辨性。傳統(tǒng)數(shù)字界面的可視化呈現(xiàn)只是停留在數(shù)據(jù)的可視化階段， 而混合現(xiàn)實(shí)系統(tǒng)界面的可視化呈現(xiàn)需要上升到數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)過(guò)程可視化的層次，界面中所呈現(xiàn)的數(shù)據(jù)信息結(jié)構(gòu)需要與實(shí)景進(jìn)行重疊匹配，因此要考慮混合現(xiàn)實(shí)界面信息的遮蔽關(guān)系， 其信息呈現(xiàn)要具有可辨性。首先界面信息結(jié)構(gòu)層次要分明，目標(biāo)信息呈現(xiàn)要突出，與其余信息有所區(qū)別，方便用戶搜索查找；其次界面信息不能遮蓋或干擾實(shí)景， 不僅要能夠協(xié)助用戶觀察， 還要能夠讓用戶在虛實(shí)信息中快速準(zhǔn)確的分辨出來(lái)。

（3）簡(jiǎn)潔性。混合現(xiàn)實(shí)界面可視化呈現(xiàn)不同于傳統(tǒng)數(shù)字界面，其信息是多源和動(dòng)態(tài)的，根據(jù)用戶的需求，界面需要在海量數(shù)據(jù)信息中只呈現(xiàn)與當(dāng)前現(xiàn)實(shí)情境相匹配的信息，并且有時(shí)要求用戶快速做出決策，因此，在界面設(shè)計(jì)時(shí)要盡量簡(jiǎn)潔，目標(biāo)呈現(xiàn)方式盡量突出，便于用戶查找以便精準(zhǔn)決策。另外界面之間的層級(jí)跳轉(zhuǎn)方式要簡(jiǎn)潔，跳轉(zhuǎn)數(shù)目要精簡(jiǎn)，保證用戶交互過(guò)程中的流暢度，提高用戶體驗(yàn)。

（4）容錯(cuò)性?；旌犀F(xiàn)實(shí)技術(shù)可以將現(xiàn)實(shí)世界與虛擬世界融合在一起，相比傳統(tǒng)界面，用戶與界面進(jìn)行交互時(shí)可能會(huì)造成出錯(cuò)。 另外，作為一種新興的人機(jī)交互技術(shù)，混合現(xiàn)實(shí)還取決于硬件設(shè)備與交互方式， 硬件設(shè)備的不穩(wěn)定性也會(huì)造成誤差與不準(zhǔn)確性，因此，混合現(xiàn)實(shí)界面設(shè)計(jì)時(shí)應(yīng)考慮一定的容錯(cuò)性， 從而讓用戶有更好地用戶體驗(yàn)與沉浸感。

（5）易學(xué)性。 混合現(xiàn)實(shí)技術(shù)的發(fā)展與成熟，促進(jìn)了其界面范式與交互技術(shù)的發(fā)展。 在MR 下，用戶可以通過(guò)手勢(shì)、語(yǔ)音、眼動(dòng)跟蹤、觸覺(jué)等不同的交互技術(shù)進(jìn)行交互。在未來(lái)，用戶可能會(huì)使用更新穎更先進(jìn)的交互技術(shù)，在更新迭代較快的情境下， 界面設(shè)計(jì)與交互方式更要易于用戶學(xué)習(xí)，減輕用戶的學(xué)習(xí)負(fù)擔(dān)，這樣才能使用戶更能接受和使用MR 界面，實(shí)現(xiàn)實(shí)時(shí)交互、自然交互。

（6）低負(fù)荷性。這里的低負(fù)荷包括用戶的認(rèn)知負(fù)荷和體力負(fù)荷。在混合現(xiàn)實(shí)界面中，不合理的信息呈現(xiàn)方式會(huì)增加用戶的外在認(rèn)知負(fù)荷， 用戶在界面交互過(guò)程中盡可能的減少認(rèn)知資源的消耗， 避免不必要的信息跨層和跨域搜索，以提高混合現(xiàn)實(shí)系統(tǒng)的人機(jī)交互效率。界面信息的設(shè)計(jì)還要符合用戶的經(jīng)驗(yàn)和認(rèn)知習(xí)慣， 讓界面設(shè)計(jì)去適應(yīng)人，減輕用戶的內(nèi)在認(rèn)知負(fù)荷。 另外，有些混合現(xiàn)實(shí)場(chǎng)景的實(shí)現(xiàn)還需依托一些穿戴設(shè)備， 會(huì)造成一定的生理負(fù)荷，在界面交互方式上也要盡量減輕用戶的生理負(fù)擔(dān)。

5 結(jié)束語(yǔ)

混合現(xiàn)實(shí)技術(shù)已經(jīng)廣泛應(yīng)用于各個(gè)領(lǐng)域， 但是研究的重點(diǎn)主要集中于技術(shù)層面， 很少關(guān)注混合現(xiàn)實(shí)交互界面設(shè)計(jì)研究。文章以混合現(xiàn)實(shí)交互界面為對(duì)象，結(jié)合混合現(xiàn)實(shí)相關(guān)研究及已有界面設(shè)計(jì)基礎(chǔ)， 針對(duì)混合現(xiàn)實(shí)界面特點(diǎn)，提出六點(diǎn)混合現(xiàn)實(shí)界面設(shè)計(jì)原則。雖然硬件設(shè)備與交互技術(shù)會(huì)導(dǎo)致不同的MR 系統(tǒng)界面有所差異， 但是在界面和交互方面還是具有一些相同的特性， 在研究具體的MR 界面信息呈現(xiàn)方式和界面設(shè)計(jì)時(shí)，較為通用的MR界面設(shè)計(jì)原則可為具體MR 界面設(shè)計(jì)提供一定的參考和借鑒。