汽車智能座艙多模態(tài)人機(jī)交互設(shè)計(jì)研究綜述

摘 要：目的：如今在智能化、信息化、互聯(lián)通信數(shù)字技術(shù)迭代加速的時(shí)代背景下，汽車人機(jī)交互關(guān)系已從互相獨(dú)立的物理儀表交互關(guān)系邁向場(chǎng)景化的多屏、多模態(tài)交互關(guān)系。傳統(tǒng)的汽車人機(jī)交互設(shè)計(jì)已不能滿足出行場(chǎng)景下人們對(duì)于智能座艙的多樣需求。本文通過研究總結(jié)目前關(guān)于汽車多模態(tài)交互設(shè)計(jì)的文獻(xiàn)概況，梳理汽車交互設(shè)計(jì)的發(fā)展歷程并從多模態(tài)設(shè)計(jì)的設(shè)計(jì)原理、基本技術(shù)和評(píng)估方法進(jìn)行整理歸納。結(jié)果：通過對(duì)文獻(xiàn)研究，總結(jié)出目前汽車座艙交互設(shè)計(jì)在新時(shí)代背景下的局限，與汽車交互設(shè)計(jì)向多模態(tài)交互設(shè)計(jì)發(fā)展的未來趨勢(shì)。結(jié)論：目前智能座艙多模態(tài)人機(jī)交互設(shè)計(jì)面臨著沒有系統(tǒng)化的設(shè)計(jì)規(guī)范原則和多感官資源調(diào)度，該如何避免增加認(rèn)知負(fù)荷的兩個(gè)主要問題，并提供更個(gè)性化的服務(wù)：車輛與車輛之間的信息交流和車輛與其他載體間交互的未來發(fā)展趨勢(shì)。

關(guān)鍵詞：交互設(shè)計(jì) 智能座艙 智能汽車 汽車HMI 多模態(tài)人機(jī)交互

1 緒論

當(dāng)今，在智能化、信息化、互聯(lián)通信數(shù)字技術(shù)迭代加快，物聯(lián)網(wǎng)、人工智能以及大數(shù)據(jù)為代表技術(shù)飛快發(fā)展的時(shí)代背景下，汽車座艙已不再是單純的駕駛空間，人與車的交互關(guān)系產(chǎn)生了很大的變化。隨著智能汽車的普及，車載功能變得更加復(fù)雜，汽車座艙成為了人們的第三生活空間，承載了出行、娛樂、社交等更多樣的功能，因此消費(fèi)者對(duì)汽車人機(jī)交互系統(tǒng)的體驗(yàn)也提出了更高的需求[1]。為應(yīng)對(duì)出行場(chǎng)景下人們?nèi)遮厪?fù)雜的需求，針對(duì)汽車交互設(shè)計(jì)趨勢(shì)的研究具有重大的意義。隨著物聯(lián)網(wǎng)技術(shù)的進(jìn)步，汽車人機(jī)界面（HMI）的功能類別和交互邏輯正在迅速演變。從最初的簡單命令行界面發(fā)展到多樣化的虛擬用戶界面，從語音對(duì)話系統(tǒng)到基于手勢(shì)控制的系統(tǒng)，這些變化相互促進(jìn)，形成了一個(gè)動(dòng)態(tài)發(fā)展的趨勢(shì)。也因此在車空間內(nèi)供給駕駛員的信息隨時(shí)間發(fā)展愈發(fā)多層次，需要駕駛員調(diào)動(dòng)更多的感官接收信息。多模態(tài)交互設(shè)計(jì)可以將多個(gè)感知信息進(jìn)行系統(tǒng)化的設(shè)計(jì)，使不同模態(tài)下建立一個(gè)包含多種感知方式的交互系統(tǒng)，充分考慮人的感知對(duì)于場(chǎng)景環(huán)境的資源調(diào)配，能夠方便用戶以多種方式與汽車交互系統(tǒng)進(jìn)行互動(dòng)[2]。關(guān)于汽車交互設(shè)計(jì)尤其是在汽車多模態(tài)交互設(shè)計(jì)領(lǐng)域研究并不多，沒有呈現(xiàn)完整的發(fā)展脈絡(luò)，因此筆者對(duì)目前關(guān)于汽車多模態(tài)交互設(shè)計(jì)的相關(guān)文獻(xiàn)進(jìn)行綜述分析，可以幫助相關(guān)從業(yè)者、研究人員了解汽車多模態(tài)交互設(shè)計(jì)的研究現(xiàn)況與發(fā)展趨勢(shì)，希望能為該領(lǐng)域未來的研究提供階段性的參考。

2 汽車座艙交互設(shè)計(jì)研究現(xiàn)狀與歷史發(fā)展

2.1 文獻(xiàn)研究現(xiàn)狀

關(guān)于汽車座艙的交互設(shè)計(jì)研究與新能源汽車興起有著密切的關(guān)聯(lián)。中國新能源汽車產(chǎn)業(yè)在世界處于先進(jìn)水平，截至2022年第一季度，中國新能源汽車的全球銷售占比已經(jīng)達(dá)到了60%[3]。此外，國家鼓勵(lì)推動(dòng)新能源汽車產(chǎn)業(yè)的發(fā)展，國務(wù)院辦公廳于2020年11月2日發(fā)布了《新能源汽車產(chǎn)業(yè)發(fā)展規(guī)劃（2021-2035年）》，這標(biāo)志著中國的新能源汽車正式迎來了快速發(fā)展的階段。通過知網(wǎng)論文的發(fā)表周期趨勢(shì)可以看到，“汽車交互設(shè)計(jì)”領(lǐng)域的相關(guān)文獻(xiàn)于2018年以后出現(xiàn)非常明顯的增加。近五年所發(fā)表的論文篇數(shù)在300篇左右，其中應(yīng)用類、資訊類的文獻(xiàn)占比較多，研究類文獻(xiàn)占比很少。研究的系統(tǒng)性、脈絡(luò)不清晰，更多集中研究汽車HMI界面的設(shè)計(jì)，研究成果較為有限。而知網(wǎng)搜索“汽車多模態(tài)交互設(shè)計(jì)”的相關(guān)文獻(xiàn)結(jié)果僅有11篇，主要集中在2022到2023年間發(fā)表。

2.2 汽車座艙人機(jī)交互設(shè)計(jì)

交互設(shè)計(jì)不僅僅涉及用戶界面的外觀，更重要的是構(gòu)建完整產(chǎn)品框架以完成用戶任務(wù)，并對(duì)最終用戶體驗(yàn)負(fù)有責(zé)任。交互設(shè)計(jì)包含許多重要的基礎(chǔ)理論，包括分布式認(rèn)知理論、Norman行為階段理論、交互界面設(shè)計(jì)的八條黃金法則等等。汽車座艙人機(jī)交互設(shè)計(jì)是交互設(shè)計(jì)中的一個(gè)細(xì)分領(lǐng)域，在遵守如上交互設(shè)計(jì)原理的基礎(chǔ)上，針對(duì)汽車人機(jī)交互設(shè)計(jì)有著更為詳細(xì)的原則。

蔡萌亞等以馬斯洛需求模型為基礎(chǔ)[4]，將汽車交互設(shè)計(jì)由低到高對(duì)汽車座艙交互設(shè)計(jì)研究進(jìn)行梳理，其中包含HMI設(shè)計(jì)與駕駛安全、HMI設(shè)計(jì)與人車合作信任、用戶認(rèn)知與情感化三個(gè)方面；蘭卉將汽車交互設(shè)計(jì)分為物理交互、界面交互以及自然交互三個(gè)方面[5]。

汽車人機(jī)交互設(shè)計(jì)所觸及的交互觸點(diǎn)頗多，總的來說分為軟件交互與硬件交互兩個(gè)部分，也可以分為與駕駛行為直接相關(guān)和與駕駛行為不直接相關(guān)的交互。

汽車人機(jī)交互設(shè)計(jì)需要注意用戶多感官交互。包括有視覺感知、聽覺感知、觸覺感知以及注意力對(duì)于汽車人機(jī)交互設(shè)計(jì)的影響。當(dāng)前新能源汽車交互設(shè)計(jì)趨勢(shì)有多個(gè)方面值得注意，其中包括注重用戶體驗(yàn)、塑造智能空間、交互唯獨(dú)拓展以及注重多模態(tài)交互。

3 智能座艙多模態(tài)人機(jī)交互設(shè)計(jì)相關(guān)研究

多模態(tài)人機(jī)交互的目標(biāo)是通過語音、圖像、文本、眼動(dòng)和觸覺等多種信息形式，在人與計(jì)算機(jī)之間進(jìn)行信息交流[6]。隨著技術(shù)迭代與汽車座艙的發(fā)展，人們對(duì)于汽車駕駛需求與出行乘坐體驗(yàn)變得越來越多樣化、復(fù)雜化，在汽車人機(jī)交互中復(fù)雜的操作增多，例如與聚屏的點(diǎn)擊、手勢(shì)交互、語音交互等，而多樣多層次的交互使得用戶在駕駛的過程中有分心的可能，駕駛的不安全因素大大增加。汽車交互設(shè)計(jì)如何更系統(tǒng)規(guī)范與合理變得十分重要。多模態(tài)的人機(jī)交互設(shè)計(jì)將多模態(tài)感知進(jìn)行融合，設(shè)計(jì)使其構(gòu)成完整交互系統(tǒng)，讓用戶在復(fù)雜的、多層次的人機(jī)交互環(huán)境下也可以合理安排注意力操作車輛。因此智能座艙多模態(tài)交互設(shè)計(jì)將會(huì)是新能源汽車人機(jī)交互設(shè)計(jì)未來的發(fā)展趨勢(shì)，有著大好的前景。

劉聰?shù)葟囊曈X、聽覺、觸覺和嗅覺四個(gè)方面總結(jié)梳理了不同多模態(tài)交互方式適用場(chǎng)景[7]，為汽車多模態(tài)人機(jī)交互提供了一定的設(shè)計(jì)參考；易博等將情景意識(shí)因素融入多模態(tài)汽車交互設(shè)計(jì)的研究中[8]。關(guān)于智能座艙多模態(tài)人機(jī)交互設(shè)計(jì)的相關(guān)研究，可以總結(jié)為三個(gè)方面：一是關(guān)于智能座艙多模態(tài)交互設(shè)計(jì)的原理，二是智能座艙多模態(tài)交互基本技術(shù)，三是智能座艙多模態(tài)交互設(shè)計(jì)的評(píng)估方法。

3.1 智能座艙多模態(tài)交互設(shè)計(jì)原理

多模態(tài)交互包含四個(gè)交互方式。（1）視覺交互。視覺交互方式是一種最基礎(chǔ)的交互方式，一般人在平時(shí)使用視覺感官來接受環(huán)境信息占比最大。因此在人機(jī)交互中視覺起著決定性作用。（2）觸覺交互。觸覺交互一般指與汽車座艙物理觸點(diǎn)的交互行為。（3）語音交互。語音交互使駕駛者在駕駛過程中不必用手點(diǎn)擊屏幕、增加視覺負(fù)荷，從而導(dǎo)致分散注意力，它是一種自然的交互方式，隨著AI技術(shù)日趨成熟，語音交互也將從被動(dòng)交互專項(xiàng)轉(zhuǎn)變?yōu)橹鲃?dòng)交互（4）手勢(shì)交互。手勢(shì)交互作為一種較少見的交互方式，對(duì)于其應(yīng)用的情景需要進(jìn)行謹(jǐn)慎把關(guān)。

多模態(tài)人機(jī)交互系統(tǒng)可以分為輸出和輸入響應(yīng)兩個(gè)部分，其中輸入和輸出通道涵蓋了書寫、姿態(tài)、語音、震動(dòng)（Leap Motion）等多種模態(tài)。在多模態(tài)交互的研究中，設(shè)計(jì)通常以用戶為中心，因?yàn)橄到y(tǒng)通過各種設(shè)備獲取用戶的數(shù)據(jù)或提供反饋，并將其作為信息輸入到端口以生成互動(dòng)響應(yīng)[9]。

3.2 智能座艙多模態(tài)交互設(shè)計(jì)關(guān)鍵技術(shù)

3.2.1 可視化模態(tài)技術(shù)

（1）使用眼動(dòng)儀對(duì)人視線感應(yīng)進(jìn)行測(cè)量，分析總結(jié)如何調(diào)配駕駛員視線以獲得更高的架勢(shì)專注度的數(shù)據(jù)。也可以在駕駛員在駕駛的過程中，檢測(cè)駕駛員視線，在其注意力不集中時(shí)發(fā)出警告。

（2）多屏、聯(lián)屏與聚屏。以往使用物理交互觸點(diǎn)的方式顯然已不適用當(dāng)下多樣需求的出行場(chǎng)景，中控屏的出現(xiàn)很好的將各種駕駛交互需求納入一個(gè)合理的交互系統(tǒng)中。如今眾多開發(fā)者將車內(nèi)屏幕的數(shù)量增加，以滿足不同的操控需求。

3.2.2 聲場(chǎng)模態(tài)技術(shù)

聲場(chǎng)模態(tài)技術(shù)即車載語音交互技術(shù)是一種利用語音作為主要交互方式，在車內(nèi)進(jìn)行操作與反饋的方法。這項(xiàng)技術(shù)能夠借助語音識(shí)別功能，將駕駛者的口頭指令轉(zhuǎn)換成系統(tǒng)可執(zhí)行的命令，并利用語音合成技術(shù)，將車輛系統(tǒng)的響應(yīng)信息以聲音的形式傳達(dá)給駕駛者。這項(xiàng)交互模式具有相當(dāng)多優(yōu)勢(shì)：（1）駕駛員無需觸摸屏幕或按鈕便可完成指令，提升駕駛過程安全性。（2）語音交互方式使駕駛員可以同時(shí)多任務(wù)處理，一邊駕駛一邊操作，不會(huì)分散注意力。（3）聽覺感覺與語音是更為自然的交互方式，車載語音交互不會(huì)過于增加用戶的學(xué)習(xí)成本。使用語音助手讓駕駛員在駕駛過程中的非駕駛交互行為更加安全。

3.2.3 混合現(xiàn)實(shí)實(shí)物

目前有越來越多的廠商嘗試增加與汽車座艙搭配的混合現(xiàn)實(shí)實(shí)物交互來增加用戶的出行體驗(yàn)。例如今年的CES展覽上，寶馬與消費(fèi)級(jí)增強(qiáng)現(xiàn)實(shí)（AR）眼鏡制造商XREAL合作，展示了AR眼鏡的駕駛應(yīng)用，重點(diǎn)放在了智能座艙的非娛樂性能上。

索尼和本田合作開發(fā)的Afeela曾在2023年CES上引起極大關(guān)注。而在2024年的CES上，Afeela再次亮相，這次以索尼PS5游戲手柄操控汽車的方式吸引了觀眾的目光。

3.3 智能座艙多模態(tài)交互設(shè)計(jì)評(píng)估方法

在對(duì)于不同的模態(tài)技術(shù)進(jìn)行了解研究之后，發(fā)現(xiàn)應(yīng)用的過程中更要重視如何評(píng)估多模態(tài)交互設(shè)計(jì)的可用性與易用性。目前，人機(jī)交互實(shí)驗(yàn)室中常用的三種測(cè)試方法包括實(shí)車測(cè)試、高保真汽車模擬器駕駛測(cè)試以及低保真汽車模擬駕駛測(cè)試。

實(shí)車測(cè)試提供了最為真實(shí)的駕駛環(huán)境，能夠準(zhǔn)確地捕捉到駕駛員在實(shí)際駕駛過程中的行為模式和心理狀態(tài)，并且測(cè)試結(jié)果直接反映了系統(tǒng)在真實(shí)世界中的性能，為后續(xù)改進(jìn)提供了堅(jiān)實(shí)的基礎(chǔ)，具有相當(dāng)高的真實(shí)性和可靠性，但成本高昂并且存在安全性問題。

高保真汽車模擬器駕駛測(cè)試允許研究人員在受控環(huán)境下進(jìn)行測(cè)試，可以精確控制變量，便于重復(fù)試驗(yàn)，可控性強(qiáng)，另外能夠模擬各種復(fù)雜的交通狀況和極端天氣條件，而無需擔(dān)心實(shí)際駕駛中的風(fēng)險(xiǎn)，但盡管模擬器可以高度模擬真實(shí)駕駛體驗(yàn)，但在某些細(xì)節(jié)上仍可能與實(shí)際駕駛有所差異，從而影響測(cè)試的有效性。

低保真汽車模擬駕駛測(cè)試使用低成本的模擬工具可以快速構(gòu)建測(cè)試環(huán)境，適用于概念驗(yàn)證和初步設(shè)計(jì)階段，也由于設(shè)置簡單，可以快速調(diào)整和改進(jìn)設(shè)計(jì)方案，加快研發(fā)周期。由于低保真的特性，測(cè)試可能無法準(zhǔn)確反映最終產(chǎn)品的用戶體驗(yàn)，特別是在涉及高級(jí)感官交互（如觸覺反饋）的情況下。

每種測(cè)試方法都有其獨(dú)特的優(yōu)勢(shì)和不足之處，選擇合適的方法應(yīng)基于具體的研究目的、可用資源以及期望達(dá)到的測(cè)試精度。在實(shí)際應(yīng)用中，通常會(huì)結(jié)合使用這三種方法，以獲得更全面的數(shù)據(jù)支持，確保研究成果的可靠性和實(shí)用性。

4 智能座艙多模態(tài)人機(jī)交互設(shè)計(jì)應(yīng)用

2012年P(guān)fleging等在自然用戶界面的設(shè)計(jì)工作坊中試圖創(chuàng)建了一個(gè)人車交互界面框架的設(shè)計(jì)生態(tài)。他們認(rèn)為，汽車交互不僅僅涉及中控屏幕，還需要考慮到后排空間和車外空間的交互。

研究表明，多模態(tài)交互方式更符合人類習(xí)慣，特別是在處理高優(yōu)先級(jí)消息時(shí)，采用多模態(tài)的冗余增益能夠加速響應(yīng)時(shí)間。例如，視覺與聽覺或視覺與振動(dòng)觸覺的警告相比于單一模態(tài)的警告具有更迅速的反應(yīng)速度。多重資源理論[12]很好闡明了信息輸入與輸出的調(diào)配如何產(chǎn)生與降低認(rèn)知負(fù)荷。

5 結(jié)語

目前汽車行業(yè)已然全面邁入智能座艙時(shí)代，初步形成了以用戶體驗(yàn)為中心、智能交互為技術(shù)核心的發(fā)展趨勢(shì)。過去單點(diǎn)的交互方式無法滿足如今多層次、多樣化的出行場(chǎng)景，多模態(tài)人機(jī)交互設(shè)計(jì)的研究應(yīng)用成為智能座艙設(shè)計(jì)中的重中之重。但是，距離將汽車多模態(tài)交互設(shè)計(jì)系統(tǒng)化梳理，將多模態(tài)交互設(shè)計(jì)融入到智能座艙設(shè)計(jì)的大范圍實(shí)際應(yīng)用還有相當(dāng)?shù)牟罹?，現(xiàn)在智能座艙多模態(tài)交互設(shè)計(jì)還面臨著以下挑戰(zhàn)：

（1）汽車座艙多模態(tài)交互設(shè)計(jì)還沒有系統(tǒng)化的設(shè)計(jì)規(guī)范原則。如今智能座艙多模態(tài)交互設(shè)計(jì)的研究還處于初級(jí)階段，多模態(tài)交互的安全性需要大量的實(shí)驗(yàn)檢驗(yàn)。

（2）多感官資源調(diào)度，需考慮如何避免增加認(rèn)知負(fù)荷。

同時(shí)，結(jié)合以上研究現(xiàn)狀與問題分析，總結(jié)智能座艙多模態(tài)交互設(shè)計(jì)發(fā)展趨勢(shì)如下：

（1）為用戶在出行場(chǎng)景提供更個(gè)性化的服務(wù)。

（2）車輛與車輛之間的信息交流。如何通過進(jìn)一步設(shè)計(jì)，使路上司機(jī)與司機(jī)之間可以更高效進(jìn)行信息交流，從而提高安全與效率。通過交互與其他交通參與者共享信息，實(shí)現(xiàn)更流暢的交通流動(dòng)。

（3）車輛與其他載體間的交互。車輛與其他載體之間的交互趨勢(shì)包括加強(qiáng)互聯(lián)性，使車輛能夠與周圍的交通、基礎(chǔ)設(shè)施以及其他車輛進(jìn)行更有效的通信和協(xié)同操作。隨著自動(dòng)駕駛技術(shù)的發(fā)展，車輛與其他載體的交互將更加智能化和自動(dòng)化，使得車輛能夠更好地適應(yīng)和響應(yīng)周圍環(huán)境。

這些趨勢(shì)將共同推動(dòng)著車輛與其他載體之間的交互進(jìn)入一個(gè)智能、互聯(lián)、自動(dòng)化的新時(shí)代。

參考文獻(xiàn)：

[1]李玉昆，孟健，郁淑聰.展望未來智能汽車人機(jī)交互：多模態(tài)融合感知技術(shù)成為趨勢(shì)[J].汽車與配件，2022（21）：56-58.

[2]劉佳馨.基于多模態(tài)交互的汽車內(nèi)飾空間體驗(yàn)設(shè)計(jì)研究[D].湖北：華中科技大學(xué)，2022.

[3]人民網(wǎng)，國家發(fā)改委：我國新能源汽車產(chǎn)銷連續(xù)9年位居全球第一［EB/OL］.http：//finance.people.com.cn/n1/2024/0118/c1004-40161886.html，2018-10-18.

[4]蔡萌亞，王文麗.汽車智能座艙交互設(shè)計(jì)研究綜述[J].包裝工程，2023，44（6）：430-440.

[5]蘭卉.我國新能源汽車交互設(shè)計(jì)現(xiàn)狀及發(fā)展趨勢(shì)研究[J].汽車與新動(dòng)力，2023，6（5）：57-60.

[6]陶建華，巫英才，喻純，等.多模態(tài)人機(jī)交互綜述[J].中國圖象圖形學(xué)報(bào)，2022，27（6）：1956-1987.

[7]劉聰，朱蘭芹.基于多模態(tài)交互的汽車人機(jī)交互設(shè)計(jì)研究[J].汽車電器，2022（8）：3-5.

[8]易博，張帥，李文馨，胡嵐.基于情景意識(shí)的多模態(tài)汽車交互設(shè)計(jì)研究[J].內(nèi)燃機(jī)與配件，2023（5）：82-84.

[9]劉佳馨.基于多模態(tài)交互的汽車內(nèi)飾空間體驗(yàn)設(shè)計(jì)研究[D].湖北：華中科技大學(xué)，2022.

[10]翟家興.基于多模態(tài)生理數(shù)據(jù)的汽車造型美學(xué)評(píng)價(jià)方法研究[D].長春：吉林大學(xué)，2019.

[11]趙廉峣.基于多模態(tài)信息融合情景計(jì)算的無人駕駛環(huán)境下動(dòng)態(tài)目標(biāo)感知方法研究[D].廣東：深圳大學(xué)，2020.

[12]Christopher D. Wickens and Jason S. McCarley. Applied Attention Theory[M]. CRC Press，2019