基于多模態(tài)交互的羽毛球?qū)W習(xí)訓(xùn)練器材設(shè)計(jì)

摘" 要：通過引入多模態(tài)交互方式為傳統(tǒng)羽毛球?qū)W習(xí)訓(xùn)練器材賦能，可解決學(xué)員在訓(xùn)練中感知不強(qiáng)的問題，提高學(xué)員的學(xué)習(xí)效率。文章在使用情境任務(wù)分析法時(shí)發(fā)現(xiàn)學(xué)員在學(xué)習(xí)羽毛球的任務(wù)流程中動(dòng)作通道與感官模態(tài)存在不合理的資源競(jìng)爭(zhēng)問題，而這是影響學(xué)員學(xué)習(xí)效率的主要原因。文章提出了依托于多模態(tài)交互模型的設(shè)計(jì)策略，并提出了設(shè)計(jì)實(shí)例。最終結(jié)果表明：建立多模態(tài)平衡機(jī)制，將多模態(tài)交互的方式引入羽毛球?qū)W習(xí)訓(xùn)練器材和訓(xùn)練方法中，可以通過降低學(xué)員在學(xué)習(xí)時(shí)的認(rèn)知負(fù)荷來提升學(xué)員的學(xué)習(xí)效率。

關(guān)鍵詞：產(chǎn)品設(shè)計(jì)；羽毛球訓(xùn)練器材；情境任務(wù)分析法；多模態(tài)交互

隨著生活經(jīng)濟(jì)水平的提高，人們逐漸從對(duì)基本生活需求的滿足轉(zhuǎn)向?qū)Ω哔|(zhì)量生活和幸福感的追求，越來越多的人選擇將體育運(yùn)動(dòng)作為自己的健康幸福生活的活動(dòng)，其中羽毛球的地位越來越重要，它作為全民適宜的體育運(yùn)動(dòng)也被逐漸納入中考體育范圍，因此也帶來了羽毛球教育培訓(xùn)行業(yè)的蓬勃發(fā)展。羽毛球運(yùn)動(dòng)屬于入門簡(jiǎn)單，但精進(jìn)難度高的小球運(yùn)動(dòng)，學(xué)員系統(tǒng)學(xué)習(xí)難度較大，而且當(dāng)前國內(nèi)培訓(xùn)市場(chǎng)處于發(fā)展階段，教學(xué)方式和教具都不夠成熟，教練員主要以手把手教的簡(jiǎn)單方式教學(xué)，教練員水平參差不齊，難以標(biāo)準(zhǔn)化教學(xué)，因此，可以設(shè)計(jì)出一款人機(jī)交互設(shè)備，將科學(xué)訓(xùn)練標(biāo)準(zhǔn)和教練員經(jīng)驗(yàn)相結(jié)合，讓科技輔佐教育，提高效率。通過使用多模態(tài)交互技術(shù)設(shè)計(jì)一款訓(xùn)練器件應(yīng)用在體育教育培訓(xùn)行業(yè)上，可以降低學(xué)員的認(rèn)知負(fù)荷和學(xué)習(xí)難度，同時(shí)提高學(xué)員的學(xué)習(xí)效率和規(guī)范羽毛球行業(yè)的培訓(xùn)標(biāo)準(zhǔn)，對(duì)羽毛球行業(yè)乃至其他小球類運(yùn)動(dòng)均會(huì)起到非常大的積極作用。

一、研究背景

（一）行業(yè)發(fā)展

據(jù)中研普華產(chǎn)業(yè)院研究報(bào)告－數(shù)據(jù)顯示2021—2023年全國羽毛球館市場(chǎng)規(guī)模由237.2億元上升到291.8億元，全國羽毛球館行業(yè)從業(yè)人員規(guī)模由69.7萬人上升到78.1萬人，羽毛球運(yùn)動(dòng)項(xiàng)目已逐漸納入中考體育范圍。由于其對(duì)青少年兒童駝背、眼睛近視等問題有很好的緩解作用，且沒有肢體碰撞，安全性較高，因此備受家長青睞。《2022年中國羽毛球培訓(xùn)行業(yè)分析報(bào)告——行業(yè)規(guī)模與發(fā)展趨勢(shì)預(yù)測(cè)》報(bào)告顯示，在為孩子選擇體育培訓(xùn)項(xiàng)目時(shí)，羽毛球已成為第二大受歡迎的選擇，占比達(dá)到21.3%。因此羽毛球培訓(xùn)市場(chǎng)也在蓬勃發(fā)展[1]。調(diào)研發(fā)現(xiàn)市場(chǎng)上參加羽毛球培訓(xùn)的學(xué)員區(qū)別于專業(yè)體校學(xué)生，他們沒有足夠多的時(shí)間和精力練習(xí)，因此培訓(xùn)機(jī)構(gòu)也無法完全使用專業(yè)體育學(xué)校的教學(xué)方式。國內(nèi)的培訓(xùn)機(jī)構(gòu)也都不夠成熟，各羽毛球培訓(xùn)機(jī)構(gòu)使用的輔助訓(xùn)練器材大多都是機(jī)構(gòu)簡(jiǎn)單自行定制（如圖1）。輔助訓(xùn)練器材雖然在學(xué)習(xí)羽毛球的過程中不可或缺，但是其專業(yè)性和統(tǒng)一性卻沒有被重視起來[2]。

（二）學(xué)習(xí)流程

初學(xué)者學(xué)習(xí)羽毛球流程指的是學(xué)員在羽毛球培訓(xùn)班主要的上課內(nèi)容，其中教練員講解、學(xué)員使用輔助器材練習(xí)、教練員糾正動(dòng)作這些流程是課程的基本步驟，其中學(xué)員使用輔助器材練習(xí)是上課環(huán)節(jié)的關(guān)鍵環(huán)節(jié)[3]。學(xué)員需要使用訓(xùn)練輔助器材不斷重復(fù)教練員演示的擊球動(dòng)作，形成肌肉記憶，從而學(xué)會(huì)打羽毛球的專業(yè)動(dòng)作，達(dá)到學(xué)習(xí)目的[4]。學(xué)員在學(xué)習(xí)羽毛球運(yùn)動(dòng)時(shí)首先需要學(xué)習(xí)專業(yè)的擊球動(dòng)作，而學(xué)員在模仿教練員動(dòng)作講解、使用輔助器材練習(xí)以及通過教練員糾正改正練習(xí)動(dòng)作時(shí)以單模態(tài)交互方式為主，很難判斷視角外的自身肢體動(dòng)作幅度。因此這種學(xué)習(xí)模式容易加重學(xué)員的認(rèn)知負(fù)荷，使學(xué)習(xí)效率低下[5]。

情境任務(wù)分析法（Contextual Task Analysis）是一種任務(wù)分析方法，它著重于理解任務(wù)在特定情境下的執(zhí)行過程、要求和影響因素。情境任務(wù)分析法的目標(biāo)是深入了解任務(wù)執(zhí)行者與其工作環(huán)境之間的相互作用，以及環(huán)境對(duì)任務(wù)執(zhí)行的影響。在上課培訓(xùn)流程中，學(xué)員的行為與教練、輔助器材等邏輯關(guān)系較復(fù)雜，因此，運(yùn)用情境任務(wù)分析法分析學(xué)員上課的關(guān)鍵步驟，能夠研究學(xué)員行為特征并分析其中存在的問題[6]。

表1為羽毛球培訓(xùn)過程中學(xué)習(xí)過程，使用情景任務(wù)分析法來拆解學(xué)員的任務(wù)目標(biāo)，可以分為四個(gè)部分。1.看教練員演示動(dòng)作，聽教練員講解關(guān)鍵點(diǎn)，這是最基礎(chǔ)的接收信息的過程，而其中主要參與模態(tài)為眼睛和耳朵，在此階段學(xué)員可以簡(jiǎn)單地觀察學(xué)習(xí)，認(rèn)知負(fù)荷在可承受范圍之內(nèi)。2.觀察并挪動(dòng)輔助器材，使自身和輔助器材處于合理位置，此時(shí)屬于學(xué)員初步學(xué)習(xí)階段，只需要眼睛和肢體參與即可，但這個(gè)階段教練員的教育水平非常關(guān)鍵，讓學(xué)員站在固定合理的點(diǎn)位才能使學(xué)員充分感受發(fā)力，順利進(jìn)行下一步訓(xùn)練。3.使用教練員講解的專業(yè)擊球動(dòng)作，使用輔助器材練習(xí)，這個(gè)階段雖然只需要學(xué)員眼睛和肢體的參與，但是復(fù)雜的信息加工階段，學(xué)員需要對(duì)第一部分的輸入信息進(jìn)行思考加工，還需要自身行為訓(xùn)練的配合，對(duì)于較小年齡的小孩而言，認(rèn)知負(fù)擔(dān)相對(duì)較重。4.通過教練員糾正，學(xué)員改正錯(cuò)誤動(dòng)作繼續(xù)練習(xí)，這是最后一部分的反饋接收改正階段，在此階段教練員需要時(shí)刻觀察學(xué)員練習(xí)姿勢(shì)和心理狀態(tài)如何，及時(shí)提出訓(xùn)練意見。

在上述的羽毛球培訓(xùn)學(xué)習(xí)過程中，我們可以分析發(fā)現(xiàn)教練員的經(jīng)驗(yàn)和規(guī)范化教學(xué)非常重要。學(xué)員在使用輔助器材練習(xí)擊球動(dòng)作時(shí)，既要注意自身擊球動(dòng)作是否規(guī)范，又要注意與訓(xùn)練器材的動(dòng)作交互并且還要聽從教練員的糾正，所以對(duì)于教學(xué)和受教的雙方而言，在學(xué)習(xí)開始階段的負(fù)擔(dān)很重。因此教練員初始規(guī)范化教學(xué)負(fù)擔(dān)重，學(xué)員感官模態(tài)和動(dòng)作姿勢(shì)競(jìng)爭(zhēng)造成認(rèn)知負(fù)荷過重導(dǎo)致效率低下，均是有待解決的問題。

（三）多模態(tài)交互

多模態(tài)交互（Multimodal Interaction）是指在人與計(jì)算機(jī)的交互過程中，利用多種感官通道或輸入方式（如視覺、聽覺、觸覺等）同時(shí)進(jìn)行信息交流與處理的技術(shù)。隨著電子產(chǎn)品的不斷發(fā)展，相比傳統(tǒng)的單模態(tài)交互（如僅通過鍵盤輸入或語音指令），多模態(tài)交互逐漸成為人機(jī)交互的發(fā)展趨勢(shì)[7]。作為一種新型人機(jī)交互方式，多模態(tài)交互并非多個(gè)模態(tài)的簡(jiǎn)單疊加，而是通過各模態(tài)配合實(shí)現(xiàn)比單一模態(tài)更高效、自然的人機(jī)對(duì)話。國內(nèi)外學(xué)者開展了關(guān)于多模態(tài)交互的研究，例如Nuovo等提出面向高齡用戶的多模態(tài)輸入界面，并通過試驗(yàn)證明多模態(tài)輸入方式可為用戶提供有效的認(rèn)知補(bǔ)償[8]；李善青設(shè)計(jì)了一套由穿戴計(jì)算機(jī)、立體視覺機(jī)、無線麥克和頭戴顯示器組成的交互穿戴系統(tǒng)，通過利用多模態(tài)交互中視覺和聽覺通道的互補(bǔ)性和可并行性，提高了整套系統(tǒng)的運(yùn)行效率[9]；邵幫麗等將多模態(tài)交互方法應(yīng)用于智能家居場(chǎng)景，提升了人機(jī)交互精確性和順暢性[10]。多模態(tài)交互還被運(yùn)用于增強(qiáng)現(xiàn)實(shí)等應(yīng)用領(lǐng)域，以實(shí)現(xiàn)高效、自然的人機(jī)對(duì)話，如易心武等基于神經(jīng)科學(xué)和運(yùn)動(dòng)學(xué)的角度劃分視線轉(zhuǎn)移，結(jié)合頭動(dòng)的穩(wěn)定性與眼動(dòng)的高效性以及頭眼協(xié)調(diào)特征設(shè)計(jì)了一個(gè)頭眼協(xié)調(diào)交互模型，通過多模態(tài)相互作用減少M(fèi)idas誤觸和識(shí)別用戶意圖，與傳統(tǒng)交互模態(tài)相比，其交互模型具有更高的精度、更快的時(shí)間效率和更高的自然度[11]。

多模態(tài)交互利用人類的不同感覺通道，使用戶運(yùn)用更加自然的交互方式與產(chǎn)品協(xié)作，是增強(qiáng)現(xiàn)實(shí)人機(jī)交互的主要形式，也是未來人機(jī)交互的發(fā)展重心[12]。通過綜合運(yùn)用多感官優(yōu)勢(shì)而形成的多模態(tài)交互信息互補(bǔ)形式，不僅可降低學(xué)員在學(xué)習(xí)訓(xùn)練場(chǎng)景下的認(rèn)知負(fù)荷為用戶提供認(rèn)知補(bǔ)償，還能有效提升交互的自然性。后文將針對(duì)學(xué)員在學(xué)習(xí)存在的感官模態(tài)和動(dòng)作資源不合理競(jìng)爭(zhēng)問題提出多模態(tài)交互模型以及設(shè)計(jì)策略，并構(gòu)建羽毛球訓(xùn)練器材的系統(tǒng)設(shè)計(jì)，以提高學(xué)員的學(xué)習(xí)效率。

二、多模態(tài)交互模型與設(shè)計(jì)策略

（一）多模態(tài)交互模型

多模態(tài)交互模型指的是能夠處理多種不同類型輸入（例如文字、語音、圖像等）和輸出的交互模型。這種模型可以同時(shí)處理來自不同傳感器或資源的信息，并且能夠?qū)⑦@些信息整合起來以進(jìn)行更加全面和智能的交互。其主要包含用戶層、產(chǎn)品層和交互層（如圖2），信息在這三個(gè)層面中被加工處理以及流通。多模態(tài)交互通過整合多種感官輸入和輸出方式，使交互過程更加自然、靈活和高效，提升了人機(jī)交互的整體體驗(yàn)和應(yīng)用廣度[13]。

1.用戶層。用戶層主要包括用戶的感覺通道和效應(yīng)通道，用戶通過感覺通道接收產(chǎn)品發(fā)出的信息，再通過效應(yīng)通道做出相關(guān)反應(yīng)傳遞給產(chǎn)品完成相應(yīng)的交互行為。

2.交互層。交互層是整個(gè)多模態(tài)交互模型的核心層面，其功能主要將不同模態(tài)的信息整合處理，進(jìn)行系統(tǒng)的決策和分析，形成輸入和輸出的信息映射。

3.產(chǎn)品層。產(chǎn)品層包含輸入設(shè)備和輸出設(shè)備，輸入設(shè)備接收來自用戶和環(huán)境的信息傳遞給交互層，輸出設(shè)備將交互層處理好的信息采用多模態(tài)的方式傳遞給用戶相對(duì)應(yīng)的感覺通道。

在交互層中信息從輸入設(shè)備流入經(jīng)過多模態(tài)交互處理后由輸出設(shè)備傳遞給用戶。信息沿用戶層交互層和產(chǎn)品層循環(huán)傳遞工作。該模型可以梳理多模態(tài)交互中信息處理和加工的過程，有助于為后續(xù)的交互設(shè)計(jì)提出設(shè)計(jì)策略[14]。

（二）設(shè)計(jì)策略

基于多模態(tài)交互模型，可在產(chǎn)品層和交互層提出設(shè)計(jì)策略。在產(chǎn)品層的信息輸入階段，增加傳感器拓寬獲取信息的效應(yīng)通道；在交互層的信息處理階段實(shí)時(shí)跟蹤分析用戶使用過程中的情景數(shù)據(jù)，并輸出用戶需要的特征信息；在產(chǎn)品層的信息輸出階段選擇合理分配輸出模態(tài)，在合適的情景為用戶提供合理的融合信息以保持用戶正常的認(rèn)知負(fù)荷。

三、羽毛球智能學(xué)習(xí)器多模態(tài)交互設(shè)計(jì)

（一）羽毛球智能學(xué)習(xí)器設(shè)計(jì)

學(xué)習(xí)器從虛擬現(xiàn)實(shí)結(jié)合出發(fā)，保留傳統(tǒng)學(xué)習(xí)架觸感反饋的同時(shí)增加VR設(shè)備增強(qiáng)學(xué)員的視覺模態(tài)。學(xué)習(xí)器包括學(xué)習(xí)架、VR眼鏡和內(nèi)外部攝像頭三個(gè)部分組成。學(xué)員佩戴VR頭戴設(shè)備練習(xí)。場(chǎng)地設(shè)備立于學(xué)員右側(cè)，攝像頭固定在學(xué)員正前方（如圖3）。

學(xué)員的VR眼鏡虛構(gòu)出場(chǎng)地的虛擬景象并提供標(biāo)準(zhǔn)學(xué)習(xí)動(dòng)作的指令，在發(fā)送揮拍指令后虛擬環(huán)境模擬出羽毛球向?qū)W員飛來，學(xué)員向虛擬揮拍后擊打在懸掛的小球上。外部的場(chǎng)地設(shè)備包括攝像頭和提供擊打反饋的懸吊架，其中攝像頭收集學(xué)員的動(dòng)作發(fā)送給VR與標(biāo)準(zhǔn)動(dòng)作對(duì)比然后把糾正動(dòng)作的指令發(fā)送給學(xué)員。懸吊架提供真實(shí)的擊打反饋并收集擊打數(shù)據(jù)。

（二）學(xué)習(xí)器多模態(tài)交互信息架構(gòu)

將多模態(tài)交互模型應(yīng)用于該硬件形成信息架構(gòu)，智能學(xué)習(xí)器選擇合適于情景的模態(tài)為主模態(tài)其他模態(tài)為輔模態(tài)，通過主輔配合的方式向?qū)W員傳遞信息指令；學(xué)員接收到指令后做出反應(yīng)，由效應(yīng)通道傳遞給智能學(xué)習(xí)器[15]（如圖4）。

根據(jù)模態(tài)確定交互信息架構(gòu)，標(biāo)準(zhǔn)動(dòng)作演示及口令提示以視聽結(jié)合形式呈現(xiàn)，使得學(xué)員在訓(xùn)練中易于理解；同時(shí)錯(cuò)誤糾正將不再單純?yōu)榻叹殕T講解（只使用聽覺模態(tài)）而以視聽結(jié)合的方式增加視覺模態(tài)參與，以此減輕學(xué)員處理信息的壓力。其中設(shè)備信息中的時(shí)間、電量、用戶信息等使用視覺模態(tài)提供給學(xué)員。設(shè)備的基本設(shè)置使用觸覺效應(yīng)通道和視覺模態(tài)與用戶交互。訓(xùn)練功能中的標(biāo)準(zhǔn)動(dòng)作演示，錯(cuò)誤糾正以及口令指示使用視覺和聽覺提供給學(xué)員，揮拍擊打信息收集將使用視覺模態(tài)與用戶交互。

（三）學(xué)習(xí)器多模態(tài)交互系統(tǒng)

在多模態(tài)交互信息架構(gòu)中，羽毛球智能學(xué)習(xí)架將以圖像和聲音的方式將對(duì)學(xué)員位置的指示、標(biāo)準(zhǔn)動(dòng)作的演示以及口令提醒由視覺和聽覺的感覺通道傳達(dá)給學(xué)員，學(xué)員將使用視覺和聽覺模態(tài)接收信息并作出調(diào)整位置、觀察動(dòng)作演示以及根據(jù)口令練習(xí)等任務(wù)。整合用戶和產(chǎn)品之間的信息的流動(dòng)和參與的模態(tài)可以構(gòu)建出多模態(tài)交互系統(tǒng)（如圖5）[16]。學(xué)員傳達(dá)的信息將以肢體動(dòng)效應(yīng)通道被羽毛球智能學(xué)習(xí)架的攝像頭接收。羽毛球智能學(xué)習(xí)架再通過數(shù)據(jù)處理將通過其模態(tài)關(guān)系和時(shí)間關(guān)系的特點(diǎn)將信息分配。其中模態(tài)關(guān)系主要分為選擇型、相繼型、并發(fā)型和互補(bǔ)型。時(shí)間關(guān)系主要是并行和串行。羽毛球智能學(xué)習(xí)架再將展示學(xué)員錯(cuò)誤動(dòng)作和演示學(xué)員正確動(dòng)作等信息通過圖像傳遞給學(xué)員。學(xué)員再重復(fù)練習(xí)形成循環(huán)。多模態(tài)交互系統(tǒng)將輸入信息進(jìn)行多模態(tài)交互處理，并選擇合適情景的模態(tài)組合將信息輸出給學(xué)員以實(shí)現(xiàn)信息準(zhǔn)確傳達(dá)和有效反饋。

（四）學(xué)習(xí)器界面交互設(shè)計(jì)

VR界面布局設(shè)計(jì)基于用戶認(rèn)知和行為邏輯特性。界面設(shè)計(jì)首先要對(duì)信息重要性進(jìn)行排序。在學(xué)員練習(xí)過程中信息重要性由高到低排序應(yīng)該為場(chǎng)地環(huán)境（包括球場(chǎng)模擬和擊球位置模擬）、動(dòng)作演示（包括標(biāo)準(zhǔn)動(dòng)作演示、自身動(dòng)作圖像以及糾正信息）、設(shè)備基本信息（電量音量等）。系統(tǒng)將不同重要性的信息以不同大小放置于不同區(qū)域和層級(jí)，使學(xué)員在需要該信息時(shí)便于獲?。ㄈ鐖D6）。

在VR眼鏡演示正確動(dòng)作后向?qū)W員發(fā)出指令練習(xí)并在練習(xí)時(shí)由外部攝像頭收集學(xué)員練習(xí)動(dòng)作數(shù)據(jù)，整理后將糾正指令以聲音信息發(fā)送給學(xué)員，VR眼鏡同時(shí)將標(biāo)準(zhǔn)動(dòng)作和學(xué)員當(dāng)前動(dòng)作的圖像信息發(fā)送給學(xué)員，如此循環(huán)進(jìn)行。

四、結(jié)語

本文設(shè)計(jì)了一種針對(duì)羽毛球初學(xué)者的學(xué)習(xí)機(jī)器，通過虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等技術(shù)增強(qiáng)視覺、聽覺信息模態(tài)運(yùn)用多感官優(yōu)勢(shì)進(jìn)行信息互補(bǔ)，降低了學(xué)員在原有場(chǎng)景下因信息通道擁擠帶來的高認(rèn)知負(fù)荷，提高了學(xué)員的學(xué)習(xí)效率，拓寬了將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用至體育教育領(lǐng)域的路徑，同時(shí)完善了多模態(tài)交互模型，提出了新的多模態(tài)交互策略為同類產(chǎn)品設(shè)計(jì)提供參考。筆者下一步將繼續(xù)完善設(shè)計(jì)使其更適用于多人以及更多場(chǎng)景下的學(xué)習(xí)訓(xùn)練。

參考文獻(xiàn)：

[1]林榕昇，馮雪珠.羽毛球：漲價(jià)與火爆的背后[N].福州日?qǐng)?bào)，2024-08-08（4）.

[2]單炫綺.利用羽毛球訓(xùn)練提升中考體育成績的方法[J].拳擊與格斗，2021（7）：84-85.

[3]劉萍萍.我國羽毛球競(jìng)技后備人才培養(yǎng)研究[D].北京：北京體育大學(xué)，2016.

[4]程勇民.我國羽毛球訓(xùn)練的理論創(chuàng)新與競(jìng)技實(shí)踐[J].中國體育教練員，2019（4）：8-13.

[5]劉婷.羽毛球初學(xué)者不同揮拍方式對(duì)高遠(yuǎn)球技術(shù)影響的實(shí)證研究[D].北京：北京體育大學(xué)，2018.

[6]昌琳.通過使用人物角色和情景分析的方法來進(jìn)行以用戶為中心的設(shè)計(jì)[J].藝術(shù)與設(shè)計(jì)（理論），2008（11）：171-173.

[7]任澤裕，王振超，柯尊旺，等.多模態(tài)數(shù)據(jù)融合綜述[J].計(jì)算機(jī)工程與應(yīng)用，2021（18）：49-64.

[8]Nuovo A，Broz F，Wang N，et al.The multi-modal interface of robot-era multi-robot services tailored for the elderly[J].Intelligent Service Robotics，2018（1）：109-126.

[9]李善青，賈云得，柳陽.一種用于穿戴計(jì)算的指示手勢(shì)視覺跟蹤方法[C]//山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院.第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議（HHME2007）論文集.北京：北京理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院；北京理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院；北京理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，2007：7.

[10]邵幫麗.基于多模態(tài)融合的智能家居人機(jī)自然交互方法研究及實(shí)現(xiàn)[D].蘇州：蘇州科技大學(xué)，2022.

[11]易心武，薛錦云，游珍，等.沉浸式虛擬現(xiàn)實(shí)多模態(tài)交互模型研究[J].江西師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2024（1）：52-58.

[12]顧曰國.多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué)，2007（2）：3-12.

[13]王榮榮.多模態(tài)人機(jī)交互系統(tǒng)及其語音識(shí)別關(guān)鍵技術(shù)研究[D].杭州：浙江大學(xué)，2022.

[14]曾曦，崔雪萌.基于多模態(tài)交互的送餐員頭盔設(shè)計(jì)[J].機(jī)械設(shè)計(jì)，2023（8）：157-163.

[15]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009（1）：24-30.

[16]辛志英.話語分析的新發(fā)展——多模態(tài)話語分析[J].社會(huì)科學(xué)刊，2008（5）：208-211.

作者簡(jiǎn)介：劉澤，西安工程大學(xué)碩士研究生。研究方向：用戶界面與交互設(shè)計(jì)。

通訊作者：孫薇，西安工程大學(xué)副教授。研究方向：產(chǎn)品設(shè)計(jì)與人機(jī)關(guān)系、視覺傳達(dá)與交互設(shè)計(jì)。