摘" 要:通過(guò)引入多模態(tài)交互方式為傳統(tǒng)羽毛球?qū)W習(xí)訓(xùn)練器材賦能,可解決學(xué)員在訓(xùn)練中感知不強(qiáng)的問(wèn)題,提高學(xué)員的學(xué)習(xí)效率。文章在使用情境任務(wù)分析法時(shí)發(fā)現(xiàn)學(xué)員在學(xué)習(xí)羽毛球的任務(wù)流程中動(dòng)作通道與感官模態(tài)存在不合理的資源競(jìng)爭(zhēng)問(wèn)題,而這是影響學(xué)員學(xué)習(xí)效率的主要原因。文章提出了依托于多模態(tài)交互模型的設(shè)計(jì)策略,并提出了設(shè)計(jì)實(shí)例。最終結(jié)果表明:建立多模態(tài)平衡機(jī)制,將多模態(tài)交互的方式引入羽毛球?qū)W習(xí)訓(xùn)練器材和訓(xùn)練方法中,可以通過(guò)降低學(xué)員在學(xué)習(xí)時(shí)的認(rèn)知負(fù)荷來(lái)提升學(xué)員的學(xué)習(xí)效率。
關(guān)鍵詞:產(chǎn)品設(shè)計(jì);羽毛球訓(xùn)練器材;情境任務(wù)分析法;多模態(tài)交互
隨著生活經(jīng)濟(jì)水平的提高,人們逐漸從對(duì)基本生活需求的滿足轉(zhuǎn)向?qū)Ω哔|(zhì)量生活和幸福感的追求,越來(lái)越多的人選擇將體育運(yùn)動(dòng)作為自己的健康幸福生活的活動(dòng),其中羽毛球的地位越來(lái)越重要,它作為全民適宜的體育運(yùn)動(dòng)也被逐漸納入中考體育范圍,因此也帶來(lái)了羽毛球教育培訓(xùn)行業(yè)的蓬勃發(fā)展。羽毛球運(yùn)動(dòng)屬于入門(mén)簡(jiǎn)單,但精進(jìn)難度高的小球運(yùn)動(dòng),學(xué)員系統(tǒng)學(xué)習(xí)難度較大,而且當(dāng)前國(guó)內(nèi)培訓(xùn)市場(chǎng)處于發(fā)展階段,教學(xué)方式和教具都不夠成熟,教練員主要以手把手教的簡(jiǎn)單方式教學(xué),教練員水平參差不齊,難以標(biāo)準(zhǔn)化教學(xué),因此,可以設(shè)計(jì)出一款人機(jī)交互設(shè)備,將科學(xué)訓(xùn)練標(biāo)準(zhǔn)和教練員經(jīng)驗(yàn)相結(jié)合,讓科技輔佐教育,提高效率。通過(guò)使用多模態(tài)交互技術(shù)設(shè)計(jì)一款訓(xùn)練器件應(yīng)用在體育教育培訓(xùn)行業(yè)上,可以降低學(xué)員的認(rèn)知負(fù)荷和學(xué)習(xí)難度,同時(shí)提高學(xué)員的學(xué)習(xí)效率和規(guī)范羽毛球行業(yè)的培訓(xùn)標(biāo)準(zhǔn),對(duì)羽毛球行業(yè)乃至其他小球類運(yùn)動(dòng)均會(huì)起到非常大的積極作用。
一、研究背景
(一)行業(yè)發(fā)展
據(jù)中研普華產(chǎn)業(yè)院研究報(bào)告-數(shù)據(jù)顯示2021—2023年全國(guó)羽毛球館市場(chǎng)規(guī)模由237.2億元上升到291.8億元,全國(guó)羽毛球館行業(yè)從業(yè)人員規(guī)模由69.7萬(wàn)人上升到78.1萬(wàn)人,羽毛球運(yùn)動(dòng)項(xiàng)目已逐漸納入中考體育范圍。由于其對(duì)青少年兒童駝背、眼睛近視等問(wèn)題有很好的緩解作用,且沒(méi)有肢體碰撞,安全性較高,因此備受家長(zhǎng)青睞?!?022年中國(guó)羽毛球培訓(xùn)行業(yè)分析報(bào)告——行業(yè)規(guī)模與發(fā)展趨勢(shì)預(yù)測(cè)》報(bào)告顯示,在為孩子選擇體育培訓(xùn)項(xiàng)目時(shí),羽毛球已成為第二大受歡迎的選擇,占比達(dá)到21.3%。因此羽毛球培訓(xùn)市場(chǎng)也在蓬勃發(fā)展[1]。調(diào)研發(fā)現(xiàn)市場(chǎng)上參加羽毛球培訓(xùn)的學(xué)員區(qū)別于專業(yè)體校學(xué)生,他們沒(méi)有足夠多的時(shí)間和精力練習(xí),因此培訓(xùn)機(jī)構(gòu)也無(wú)法完全使用專業(yè)體育學(xué)校的教學(xué)方式。國(guó)內(nèi)的培訓(xùn)機(jī)構(gòu)也都不夠成熟,各羽毛球培訓(xùn)機(jī)構(gòu)使用的輔助訓(xùn)練器材大多都是機(jī)構(gòu)簡(jiǎn)單自行定制(如圖1)。輔助訓(xùn)練器材雖然在學(xué)習(xí)羽毛球的過(guò)程中不可或缺,但是其專業(yè)性和統(tǒng)一性卻沒(méi)有被重視起來(lái)[2]。
(二)學(xué)習(xí)流程
初學(xué)者學(xué)習(xí)羽毛球流程指的是學(xué)員在羽毛球培訓(xùn)班主要的上課內(nèi)容,其中教練員講解、學(xué)員使用輔助器材練習(xí)、教練員糾正動(dòng)作這些流程是課程的基本步驟,其中學(xué)員使用輔助器材練習(xí)是上課環(huán)節(jié)的關(guān)鍵環(huán)節(jié)[3]。學(xué)員需要使用訓(xùn)練輔助器材不斷重復(fù)教練員演示的擊球動(dòng)作,形成肌肉記憶,從而學(xué)會(huì)打羽毛球的專業(yè)動(dòng)作,達(dá)到學(xué)習(xí)目的[4]。學(xué)員在學(xué)習(xí)羽毛球運(yùn)動(dòng)時(shí)首先需要學(xué)習(xí)專業(yè)的擊球動(dòng)作,而學(xué)員在模仿教練員動(dòng)作講解、使用輔助器材練習(xí)以及通過(guò)教練員糾正改正練習(xí)動(dòng)作時(shí)以單模態(tài)交互方式為主,很難判斷視角外的自身肢體動(dòng)作幅度。因此這種學(xué)習(xí)模式容易加重學(xué)員的認(rèn)知負(fù)荷,使學(xué)習(xí)效率低下[5]。
情境任務(wù)分析法(Contextual Task Analysis)是一種任務(wù)分析方法,它著重于理解任務(wù)在特定情境下的執(zhí)行過(guò)程、要求和影響因素。情境任務(wù)分析法的目標(biāo)是深入了解任務(wù)執(zhí)行者與其工作環(huán)境之間的相互作用,以及環(huán)境對(duì)任務(wù)執(zhí)行的影響。在上課培訓(xùn)流程中,學(xué)員的行為與教練、輔助器材等邏輯關(guān)系較復(fù)雜,因此,運(yùn)用情境任務(wù)分析法分析學(xué)員上課的關(guān)鍵步驟,能夠研究學(xué)員行為特征并分析其中存在的問(wèn)題[6]。
表1為羽毛球培訓(xùn)過(guò)程中學(xué)習(xí)過(guò)程,使用情景任務(wù)分析法來(lái)拆解學(xué)員的任務(wù)目標(biāo),可以分為四個(gè)部分。1.看教練員演示動(dòng)作,聽(tīng)教練員講解關(guān)鍵點(diǎn),這是最基礎(chǔ)的接收信息的過(guò)程,而其中主要參與模態(tài)為眼睛和耳朵,在此階段學(xué)員可以簡(jiǎn)單地觀察學(xué)習(xí),認(rèn)知負(fù)荷在可承受范圍之內(nèi)。2.觀察并挪動(dòng)輔助器材,使自身和輔助器材處于合理位置,此時(shí)屬于學(xué)員初步學(xué)習(xí)階段,只需要眼睛和肢體參與即可,但這個(gè)階段教練員的教育水平非常關(guān)鍵,讓學(xué)員站在固定合理的點(diǎn)位才能使學(xué)員充分感受發(fā)力,順利進(jìn)行下一步訓(xùn)練。3.使用教練員講解的專業(yè)擊球動(dòng)作,使用輔助器材練習(xí),這個(gè)階段雖然只需要學(xué)員眼睛和肢體的參與,但是復(fù)雜的信息加工階段,學(xué)員需要對(duì)第一部分的輸入信息進(jìn)行思考加工,還需要自身行為訓(xùn)練的配合,對(duì)于較小年齡的小孩而言,認(rèn)知負(fù)擔(dān)相對(duì)較重。4.通過(guò)教練員糾正,學(xué)員改正錯(cuò)誤動(dòng)作繼續(xù)練習(xí),這是最后一部分的反饋接收改正階段,在此階段教練員需要時(shí)刻觀察學(xué)員練習(xí)姿勢(shì)和心理狀態(tài)如何,及時(shí)提出訓(xùn)練意見(jiàn)。
在上述的羽毛球培訓(xùn)學(xué)習(xí)過(guò)程中,我們可以分析發(fā)現(xiàn)教練員的經(jīng)驗(yàn)和規(guī)范化教學(xué)非常重要。學(xué)員在使用輔助器材練習(xí)擊球動(dòng)作時(shí),既要注意自身?yè)羟騽?dòng)作是否規(guī)范,又要注意與訓(xùn)練器材的動(dòng)作交互并且還要聽(tīng)從教練員的糾正,所以對(duì)于教學(xué)和受教的雙方而言,在學(xué)習(xí)開(kāi)始階段的負(fù)擔(dān)很重。因此教練員初始規(guī)范化教學(xué)負(fù)擔(dān)重,學(xué)員感官模態(tài)和動(dòng)作姿勢(shì)競(jìng)爭(zhēng)造成認(rèn)知負(fù)荷過(guò)重導(dǎo)致效率低下,均是有待解決的問(wèn)題。
(三)多模態(tài)交互
多模態(tài)交互(Multimodal Interaction)是指在人與計(jì)算機(jī)的交互過(guò)程中,利用多種感官通道或輸入方式(如視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等)同時(shí)進(jìn)行信息交流與處理的技術(shù)。隨著電子產(chǎn)品的不斷發(fā)展,相比傳統(tǒng)的單模態(tài)交互(如僅通過(guò)鍵盤(pán)輸入或語(yǔ)音指令),多模態(tài)交互逐漸成為人機(jī)交互的發(fā)展趨勢(shì)[7]。作為一種新型人機(jī)交互方式,多模態(tài)交互并非多個(gè)模態(tài)的簡(jiǎn)單疊加,而是通過(guò)各模態(tài)配合實(shí)現(xiàn)比單一模態(tài)更高效、自然的人機(jī)對(duì)話。國(guó)內(nèi)外學(xué)者開(kāi)展了關(guān)于多模態(tài)交互的研究,例如Nuovo等提出面向高齡用戶的多模態(tài)輸入界面,并通過(guò)試驗(yàn)證明多模態(tài)輸入方式可為用戶提供有效的認(rèn)知補(bǔ)償[8];李善青設(shè)計(jì)了一套由穿戴計(jì)算機(jī)、立體視覺(jué)機(jī)、無(wú)線麥克和頭戴顯示器組成的交互穿戴系統(tǒng),通過(guò)利用多模態(tài)交互中視覺(jué)和聽(tīng)覺(jué)通道的互補(bǔ)性和可并行性,提高了整套系統(tǒng)的運(yùn)行效率[9];邵幫麗等將多模態(tài)交互方法應(yīng)用于智能家居場(chǎng)景,提升了人機(jī)交互精確性和順暢性[10]。多模態(tài)交互還被運(yùn)用于增強(qiáng)現(xiàn)實(shí)等應(yīng)用領(lǐng)域,以實(shí)現(xiàn)高效、自然的人機(jī)對(duì)話,如易心武等基于神經(jīng)科學(xué)和運(yùn)動(dòng)學(xué)的角度劃分視線轉(zhuǎn)移,結(jié)合頭動(dòng)的穩(wěn)定性與眼動(dòng)的高效性以及頭眼協(xié)調(diào)特征設(shè)計(jì)了一個(gè)頭眼協(xié)調(diào)交互模型,通過(guò)多模態(tài)相互作用減少M(fèi)idas誤觸和識(shí)別用戶意圖,與傳統(tǒng)交互模態(tài)相比,其交互模型具有更高的精度、更快的時(shí)間效率和更高的自然度[11]。
多模態(tài)交互利用人類的不同感覺(jué)通道,使用戶運(yùn)用更加自然的交互方式與產(chǎn)品協(xié)作,是增強(qiáng)現(xiàn)實(shí)人機(jī)交互的主要形式,也是未來(lái)人機(jī)交互的發(fā)展重心[12]。通過(guò)綜合運(yùn)用多感官優(yōu)勢(shì)而形成的多模態(tài)交互信息互補(bǔ)形式,不僅可降低學(xué)員在學(xué)習(xí)訓(xùn)練場(chǎng)景下的認(rèn)知負(fù)荷為用戶提供認(rèn)知補(bǔ)償,還能有效提升交互的自然性。后文將針對(duì)學(xué)員在學(xué)習(xí)存在的感官模態(tài)和動(dòng)作資源不合理競(jìng)爭(zhēng)問(wèn)題提出多模態(tài)交互模型以及設(shè)計(jì)策略,并構(gòu)建羽毛球訓(xùn)練器材的系統(tǒng)設(shè)計(jì),以提高學(xué)員的學(xué)習(xí)效率。
二、多模態(tài)交互模型與設(shè)計(jì)策略
(一)多模態(tài)交互模型
多模態(tài)交互模型指的是能夠處理多種不同類型輸入(例如文字、語(yǔ)音、圖像等)和輸出的交互模型。這種模型可以同時(shí)處理來(lái)自不同傳感器或資源的信息,并且能夠?qū)⑦@些信息整合起來(lái)以進(jìn)行更加全面和智能的交互。其主要包含用戶層、產(chǎn)品層和交互層(如圖2),信息在這三個(gè)層面中被加工處理以及流通。多模態(tài)交互通過(guò)整合多種感官輸入和輸出方式,使交互過(guò)程更加自然、靈活和高效,提升了人機(jī)交互的整體體驗(yàn)和應(yīng)用廣度[13]。
1.用戶層。用戶層主要包括用戶的感覺(jué)通道和效應(yīng)通道,用戶通過(guò)感覺(jué)通道接收產(chǎn)品發(fā)出的信息,再通過(guò)效應(yīng)通道做出相關(guān)反應(yīng)傳遞給產(chǎn)品完成相應(yīng)的交互行為。
2.交互層。交互層是整個(gè)多模態(tài)交互模型的核心層面,其功能主要將不同模態(tài)的信息整合處理,進(jìn)行系統(tǒng)的決策和分析,形成輸入和輸出的信息映射。
3.產(chǎn)品層。產(chǎn)品層包含輸入設(shè)備和輸出設(shè)備,輸入設(shè)備接收來(lái)自用戶和環(huán)境的信息傳遞給交互層,輸出設(shè)備將交互層處理好的信息采用多模態(tài)的方式傳遞給用戶相對(duì)應(yīng)的感覺(jué)通道。
在交互層中信息從輸入設(shè)備流入經(jīng)過(guò)多模態(tài)交互處理后由輸出設(shè)備傳遞給用戶。信息沿用戶層交互層和產(chǎn)品層循環(huán)傳遞工作。該模型可以梳理多模態(tài)交互中信息處理和加工的過(guò)程,有助于為后續(xù)的交互設(shè)計(jì)提出設(shè)計(jì)策略[14]。
(二)設(shè)計(jì)策略
基于多模態(tài)交互模型,可在產(chǎn)品層和交互層提出設(shè)計(jì)策略。在產(chǎn)品層的信息輸入階段,增加傳感器拓寬獲取信息的效應(yīng)通道;在交互層的信息處理階段實(shí)時(shí)跟蹤分析用戶使用過(guò)程中的情景數(shù)據(jù),并輸出用戶需要的特征信息;在產(chǎn)品層的信息輸出階段選擇合理分配輸出模態(tài),在合適的情景為用戶提供合理的融合信息以保持用戶正常的認(rèn)知負(fù)荷。
三、羽毛球智能學(xué)習(xí)器多模態(tài)交互設(shè)計(jì)
(一)羽毛球智能學(xué)習(xí)器設(shè)計(jì)
學(xué)習(xí)器從虛擬現(xiàn)實(shí)結(jié)合出發(fā),保留傳統(tǒng)學(xué)習(xí)架觸感反饋的同時(shí)增加VR設(shè)備增強(qiáng)學(xué)員的視覺(jué)模態(tài)。學(xué)習(xí)器包括學(xué)習(xí)架、VR眼鏡和內(nèi)外部攝像頭三個(gè)部分組成。學(xué)員佩戴VR頭戴設(shè)備練習(xí)。場(chǎng)地設(shè)備立于學(xué)員右側(cè),攝像頭固定在學(xué)員正前方(如圖3)。
學(xué)員的VR眼鏡虛構(gòu)出場(chǎng)地的虛擬景象并提供標(biāo)準(zhǔn)學(xué)習(xí)動(dòng)作的指令,在發(fā)送揮拍指令后虛擬環(huán)境模擬出羽毛球向?qū)W員飛來(lái),學(xué)員向虛擬揮拍后擊打在懸掛的小球上。外部的場(chǎng)地設(shè)備包括攝像頭和提供擊打反饋的懸吊架,其中攝像頭收集學(xué)員的動(dòng)作發(fā)送給VR與標(biāo)準(zhǔn)動(dòng)作對(duì)比然后把糾正動(dòng)作的指令發(fā)送給學(xué)員。懸吊架提供真實(shí)的擊打反饋并收集擊打數(shù)據(jù)。
(二)學(xué)習(xí)器多模態(tài)交互信息架構(gòu)
將多模態(tài)交互模型應(yīng)用于該硬件形成信息架構(gòu),智能學(xué)習(xí)器選擇合適于情景的模態(tài)為主模態(tài)其他模態(tài)為輔模態(tài),通過(guò)主輔配合的方式向?qū)W員傳遞信息指令;學(xué)員接收到指令后做出反應(yīng),由效應(yīng)通道傳遞給智能學(xué)習(xí)器[15](如圖4)。
根據(jù)模態(tài)確定交互信息架構(gòu),標(biāo)準(zhǔn)動(dòng)作演示及口令提示以視聽(tīng)結(jié)合形式呈現(xiàn),使得學(xué)員在訓(xùn)練中易于理解;同時(shí)錯(cuò)誤糾正將不再單純?yōu)榻叹殕T講解(只使用聽(tīng)覺(jué)模態(tài))而以視聽(tīng)結(jié)合的方式增加視覺(jué)模態(tài)參與,以此減輕學(xué)員處理信息的壓力。其中設(shè)備信息中的時(shí)間、電量、用戶信息等使用視覺(jué)模態(tài)提供給學(xué)員。設(shè)備的基本設(shè)置使用觸覺(jué)效應(yīng)通道和視覺(jué)模態(tài)與用戶交互。訓(xùn)練功能中的標(biāo)準(zhǔn)動(dòng)作演示,錯(cuò)誤糾正以及口令指示使用視覺(jué)和聽(tīng)覺(jué)提供給學(xué)員,揮拍擊打信息收集將使用視覺(jué)模態(tài)與用戶交互。
(三)學(xué)習(xí)器多模態(tài)交互系統(tǒng)
在多模態(tài)交互信息架構(gòu)中,羽毛球智能學(xué)習(xí)架將以圖像和聲音的方式將對(duì)學(xué)員位置的指示、標(biāo)準(zhǔn)動(dòng)作的演示以及口令提醒由視覺(jué)和聽(tīng)覺(jué)的感覺(jué)通道傳達(dá)給學(xué)員,學(xué)員將使用視覺(jué)和聽(tīng)覺(jué)模態(tài)接收信息并作出調(diào)整位置、觀察動(dòng)作演示以及根據(jù)口令練習(xí)等任務(wù)。整合用戶和產(chǎn)品之間的信息的流動(dòng)和參與的模態(tài)可以構(gòu)建出多模態(tài)交互系統(tǒng)(如圖5)[16]。學(xué)員傳達(dá)的信息將以肢體動(dòng)效應(yīng)通道被羽毛球智能學(xué)習(xí)架的攝像頭接收。羽毛球智能學(xué)習(xí)架再通過(guò)數(shù)據(jù)處理將通過(guò)其模態(tài)關(guān)系和時(shí)間關(guān)系的特點(diǎn)將信息分配。其中模態(tài)關(guān)系主要分為選擇型、相繼型、并發(fā)型和互補(bǔ)型。時(shí)間關(guān)系主要是并行和串行。羽毛球智能學(xué)習(xí)架再將展示學(xué)員錯(cuò)誤動(dòng)作和演示學(xué)員正確動(dòng)作等信息通過(guò)圖像傳遞給學(xué)員。學(xué)員再重復(fù)練習(xí)形成循環(huán)。多模態(tài)交互系統(tǒng)將輸入信息進(jìn)行多模態(tài)交互處理,并選擇合適情景的模態(tài)組合將信息輸出給學(xué)員以實(shí)現(xiàn)信息準(zhǔn)確傳達(dá)和有效反饋。
(四)學(xué)習(xí)器界面交互設(shè)計(jì)
VR界面布局設(shè)計(jì)基于用戶認(rèn)知和行為邏輯特性。界面設(shè)計(jì)首先要對(duì)信息重要性進(jìn)行排序。在學(xué)員練習(xí)過(guò)程中信息重要性由高到低排序應(yīng)該為場(chǎng)地環(huán)境(包括球場(chǎng)模擬和擊球位置模擬)、動(dòng)作演示(包括標(biāo)準(zhǔn)動(dòng)作演示、自身動(dòng)作圖像以及糾正信息)、設(shè)備基本信息(電量音量等)。系統(tǒng)將不同重要性的信息以不同大小放置于不同區(qū)域和層級(jí),使學(xué)員在需要該信息時(shí)便于獲?。ㄈ鐖D6)。
在VR眼鏡演示正確動(dòng)作后向?qū)W員發(fā)出指令練習(xí)并在練習(xí)時(shí)由外部攝像頭收集學(xué)員練習(xí)動(dòng)作數(shù)據(jù),整理后將糾正指令以聲音信息發(fā)送給學(xué)員,VR眼鏡同時(shí)將標(biāo)準(zhǔn)動(dòng)作和學(xué)員當(dāng)前動(dòng)作的圖像信息發(fā)送給學(xué)員,如此循環(huán)進(jìn)行。
四、結(jié)語(yǔ)
本文設(shè)計(jì)了一種針對(duì)羽毛球初學(xué)者的學(xué)習(xí)機(jī)器,通過(guò)虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等技術(shù)增強(qiáng)視覺(jué)、聽(tīng)覺(jué)信息模態(tài)運(yùn)用多感官優(yōu)勢(shì)進(jìn)行信息互補(bǔ),降低了學(xué)員在原有場(chǎng)景下因信息通道擁擠帶來(lái)的高認(rèn)知負(fù)荷,提高了學(xué)員的學(xué)習(xí)效率,拓寬了將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用至體育教育領(lǐng)域的路徑,同時(shí)完善了多模態(tài)交互模型,提出了新的多模態(tài)交互策略為同類產(chǎn)品設(shè)計(jì)提供參考。筆者下一步將繼續(xù)完善設(shè)計(jì)使其更適用于多人以及更多場(chǎng)景下的學(xué)習(xí)訓(xùn)練。
參考文獻(xiàn):
[1]林榕昇,馮雪珠.羽毛球:漲價(jià)與火爆的背后[N].福州日?qǐng)?bào),2024-08-08(4).
[2]單炫綺.利用羽毛球訓(xùn)練提升中考體育成績(jī)的方法[J].拳擊與格斗,2021(7):84-85.
[3]劉萍萍.我國(guó)羽毛球競(jìng)技后備人才培養(yǎng)研究[D].北京:北京體育大學(xué),2016.
[4]程勇民.我國(guó)羽毛球訓(xùn)練的理論創(chuàng)新與競(jìng)技實(shí)踐[J].中國(guó)體育教練員,2019(4):8-13.
[5]劉婷.羽毛球初學(xué)者不同揮拍方式對(duì)高遠(yuǎn)球技術(shù)影響的實(shí)證研究[D].北京:北京體育大學(xué),2018.
[6]昌琳.通過(guò)使用人物角色和情景分析的方法來(lái)進(jìn)行以用戶為中心的設(shè)計(jì)[J].藝術(shù)與設(shè)計(jì)(理論),2008(11):171-173.
[7]任澤裕,王振超,柯尊旺,等.多模態(tài)數(shù)據(jù)融合綜述[J].計(jì)算機(jī)工程與應(yīng)用,2021(18):49-64.
[8]Nuovo A,Broz F,Wang N,et al.The multi-modal interface of robot-era multi-robot services tailored for the elderly[J].Intelligent Service Robotics,2018(1):109-126.
[9]李善青,賈云得,柳陽(yáng).一種用于穿戴計(jì)算的指示手勢(shì)視覺(jué)跟蹤方法[C]//山東大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院.第三屆和諧人機(jī)環(huán)境聯(lián)合學(xué)術(shù)會(huì)議(HHME2007)論文集.北京:北京理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院;北京理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院;北京理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院,2007:7.
[10]邵幫麗.基于多模態(tài)融合的智能家居人機(jī)自然交互方法研究及實(shí)現(xiàn)[D].蘇州:蘇州科技大學(xué),2022.
[11]易心武,薛錦云,游珍,等.沉浸式虛擬現(xiàn)實(shí)多模態(tài)交互模型研究[J].江西師范大學(xué)學(xué)報(bào)(自然科學(xué)版),2024(1):52-58.
[12]顧曰國(guó).多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語(yǔ)電化教學(xué),2007(2):3-12.
[13]王榮榮.多模態(tài)人機(jī)交互系統(tǒng)及其語(yǔ)音識(shí)別關(guān)鍵技術(shù)研究[D].杭州:浙江大學(xué),2022.
[14]曾曦,崔雪萌.基于多模態(tài)交互的送餐員頭盔設(shè)計(jì)[J].機(jī)械設(shè)計(jì),2023(8):157-163.
[15]張德祿.多模態(tài)話語(yǔ)分析綜合理論框架探索[J].中國(guó)外語(yǔ),2009(1):24-30.
[16]辛志英.話語(yǔ)分析的新發(fā)展——多模態(tài)話語(yǔ)分析[J].社會(huì)科學(xué)刊,2008(5):208-211.
作者簡(jiǎn)介:劉澤,西安工程大學(xué)碩士研究生。研究方向:用戶界面與交互設(shè)計(jì)。
通訊作者:孫薇,西安工程大學(xué)副教授。研究方向:產(chǎn)品設(shè)計(jì)與人機(jī)關(guān)系、視覺(jué)傳達(dá)與交互設(shè)計(jì)。