虛擬現(xiàn)實(shí)技術(shù)在小提琴教學(xué)中的應(yīng)用

□肖 睿 劉笑妤 王延松 西安音樂學(xué)院

一、虛擬現(xiàn)實(shí)技術(shù)在音樂教育領(lǐng)域中的應(yīng)用

（一）基礎(chǔ)音樂教育

虛擬現(xiàn)實(shí)技術(shù)具有代入感強(qiáng)、交互性好的特點(diǎn)，可以解決傳統(tǒng)音樂教學(xué)中的互動感低、效率低等問題。在學(xué)前音樂、中小學(xué)音樂教學(xué)課堂上，教師都可以通過虛擬現(xiàn)實(shí)智能設(shè)備完成交互及沉浸式體驗。這種體驗不僅能夠提高教學(xué)質(zhì)量和效率，幫助學(xué)生認(rèn)識音樂元素、鞏固理論知識，還能夠提高學(xué)生課堂學(xué)習(xí)效率、理解能力、應(yīng)變能力等多個方面[1]。

Gomes 等人介紹了在巴西幼兒園得到應(yīng)用的增強(qiáng)現(xiàn)實(shí)軟件，用于教授兒童聲音特性（音高和響度）。該軟件允許兒童操縱與聲音有關(guān)聯(lián)的虛擬對象，從而學(xué)習(xí)判斷聲音的響度和高低，并給出了可用性測試的結(jié)果。

Edoardo Degli Innocenti 等人在一所小學(xué)中進(jìn)行了關(guān)于音樂流派識別的VR 課程實(shí)驗。通過移動VR 設(shè)備讓學(xué)生沉浸在不同音樂風(fēng)格的表演中（如古典、鄉(xiāng)村、爵士和搖擺）。結(jié)果表明，與采用印刷材料和被動聆聽的傳統(tǒng)課程相比，將移動VR 技術(shù)與傳統(tǒng)教學(xué)方法相結(jié)合，可以在主動聆聽、注意力等方面強(qiáng)化初等教育中的音樂學(xué)習(xí)體驗。

（二）音樂技能學(xué)習(xí)

Chow 和Jonathan 等人探索了使用增強(qiáng)現(xiàn)實(shí)技術(shù)創(chuàng)建沉浸式體驗的方法，利用頭戴式顯示器將瑣碎復(fù)雜的鋼琴演奏任務(wù)作為游戲步驟呈現(xiàn)給學(xué)生，使學(xué)生能夠直觀地監(jiān)控自己的練習(xí)，有效地提高了鋼琴初學(xué)者的學(xué)習(xí)效率。

Stefania Serafin 等人概述了用于打擊樂學(xué)習(xí)的虛擬現(xiàn)實(shí)的最新軟件和技術(shù)，并且分析了如何運(yùn)用這些技術(shù)解決音樂教育教學(xué)中的一系列問題。針對兒童在K-12 階段中音樂教育受到預(yù)算削減的情況，他們認(rèn)為虛擬現(xiàn)實(shí)可以為兒童提供獲取音樂技能的替代方法。

Evelyn KOrman 等人在研究中使用了增強(qiáng)的沉浸式VR系統(tǒng)來增強(qiáng)樂隊指揮的目光接觸、軀干運(yùn)動和手勢。研究得出，使用增強(qiáng)的沉浸式VR 和頭部追蹤技術(shù)的學(xué)生比不使用虛擬現(xiàn)實(shí)技術(shù)的學(xué)生能表現(xiàn)出更大的行為技巧提升。

二、虛擬現(xiàn)實(shí)技術(shù)在小提琴教學(xué)中的應(yīng)用

能投入使用的樂器模型應(yīng)該滿足兩個基本原則：一是良好的音質(zhì)，二是易于控制。傳統(tǒng)樂器在身體、手勢表演活動的輸入及聲音傳播的輸出方面，為人機(jī)交互提供了非常好的范本。小提琴是傳統(tǒng)樂器中最精致、最富表現(xiàn)力的樂器之一，因此虛擬小提琴擁有更獨(dú)特的、更復(fù)雜的物理界面和豐富的擴(kuò)聲器。

（一）教學(xué)系統(tǒng)及模型

Yin 和Jun 等人完成了數(shù)字小提琴家教系統(tǒng)（DVT）的設(shè)計和硬件的實(shí)現(xiàn)，將小提琴音頻轉(zhuǎn)錄與可視化相結(jié)合，利用視頻、2D 指板動畫、3D 頭像動畫等不同的可視化模式幫助初學(xué)者更有效地練習(xí)和學(xué)習(xí)。該系統(tǒng)可以提供實(shí)時的反饋，在沒有教師在身邊的家庭環(huán)境中顯示出很高的實(shí)用性，并得到了相當(dāng)不錯的用戶反饋。

Fan 和Ess 等人設(shè)計并實(shí)現(xiàn)了一個名為Air Violin 的原型，這是一種使用深度相機(jī)的虛擬樂器，他們提出了徒手的以身體為中心的交互范例，用戶可通過執(zhí)行手勢以自發(fā)方式進(jìn)行交互。該范例采用可穿戴式相機(jī)和透視顯示器，來實(shí)現(xiàn)3D 空間中的靈活交互手勢控制。

Kusuda 和Yoshihiro 概述了小提琴演奏機(jī)器人的模型，探討了有關(guān)靈巧性、觸覺感應(yīng)、執(zhí)行器的速度控制，以及手臂、手和手指的協(xié)調(diào)等問題。這些精細(xì)的領(lǐng)域?qū)ξ磥淼臋C(jī)器人技術(shù)和機(jī)器人行業(yè)產(chǎn)生巨大影響。

（二）人機(jī)交互過程

手勢反饋是控制虛擬音樂設(shè)備的一個重要問題，樂器演奏者通過一些身體動作和手勢如用琴弓拉弦等，來產(chǎn)生相應(yīng)的演奏參數(shù)。在現(xiàn)實(shí)的樂器中，這些動作手勢是由樂器的發(fā)聲機(jī)制決定的。任何產(chǎn)生聲音的運(yùn)動都帶有產(chǎn)生聲音的動作特征，在聲音合成技術(shù)中，物理建模能夠?qū)菲髀曇舻暮铣膳c發(fā)聲機(jī)理進(jìn)行關(guān)聯(lián)匹配。

大多數(shù)控制器是基于鋼琴鍵盤設(shè)計的，這些控制器的設(shè)計基本原則是假設(shè)每個音符都是一個孤立事件，其音高、音長、音色和振幅之間無法相互作用。然而對于大多數(shù)樂器來說，“一對一”的映射，即每個音符相對獨(dú)立是比較少見的。Friberg等人的研究提出提高計算機(jī)性能，并介紹了相關(guān)高性能計算機(jī)中所使用的表達(dá)式參數(shù)。雖然手勢反饋是控制虛擬音樂設(shè)備的一個重要問題，但是聽覺反饋和樂器演奏時的演奏方法也很重要。

在用合成算法進(jìn)行計算時，由于大多數(shù)樂器的演奏者與振動元素（琴弦）直接接觸，所以Cadoz 提出了使用性能手勢的異步分層結(jié)構(gòu)。這是一種可以同時表示低級運(yùn)動軌跡和高級音樂發(fā)音軌跡的層次結(jié)構(gòu)，為建立手勢驅(qū)動交互的控制體系結(jié)構(gòu)提供了一種理想的模型。

Askenfelt 等人的研究表明，在樂器振動的過程中，人類皮膚感受器的敏感性在頻率和振幅范圍上是差不多的。另外，Winkler 等人對虛擬環(huán)境、樂器及控制設(shè)備（如面板、墊子和可穿戴設(shè)備）等方面的一些應(yīng)用程序也做了大量的創(chuàng)建和研究，并做出了概述。

Gillespie 介紹了器樂演奏中的觸覺概況，其認(rèn)為小提琴演奏員從小提琴中接收到的振動進(jìn)入了下頜和頭部。這種對許多演奏員來說至關(guān)重要的聯(lián)系被稱為“觸覺聯(lián)系”。因此可以從使用手勢控制虛擬對象，利用空間中聽覺和感覺聲音的角度來考慮觸覺聯(lián)系。而O'Modhrain 將觸覺學(xué)與仿真相結(jié)合，對提高人機(jī)交互和技能轉(zhuǎn)移的性能方面進(jìn)行了廣泛的研究，最終發(fā)現(xiàn)觸覺反饋可以提高玩家學(xué)習(xí)虛擬樂器的能力。

Goto、Pierrot和Terrier共同開發(fā)了一個名為“SuperPolm”的小提琴控制器。它里面集成了七個傳感器，以提供連續(xù)的輸出變量。該系統(tǒng)提供了一個接口，能夠根據(jù)小提琴演奏者的不同手勢來控制不同的合成參數(shù)。

在Burtner 和Serafin 的工作中，通過延伸更多的演奏技巧（如跳弓、頓弓等）來研究弓弦樂器的物理模型。模型基于數(shù)字波導(dǎo)技術(shù)，使用Max/MSP 圖形編程接口和Metasaxophone進(jìn)行控制。Serafin 等人進(jìn)一步討論了弓弦物理模型的表達(dá)控制器，并利用平板電腦和VBOX 等硬件擴(kuò)展了控制方案。

Schoner 等人的研究表明，小提琴的聲音輸出是從靜音樂器上捕捉的手勢數(shù)據(jù)中模擬出來的。該系統(tǒng)是基于神經(jīng)網(wǎng)絡(luò)訓(xùn)練和學(xué)習(xí)，通過復(fù)雜的傳感硬件設(shè)置對身體的手勢輸入進(jìn)行測量，從而得到音頻參數(shù)輸出的映射。

通過對相關(guān)文獻(xiàn)的分析可以發(fā)現(xiàn)，國外在人機(jī)交互過程中對虛擬小提琴演奏姿勢中弓弦控制和觸覺反饋的研究極其豐富，包括弓速、壓力、位置、指板位置等變量都有相應(yīng)的傳感設(shè)備進(jìn)行實(shí)時的反饋和檢測。但是，有關(guān)具體模塊的應(yīng)用和實(shí)際交互效果方面，還有待豐富和完善。

三、虛擬現(xiàn)實(shí)技術(shù)對音樂學(xué)習(xí)的積極作用

Bian 和Hong-xuan 詳細(xì)描述了近年來虛擬現(xiàn)實(shí)在音樂教學(xué)系統(tǒng)中的應(yīng)用，提出了一種在線識別算法，通過驗證性因素分析來評估教學(xué)效果。研究表明，虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用提高了學(xué)生自主學(xué)習(xí)的積極性和學(xué)習(xí)效率。

Lin 和Mike Tz-Yauw 等人認(rèn)為，虛擬現(xiàn)實(shí)技術(shù)可能是最先進(jìn)、最完善的認(rèn)知增強(qiáng)技術(shù)。他們概述了VR 可以用來增強(qiáng)創(chuàng)造力和解決問題的五種方式：一是通過改變自我感知；二是通過優(yōu)化與他人的互動協(xié)作；三是通過優(yōu)化環(huán)境條件的影響；四是促進(jìn)解決問題過程的游戲化；五是通過提供一個舞臺來整合其他增強(qiáng)創(chuàng)造力的技術(shù)。這五種方式討論了不斷發(fā)展的創(chuàng)新和認(rèn)知增強(qiáng)科學(xué)中的技術(shù)融合。

結(jié) 語

綜上所述，國外關(guān)于虛擬現(xiàn)實(shí)技術(shù)在音樂教育領(lǐng)域的應(yīng)用已有一些相應(yīng)的軟件設(shè)計與硬件。虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用在本質(zhì)上并不是要完全替代教師，未來的教育一定有教師的存在，但虛擬現(xiàn)實(shí)技術(shù)會協(xié)助教師的很多工作，通過大數(shù)據(jù)，它們可能變成教師的助教。聯(lián)合國教科文組織的報告提出了“雙師型教師”的概念，虛擬現(xiàn)實(shí)設(shè)備可以幫助教師對學(xué)生進(jìn)行評測，了解每位學(xué)生的學(xué)習(xí)情況，處理一些基礎(chǔ)性的日常工作，這樣教師就可以有更多的時間與學(xué)生進(jìn)行交流。這種精神就是指人與人之間的交流，在信息化社會，人機(jī)之間的交流和人與人間的交流，兩者都不可或缺。