基于Leap Motion的中國古琴聲畫結(jié)合交互設(shè)計研究

○陳 童 王 妍 趙 琦

一、中國古琴聲畫結(jié)合交互設(shè)計的現(xiàn)實需求與文化意義

中國傳統(tǒng)藝術(shù)中，音樂藝術(shù)與繪畫藝術(shù)有非常密切的聯(lián)系。繪畫傳神，音樂傳情，音樂藝術(shù)與繪畫藝術(shù)在感官刺激與意象生成方面是相通的。正如《高山流水》中講到的“意在高山、意在流水”，表達了古琴音樂與山水意象的相互轉(zhuǎn)化。①在國外的藝術(shù)研究中也有類似的觀念，例如法國新作曲家德彪西提出用音樂色彩表現(xiàn)景物的明暗、層次、色調(diào)、強弱等感官效果，同樣體現(xiàn)了“樂中有畫”的藝術(shù)內(nèi)涵。

在我國傳統(tǒng)文化的發(fā)展歷程中，聲畫結(jié)合的藝術(shù)傳播形式有著強烈的現(xiàn)實需求。在全球化文化藝術(shù)發(fā)展的需求下，數(shù)字時代，數(shù)字化表達與傳播成為文化傳播的主要方式。2011年黨的十七屆六中全會在《中共中央關(guān)于深化文化體制改革推動社會主義文化大發(fā)展大繁榮若干重大問題的決定》中提出了“實施文化走出去工程”。建設(shè)社會主義文化強國的宏偉目標(biāo)，明確指出要“開展多渠道多形式多層次對外文化交流，廣泛參與世界文明對話，促進文化相互借鑒，增強中華文化在世界上的感召力和影響力”。同時在非物質(zhì)文化遺產(chǎn)保護方面目前正在向數(shù)字化保護的方向發(fā)展，2012年5月17日，由科技部、中宣部、財政部、文化部等12個單位組成的國家文化科技創(chuàng)新工程聯(lián)席會議，會議通過了《文化科技創(chuàng)新工程綱要》，在綱要中列出了一系列與科技相關(guān)的“重點工程”，旨在將非物質(zhì)文化遺產(chǎn)利用數(shù)字化技術(shù)的方式來加以保護。聲畫結(jié)合藝術(shù)作為傳統(tǒng)藝術(shù)的代表，其數(shù)字化是“文化走出去”工程的一部分，也是我國非物質(zhì)文化遺產(chǎn)數(shù)字化保護的方式之一。

對中國古琴聲畫結(jié)合交互設(shè)計的研究，有利于探討古琴音樂藝術(shù)與山水畫藝術(shù)的關(guān)系，是對我國傳統(tǒng)藝術(shù)理論的深化。聲畫交互設(shè)計通過輸入不同節(jié)奏、音調(diào)、旋律的聲音信號驅(qū)動三維山水場景的轉(zhuǎn)換，是對傳統(tǒng)藝術(shù)精神的數(shù)字化創(chuàng)新方法的探索。同時，文化的認知是通過感知來獲取的。梅洛·龐蒂曾說：“世界就是我所感知的那個東西?！背两降穆暜嬻w驗可以使我們更好地感知文化。②通過藝術(shù)體驗獲得文化感知，是對藝術(shù)審美體驗理論的深化。在互聯(lián)網(wǎng)技術(shù)高度發(fā)展的今天，世界正向全球化的趨勢發(fā)展。全球化導(dǎo)致本土文化的缺失?！?0后”、“90后”在全球化背景下成長，是傳統(tǒng)文化認知缺失的主要群體。通過基于交互技術(shù)的中國古琴聲畫交互設(shè)計，把聲畫結(jié)合的藝術(shù)特征直觀地表現(xiàn)出來，使不同文化教育背景下的青少年群體能夠更好地認知中國傳統(tǒng)藝術(shù)的獨特風(fēng)格，為中國文化的認知提供了新方式；也對我國傳統(tǒng)文化的發(fā)揚與傳播提供了新方式。

二、古琴音樂與山水畫藝術(shù)語言的交互性

康定斯基在《藝術(shù)的精神》中對音樂與繪畫的語言交互性做了闡述，他認為音樂是以音響方式表達藝術(shù)者心靈，是一種抽象的意象，而不是對自然現(xiàn)象的復(fù)制。因此畫家要表達內(nèi)心生活，就會將音樂方法用于繪畫藝術(shù)，于是產(chǎn)生了繪畫的旋律、數(shù)學(xué)的抽象結(jié)構(gòu)、色彩的復(fù)調(diào)。③繪畫、音樂傳遞的情感信息都由意象派生而來，以“象”造音，以音畫“形”。繪畫采用色彩、線條、光線等抽象形式來表現(xiàn)畫家的內(nèi)在感情，這種抽象的藝術(shù)語言表達方式與音樂語言的表達特點相契合。

1.古琴音樂的時間與山水畫的空間

古琴音樂的時間流動是內(nèi)心構(gòu)造“音型”的過程。古琴表達的空間并不能被視覺直接感受，而是不確定的、在時間中流動的“虛像”，隨聲賦形。古琴音樂在時間的表達方式上有著獨特的空間意識，即“遠”。通過音律營造“遠”的意境。與山水畫中的筆墨行跡展示“遠”的空間感相比，琴樂是以節(jié)奏與音律喚起“遠”的意蘊。古琴彈奏中的琴音有虛實聲韻之分。聲為實音，韻為虛音。古琴在彈奏過程中，以揉、吟、綽、捻、按、撥等“筆法”與輕重緩急的力度表達時間。古琴按琴弦猶如山水畫中的提筆，其筆鋒與旋律類似，延長的按彈音可以營造意境，而意境的營造是音樂的時間性表達轉(zhuǎn)化為空間性表達的過程。

山水畫空間以自然空間作為構(gòu)造基礎(chǔ)，憑借自然空間的審美經(jīng)驗，構(gòu)造山水意象空間。從空間意識角度來說，山水畫中的空間意識實質(zhì)上是視線的流動。或由遠及近，或由高轉(zhuǎn)深，趨向于一種節(jié)奏化的行為。而正是由于高低起伏、陰陽明暗的空間才構(gòu)成這種節(jié)奏化。從創(chuàng)作方式來說，與西方繪畫光影烘托與幾何透視的方式不同，山水畫的創(chuàng)作以散點透視為核心，以抽象的筆墨方式創(chuàng)造一種流暢的“以氣而勢”的音樂性，造型于抽象與具象之間，由時間表達空間的時空合一的藝術(shù)空間，其空間表達特點具有節(jié)奏化、時間化。

音樂是非具象化的存在，音樂要素沒有實體材料，沒有具象形體，其組合創(chuàng)造的是虛幻的時間，因此我們可以說音樂思維具有抽象性。山水畫的創(chuàng)作思維則趨于平面化,主要表現(xiàn)精神內(nèi)涵，而不以追求具象為目標(biāo)，這種形而上的抽象思維也是古琴音樂與山水畫共同的思維特征。

2.古琴音樂的旋律與山水畫的線條

古琴琴曲以音高曲調(diào)為單位，將旋律單調(diào)單線化，從而勾勒“時間的線條”，使音樂線性化地呈現(xiàn)。旋律是琴曲的線條元素，這種“線條”不能表達具象，但以聲調(diào)、音色、彈奏的方式來勾勒情感曲線。在作曲方面，古琴琴曲的譜寫一般以單線的形式游動綿延，重視心理的流動，曲譜的旋律譜寫遵循一定規(guī)律，即上一句的末音與下一句的首音是同度，或者高八度（低八度）。這種手法被形象地描述為“魚咬尾”。在《春江花月夜》中此規(guī)律貫穿整曲，邏輯嚴密，各曲句間承前啟后，頗有韻律詩的押韻手法，因而說樂中有詩，詩中有畫是再確切不過了。規(guī)律性的譜寫方式給作品以詩文的韻律感，體現(xiàn)了古人向往自由的平和內(nèi)心世界。④譜寫的婉轉(zhuǎn)起伏，仿佛山水畫筆墨的斷續(xù)，線條勾勒的留白，在琴曲中則表現(xiàn)為婉若游龍的軟線條，欲斷還連。

自山水畫問世以來，線條作為最基本的造型手段收自然萬象,以形而上的方式表現(xiàn)物象與意象，營建心靈審美圖式，線條在山水畫藝術(shù)中有著無可替代的地位。在山水畫中,山體的來龍去脈、奇石的皴法用筆、以及樹的蒼勁高低到水的流向曲折，都是以變化的線條來表現(xiàn)的，線條的變化構(gòu)成了畫面的流動感，藝術(shù)表現(xiàn)特點符合音樂的旋律性。同時，線條的旋律性變化也體現(xiàn)在粗細長短、濃淡虛實、枯潤干濕等方面。傳統(tǒng)山水畫善于利用線條的變化表現(xiàn)不同的心理感受，例如穩(wěn)重莊嚴以直線條的平穩(wěn)變化呈現(xiàn)，輕盈活力以曲線條的舒展變化呈現(xiàn)，宏偉的心理則以粗線條勾勒等等。線條的變化營造的心理感受使得線條具有了旋律性。

由此可見，繪畫的線條與音樂旋律在情感傳達的表達上是交融貫通的，兩種藝術(shù)種類的語言交融性超越了形式，構(gòu)造相通的情感表達模式。

3.古琴音樂的意蘊與山水畫的氣韻

從古至今，藝術(shù)家通常把“韻”視為創(chuàng)作追求的最高境界。在藝術(shù)領(lǐng)域，南朝就有關(guān)于“韻”的研究：“氣韻”的繪畫六法等，“韻”不但是一種藝術(shù)境界，更是一種超凡脫俗的態(tài)度。“韻”本身就是具有音樂屬性的情感，其音樂美是直觀感覺的綜合性，訴諸于人的內(nèi)心，以聲音觸動精神，是節(jié)律美與精神美的統(tǒng)一，體現(xiàn)藝術(shù)主體與情感的交融。繪畫藝術(shù)中將“韻”定義為“氣韻”，音樂藝術(shù)中“韻”表現(xiàn)為“意蘊”。

古琴音樂的山水氣韻所表現(xiàn)“樂中有畫,畫中有樂”，使音樂與繪畫得到了融會貫通，它所展現(xiàn)的山水氣韻不僅僅是“曲盡其態(tài)”的表述，更是“曲盡其情”的升華，它是藝術(shù)家主觀情感的表達，是自然之氣與主體之氣的統(tǒng)一。

在傳統(tǒng)山水畫藝術(shù)中，氣韻是傳統(tǒng)山水畫思想的基本范疇，是作品的生命體中神采的反映，也是繪畫藝術(shù)生命精神的核心體現(xiàn)。氣韻是作品本體生氣與風(fēng)采的流動，因而我們常說“氣韻生動”。而“韻”本身也是藝術(shù)作品和諧節(jié)奏的概括，自身就潛伏著音樂感。

三、中國古琴聲畫結(jié)合交互設(shè)計的實現(xiàn)方法

中國古琴聲畫結(jié)合交互設(shè)計是以古琴音樂與其音樂情感相對應(yīng)的春、夏、秋、冬的山水意象為內(nèi)容，利用數(shù)字化手段將兩者藝術(shù)相關(guān)性進行直觀的表達，為傳統(tǒng)藝術(shù)的數(shù)字化表達提供了新的方式。本交互設(shè)計首先是基于Leap motion手勢的虛擬樂器交互平臺；其次也是一種基于Unity3d平臺的虛擬水墨意象創(chuàng)作方法，包括典型的春、夏、秋、冬四季的水墨意象；同時也是聲畫結(jié)合、虛擬古琴驅(qū)動的聲畫互動平臺。本系統(tǒng)由Leap motion虛擬古琴模塊、虛擬三維山水場景模塊與聲畫交互模塊三個模塊構(gòu)成。通過虛擬古琴輸入聲音信號，古琴音樂的節(jié)奏、韻律變化驅(qū)動虛擬三維水墨風(fēng)格山水場景的變化，將抽象的音樂意象變成可視的山水畫面，是一種畫由樂驅(qū)動、樂由畫表達的聲畫交互設(shè)計，具體的結(jié)構(gòu)圖以及流程圖如下所示：

圖1 交互設(shè)計的系統(tǒng)結(jié)構(gòu)圖

圖2 交互設(shè)計的流程圖

1.基于Unity3d的基礎(chǔ)三維場景的搭建

在對古琴音樂旋律與意蘊、山水畫的線條與氣韻的充分分析的基礎(chǔ)上，總結(jié)聲畫結(jié)合交互設(shè)計場景搭建的基本要素。場景采用全景式構(gòu)圖，場景從上到下依次為天空，層疊的山峰、林立的樹石，湖泊，場景構(gòu)圖突出樹下的古琴。遠山湖泊以及云煙和植物為輔助構(gòu)圖，構(gòu)圖整體具有遠近高低的層次感，表現(xiàn)整體的主次呼應(yīng)關(guān)系。

主要場景元素包括天空、地形樹木、水面以及古琴模型。三維場景中的天空采用天空盒方式構(gòu)建。天空盒籠罩在整個場景之外，在渲染場景之前渲染。其中包括6個紋理并應(yīng)用天空盒著色器，從而營造地平線上復(fù)雜天空的感覺。有關(guān)地形樹木生成的算法主要有兩類：一類是為了生成更加真實的地形的算法，另一類是為了優(yōu)化渲染效率而設(shè)計的算法。一般使用基于高度圖的方法，即提供一個保存地形高度數(shù)據(jù)的文件，通過讀取高度圖中的高度數(shù)據(jù)，即可繪制出對應(yīng)的地形。但這種方法對處理大型地形場景以及具有鏤空、怪石地貌的場景就無能為力了，這就需要基于Voxel的地形算法。Voxel翻譯為體素。Voxel的思想不是采用多邊形的方法來描述地形，而是用線性差值的辦法生成自然連續(xù)的起伏地形。同時自帶裁剪功能，它的復(fù)雜度只和需要的視野以及分辨率有關(guān)?；A(chǔ)三維場景中另一個重要元素就是水面的實時生成，目前對水面的建模包括3類，（1）基于幾何模型的方法即由波型函數(shù)構(gòu)造曲面來表示水面。（2）基于物理的方法，即求解Navier Stocks方程得到水面的具體形狀。（3）基于譜的分析方法，利用海洋統(tǒng)計和經(jīng)驗?zāi)Ｐ屯ㄟ^大量正弦波的疊加來模擬水面。本交互設(shè)計通過正弦波疊加，同時利用2個凸凹紋理實現(xiàn)水面的動畫效果，通過實時的紋理映射實現(xiàn)水面的反射、折射和菲涅爾等水面視覺特征。最后古琴模型采用3d建模軟件制作，并結(jié)合手工繪制的漫反射貼圖、法線貼圖和高光貼圖從而達到逼真的渲染效果。

2.基于節(jié)點可視化編輯的四季渲染方法

在Unity3d引擎中,所有的圖形渲染必須通過著色器來進行。著色器就是一小段程序，它負責(zé)將輸入的網(wǎng)格以指定的方式和貼圖、顏色等組合起來輸出到屏幕。Unity3d中包括3種類型的著色器：表面著色器、頂點和片段著色器和固定功能著色器。著色器一般采用ShaderLab語言編寫的，同時需要配合外部的紋理、顏色以及參數(shù)設(shè)置來工作。

為了簡化著色器的開發(fā)過程并增加藝術(shù)工作者的可訪問性，本交互設(shè)計實現(xiàn)了基于節(jié)點的可視化著色器編輯工具。該工具定義的著色器由若干個節(jié)點組成，每個節(jié)點有對應(yīng)的輸入輸出接口。并提供 Diffuse、Diffuse Power、Normal、Specular等19種不同的節(jié)點類型。通過序列化節(jié)點，并動態(tài)地調(diào)整節(jié)點的類型、輸入、輸出等參數(shù)來達到生成著色器的目的。這種方法將可視化設(shè)計著色器的手段提高到了嶄新的高度，提供了自由靈活的、基于直覺的方式來創(chuàng)建著色器。除了提供可視的、直觀的界面及操作方式之外，還具有卓越的性能優(yōu)勢，包括實時的著色器預(yù)覽、基于能量守恒的光照模型、基于圖像的光照模型、頂點動畫以及DX11的細分曲面技術(shù)和置換技術(shù)等?；诠?jié)點的、可視的著色器編輯器不僅僅方便了藝術(shù)家的藝術(shù)創(chuàng)作，同時也提供了最新的技術(shù)性能，為聲畫結(jié)合的場景渲染提供了有力的工具支持。

3.基于Leap Motion手勢識別的虛擬演奏

在虛擬樂器和虛擬演奏方面，激光豎琴是目前為止最為成功的虛擬樂器了。激光豎琴一般是指一架沒有琴弦的豎琴，取而代之的是明亮的光束，使用者只需撥動光束，便如同撥動了琴弦，依然可以演奏一段旋律。由于在實現(xiàn)原理上的限制還無法表現(xiàn)雙手和弦等復(fù)雜的演奏技法，所以在實用性上有很大的限制。而隨著Leap Motion的推出，對人手識別的精確度又上升到了新的高度。通過在空間中精確地檢測手型及運動，包括微小的指尖運動，從而可以精確地模擬彈奏動作。本系統(tǒng)主要包括手的檢測模塊、手勢的定義模塊以及場景模塊組成：

（1）手的檢測模塊由單片機以及相應(yīng)的攝像頭組成。單片機通過內(nèi)置的兩個攝像頭從不同角度捕捉的畫面，重建出手掌在真實三維空間中的運動信息。檢測的范圍大約在傳感器上方的25毫米到600毫米之間的倒四棱錐?？梢詸z測在此范圍的手掌的列表與信息、所有手指的列表與信息，手持工具的列表與信息。所包含的信息包括：旋轉(zhuǎn)的軸向向量、旋轉(zhuǎn)的角度、描述旋轉(zhuǎn)的矩陣、縮放因子和平移向量。

（2）演奏的手勢定義模塊通過檢測到手的信息之后，定義相關(guān)的演奏手勢，古琴的手勢定義根據(jù)古琴教育家顧梅羹教授的《琴學(xué)備要》作為參考。

（3）由樂器演奏實時驅(qū)動的場景沒有更多的要求，只要定義相關(guān)的變換屬性即可，系統(tǒng)的靈活性較高。

本系統(tǒng)對手的檢測靈敏度非常高，可以實時檢測到手指的微小動作；手勢定義的算法具有非常好的魯棒性，演奏手勢的識別穩(wěn)定、自然、流暢。

4.基于動態(tài)屬性修改的聲畫交互

聲畫交互可以看作一種將聽覺形象化的技術(shù)，其中所涉及到的實時渲染、自然效果仿真、計算復(fù)雜性等是計算機圖形學(xué)及多媒體方面研究的熱點?？v覽目前已經(jīng)實現(xiàn)的聲畫交互，其聲畫交互效果主要有波形圖、色彩變換、煙霧特效等表現(xiàn)形式，畫面較為單一，還沒有具有完整主題的可視化效果出現(xiàn)。本交互設(shè)計實現(xiàn)了一個主題鮮明、與古琴音樂充分結(jié)合、具有四季交替山水畫風(fēng)格的可視化效果。表現(xiàn)為由Leap Motion識別的演奏手勢驅(qū)動下，平滑、流暢地進行古琴演奏。其中虛擬場景的天空、山、樹、水等在演奏古琴音樂頻譜的驅(qū)動下，平滑地四季交替，構(gòu)成一幅賞心悅目的圖畫。

本交互設(shè)計利用頻譜可視化算法將古琴音樂的頻譜的數(shù)值屬性與山水場景的四季屬性相關(guān)聯(lián)，當(dāng)彈奏虛擬古琴時，由于聲音屬性在不斷變化，山水場景將進行相應(yīng)的四季更替變化。為此首先需要實現(xiàn)的就是計算音樂的頻譜，音樂的頻譜是決定音色的要素之一，是指不同頻率的諧波及泛音相對于基頻（也就是音高）的強度。在Unity3d引擎中一般利用AudioSource的GetSpectrumData方法來計算音樂頻譜，Get－SpectrumData方法的參數(shù)包括采樣率、采用時間和采樣方式。在此基礎(chǔ)上形成本交互設(shè)計的聲畫交互系統(tǒng)，其中包括：

（1）聲畫交互管理模塊：是聲畫交互的主要模塊，用來管理音樂頻譜的計算以及可視化的方式。具體管理的內(nèi)容包括音樂的通道、窗口的尺寸、窗口的類型和音樂源。其中音樂源用來生成古琴音樂的可視化數(shù)據(jù)。

（2）數(shù)據(jù)組模塊：用來封裝可視化頻譜數(shù)據(jù)，同時用來指定特定的頻率范圍，例如Bass、Mid和High頻率。內(nèi)部的屬性包括數(shù)據(jù)組的名稱、數(shù)據(jù)來源、子數(shù)據(jù)組的數(shù)量、頻率范圍起始和截至索引以及對頻率的升壓和消減方法。

（3）控制器模塊：包括頻率控制器、隨機控制器和正弦波控制器?？刂破髦饕脕砜刂茖傩缘姆秶?。

（4）修改器模塊：用來利用音樂頻譜的值修改指定元素的屬性。其中包括：動畫狀態(tài)屬性修改器、粒子發(fā)射器屬性修改器、游戲?qū)ο髮傩孕薷钠?、燈光屬性修改器、材質(zhì)插值修改器、材質(zhì)屬性修改器和目標(biāo)修改器。

（5）觸發(fā)器模塊：和控制器和修改器直接交互，通過音樂的頻譜觸發(fā)某種屬性的改變。其中包括動畫狀態(tài)屬性觸發(fā)器、粒子發(fā)射器屬性觸發(fā)器、游戲?qū)ο髮傩杂|發(fā)器、燈光屬性觸發(fā)器、材質(zhì)插值觸發(fā)器、材質(zhì)屬性觸發(fā)器和預(yù)制散播觸發(fā)器。

圖3 交互設(shè)計的效果示意圖

四、中國古琴聲畫結(jié)合交互設(shè)計的傳統(tǒng)文化認知分析

通過中國古琴聲畫結(jié)合交互設(shè)計的實現(xiàn)，有利于對中國傳統(tǒng)文化的體驗、傳播與認知。首先，音樂作為精神文化，是這一族群所共有的音樂觀念和音樂行為活動，是族群之間進行身份識別、認同的標(biāo)志，同時也是族群內(nèi)部成員之間維系情感的紐帶。每個民族都有它自身的音樂文化傳統(tǒng),人們可以通過這樣的密碼對其身份進行認同和歸屬。其次，琴樂歷來被稱為“文人音樂”,山水畫也被稱之為“文人畫”。無論是孔子提出的“操琴通樂”是君子修養(yǎng)的最高層次,還是古人將“琴棋書畫”作為有君子修養(yǎng)的必備條件,古琴與文人、君子的象征關(guān)聯(lián)非常牢固。⑥再次，無論是古琴音樂的風(fēng)格、內(nèi)容、象征，還是禮儀、教化、政治，在儒家思想的系統(tǒng)中，琴樂的社會功能屬性實現(xiàn)了專屬于該體系的文化認同的構(gòu)建。古琴音樂的功能意義在于禮儀，而禮儀則有助于德性的培養(yǎng)，禮儀教化進步則有利于國家的治理。最后，道家思想對古琴音樂的認同觀念在于音樂與自然之間的關(guān)系。因此，古琴音樂所蘊含的“天然”、“物我合一”、“無為”等要素表達了傳統(tǒng)道家的文化訴求。

因此，實現(xiàn)基于Leap Motion的中國古琴聲畫結(jié)合的交互設(shè)計，通過基于虛擬現(xiàn)實設(shè)備與手勢識別技術(shù)的古琴音樂的虛擬演奏，以及基于實時渲染與實時著色器生成的文人山水畫三維場景的構(gòu)建，真實而又生動地表現(xiàn)了中國傳統(tǒng)音畫的意蘊與氣韻；通過聲畫結(jié)合的互動體驗設(shè)計，利用虛擬演奏以及山水場景相應(yīng)的實時變化，這一切提供了更具視覺震撼力的互動體驗，強烈地傳達了中國傳統(tǒng)文化的審美情趣。同時聲畫結(jié)合的交互設(shè)計可以在有支持設(shè)備的互聯(lián)網(wǎng)平臺上運行，大大拓展了中國傳統(tǒng)文化的傳播方式和途徑，對具有不同文化背景的外國人以及青少年群體體驗、認知中國傳統(tǒng)文化具有十分積極的作用。