石窟中交互音畫舞蹈演出的音畫實現(xiàn)

申佳君，李曼妮

（浙江音樂學院音樂工程系，浙江 杭州，310000）

龍游石窟坐落于浙江省龍游縣城以北衢江北岸。它是一座大型地下洞室群，開鑿年代可能是2000多年前的西漢時期。龍游石窟是中國古代最高水平的地下人工建筑群之一，集人文、藝術、工程技術于一體。

“2019龍游石窟國際音樂盛典”①在龍游石窟舉辦，在不同的石窟內(nèi)呈現(xiàn)了風格各異的15場演出。其中，4號石窟以“聲筑圖騰”為主題，采用全息影像技術，讓觀眾享受到特殊聲場環(huán)境下的沉浸式演出體驗。石窟作為一種特殊構造的物理空間，如何在傳統(tǒng)演出模式的基礎上，再結合影像和聲音的互動演繹，探索新的視聽體驗。

筆者以龍游石窟4號洞交互音畫舞蹈演出為例，探討石窟作為演出場地的優(yōu)勢與困難，闡述音畫設計的意象，分析在石窟空間物理特性基礎上利用投影和互動技術實現(xiàn)音畫與舞蹈表演的交互，為國內(nèi)同類型場地數(shù)字演出設計提供一定的借鑒和啟示。

1 石窟環(huán)境及舞臺布局

“2019龍游石窟國際音樂盛典”的一場交互音畫舞蹈演出地為龍游石窟的4號洞，面積約2000 ㎡，入口處是一個平臺，右側為陡峭石壁，左側是盤壁而下的石階，從窟口到窟底超過20 m，階道長度在50 m以上；洞內(nèi)有3根擎柱，呈三角形分布，其中體積最大的一根擎柱加裝了鋼架減振系統(tǒng)，如圖1所示，為后續(xù)投影設備及擴聲設備的安裝提供了基礎保障?？叩椎貏葺^為平坦，平坦的底部整體呈喇叭狀，擎柱及其防護圍欄低于整體底部20 cm，形成“凹”形。

圖1 四號洞空間格局

石窟場地可容納300位觀眾，每天下午和晚上進行兩場演出。龍游石窟的特殊場地形態(tài)給演出的聲場和投影系統(tǒng)的設計帶來了一些限制因素。經(jīng)過實地勘測、現(xiàn)場環(huán)境分析，綜合演出需求，利用仿真軟件設計出了聲音和光影交互演繹的初步方案。場地整體布局及設備的擺位如圖2所示。

圖2 4號石窟的場地布局及設備擺位

2 擴聲系統(tǒng)的設計

美國斯坦福計算機與聲學研究中心（CCRMA）的創(chuàng)始人約翰·強寧（John Chowning）在翻閱了龍游石窟的一本相冊專輯后，對石窟如何改變?nèi)说母泄倥c聲音之間的聽覺關系產(chǎn)生了極大的興趣，于是對石窟內(nèi)部進行了數(shù)字聲學測試。

2.1 影響擴聲系統(tǒng)設計的因素

（1）4號石窟呈喇叭狀，聲源在洞底發(fā)聲時，會產(chǎn)生號角效應，可以讓聲音傳得更遠，特別是號角方位聲音投射得更集中、音量更大。同時，由于洞壁為石質且不規(guī)則，造成聲音擴散不均勻，混響時間偏長，洞內(nèi)測得的混響時間為RT60=4.6 s。因此，這是擴聲系統(tǒng)設計時需要著重解決的問題。

（2）4號洞的晝夜溫差在4°左右；同時，濕度大，白天天氣晴朗時空氣濕度在60%左右，夜晚濕度加深。這種對濕度和溫度隨晝夜交替而改變的現(xiàn)象，對投影及擴聲設備的使用有一定影響，因此，這也是要考慮的問題。

（3）為防止擴聲設備進場后因大功率播放聲音，其特殊頻段與石窟的固有頻率形成共振，導致洞體坍塌引發(fā)安全事故。故在設備進場前，使用專業(yè)頻譜分析設備及音頻分析軟件對石窟的共振頻率進行測量和分析，得出結論：其共振頻率為212 Hz和415 Hz，為擴聲系統(tǒng)設計提供了精確的參考值，也為4號石窟的聲學研究提供了確切的數(shù)據(jù)參考。

2.2 擴聲系統(tǒng)架構

針對前期調(diào)研的結果及演出的實際情況、石窟管理方的要求，為保證觀眾聽音時不會產(chǎn)生聲音渾濁、染色、不平衡、聲像定位不準確等聲缺陷，可直觀感受到來自正前方舞臺的聲音效果，利用哈斯效應原理，使用補聲音箱，合理縮短聲音到達觀眾的距離，讓直達聲先于石窟內(nèi)部的反射聲到達聽眾的耳朵，有效解決了長混響下清晰度不夠問題，以及聲音的特定頻率擴撒不均勻等問題。擴聲系統(tǒng)框架如圖3所示，設備配置見表1。

表1 擴聲系統(tǒng)設備配置

圖3 擴聲系統(tǒng)框架

對于揚聲器系統(tǒng)的設計，場內(nèi)設計并布置了7只（含1只舞臺返聽）揚聲器，安裝位置見圖2。其中，Meyer Sound Up-4xp三分頻揚聲器4只，用于觀眾區(qū)左右兩側及前后聲場補聲；Clare Brothers KiT12兩分頻全頻揚聲器3只，用于立體聲主擴及舞臺返聽。

通過對石窟聲學環(huán)境的研究與數(shù)據(jù)分析，兼顧防范石窟建筑牢固程度可能引發(fā)的安全問題，結合觀眾區(qū)聽音響度的需要，選用了上述兩種可以滿足功率及頻響要求的揚聲器。其中，Clare Brothers KiT12兩分頻全頻揚聲器為現(xiàn)場提供立體聲擴聲，分別放置在中央水池的兩側，與觀眾區(qū)地面高度差110 cm。4只Up-4xp為觀眾區(qū)提供補聲，觀眾區(qū)呈倒轉“7”字形，在觀眾左側、右側及前、后各布置了1只 Up-4xp用于補聲。這種設計的主要作用是使聲音到達觀眾的距離盡量縮短臨界距離，使其以直達聲為主，減少臨界距離以外混響聲的影響。這也是臨界距離在擴聲設計中的應用。觀眾可以獲得清晰的音響效果。對于擴聲系統(tǒng)的調(diào)控，使用蘋果電腦上安裝的Avid Protools HD12進行設置。根據(jù)參演的作品的表現(xiàn)內(nèi)容和形式進行了聲道設計，并結合場內(nèi)揚聲器的點位布置進行IO聲道的設置，使觀眾欣賞清晰的、與觀看畫面吻合的音響效果。

3 投影系統(tǒng)的實施

3.1 空間環(huán)境對投影系統(tǒng)設計的影響

經(jīng)過對場地空間環(huán)境的勘查及研究，發(fā)現(xiàn)以下問題對投影系統(tǒng)設計造成影響。

（1）非常規(guī)的空間限制了空間立面的延展。4號洞只有一面較完整的傾斜石壁可以作為投影區(qū)域，根據(jù)觀看視角，讓觀眾面朝傾斜的石壁落座；同時，觀眾區(qū)左右恰好分別為石窟出入口，便于觀眾入席路徑體驗。

下肢康復訓練后期，患者需要接受主動訓練來提高主動參與度并且進一步促進肌肉力量的恢復。因此，提出了基于模糊自適應阻抗的主動訓練控制，通過檢測人機交互作用力來判斷患者的主動運動意圖，基于人機交互作用力提出主動控制算法。在主動訓練時，引入阻抗控制保證康復機器人與患者下肢的相容性，并且采用模糊自適應邏輯對阻抗參數(shù)實時調(diào)整。

（2）石窟頂部呈45o斜面從底部伸，墻壁、巖柱壁和頂板布滿數(shù)厘米寬的條紋，每道條紋上規(guī)則地刻著與條紋垂直的刻線，構成了精美的圖案，見圖4。這樣的表面紋理在演出投影時是需要避免的，因為它將干涉影像的色彩、形狀。針對這個特殊的場地環(huán)境，為體現(xiàn)空間特色，專門設計了與表面紋理匹配的影像內(nèi)容，讓虛擬圖像與現(xiàn)實空間交匯。

（3）在窟底中部有一矩形蓄水池，池的圍欄順應石窟地勢呈左高右低的“凸”字形，高度差為40 cm，池底安裝有照明燈具。但因池深較深，且燈光微弱，并不會過多映射到傾斜的窟頂，不會破壞投影所需要的暗空間環(huán)境要求。

3.2 投影系統(tǒng)的實施

場地條件和投影系統(tǒng)是實現(xiàn)演出作品呈現(xiàn)的重要因素。

對于投影系統(tǒng)的實施，采用的投影設備見表2，投影機的位置也根據(jù)測試效果進行了調(diào)整。為盡量使畫面與舞臺成為一體，而不是讓觀眾的視線在兩者之間有跳躍感，投影機的基座比設計方案有所降低，使其與地表的高度差小于0.5 m。設計方案中，為了有更佳的視覺效果，考慮用2臺投影機，根據(jù)預算情況，其中1臺采用16:9、分辨率1080P的高清投影機，用于播放從Mac導出的實時畫面，效果基本滿足。

圖4 石窟巖壁刀痕

表2 投影設備方案

由于石窟自然環(huán)境所限，與常規(guī)項目不同，空間投影搭建確立后，開始進一步確定舞臺、觀眾區(qū)、燈光的位置。舞臺根據(jù)投影位置而被限定，舞臺高1 m，左右寬度27 m，前后縱深為11 m～13 m，圖2中標注的4 m×4 m是舞臺Kinect②舞蹈捕捉空間。舞臺距離內(nèi)測水池邊緣約3 m。觀眾區(qū)和舞臺區(qū)域的高度基本持平。燈具的數(shù)量與類型也在這一階段與舞臺設計一并考慮。演出時光環(huán)境要求為：投影區(qū)域避免燈光直射，避免使用泛光照明，不需要補充照明。考慮節(jié)目的需求，僅需要面光，因此，選用了幾臺成像切割燈，以及一些用于工作環(huán)境照明的燈具。在實際演出過程中，燈光設計則要結合投影畫面內(nèi)容關聯(lián)編程。

4 交互系統(tǒng)的構成及交互音畫的呈現(xiàn)

4.1 交互系統(tǒng)的構成

作品影像的呈現(xiàn)投影及交互系統(tǒng)（圖5）實現(xiàn)。交互系統(tǒng)及制作包含Kinect的動態(tài)捕捉、體感設備及MaxMsp編程開發(fā)，交互聲音模塊，交互角色動態(tài)模塊，實時粒子系統(tǒng)，Mapping投影系統(tǒng)，電腦操控臺，以及交互界面、iPad界面的設計等。使用過程中需要注意一點，要為交互舞蹈節(jié)目的影像程序調(diào)試留出充足時間。

圖5 利用交互系統(tǒng)的制作

4.2 交互音畫的呈現(xiàn)

在石窟這個特殊形態(tài)場地設計交互音畫的呈現(xiàn)，關鍵是要構建出符合場地的音畫內(nèi)容的意象創(chuàng)作，這種意象表達需要關聯(lián)現(xiàn)實空間，下面以4號石窟演出8個節(jié)目中唯一的交互音畫舞蹈節(jié)目《活水·幻象》（見圖6）為例來論述。

對于《活水·幻象》的互動音畫的設計與創(chuàng)作，石窟幽僻，上千年以水為伴，雖已將水退去，呈現(xiàn)的是斑駁、冷峻的紅色巖壁，但設計意向還是以“水”作為創(chuàng)作表現(xiàn)的核心，用“水”建構一個意象，讓“水”的音畫再次回到石窟中。

4.2.2 意象與現(xiàn)實空間的關聯(lián)實現(xiàn)

要將這種意象在物理空間中以實存景象呈現(xiàn)，需要采用新技術的手段實現(xiàn)創(chuàng)意設計的意蘊。尼葛洛龐帝在《數(shù)字化生存》[1]中認為，聲音、圖像等媒體元素之間可以通過數(shù)字信息進行相互轉換與融合。阿斯特科試圖用“連接主義”取代“藝術”一詞，所有涉及任何既定復雜性的電子通信系統(tǒng)與電子媒體藝術實踐從概念上說都是遠程通信的，連接性是它的核心[2]。交互技術為這種連接性提供了可能。該作品的創(chuàng)作分為兩部分。

（1）電子音樂

電子音樂《活水》③的創(chuàng)作，整體發(fā)展具有一種邏輯性、流動感。利用The mangle、IL gross beat、Kontakt等軟件，對采集的水滴聲、水中氣泡聲、水流聲等聲音素材，做Delays、Flanger、Distortion、 EQ和Reverse等處理加工，以及音高、音值、音強和音色等參數(shù)的處理，將水聲進行逐層的變形，但在變形后的每一個音色中仍保留水的一種特征，增強聲音表達力。

（2）影像創(chuàng)作及與舞蹈的交互

《活水·幻象》整個演繹過程中，利用數(shù)字交互技術，結合具體場地的獨特構造，探索創(chuàng)作契合環(huán)境的影像、聲音，并呈現(xiàn)動態(tài)的“交互”，實現(xiàn)場地自然做功的效果。通過Kinect體感攝像機采集和交互系統(tǒng)感知并轉換舞蹈者的體態(tài)表達，構造基于音樂的實時動態(tài)三維影像，并運用投影矯正技術將影像投射在表演者身體上，跟隨其運動，形成影像與人體的交互；同時，根據(jù)影像加入聲音設計，從而實現(xiàn)前期設計的意象。

演員表演時，運動生成的抽象圖形與石窟巖壁表面的刀痕紋理融合在一起，形成一種天然仿古的視覺效果。生成的影像與空間“拼融”在一起，在石窟巖壁上的發(fā)展、變化、消失，將石窟轉化為天然的視覺影像空間，這種虛擬影像延續(xù)了現(xiàn)實空間；同時，還解決了石窟表面紋理對影像干涉的潛在問題。

圖6 《活水·幻象》的現(xiàn)場視覺效果

5 結語

4號洞的交互音畫舞蹈演出，結合特殊形態(tài)場地的現(xiàn)場，構建交互演出的創(chuàng)意，利用交互技術使各種媒介連接為一體，動員起人體的各種感官，尤其聽覺和視覺，虛實結合，通過影像和聲音實現(xiàn)演出意蘊與特殊形態(tài)場地共生，產(chǎn)生一種沉浸在古老石窟時空環(huán)境中的感覺，讓表演更加具有可感知的詩性智慧。

注釋：

①2019龍游石窟國際音樂盛典是浙江省文化和旅游廳打造全省文旅融合IP的主要項目之一，它讓音樂在古老的石窟內(nèi)華麗變身，融入“一帶一路”文化交流合作行動，深入沿線國家開展文旅推介，學術科研等交流合作。

②Kinect技術是微軟在2010年6月14日對XBOX360體感周邊外設正式發(fā)布的名字，它是一種3D體感攝影機，導入了即時動態(tài)捕捉、影像辨識等功能。該技術開發(fā)了動感系統(tǒng)和動作捕捉，計算機可以領會指令，執(zhí)行動作，通過身體動作、語音口令就可以參與指令，開啟了人機交互技術的新紀元。

③電子音樂《活水》作曲者是浙江音樂學院音工系大三學生侯九亨。