增強(qiáng)現(xiàn)實(shí)技術(shù)在舞蹈和戲劇中的應(yīng)用

[美] Flavia Sparacino1, Christophcr Wren1, Glorianna Davcnpor1, Alcx Pcntlandl著 柳楊譯

[摘要]介紹利用增強(qiáng)現(xiàn)實(shí)技術(shù)擴(kuò)展舞蹈和戲劇的表現(xiàn)，借助實(shí)時的基于計算機(jī)視覺的身體跟蹤和手勢識別技術(shù)，以及Mcdia Actors軟件，在舞蹈和戲劇中通過圖像、視頻、音樂、文本與演員共同表演，拓展傳統(tǒng)表演空間與藝術(shù)形式。

[關(guān)鍵詞]舞臺表演；增強(qiáng)現(xiàn)實(shí)；互動式虛擬環(huán)境（IVE）；舞蹈空間；戲劇空間；建模技術(shù)

1引言

為表演者搭建的互動舞臺，可以協(xié)調(diào)和同步表演者的手勢、身體動作和語音，以及投影圖像、圖形、表現(xiàn)文字、音樂和聲音。筆者已經(jīng)開發(fā)了兩種協(xié)作技術(shù)：一種是光學(xué)的，不受束縛的，能實(shí)時跟蹤人體；另一種賦予數(shù)字媒體感知能力，表現(xiàn)能力和交流能力，類似于人類演員。

在舞蹈中，筆者進(jìn)行了人體運(yùn)動音樂和圖形增強(qiáng)的研究。建立一種“舞蹈空間”（DanceSpace）：由舞者的動作生成音樂和圖形的舞臺，即一小組樂器附著在舞者的身體上，并產(chǎn)生與柔和的背景音樂作品一致的旋律配樂；同時，表演者將圖像投影到一個大的背景屏幕上，用身體作為畫筆。在這種情況下，計算機(jī)的角色可以看作一個“助理編舞”，該系統(tǒng)能夠在演奏者使用他們的身體作為界而創(chuàng)建或排練一個片段時即興創(chuàng)作配樂。當(dāng)編舞者希望基于身體動作來創(chuàng)造舞蹈表演而不是遵循預(yù)選的樂譜時，這是一個很大的優(yōu)勢。

在劇院里，筆者做了手勢、姿勢和語音增強(qiáng)方面的研究。在即興“戲劇空間”（TheaterSpace）中，筆者設(shè)定了一種情境，演員能把自己的想法以動畫、文本的形式投射在舞臺上，進(jìn)而與自己的想法相互作用。在這種情況下，計算機(jī)的角色是通過使用感知和表達(dá)媒體，與真實(shí)演員合作進(jìn)行表演。

在下面的章節(jié)中，筆者將描述互動式虛擬環(huán)境（Interactive Virtual Environment，IVE）舞臺，利用實(shí)時光學(xué)人體跟蹤系統(tǒng)和Media Actors軟件架構(gòu)，提供舞蹈空間和即興劇場空間的藝術(shù)和技術(shù)細(xì)節(jié)。

2 IVE舞臺技術(shù)

互動式虛擬環(huán)境舞臺是一個大約4.6 m×5.2 m的房間，要求良好且恒定的光照，還有固定的背景：大型投影屏幕占據(jù)房間的一側(cè)，安裝在屏幕頂部的向F指向的廣角攝像機(jī)容許IVE系統(tǒng)跟蹤表演者，如圖1所示。通過使用實(shí)時計算機(jī)視覺技術(shù)（Wren，1997：Darrell，1996：Oliver，1997），能夠解釋表演者的姿勢、手勢、身份和動作。顯示屏上方安裝有相控陣列傳聲器，用于拾音和語音處理。安裝在旋轉(zhuǎn)云臺上的窄角攝像機(jī)也可用于精細(xì)視覺感應(yīng)。一臺或多臺計算機(jī)用于實(shí)時監(jiān)控輸入設(shè)備。

IVE沒有額外的學(xué)習(xí)成本，表演者不必花費(fèi)時間適應(yīng)、清潔設(shè)備或解開導(dǎo)線。IVE是為了更通用的目的而建立的，使得人們不用頭戴式顯示器、手套或其他裝備，就能參與沉浸式的互動體驗(yàn)和表演（Wren，1996；Darrell， 1994）。通過攝像頭和傳聲器遙感，人們可以自然而然地與大型投影屏上顯示的素材進(jìn)行互動。IVE目前只支持該空間中一名表演者以及多名觀演者，筆者正在擴(kuò)展跟蹤技術(shù)，以支持多名表演者同時表演。

3實(shí)時計算機(jī)視覺輸入系統(tǒng)

實(shí)時計算機(jī)視覺程序被稱為Pfinder，即“人物發(fā)現(xiàn)者”（Wren，1997）。Pfinder是一種對單個表演者運(yùn)動進(jìn)行身體跟蹤和解釋的系統(tǒng)。該系統(tǒng)只使用指向舞臺的廣角攝像頭，以及一臺標(biāo)準(zhǔn)Silicon GJraphics 02計算機(jī)；采用顏色和形狀的多類統(tǒng)計模型，將人從背景中分割出來，然后在各種視角下查找和跟蹤人的身體部位。它采用“最大后驗(yàn)”概率的方法，使用簡單的二維模型來對人體進(jìn)行檢測和跟蹤。

Pfinder先建立場景模型，首先研究沒有人的場景。當(dāng)一個人進(jìn)入時，場景中會看到一個巨大的變化，意味著Pfinder開始構(gòu)建該人的模型，隨著時間的推移，建立起一個像動態(tài)的“多團(tuán)塊（ multi-blob）”一樣的結(jié)構(gòu)。建模過程由人身體上的顏色分布所驅(qū)動，那些團(tuán)塊則代表著不同顏色的區(qū)域（見圖2）。人體的頭、腳、襯衫、褲子都會生成單獨(dú)的團(tuán)塊。構(gòu)建團(tuán)塊模型的過程由二維輪廓形狀分析引導(dǎo)，該輪廓形狀分析可以識別可靠標(biāo)記身體部位的輪廓。

計算機(jī)視覺系統(tǒng)由幾層組成。最低層使用自適應(yīng)模型，將用戶從背景中分割出來，使系統(tǒng)無需使用色鍵和特殊服裝即可跟蹤用戶，同時識別用戶輪廓內(nèi)的色彩分段。這使系統(tǒng)能夠跟蹤重要的特征（手），即使這些特征不能從圖形背景分割中辨別出來。這個附加的信息使得推導(dǎo)用戶的一般三維結(jié)構(gòu)成為可能，在下一層產(chǎn)生更好的手勢跟蹤，使用分割和團(tuán)塊分類的信息來識別有趣的特征：邊界框、頭、手、腳和矩心。最高層使用這些特征，結(jié)合人體的知識來檢測重要的手勢和動作。如果Pfinder被給定相機(jī)模型，它通過反投二維圖像信息，利用假設(shè)平面用戶垂直于平面地板，生成一個預(yù)估的三維位置。Pfinder可提供并行服務(wù)，為幾個客戶端提供數(shù)據(jù)，客戶端可以連接和分離，而不會影響視覺程序。

4舞蹈空間

舞蹈空間（DanceSpace）是一個互動舞臺，充分利用Pfinder的能力實(shí)時追蹤舞者的動作。舞者身體的不同部位（手、頭、腳、軀干）可以映射到構(gòu)成虛擬身體的不同樂器，即驅(qū)動鍵盤。此外，計算機(jī)可以識別手和身體的姿勢，用以觸發(fā)音樂的節(jié)奏或旋律變化，并從計算機(jī)視頻評估中生成繪制圖像。

計算機(jī)生成的音樂由一個質(zhì)地豐富的旋律基調(diào)組成，演奏期間在后臺播放。當(dāng)舞者進(jìn)入空間時，一些虛擬樂器被無形地貼在其身上。然后，舞者用身體動作在背景軌跡上產(chǎn)生一個即興創(chuàng)作的主題。在DanceSpace的當(dāng)前版本中，舞者右手拿著大提琴，左手拿著電顫琴，腳上掛著鈴鐺和鼓。舞者的頭類似于音量旋鈕的作用，在接近地面時聲音就會縮小。從舞者的手到地而的距離被映射到附在手上的樂器演奏的音符的音高。因此，當(dāng)手在表演者的頭上時，會彈奏更高的音符，而當(dāng)手靠近腰時則會彈奏更低的音符。雙手樂器以連續(xù)模式演奏（即從低音到高音，演奏者必須演奏其中的所有音符）。鈴鐺和鼓相反，是由腳部動作觸發(fā)的一種樂器。雙手的更具體的手勢或手腳的組合可以在氛圍音樂中產(chǎn)生旋律或節(jié)奏變化。舞者在整個演出過程中都可以將音樂“調(diào)”到自己的味道。生成的音樂在不同的交互式空間執(zhí)行者之間差別很大。

隨著舞者的移動，她的身體在構(gòu)成表演空間的一側(cè)的大屏幕上留下五彩的軌跡（如圖3所示）。軌跡的顏色可以選擇性地映射到舞臺上舞者的位置，或更多“富有表現(xiàn)力”的運(yùn)動線索如速度。圖形是通過繪圖生成的兩個貝寨爾曲線來抽象地表現(xiàn)舞者的身體，第一條通過坐標(biāo)繪制的曲線代表表演者的左腳、頭部和右腳，第二條曲線代表她的左手、身體的中心和右手。小三維球體也被繪制到圖形上映射表演者的手、腳、頭和身體中心。以此作為舞者的參考，突出了屏幕上身體的風(fēng)格化表現(xiàn)。多彩多姿的拖線代表舞蹈演員在演出中跟隨她的虛影（圖3）。

5Media Actors

在本節(jié)中，介紹創(chuàng)作互動表演新媒體建模技術(shù)：Media Actors。MediaActors包括：圖片、視頻、聲音、語音、文字對象，它能夠以可信的、富于美感的、具有表現(xiàn)力的和有趣的方式對運(yùn)動和姿勢做出反應(yīng)。

Meclia Actors由三層組成：

（1）內(nèi)容，它可以是文本、圖片、視頻、聲音、語音、圖形；

（2）感知層，負(fù)責(zé)“理解”，并解釋表演者的姿勢和運(yùn)動；

（3）舞蹈組件，其選擇在給定的語境下最合適的表達(dá)行為。該舞蹈組件負(fù)責(zé)合成演員的自主行為。

Media Actors的架構(gòu)中（見圖4），內(nèi)容和內(nèi)容的編排之間沒有分離。Media Actors的舞蹈組件根據(jù)與演奏者的交互語境指定其行為。與提前設(shè)定r序列動作的腳本動畫不同，提供了一個動作樹，它由數(shù)字演員的內(nèi)部動作或者演員的外部動作或者兩者共同來驅(qū)動。因此，人與數(shù)字演員之間的相互作用的模型包含的可能性幾乎是無限的樹，而不是連續(xù)動作的線性序列。

6即興戲劇空間

即興戲劇空間（Theater Space）提供了在體現(xiàn)人類演員和媒體產(chǎn)生的演員與公眾之問的互動，表演者利用IVE系統(tǒng)和MediaActor合力完成表演的編排。

筆者設(shè)想了一個戲劇場景，在這個場景中，可以看到一個人類演員與他自己的想法互動，而這一想法以動畫的表現(xiàn)文本形式投射到大屏幕上。筆者將文本模仿為另一個演員，它能夠理解和同步人類演員動作，文本、語調(diào)和手勢。在一連串短劇中，筆者展示了一位女演員在審問自己的過程中做出重要決定。Media Actor以表現(xiàn)文本的投影形式扮演她的“自我改變”，并引導(dǎo)她做出最終決定。文本演員具有感應(yīng)能力：可以跟隨舞臺上的用戶，感應(yīng)一套基本的手勢，理解簡單的單詞和句子。其表現(xiàn)能力包括：通過排字行為顯示基本情緒，如快樂、傷心、憤怒或興奮。

7結(jié)論

筆者通過建立一個互動性舞臺，容許將投影的圖像與演者的手勢、身體運(yùn)行和語音進(jìn)行協(xié)調(diào)和同步。建立這一過程為，首先構(gòu)建IVE舞臺，該舞臺提供一個空間進(jìn)行表演：然后通過計算機(jī)視覺技術(shù)對舞者的行為、動作和手勢進(jìn)行跟蹤識別，利用Media Actor軟件構(gòu)建即興戲劇空間，合力完成表演的編排。