沉浸式劇場(chǎng)實(shí)時(shí)粒子特效系統(tǒng)研究
——以北京電影學(xué)院懷柔校區(qū)千人劇場(chǎng)為例

孫揚(yáng)揚(yáng) 曾志剛

1.北京電影學(xué)院中國(guó)電影高新技術(shù)研究院，北京 100088 2.北京電影學(xué)院影視技術(shù)系，北京 100088

1 引言

近年來(lái)，隨著媒介與技術(shù)的創(chuàng)新發(fā)展，人們對(duì)于視覺(jué)藝術(shù)的追求也在穩(wěn)步提升。沉浸式劇場(chǎng)運(yùn)用先進(jìn)的技術(shù)和創(chuàng)意設(shè)計(jì)，打破了傳統(tǒng)舞臺(tái)表演的局限性，使觀眾能夠身臨其境地沉浸于現(xiàn)實(shí)舞臺(tái)與虛擬空間的融合環(huán)境中，因而廣泛地被大眾所接受。

人機(jī)交互旨在應(yīng)用語(yǔ)音、圖像、文本、眼動(dòng)和觸覺(jué)等信息進(jìn)行人與計(jì)算機(jī)之間的信息交換，主要包含：大數(shù)據(jù)可視化交互、基于聲學(xué)場(chǎng)感知的交互、混合現(xiàn)實(shí)事物交互、可穿戴交互和人機(jī)對(duì)話交互。

當(dāng)下沉浸式劇場(chǎng)與虛擬影像的人機(jī)交互技術(shù)將成為未來(lái)研究與發(fā)展的方向。實(shí)時(shí)粒子特效指的是粒子特效跟隨追蹤對(duì)象的運(yùn)動(dòng)而運(yùn)動(dòng)，從而達(dá)到交互的目的。對(duì)于沉浸式劇場(chǎng)而言就是實(shí)時(shí)產(chǎn)生的粒子特效會(huì)跟隨舞臺(tái)上追蹤對(duì)象的運(yùn)動(dòng)變化而產(chǎn)生相應(yīng)的變化，包括粒子位置變化、粒子觸發(fā)、粒子效果變換等。實(shí)時(shí)粒子特效是虛擬空間交互設(shè)計(jì)中較為普遍存在的一種特效技術(shù)，當(dāng)前在交互展覽、互動(dòng)裝置中具有廣泛的應(yīng)用。因此，為了在沉浸式劇場(chǎng)中實(shí)現(xiàn)實(shí)時(shí)粒子特效追蹤效果就需要搭建一套與之適配的軟硬件集成系統(tǒng)。

2 軟硬件系統(tǒng)方案設(shè)計(jì)與實(shí)現(xiàn)

沉浸式劇場(chǎng)實(shí)時(shí)粒子特效系統(tǒng)方案可以依據(jù)功能進(jìn)行分類，具體可以分為：追蹤技術(shù)、實(shí)時(shí)粒子特效制作技術(shù)、預(yù)演技術(shù)和顯示技術(shù)。通過(guò)追蹤技術(shù)采集舞臺(tái)上追蹤對(duì)象的空間位置信息及其運(yùn)動(dòng)信息，并對(duì)采集數(shù)據(jù)進(jìn)行加工處理。實(shí)時(shí)粒子特效制作技術(shù)通過(guò)交互設(shè)計(jì)軟件制作實(shí)時(shí)粒子特效畫面。預(yù)演技術(shù)負(fù)責(zé)在軟件端預(yù)演真實(shí)舞臺(tái)呈現(xiàn)效果。顯示技術(shù)負(fù)責(zé)采集、管理、分配畫面并傳輸給終端的顯示設(shè)備。表1為軟硬件系統(tǒng)解決方案。

表1 軟硬件系統(tǒng)解決方案

追蹤技術(shù)采用的主要方案包含BlackTrax、Opti-Track、諾亦騰、HTC VIVE、Vicon 等。當(dāng)前主流的追蹤技術(shù)采用光學(xué)追蹤技術(shù)，分為有標(biāo)記點(diǎn)的光學(xué)追蹤技術(shù)和無(wú)標(biāo)記點(diǎn)的光學(xué)追蹤技術(shù)。其中有標(biāo)記點(diǎn)的光學(xué)追蹤技術(shù)又可分為主動(dòng)式光學(xué)追蹤技術(shù)和被動(dòng)式光學(xué)追蹤技術(shù)。主動(dòng)式光學(xué)追蹤技術(shù)采用的追蹤點(diǎn)是本身可以發(fā)光的二極管，通過(guò)攝像頭捕捉發(fā)光二極管發(fā)射的光線，從而定位追蹤點(diǎn)。被動(dòng)式光學(xué)追蹤技術(shù)使用一些特制的小球作為追蹤標(biāo)記，小球表面存在一層強(qiáng)反光能力物質(zhì)，使攝像頭能夠捕捉到小球的運(yùn)動(dòng)軌跡。其中BlackTrax 采用主動(dòng)式光學(xué)追蹤技術(shù)，OptiTrack、諾亦騰、HTC VIVE、Vicon 采用被動(dòng)式光學(xué)追蹤技術(shù)。

實(shí)時(shí)粒子特效制作常用的交互設(shè)計(jì)軟件包含TouchDesigner、Notch、Unity 3D、Unreal Engine 等。TouchDesigner 在藝術(shù)表演和實(shí)時(shí)創(chuàng)意設(shè)計(jì)方面更為靈活，具有較強(qiáng)的交互性和實(shí)時(shí)可編程性，其節(jié)點(diǎn)式編程環(huán)境使用戶能夠自由地控制實(shí)時(shí)內(nèi)容的流程和邏輯。Notch 更專注于高質(zhì)量的視覺(jué)效果，應(yīng)用于專業(yè)舞臺(tái)演出。Unity 3D 和Unreal Engine 可實(shí)現(xiàn)游戲領(lǐng)域的畫面渲染，兼容影視制作及工業(yè)應(yīng)用。因此，Notch 和TouchDesigner 更適用于藝術(shù)表演和實(shí)時(shí)創(chuàng)意設(shè)計(jì)，而Unity 3D 和Unreal Engine 更適用于影視制作和游戲開(kāi)發(fā)。

預(yù)演系統(tǒng)主要方案包含hecoos、Disguise 等。hecoos 和Disguise 是國(guó)內(nèi)外主流的預(yù)演播控軟件，用于模擬舞臺(tái)、燈光、影像的現(xiàn)場(chǎng)效果，預(yù)演完整的活動(dòng)過(guò)程，在視頻播控、燈光設(shè)計(jì)和機(jī)械控制方面，可以實(shí)現(xiàn)設(shè)計(jì)過(guò)程與現(xiàn)場(chǎng)執(zhí)行的無(wú)縫對(duì)接，極大提升現(xiàn)場(chǎng)執(zhí)行效率，在虛擬攝制、大型現(xiàn)場(chǎng)演出、沉浸式裝置體驗(yàn)、虛擬直播間等領(lǐng)域?qū)崿F(xiàn)廣泛應(yīng)用。

顯示技術(shù)通常采用LED 顯示技術(shù)和激光投影顯示技術(shù)。LED 顯示技術(shù)是主動(dòng)式發(fā)光顯示技術(shù)，即LED 顯示面板上的每顆燈珠主動(dòng)獨(dú)立發(fā)光，基于空間混色效應(yīng)實(shí)現(xiàn)顏色顯示。LED 顯示技術(shù)具有高亮度、高動(dòng)態(tài)范圍、高對(duì)比度、壽命長(zhǎng)、低功耗等特性。激光投影采用激光光源將影像放大投射到銀幕上，經(jīng)過(guò)漫反射進(jìn)入人眼。相較于傳統(tǒng)投影機(jī)，激光光源具有高亮度、廣色域、低功耗、光源壽命長(zhǎng)、穩(wěn)定性好等特點(diǎn)。

筆者利用現(xiàn)有設(shè)備，在北京電影學(xué)院懷柔校區(qū)千人劇場(chǎng)搭建了一套由BlackTrax 主動(dòng)式紅外追蹤系統(tǒng)、3D 舞臺(tái)設(shè)計(jì)服務(wù)器系統(tǒng)、hecoos 多媒體服務(wù)器系統(tǒng)、JSTRON 視頻處理器系統(tǒng)和激光投影機(jī)顯示系統(tǒng)組成的沉浸式劇場(chǎng)實(shí)時(shí)粒子特效系統(tǒng)解決方案。

圖1 為該系統(tǒng)的流程圖，其中BlackTrax 主動(dòng)式紅外追蹤系統(tǒng)通過(guò)紅外信號(hào)定位追蹤對(duì)象的空間位置，數(shù)據(jù)經(jīng)由局域網(wǎng)傳輸給3D 舞臺(tái)設(shè)計(jì)服務(wù)器。在3D 舞臺(tái)服務(wù)器中使用TouchDesigner 軟件制作粒子特效，并將特效畫面通過(guò)局域網(wǎng)傳輸給hecoos 多媒體服務(wù)器。在hecoos 多媒體服務(wù)器的hecoos Pro 軟件中完成預(yù)演與輸出管理，JSTRON 視頻處理器負(fù)責(zé)拆分視頻畫面，最終將畫面以投影的形式輸出。

圖1 實(shí)時(shí)粒子特效系統(tǒng)圖

本文將基于此方案分析沉浸式劇場(chǎng)實(shí)時(shí)粒子特效系統(tǒng)的關(guān)鍵技術(shù)，即基于BlackTrax 的追蹤技術(shù)、基于TouchDesigner 的實(shí)時(shí)粒子特效制作技術(shù)、基于hecoos的預(yù)演技術(shù)和基于激光投影的顯示技術(shù)。

3 追蹤系統(tǒng)技術(shù)方案

BlackTrax 主動(dòng)式紅外追蹤系統(tǒng)是一款實(shí)時(shí)空間定位系統(tǒng)，能夠精確地捕捉舞臺(tái)上的物體、演員或裝置位置、方向角、速度與加速度信息。其設(shè)計(jì)目的旨在為舞臺(tái)、演出和活動(dòng)提供高精度實(shí)時(shí)定位和追蹤解決方案。

3.1 軟硬件系統(tǒng)搭建

BlackTrax 主動(dòng)式紅外追蹤系統(tǒng)主要包含：Black-Trax 服務(wù)器、信標(biāo)器、紅外線纜、紅外線感應(yīng)器、時(shí)間同步器、路由器、eSync 2控制器和若干校準(zhǔn)工具。

如圖2 所示，紅外線感應(yīng)器的作用是捕捉信標(biāo)器的紅外線纜發(fā)射的信號(hào)并通過(guò)網(wǎng)線傳輸給POE 交換機(jī)。POE 交換機(jī)將紅外線感應(yīng)器、時(shí)間同步器、eSync 2 控制器和路由器傳來(lái)的數(shù)據(jù)打包發(fā)送給BlackTrax 服務(wù)器。其中路由器接收信標(biāo)器所傳輸?shù)男畔B接狀態(tài)和電池狀態(tài)。時(shí)間同步器與eSync 2 控制器配合使用，用來(lái)同步信標(biāo)器與紅外線感應(yīng)器。

圖2 BlackTrax 系統(tǒng)圖

BlackTrax 服務(wù)器中包含三款軟件：BlackTrax GUI、Motive、WYSIWYG。Motive 負(fù)責(zé)校準(zhǔn)實(shí)驗(yàn)環(huán)境中紅外線感應(yīng)器的位置并管理紅外線感應(yīng)器、捕捉追蹤位置信息。BlackTrax GUI 的作用是管理定位信息并將追蹤數(shù)據(jù)傳輸給第三方系統(tǒng)。WYSIWYG 的作用是管理燈具型號(hào)、地址碼和追蹤區(qū)域，從而替代燈光控制臺(tái)實(shí)現(xiàn)燈光追蹤。

在完成軟硬件系統(tǒng)搭建后，需要校準(zhǔn)紅外線感應(yīng)并將定位數(shù)據(jù)傳輸給第三方系統(tǒng)。校準(zhǔn)的目的是在軟件中還原紅外線感應(yīng)器的空間位置，以便定位信標(biāo)器的空間位置信息。數(shù)據(jù)通常交由第三方系統(tǒng)進(jìn)行加工處理，目的是與第三方系統(tǒng)制作的內(nèi)容進(jìn)行實(shí)時(shí)匹配。

3.2 校準(zhǔn)

在校準(zhǔn)過(guò)程中需使用Motive 軟件和校準(zhǔn)工具，校準(zhǔn)工具包含校準(zhǔn)棒、手杖電池和地坪校準(zhǔn)器。

校準(zhǔn)過(guò)程分為兩步。首先連接好手杖電池與校準(zhǔn)棒，在紅外線感應(yīng)器能接收信號(hào)的有限空間中揮舞校準(zhǔn)棒，使每個(gè)紅外線感應(yīng)器能均勻捕捉校準(zhǔn)棒的空間位置信息，每個(gè)紅外線感應(yīng)器捕捉的數(shù)據(jù)量至少為20000 個(gè)。隨后，對(duì)捕捉的數(shù)據(jù)進(jìn)行運(yùn)算，應(yīng)用校準(zhǔn)數(shù)據(jù)就能還原對(duì)應(yīng)紅外線感應(yīng)器的相對(duì)位置信息。

之后設(shè)置坐標(biāo)原點(diǎn)，使用的工具是地坪校準(zhǔn)器和手杖電池。如圖3所示，在舞臺(tái)中央擺放地坪校準(zhǔn)器，以觀眾席的視角為準(zhǔn)，Y 軸方向是舞臺(tái)后方，X 軸方向是舞臺(tái)右側(cè)。設(shè)定完成后，在Motive 軟件中保存校準(zhǔn)文件，便完成校準(zhǔn)流程。

圖3 地坪校準(zhǔn)器的放置

3.3 數(shù)據(jù)傳輸

數(shù)據(jù)傳輸指的是將數(shù)據(jù)傳輸?shù)降谌较到y(tǒng)，使用BlackTrax GUI 軟件實(shí)現(xiàn)，具體通過(guò)設(shè)置輸出參數(shù)（Output Configuration）、傳送追蹤對(duì)象（Sending Trackables）、輸出模塊（Output Modules）三個(gè)界面的參數(shù)實(shí)現(xiàn)。

首先，在BlackTrax GUI 的Output Configuration 界面中新建一個(gè)輸出口。由于傳輸?shù)氖亲粉欬c(diǎn)的位置信息，因此數(shù)據(jù)傳輸類型為RTTrPM 協(xié)議，NIC 設(shè)定為本機(jī)的IP 地址，地址設(shè)置成接收端的IP 地址，需要保持信號(hào)發(fā)送端與接收端端口一致。

隨后，設(shè)置Sending Trackables 參數(shù)，在窗口中具有四種類型的追蹤對(duì)象數(shù)據(jù)可以傳輸，即Beacon、Min、Rigid、Soft。Beacon 和Min 指的是信標(biāo)器的類型，Rigid 和Soft 指的是追蹤對(duì)象的類型，即剛體與柔體。剛體指的是形狀和尺寸在運(yùn)動(dòng)和受力狀態(tài)下保持不變的物體，通常用于描述沒(méi)有彎曲、拉伸或擠壓的物體。因此可以將至少三個(gè)紅外線纜固定在剛體上，在BlackTrax GUI中將帶有線纜的剛體綁定為剛體對(duì)象。柔體指的是形狀和尺寸隨運(yùn)動(dòng)或外力的變化而變化的物體，對(duì)于柔體的追蹤通常需要指定追蹤點(diǎn)為框架創(chuàng)建解決方案。分配給柔體的追蹤點(diǎn)數(shù)量沒(méi)有限制，對(duì)柔體的追蹤本質(zhì)上是對(duì)柔體質(zhì)心的追蹤。

最后，需在Output Modules 模式中選擇對(duì)應(yīng)數(shù)據(jù)傳輸類型，包含LED、質(zhì)心、方向角、時(shí)間戳、速度與加速度。LED 數(shù)據(jù)即追蹤點(diǎn)數(shù)據(jù)，用來(lái)發(fā)送單個(gè)追蹤點(diǎn)的3D 坐標(biāo)信息。質(zhì)心數(shù)據(jù)用于傳輸剛體的空間位置信息，由于剛體對(duì)象是一個(gè)至少由三個(gè)追蹤點(diǎn)形成的空間立體結(jié)構(gòu)，對(duì)于剛體對(duì)象能獲取其6D位姿信息。質(zhì)心數(shù)據(jù)通常搭配方向角數(shù)據(jù)一起使用。方向角數(shù)據(jù)包含四元數(shù)數(shù)據(jù)與歐拉角數(shù)據(jù)。四元數(shù)數(shù)據(jù)是一種復(fù)雜但更為有效描述旋轉(zhuǎn)的數(shù)學(xué)工具，它是由一個(gè)實(shí)部和三個(gè)虛部組成的結(jié)構(gòu)體數(shù)據(jù)，用于表示旋轉(zhuǎn)軸和旋轉(zhuǎn)角度。歐拉角則將物體的旋轉(zhuǎn)分解成三個(gè)連續(xù)的基本方向旋轉(zhuǎn)，可以拆解成繞X 軸旋轉(zhuǎn)（Roll）、繞Y 軸旋轉(zhuǎn)（Pitch）、繞Z 軸旋轉(zhuǎn)（Yaw）。速度與加速度用來(lái)傳輸追蹤對(duì)象的速度與加速度數(shù)據(jù)，需要與LED 或質(zhì)心數(shù)據(jù)搭配使用。

4 實(shí)時(shí)粒子特效制作

TouchDesigner 是一款節(jié)點(diǎn)式可視化編程工具，其中包含Comp、Top、Chop、Sop、Dat、Mat 六大類型的基本元件和功能豐富的集成插件。TouchDesigner 具有豐富的軟硬件接口支持，其支持的硬件設(shè)備包含Kinect 體感設(shè)備、LeapMotion 體感控制器、激光雷達(dá)、Arduino 智能硬件設(shè)備等交互設(shè)備。其支持的傳輸協(xié)議包括DMX 協(xié)議、OSC 協(xié)議、MIDI 協(xié)議、NDI 協(xié)議等，通過(guò)這些協(xié)議能傳輸燈光控制信號(hào)、音視頻信號(hào)、空間位置信息等。

使用TouchDesigner 實(shí)現(xiàn)實(shí)時(shí)粒子特效制作的過(guò)程主要分為兩步，第一步是傳輸協(xié)議的轉(zhuǎn)換，第二步是粒子特效的設(shè)計(jì)。

4.1 協(xié)議轉(zhuǎn)換

在特效制作過(guò)程中需要處理兩次傳輸協(xié)議的轉(zhuǎn)換。第一次是將BlackTrax GUI 傳輸來(lái)的RTTrPM 協(xié)議轉(zhuǎn)換成OSC 協(xié)議，第二次是將制作完成的粒子特效以NDI協(xié)議傳輸給hecoos多媒體服務(wù)器。

4.1.1 RTTrPM 協(xié)議

BlackTrax GUI 傳輸?shù)淖粉檯f(xié)議具有兩款，分別是實(shí)時(shí)跟蹤協(xié)議-照明（RTTrPL）和實(shí)時(shí)跟蹤協(xié)議-運(yùn)動(dòng)（RTTrPM）。RTTrPL 協(xié)議主要用于燈光追蹤，傳輸?shù)臄?shù)據(jù)包中包含燈具的域、通道及通道值的相關(guān)信息。其本質(zhì)上是將空間坐標(biāo)信息轉(zhuǎn)化成燈具的Pan 或Tilt 通道的數(shù)值，從而達(dá)到燈光追蹤的目的。RTTrPM 協(xié)議用來(lái)處理運(yùn)動(dòng)追蹤，傳輸?shù)臄?shù)據(jù)包中包含運(yùn)動(dòng)物體的位姿數(shù)據(jù)，包括LED、質(zhì)心、方向角、時(shí)間戳、速度與加速度。RTTrPM 協(xié)議是一種網(wǎng)絡(luò)傳輸協(xié)議，既能使用TCP 的方式傳輸也能使用UDP 的方式傳輸。考慮到數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性，通常使用UDP的方式進(jìn)行數(shù)據(jù)傳輸。

4.1.2 OSC 協(xié)議

OSC（Open Sound Control）協(xié)議即開(kāi)放式聲音控制，是一種網(wǎng)絡(luò)傳輸協(xié)議，采用UDP 方式進(jìn)行網(wǎng)絡(luò)傳輸。OSC 協(xié)議要求信息發(fā)送設(shè)備與接收設(shè)備處于同一局域網(wǎng)中，并且監(jiān)聽(tīng)同一個(gè)端口信號(hào)。OSC 協(xié)議最初是為音頻服務(wù)的，音頻控制器OSC 協(xié)議能更好地控制音頻設(shè)備。隨著技術(shù)的發(fā)展，OSC 協(xié)議的用途越來(lái)越廣泛，不僅可以用于控制視頻設(shè)備、燈光系統(tǒng)、動(dòng)作捕捉設(shè)備，還可用于發(fā)送命令、控制參數(shù)、傳輸實(shí)時(shí)數(shù)據(jù)等。

4.1.3 NDI協(xié)議

NDI（Network Device Interface）協(xié)議即網(wǎng)絡(luò)設(shè)備接口協(xié)議，旨在實(shí)現(xiàn)高質(zhì)量、低延遲的實(shí)時(shí)視頻、音頻和元數(shù)據(jù)的網(wǎng)絡(luò)傳輸與共享。NDI 協(xié)議在2015 年發(fā)布，提供免費(fèi)開(kāi)源的軟件開(kāi)發(fā)工具包（Software Development Kit，SDK）。NDI 協(xié)議能傳輸視頻信號(hào)、音頻信號(hào)、TALLY 信號(hào)（用于指示視頻切換器中信號(hào)狀態(tài)的燈光）以及控制方案，其采用高效的編碼技術(shù)，高清信號(hào)壓縮比約為15∶1，延遲能夠控制在100ms以內(nèi)。目前廣泛用于直播、會(huì)議、視頻制作、醫(yī)療、教育等領(lǐng)域。

4.1.4 OSC 信號(hào)處理

由于BlackTrax GUI 傳輸?shù)氖荝TTrPM 協(xié)議，因此需要使用BlackTrax 官方提供的Python 代碼將其轉(zhuǎn)換成OSC 協(xié)議。在TouchDesigner 中創(chuàng)建OSC In 元件，通過(guò)調(diào)整OSC In 元件參數(shù)面板的接收端口并激活該元件，就能獲取局域網(wǎng)中對(duì)應(yīng)端口發(fā)送的OSC信號(hào)。圖4是對(duì)OSC 信號(hào)處理的流程，該流程實(shí)現(xiàn)拆解OSC 數(shù)據(jù)，并對(duì)捕捉到的數(shù)據(jù)進(jìn)行一定變換從而實(shí)現(xiàn)與運(yùn)動(dòng)對(duì)象的匹配。流程中，創(chuàng)建Select 元件拆解OSC 元件中的數(shù)據(jù)，添加Math 元件將數(shù)據(jù)進(jìn)行一定的變換，并將數(shù)據(jù)傳輸給Null 元件。Null 元件是一個(gè)特殊的節(jié)點(diǎn)，本身不執(zhí)行任何操作。Null 節(jié)點(diǎn)的作用類似于連接器，用于連接和組織網(wǎng)絡(luò)節(jié)點(diǎn)。

圖4 OSC 信號(hào)處理節(jié)點(diǎn)流程圖

4.2 粒子特效設(shè)計(jì)流程

圖5 為本次實(shí)驗(yàn)粒子特效設(shè)計(jì)的節(jié)點(diǎn)流程圖。Grid 元件劃定區(qū)域，Particle 元件產(chǎn)生粒子，將Null 元件當(dāng)作Grid 元件參數(shù)的引用，從而將追蹤位置傳輸給粒子。通過(guò)渲染“四元件”：Light 元件、Camera 元件、Geometry 元件、Constant 元件輸出給Render 元件，由Render 元件實(shí)時(shí)渲染輸出，其中Light 元件負(fù)責(zé)燈光設(shè)置，Camera 元件負(fù)責(zé)搭建相機(jī)視角，Geometry 元件存放各種需要渲染的對(duì)象，Constant 元件負(fù)責(zé)貼上材質(zhì)信息，經(jīng)過(guò)這樣操作便能產(chǎn)生粒子特效。由于粒子具有生命周期，因此要產(chǎn)生連續(xù)粒子追蹤效果就需要循環(huán)“四元件”，F(xiàn)eedback 元件開(kāi)啟循環(huán)，Blur 元件添加模糊，Level 元件調(diào)整亮度，Add 元件負(fù)責(zé)將當(dāng)前畫面疊加回Feedback 元件達(dá)到循環(huán)目的。最后添加NDI OUT 元件將粒子特效畫面?zhèn)鬏斀ohecoos 多媒體服務(wù)器系統(tǒng)。

圖5 TouchDesigner 節(jié)點(diǎn)流程圖

5 預(yù)演與顯示系統(tǒng)技術(shù)方案

預(yù)演與顯示系統(tǒng)包含hecoos 多媒體服務(wù)器、JSTRON 視頻處理器和多臺(tái)激光投影機(jī)（圖6）。其中hecoos 多媒體服務(wù)器中的hecoos Pro 軟件負(fù)責(zé)舞臺(tái)的預(yù)演、投影機(jī)的控制與軟件端的輸出管理。JSTRON視頻處理器負(fù)責(zé)裁切視頻信號(hào)，由于投影機(jī)數(shù)量較多，需要通過(guò)hecoos Pro 軟件與JSTRON 視頻處理器進(jìn)行輸出控制與管理，從而實(shí)現(xiàn)端到端的映射。

圖6 預(yù)演與顯示系統(tǒng)圖

hecoos Pro 是一款實(shí)時(shí)預(yù)演現(xiàn)場(chǎng)的全案設(shè)計(jì)創(chuàng)作軟件，能完成項(xiàng)目技術(shù)方案的設(shè)計(jì)、舞臺(tái)的搭建、效果的預(yù)演，并輸出給對(duì)應(yīng)的投影機(jī)、音響設(shè)備、LED 屏幕、燈具和舞臺(tái)機(jī)械裝置。設(shè)計(jì)師可以在軟件中模擬真實(shí)投影機(jī)的光路設(shè)計(jì)和畫面畸變，從而完成具體模型的3D 映射效果和光路設(shè)計(jì)。

北京電影學(xué)院懷柔校區(qū)千人劇場(chǎng)使用的hecoos多媒體服務(wù)器搭載i9-10900K 處理器、RTX6000 顯卡和64G 內(nèi)存，具有強(qiáng)大的編解碼能力和渲染輸出能力。hecoos 多媒體服務(wù)器具備6 個(gè)DP1.2 接口，最大支持4K 分辨率輸出，支持最多10 路高清NDI 網(wǎng)絡(luò)采集，支持最多4 路SDI 接口的4K 采集卡采集視頻信號(hào)。

如圖7 所示，千人劇場(chǎng)搭建了一套由11 臺(tái)固定安裝的激光投影機(jī)和5 臺(tái)流動(dòng)激光投影機(jī)組成的投影系統(tǒng)，投影機(jī)的標(biāo)準(zhǔn)分辨率為1920×1200，而hecoos 多媒體服務(wù)器最多支持6 路DP 輸出，因此需要通過(guò)視頻處理器，將一路輸入信號(hào)裁切成多路輸出信號(hào)。

圖7 投影機(jī)點(diǎn)位布局圖

視頻處理器是一種專門處理數(shù)字視頻信號(hào)的設(shè)備，具有分割屏幕、拼接屏幕、自定義EDID、混合矩陣、自定義橫縱向排布等功能。EDID（Extended Display Identification Data）即擴(kuò)展顯示識(shí)別數(shù)據(jù)，通過(guò)EDID 顯示設(shè)備可以向計(jì)算機(jī)發(fā)送自身的技術(shù)規(guī)格、支持的分辨率、頻率范圍和色彩特性等信息。EDID提供了一種標(biāo)準(zhǔn)化的方式，用于確保計(jì)算機(jī)與顯示設(shè)備之間能夠有效交換顯示配置信息，從而實(shí)現(xiàn)最佳的顯示效果與兼容性。

千人劇場(chǎng)采用4 臺(tái)JSTRON LVP9000-D 視頻處理器，每臺(tái)視頻處理器具有2 路輸入和4 路輸出。2路輸入分別支持DP1.2 標(biāo)準(zhǔn)和DP1.1 標(biāo)準(zhǔn)，能接收超高清（UHD）信號(hào)，最大支持3840×2400 無(wú)損分割。4路輸出支持DVI 1.0 標(biāo)準(zhǔn)，最大輸出分辨率為1920×1200。

5.1 輸出管理

輸出管理是將hecoos 多媒體服務(wù)器的4 路DP 輸出，通過(guò)視頻處理器的分割屏幕功能拆解成16 路DVI 輸出，從而匹配整個(gè)沉浸式劇場(chǎng)的16 臺(tái)激光投影機(jī)。首先需要調(diào)整視頻處理器的輸入設(shè)置，通過(guò)EDID 功能將畫面修改為3840×2400。視頻處理器的輸入信號(hào)就是hecoos 多媒體服務(wù)器的輸出信號(hào)，設(shè)置完成后就能在hecoos Pro 軟件輸出管理界面的添加本機(jī)顯示中識(shí)別到該屏幕。在hecoos Pro 中通過(guò)切片功能將4路虛擬屏畫面拼接成一路輸出畫面，在視頻處理器的輸出時(shí)序中完成分辨率調(diào)整，在拼接設(shè)置中實(shí)現(xiàn)將一路輸入信號(hào)裁切成4 路輸出信號(hào)。完成上述設(shè)置，就能實(shí)現(xiàn)投影畫面軟硬件端的匹配。

5.2 效果展示與評(píng)價(jià)

本次實(shí)驗(yàn)使用12 個(gè)紅外線感應(yīng)器，在舞臺(tái)上搭建了一個(gè)4m×6m×3m 的追蹤空間。追蹤對(duì)象手持信標(biāo)器與紅外線纜，在追蹤空間中運(yùn)動(dòng)。在BlackTrax GUI 中激活對(duì)應(yīng)的信標(biāo)器后，就能將數(shù)據(jù)傳輸給TouchDesigner。傳輸?shù)臄?shù)據(jù)類型為Beacon，即被追蹤對(duì)象的3D 坐標(biāo)信息。通過(guò)在hecoos Pro 的媒體面板中添加NDI 信號(hào)采集，將采集到的媒體信號(hào)放入時(shí)間線，選擇對(duì)應(yīng)的映射，輸出到虛擬屏中。由于在之前已經(jīng)完成輸出管理即虛擬屏到真實(shí)投影機(jī)輸出畫面之間的映射，當(dāng)前只需要在菜單欄中打開(kāi)所有顯示，就能將畫面?zhèn)鬏斀o對(duì)應(yīng)的投影機(jī)打出。最后回到TouchDesigner 中修改Math 元件的參數(shù)，使投射出的粒子特效能完美匹配追蹤對(duì)象的運(yùn)動(dòng)。

圖8 展示的是本次實(shí)驗(yàn)中實(shí)時(shí)粒子特效效果，投影機(jī)打出的粒子特效畫面隨著舞臺(tái)上追蹤對(duì)象運(yùn)動(dòng)而運(yùn)動(dòng)。追蹤對(duì)象在舞臺(tái)中完成慢跑、急停、下蹲、上跳等動(dòng)作時(shí)，粒子特效可實(shí)時(shí)反饋。整套系統(tǒng)可根據(jù)具體劇目創(chuàng)作需求，實(shí)現(xiàn)靈活修改與軟硬件設(shè)施拓展。通過(guò)修改紅外線感應(yīng)器的數(shù)量與安裝位置設(shè)定追蹤對(duì)象的活動(dòng)范圍，通過(guò)增加追蹤范圍內(nèi)信標(biāo)器與紅外線纜的數(shù)量，實(shí)現(xiàn)道具、演員與裝置的多樣化追蹤；通過(guò)修改數(shù)據(jù)傳輸類型合理設(shè)計(jì)追蹤效果方案，通過(guò)修改粒子特效的設(shè)計(jì)呈現(xiàn)不同的視覺(jué)感受，通過(guò)投影畫面的選擇、拼接與匹配，可實(shí)現(xiàn)更加沉浸的效果。因此應(yīng)合理地應(yīng)用沉浸式劇場(chǎng)實(shí)時(shí)粒子特效系統(tǒng)，給觀眾帶來(lái)更加沉浸的視聽(tīng)盛宴。

圖8 實(shí)時(shí)粒子特效效果展示圖

6 結(jié)語(yǔ)

本文基于北京電影學(xué)院懷柔校區(qū)千人劇場(chǎng)，搭建了一套沉浸式劇場(chǎng)實(shí)時(shí)粒子特效系統(tǒng)，實(shí)現(xiàn)了粒子特效與追蹤對(duì)象運(yùn)動(dòng)的匹配，目前已實(shí)現(xiàn)多追蹤對(duì)象的實(shí)時(shí)追蹤和多投影機(jī)的投影特效。但由于TouchDesinger 軟件的限制，無(wú)法做到實(shí)時(shí)特效的觸發(fā)，需借由游戲引擎的藍(lán)圖功能，進(jìn)行相關(guān)功能的補(bǔ)充并提升可控性。未來(lái)隨著空間定位技術(shù)與交互技術(shù)的不斷發(fā)展，更多的特效形式與交互方案會(huì)應(yīng)用到沉浸式劇場(chǎng)中，從而實(shí)現(xiàn)更加真實(shí)的虛擬影像交互效果，將為沉浸式劇場(chǎng)的內(nèi)容創(chuàng)作帶來(lái)更多的可能性。?