TouchDesigner在互動(dòng)影像裝置中的應(yīng)用研究

李詠潔 王宏利

摘要：互動(dòng)影像裝置的基本構(gòu)成為：感應(yīng)信息—處理信息—輸出影像。其中處理信息這一關(guān)鍵步驟一般由控制程序完成。傳統(tǒng)的控制程序開(kāi)發(fā)依賴(lài)Java和C語(yǔ)言這類(lèi)以文本為主的代碼語(yǔ)言進(jìn)行程序編寫(xiě)?？梢暬幊蘐ouchDesigner平臺(tái)的出現(xiàn)使藝術(shù)家不依賴(lài)文本代碼也能編寫(xiě)互動(dòng)影像裝置的程序設(shè)定。文章聚焦可視化編程平臺(tái)TouchDesigner 參與制作的互動(dòng)影像裝置案例，分析TouchDesigner實(shí)現(xiàn)交互效果的原理、方式及該平臺(tái)與其他硬件合作的多重可能，從創(chuàng)作、商業(yè)和美育的角度探討TouchDesigner在互動(dòng)影像裝置中的應(yīng)用前景。

關(guān)鍵詞：TouchDesigner；互動(dòng)裝置；影像裝置；可視化編程；新媒體藝術(shù)

中圖分類(lèi)號(hào)：TP37；J5 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004-9436（2022）16-00-03

1 可視化編程平臺(tái)TouchDesigner

控制程序是互動(dòng)影像裝置實(shí)現(xiàn)人機(jī)交互的關(guān)鍵。互動(dòng)影像裝置中的控制程序設(shè)計(jì)逐漸由文本代碼向可視化演變?；?dòng)影像裝置的技術(shù)實(shí)現(xiàn)主要有三步：傳感設(shè)備向控制程序輸入信息、控制程序接收并處理信息、控制程序?qū)⑻幚砗蟮挠跋裥畔⒎答伣o觀眾。早期藝術(shù)裝置的控制程序開(kāi)發(fā)流行使用C++的OpenFramework來(lái)完成［1］。2001年，麻省理工學(xué)院媒體實(shí)驗(yàn)室與藝術(shù)家共同研發(fā)了一種專(zhuān)門(mén)由設(shè)計(jì)師和藝術(shù)家使用的編程軟件Processing。Processing，其優(yōu)勢(shì)在于“低算法”，但是其仍然是一款基于文本輸入的編程軟件。隨著技術(shù)的革新與發(fā)展，可視化編程平臺(tái)應(yīng)運(yùn)而生?？梢暬幊桃赃壿?、圖像和視覺(jué)元素為主導(dǎo)，用視覺(jué)流程圖取代了以往編程中的文本代碼［2］。在互動(dòng)影像裝置的制作實(shí)施中，由Derivative Inc公司開(kāi)發(fā)的可視化編程平臺(tái)TouchDesigner順利出圈。

TouchDesigner工作性能穩(wěn)定，實(shí)時(shí)渲染流暢，可應(yīng)用于數(shù)字投影、數(shù)據(jù)可視化、實(shí)時(shí)3D生成、電影場(chǎng)景環(huán)境控制和VJ（Visual Jockey，影像騎師）。TouchDesigner獲得了全球藝術(shù)家和藝術(shù)團(tuán)隊(duì)的青睞。比如，來(lái)自紐約的設(shè)計(jì)團(tuán)隊(duì)Volvox Lab運(yùn)用TouchDesigner為微軟的藝術(shù)長(zhǎng)廊影院制作了能與人互動(dòng)的屏幕［3］。加拿大團(tuán)隊(duì)Moment Factory使用TouchDesigner制作建筑投影，使古老的建筑與夢(mèng)幻的影像在同一個(gè)空間交融。日本數(shù)字媒體團(tuán)隊(duì)TeamLab在Borderless系列作品中運(yùn)用TouchDesigner協(xié)調(diào)了人機(jī)交互。

2 TouchDesigner在互動(dòng)影像裝置中的應(yīng)用

2.1 基于TouchDesigner傳感程序設(shè)計(jì)

TouchDesigner在互動(dòng)影像裝置的制作中主要承擔(dān)處理信息的功能，但是要完成整個(gè)互動(dòng)程序，還需要與傳感設(shè)備合作。傳感設(shè)備主要用于捕捉聲音、溫度和人的動(dòng)作等信息。傳感設(shè)備接入計(jì)算機(jī)后，TouchDesigner開(kāi)始處理捕捉到的信息，生成不同的影像，最終通過(guò)投影或者LED屏幕將影像信息展示在觀眾面前［4-5］。按照傳感設(shè)備的類(lèi)型，可大致將基于TouchDesigner的影像裝置分為音畫(huà)互動(dòng)影像裝置和體感互動(dòng)影像裝置兩種。

2.1.1 音畫(huà)互動(dòng)傳感

互動(dòng)影像裝置中的音畫(huà)互動(dòng)通常由控制平臺(tái)根據(jù)聲音的響度、音色以及音色要素自動(dòng)生成相應(yīng)的影像，被生成的影像通常用顏色、運(yùn)動(dòng)、形狀和紋理的變化反映聲音的變化。2014年，在星際爭(zhēng)霸賽的舞臺(tái)上，程序員Keith Lostracco使用TouchDesigner創(chuàng)作了名為L(zhǎng)uminosity的VJ系統(tǒng)。該系統(tǒng)將聲音控制臺(tái)完全置入TouchDesigner，并由TouchDesigner結(jié)合現(xiàn)場(chǎng)聲音生成即時(shí)影像。星際爭(zhēng)霸賽中的Luminosity系統(tǒng)是將TouchDesigner應(yīng)用到舞臺(tái)現(xiàn)場(chǎng)的較早期的實(shí)踐。由于TouchDesigner具備較強(qiáng)的穩(wěn)定性，該平臺(tái)被越來(lái)越多的媒體藝術(shù)家和音樂(lè)人應(yīng)用到舞臺(tái)音畫(huà)互動(dòng)中。2021年，在都柏林的Light Moves festival（光動(dòng)藝術(shù)節(jié)）中，媒體藝術(shù)家Pauric Freeman（帕烏里·弗里曼）為音樂(lè)人Beatrice Dillon 制作了音畫(huà)互動(dòng)影像背景，這個(gè)項(xiàng)目由TouchDesigner與音響合成器以及音頻編輯器Ableton合作完成。

2.1.2 體感互動(dòng)傳感

Lumina Borealis是由多媒體工作室Moment Factory于2020年創(chuàng)作的公共互動(dòng)影像項(xiàng)目。Lumina Borealis裝置所利用的空間是加拿大的亨利古堡， 該裝置以冬天和冰雪為主題，在古堡的墻上隨處可見(jiàn)代表冬天的植物、動(dòng)物和元素。制作團(tuán)隊(duì)使用TouchDesigner平臺(tái)，實(shí)現(xiàn)了觀眾與古堡里神奇的“生物們”的互動(dòng)。目前，大部分互動(dòng)影像裝置中的互動(dòng)方式和Lumina Borealis項(xiàng)目中的體感互動(dòng)一樣，裝置中的影像內(nèi)容根據(jù)觀眾反饋的信息變化。觀眾可傳遞的信息有手勢(shì)、表情、語(yǔ)音、溫度和位置坐標(biāo)等。

TouchDesigner實(shí)現(xiàn)體感互動(dòng)需要接入外部設(shè)備。其中，Kinect是互動(dòng)影像裝置中使用頻率較高的傳感設(shè)備。Kinect最初是微軟公司推出的用于玩體感游戲的攝像頭，由于親民的價(jià)格和穩(wěn)定的骨架追蹤功能，Kinect也逐漸被運(yùn)用于連接PC端的程序開(kāi)發(fā)。Kinect骨架追蹤的工作通過(guò)紅外線(xiàn)和攝像頭來(lái)識(shí)別人身上具有代表性的20個(gè)關(guān)節(jié)點(diǎn)，通過(guò)關(guān)節(jié)點(diǎn)離Kinect的距離、水平移動(dòng)距離和垂直移動(dòng)距離來(lái)確定人的位置和動(dòng)作［6］。2017年，在Virada Cultural 藝術(shù)節(jié)上，跨學(xué)科創(chuàng)意團(tuán)隊(duì)Midiadub結(jié)合Kinect傳感器和TouchDesigner打造了能與觀眾互動(dòng)的戶(hù)外磚墻，觀眾在墻體邊停留和觸摸墻面時(shí)，磚墻能給予觀眾實(shí)時(shí)動(dòng)態(tài)影像反饋。除了Kinect傳感攝像頭， TouchDesigner 也能與追蹤雷達(dá)、Arduino電路板以及Leap Motion控制器等設(shè)備合作完成互動(dòng)影像裝置的制作。

2.2 基于TouchDesigner的計(jì)算機(jī)生成藝術(shù)

裝置中的傳感器將捕捉到的信息傳送給TouchDesigner。隨后， TouchDesigner 根據(jù)接收的數(shù)據(jù)按照預(yù)設(shè)的程序?qū)τ跋襁M(jìn)行切換、疊畫(huà)、圖像形變或者觸發(fā)特效。其中，粒子交互和可控?cái)M態(tài)是目前互動(dòng)影像裝置中較常出現(xiàn)的效果［7］。

2.2.1 粒子交互

粒子特效是互動(dòng)影像中經(jīng)常出現(xiàn)的效果，比如人觸碰到裝置時(shí)屏幕開(kāi)始出現(xiàn)粒子，屏幕上的粒子跟著人改變方向或者當(dāng)人走到某個(gè)位置時(shí)影像中的某個(gè)圖形圖像變成粒子消散。TouchDesigner中粒子的原型一般由grid（網(wǎng)格）這類(lèi)以線(xiàn)條為主的元件加入particle（粒子）元件生成，創(chuàng)作者可以在此基礎(chǔ)上再對(duì)生成的粒子加以微調(diào)，如加入sort（排序）來(lái)改變粒子的方位、大小，或者加入pamp（分子模式）改變顏色等。粒子效果制作后可在TouchDesigner中點(diǎn)擊鏈接Kinect等傳感設(shè)備完成交互。

2.2.2 可控?cái)M態(tài)

TouchDesigner中的可控?cái)M態(tài)效果常與Leap Motion手勢(shì)控制器一起使用。觀眾可在裝置前用手勢(shì)控制影像中圖形圖像的位置、顏色、生長(zhǎng)方向和元素形態(tài)等?？煽?cái)M態(tài)的設(shè)計(jì)需要先建立或?qū)?D模型，如果用TouchDesigner建模，可考慮先拖入Box（立方體）、sphere（球體）或者tube（管）這類(lèi)基礎(chǔ)圖形，隨后需要在模型的基礎(chǔ)上用sopto元件建立網(wǎng)格數(shù)據(jù)。將圖形圖像信息轉(zhuǎn)為數(shù)字坐標(biāo)數(shù)據(jù)后，再加入noise（噪聲）元件建立動(dòng)態(tài)數(shù)據(jù)，影像中的原始模型主要通過(guò)調(diào)整noise元件中的參數(shù)，實(shí)現(xiàn)變形、切換、消失和部件重組等效果。

3 TouchDesigner在互動(dòng)影像裝置中的應(yīng)用前景

3.1 創(chuàng)作前景

基于TouchDesigner的裝置設(shè)計(jì)比傳統(tǒng)開(kāi)源編程的創(chuàng)作效率更高。對(duì)藝術(shù)家而言，使用編程軟件一般要有C語(yǔ)言或者Java的基礎(chǔ)，這些并不是在短時(shí)間內(nèi)就能精通的，使用TouchDesigner將大大提升創(chuàng)作潛能。另外，TouchDesigner將打破行業(yè)與技術(shù)壁壘，讓更多的人參與到藝術(shù)創(chuàng)作與藝術(shù)體驗(yàn)之中。對(duì)程序員而言，TouchDesigner能盡可能減少程序員在與外界溝通時(shí)的“行業(yè)黑話(huà)”。比如，目前很多裝置項(xiàng)目需要程序員、藝術(shù)家、政府以及商家共同完成，可視化編程能讓外行人更快更準(zhǔn)確地了解項(xiàng)目的實(shí)現(xiàn)效果和進(jìn)展，有利于從整體上提高項(xiàng)目效率。

3.2 商業(yè)前景

TouchDesigner參與的互動(dòng)影像裝置的商業(yè)價(jià)值未來(lái)可期。對(duì)美術(shù)館和博物館而言，科學(xué)與藝術(shù)相結(jié)合的項(xiàng)目不僅更符合時(shí)代發(fā)展趨勢(shì)，還增強(qiáng)了觀眾的參與感。比如TeamLab在上海無(wú)界美術(shù)館的作品就大量使用了基于TouchDesigner制作的互動(dòng)影像裝置。據(jù)不完全統(tǒng)計(jì)，2019年，該展覽有230萬(wàn)人觀展。2020年9月至2021年1月，百度與UCCA Lab合作主辦的展覽“喚醒萬(wàn)物”在北京UCCA當(dāng)代藝術(shù)中心舉行。該展覽的沉浸式互動(dòng)體驗(yàn)主要由TouchDesigner完成，因?yàn)樾路f的主題和良好的互動(dòng)效果，該展覽日均觀看人數(shù)超過(guò)5000人，一度打破了北京UCCA的觀展紀(jì)錄。對(duì)公共區(qū)域的管理者和商家而言，互動(dòng)裝置能為場(chǎng)地帶來(lái)更多的人流量，因?yàn)榛?dòng)裝置必然會(huì)增加人在空間中的停留時(shí)間。

3.3 美育前景

藝術(shù)作品的展覽方除了展示作品外，也可以嘗試將作品與公共教育以及藝術(shù)教育相結(jié)合?；?dòng)影像裝置的創(chuàng)作涉及多個(gè)學(xué)科的跨界合作。其中，作品的觀念是互動(dòng)裝置的靈魂，這需要?jiǎng)?chuàng)作者有一定的藝術(shù)、哲學(xué)、社會(huì)學(xué)和心理學(xué)等知識(shí)的沉淀。想要敏銳地捕捉觀眾反饋的信息，離不開(kāi)物聯(lián)網(wǎng)傳感技術(shù)的支持。將捕捉到的觀眾信息傳送到處理器以及處理器輸出信息的過(guò)程涉及計(jì)算機(jī)編程和計(jì)算機(jī)圖形技術(shù)。與作品相關(guān)的Workshop（藝術(shù)工作坊）有利于加深觀眾對(duì)作品的了解，藝術(shù)工作坊可以幫助觀眾過(guò)把“人人都是藝術(shù)家”的創(chuàng)作癮。比如2021年12月在上海摩登天空舉行的光點(diǎn)國(guó)際新媒體藝術(shù)節(jié)，開(kāi)幕演出主要由TouchDesigner實(shí)現(xiàn)，后續(xù)的藝術(shù)工作坊也圍繞TouchDesigner展開(kāi)。TouchDesigner參與制作的互動(dòng)影像裝置的視覺(jué)效果炫酷，通過(guò)線(xiàn)上/線(xiàn)下藝術(shù)工作坊的方式，可讓觀眾在觀看作品之后也能創(chuàng)作出科技感十足的藝術(shù)作品。

4 結(jié)語(yǔ)

互動(dòng)影像裝置的實(shí)現(xiàn)得益于數(shù)字化進(jìn)程的不斷加快以及物聯(lián)網(wǎng)技術(shù)與計(jì)算機(jī)技術(shù)的發(fā)展。從Processing到TouchDesigner，越來(lái)越簡(jiǎn)化的開(kāi)發(fā)平臺(tái)激發(fā)了創(chuàng)作者的潛能，也使互動(dòng)影像裝置創(chuàng)作有了“全民開(kāi)發(fā)”的可能。目前的互動(dòng)影像裝置大致能分成音畫(huà)互動(dòng)和體感互動(dòng)兩種，要通過(guò)TouchDesigner實(shí)現(xiàn)音畫(huà)互動(dòng)和體感互動(dòng)離不開(kāi)其他硬件設(shè)備的協(xié)調(diào)。常與TouchDesigner合作的外部設(shè)備有Ableton、Arduino、Kinect、Leap Motion和追蹤雷達(dá)等。TouchDesigner參與到互動(dòng)影像裝置的創(chuàng)作中，能激發(fā)藝術(shù)家的創(chuàng)作潛能、提高團(tuán)隊(duì)的創(chuàng)作效率。未來(lái)，TouchDesigner介入的互動(dòng)影像裝置將有一定的商業(yè)價(jià)值與美育價(jià)值。隨著信息技術(shù)的深入發(fā)展，人類(lèi)創(chuàng)作藝術(shù)的方式也會(huì)發(fā)生很大的變化。今后創(chuàng)作者們要順應(yīng)時(shí)代變化趨勢(shì)和科技發(fā)展潮流，不斷學(xué)習(xí)新技能，提升應(yīng)用科技手段的能力，提高個(gè)人藝術(shù)修養(yǎng)，致力于藝術(shù)創(chuàng)作的創(chuàng)新發(fā)展，打破學(xué)術(shù)的邊界與壁壘，擁抱大有可為的未來(lái)。

參考文獻(xiàn)：

［1］ 列夫·曼諾維奇.新媒體的語(yǔ)言［M］.美國(guó)馬薩諸塞：麻省理工學(xué)院出版社，2010：89.

［2］ 列夫·曼諾維奇.計(jì)算機(jī)視覺(jué)、人類(lèi)感官和藝術(shù)語(yǔ)言［J］.人工智能與社會(huì)，2020，36（4）：1145-1152.

［3］ 蘇鏡如. TouchDesigner在新媒體藝術(shù)中的運(yùn)用［J］.新媒體研究，2020，6（14）：9-10.

［4］ 盧卡斯·F.奧利韋羅，安東尼奧·阿勞霍.我正在看著你/我：基于Touch Designer的實(shí)時(shí)繪圖和球形視角的VR可視化［C］.第十屆數(shù)字與交互藝術(shù)國(guó)際會(huì)議，2021：121.

［5］ 埃里克·布倫范德，溫迪·懷舍爾.集體電流：通過(guò)協(xié)作和互動(dòng)裝置探索可持續(xù)性［J］.萊昂納多，2021，54（3）：320-324.

［6］ 畢倪飛.面向分布式同步數(shù)據(jù)并行訓(xùn)練的通信優(yōu)化技術(shù)［D］.上海：華東師范大學(xué)，2022：15.

［7］ 藝力國(guó)際出版有限公司.互動(dòng)裝置藝術(shù)：科技驅(qū)動(dòng)的藝術(shù)體驗(yàn)［M］.武漢：華中科技大學(xué)出版社，2020：45.

作者簡(jiǎn)介：李詠潔（1992—），女，湖南長(zhǎng)沙人，碩士，助教，研究方向：影像媒體、當(dāng)代藝術(shù)跨學(xué)科。

王宏利（1994—），男，湖南邵陽(yáng)人，碩士，研究方向：深度學(xué)習(xí)。