基于Processing的新媒體生成藝術(shù)交互設(shè)計(jì)實(shí)驗(yàn)研究

陳楨 陳媛媛

摘要：生成藝術(shù)是新媒體藝術(shù)中的一個(gè)分支，是先編好編程后由計(jì)算機(jī)自主運(yùn)算呈現(xiàn)出圖形的過(guò)程，體現(xiàn)了人與計(jì)算機(jī)交互創(chuàng)意，Processing（編程語(yǔ)言）是創(chuàng)作生成藝術(shù)的良好工具。本文利用Processing開源編程進(jìn)行實(shí)驗(yàn)、創(chuàng)作，探究Processing在藝術(shù)創(chuàng)作上的表現(xiàn)，以及與其他硬件進(jìn)行物聯(lián)后的效果，如Kinect（體感設(shè)備）、Arduino（開源電子原型平臺(tái)）、TouchOSC（物聯(lián)網(wǎng)控制器）等等，旨在使藝術(shù)創(chuàng)作具有更豐富的表現(xiàn)效果和多種交互的可能性。

關(guān)鍵詞：Processing;生成藝術(shù);交互

中圖分類號(hào)：J05 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1004-9436（2021）10-000-03

0 引言

紐約大學(xué)Philip Galanter（菲利普·加蘭特爾）在其論文中給生成藝術(shù)下了定義：“藝術(shù)家應(yīng)用計(jì)算機(jī)程序，或一系列自然語(yǔ)言規(guī)則……產(chǎn)生出一個(gè)具有一定自控性的過(guò)程，該過(guò)程的直接或間接結(jié)果是一個(gè)完整的藝術(shù)品。”[1]結(jié)合這一定義，本文認(rèn)為，生成藝術(shù)指人運(yùn)用計(jì)算機(jī)語(yǔ)言賦予計(jì)算機(jī)自主性進(jìn)行藝術(shù)創(chuàng)作的過(guò)程，該過(guò)程中人機(jī)交互生成了獨(dú)一無(wú)二的動(dòng)態(tài)或靜態(tài)圖形，最終產(chǎn)出的作品具有獨(dú)特藝術(shù)魅力。Processing（編程語(yǔ)言）就像一塊無(wú)邊界的畫布或速寫本，使用者可以以數(shù)字語(yǔ)言為畫筆，在畫布上隨意發(fā)揮，創(chuàng)作出美妙的圖形，其也因此被廣泛稱為“最美編程”。Processing是由美國(guó)麻省理工學(xué)院媒體實(shí)驗(yàn)室旗下的美學(xué)與運(yùn)算小組在Java語(yǔ)言的基礎(chǔ)上進(jìn)行簡(jiǎn)化創(chuàng)造出來(lái)的，配有大量的開源庫(kù)供使用者學(xué)習(xí)，其目的主要是服務(wù)于藝術(shù)設(shè)計(jì)師和藝術(shù)相關(guān)愛好者，憑借高度的開源性、易上手等特征，深受藝術(shù)設(shè)計(jì)師喜愛。

本文以Processing為基礎(chǔ)，對(duì)生成藝術(shù)進(jìn)行探索嘗試，探索人與宇宙、物質(zhì)與計(jì)算機(jī)語(yǔ)言這類非物質(zhì)形式的關(guān)系。除了在平面的視覺(jué)表現(xiàn)形式上進(jìn)行探索，本文還嘗試以交互的形式實(shí)現(xiàn)與更多媒介的結(jié)合，通過(guò)與不同媒介連接控制圖形，從而生成新的圖形，讓人不再只是從視覺(jué)上獲得觀感，讓觀眾也能親自參與藝術(shù)生成的過(guò)程中，獲得更好的用戶體驗(yàn)，并引起共鳴和思考。

1 文獻(xiàn)綜述

綜合上文對(duì)本研究?jī)?nèi)容的概述，本文從以下兩方面進(jìn)行文獻(xiàn)綜述。

首先是實(shí)證案例。以O(shè)penProcessing（開源編程網(wǎng)站）上的生成藝術(shù)為例，生成藝術(shù)作品可以給觀眾帶來(lái)神秘感與新鮮感。創(chuàng)作者鄭越升的Messy Curve Draw（《混亂的曲線》）在OpenProcessing網(wǎng)站上獲得了9.8萬(wàn)閱讀量及1700點(diǎn)贊量。該作品（圖1左）通過(guò)看似毫無(wú)章法地在畫布上亂畫線最終慢慢生成一幅人像，其中的算法原理是由Smile Mold（黏菌）轉(zhuǎn)變而來(lái)的;德國(guó)生成藝術(shù)家Diana Lange（戴安娜·蘭格）使用Processing創(chuàng)作的Generative portraits（《生成肖像》）將人的肖像以計(jì)算機(jī)語(yǔ)言重新結(jié)構(gòu)，該作品（圖1右）近看似無(wú)數(shù)個(gè)粒子間混亂的連線組合，遠(yuǎn)看卻組成了疏密有條理的人體肖像，給觀眾帶來(lái)了“人該是什么樣”的全新視角。

其次，生成藝術(shù)的靈感與代碼編寫往往源于自然并模仿自然。2010年，Rules For Biologically Inspired Adaptive Network Design（《生物啟發(fā)的自適應(yīng)網(wǎng)絡(luò)設(shè)計(jì)規(guī)則》）一文中驗(yàn)證了黏菌的智慧性。黏菌是一種最低等的真核生物，無(wú)中樞神經(jīng)系統(tǒng)，卻能自主做出一些非常智慧的決策，如它會(huì)自發(fā)地向食物前進(jìn)，且會(huì)分裂朝不同方向?qū)ふ腋嗍澄?。文章指出，在東京地鐵站相應(yīng)的位置上擺上食物，黏菌就會(huì)自發(fā)地?fù)湎蚴澄?，整體來(lái)看，這些黏菌具有明顯的軌道線，與現(xiàn)有的東京地鐵軌道線呈現(xiàn)出大概的一致性。鄭越升創(chuàng)作的混亂的曲線就運(yùn)用了黏菌的屬性，先通過(guò)filter庫(kù)（濾鏡庫(kù)）將底片處理成黑白灰的效果，之后將保留下來(lái)的灰度當(dāng)作食物，運(yùn)用黏菌原理去吃這些食物，最終產(chǎn)生了如圖1所示的肖像效果。L-system是由匈牙利生物學(xué)與植物學(xué)家Aristid? Lindenmayer（林登邁爾）在1968年提出的關(guān)于在植物生長(zhǎng)過(guò)程中細(xì)胞相互作用的數(shù)學(xué)模型，現(xiàn)多被藝術(shù)家運(yùn)用于樹木樹枝的生長(zhǎng)演變創(chuàng)作中。

上述案列在平面上都取得了不錯(cuò)的視覺(jué)效果，但對(duì)于生成藝術(shù)來(lái)說(shuō)，最大的趣味性在于人機(jī)交互的創(chuàng)意，這也是新媒體藝術(shù)的特征之一。連接、融入、互動(dòng)、轉(zhuǎn)化、呈現(xiàn)是新媒體藝術(shù)創(chuàng)作必經(jīng)的五個(gè)步驟[2]。藝術(shù)家通過(guò)藝術(shù)作品連接觀眾，使得觀眾融入其中，觀眾親自參與到藝術(shù)創(chuàng)作過(guò)程中而非進(jìn)行單純的視覺(jué)上的體驗(yàn)，最終轉(zhuǎn)化成全新的互動(dòng)影像。本文的主要研究目的就在于初步探索Processing與其他硬件的交互嘗試，從而為之后的創(chuàng)作帶來(lái)更多思路。以O(shè)penProcessing網(wǎng)站上的作者takawo制作的面部表情識(shí)別系統(tǒng)為例（圖2），該作品通過(guò)攝像頭捕捉面部動(dòng)作，作者通過(guò)算法讓系統(tǒng)學(xué)習(xí)生氣、厭煩、害怕、傷心、驚訝、高興時(shí)面部表情的一些行為特征，最后通過(guò)面部骨骼綁定識(shí)別人臉微表情以判斷人的情緒變化。

2 設(shè)計(jì)和實(shí)驗(yàn)部分：基于Processing 開源編程的平面圖形制作與交互實(shí)驗(yàn)

2.1 計(jì)算機(jī)基本圖形的繪制

Processing與其他編程語(yǔ)言最大的不同點(diǎn)就在于學(xué)習(xí)思維的不同。其基礎(chǔ)學(xué)習(xí)是從圖形的繪制開始，先將頭腦中想象的幾何圖形轉(zhuǎn)換成數(shù)學(xué)語(yǔ)言，再用數(shù)字描繪圖形，從而實(shí)現(xiàn)圖形的繪制。其基本圖形都是由點(diǎn)線面組成的。在Processing建立的畫布中，創(chuàng)作者首先確定好圖形每個(gè)部分在畫布上具體的坐標(biāo)值——（x，y），然后帶入函數(shù)ellipse（圓）、rect（方形）、vertex（點(diǎn)）等，即可輸出想要的圖案，如圖3的雪人和蒙德里安構(gòu)成作品臨摹都是通過(guò)上述原理制作而成的。這里呈現(xiàn)圖形的方式是最基本和簡(jiǎn)單的，但也是必需的。繼續(xù)深入探索，創(chuàng)作者還可以添加邏輯語(yǔ)句，建立自己需要的函數(shù)，添加按鈕、聲音等一系列庫(kù)，從而讓畫面動(dòng)起來(lái)，其顏色也可以隨著創(chuàng)作者的點(diǎn)擊而發(fā)生變化。

2.2 Processing與其他設(shè)備互聯(lián)實(shí)驗(yàn)

2.2.1 Arduino

Arduino分為Arduino IDE（編譯器）和單片機(jī)兩個(gè)部分。在IDE中編寫編程然后燒錄到連接著各種感應(yīng)器的單片機(jī)中，就可以完成一件作品。本文通過(guò)Processing與Arduino的互聯(lián)，進(jìn)行了兩次交互實(shí)驗(yàn)。

第一個(gè)實(shí)驗(yàn)為led燈的開關(guān)控制，基本的流程圖如圖4所示。

在Processing進(jìn)行GUI設(shè)計(jì)中，本文運(yùn)用了controlP5、PFont庫(kù)建立按鈕和字體，通過(guò)調(diào)用serial庫(kù)定義按鈕的數(shù)值并向Arduino發(fā)送傳輸協(xié)議。根據(jù)單片機(jī)串口與LED的線路連接情況，本文在Arduino IDE中接收Processing發(fā)來(lái)的傳輸信號(hào)，定義不同數(shù)值時(shí)led的效果，最后通過(guò)鼠標(biāo)點(diǎn)擊按鈕實(shí)現(xiàn)led燈的亮和滅。

第二個(gè)實(shí)驗(yàn)為飛機(jī)游戲交互嘗試[3]，工作流程示意圖如圖5所示。

與電腦游戲不同，此次試驗(yàn)將游戲在屏幕上的操作控制提取出來(lái)，通過(guò)外接重力傳感器控制飛機(jī)的左右方向。重力傳感器被安置在箱子上，通過(guò)拍動(dòng)箱子使重力傳感器數(shù)值變化，最終傳輸給Processing，從而控制左右方向。

2.2.2 TouchOSC

TouchOSC是簡(jiǎn)易的物聯(lián)網(wǎng)控制器，允許遠(yuǎn)程控制和接收來(lái)自軟件和硬件的反饋。其分為3個(gè)部分：第一，TouchOSC軟件，用于接收協(xié)議并發(fā)送反饋;第二，TouchOSC編輯器，用于編輯手機(jī)控制端的UI界面，并設(shè)定好每個(gè)UI的功能以及數(shù)值范圍;第三，TouchOSC網(wǎng)橋，用于連接電腦和手機(jī)。

借助TouchOSC的功能，本文嘗試以遠(yuǎn)程端手機(jī)觸屏控制替代電腦端鼠標(biāo)點(diǎn)擊按鈕或滑動(dòng)滑輪的方式，最后的呈現(xiàn)結(jié)果表現(xiàn)出這種交互方式的改變使作品變得更加智能化。如圖6所示，在編寫好的粒子連線效果代碼中，在Processing中添加oscP5庫(kù)，之后通過(guò)協(xié)議連接到移動(dòng)端的TouchOSC軟件，再在移動(dòng)端滑動(dòng)滑輪范圍反饋給電腦，從而控制粒子間的速度、連線距離、顏色變化、透明度等等數(shù)值。

2.2.3 Kincet

Kinect是一款體感硬件，擁有彩色攝像頭和深度攝像頭，可以用于捕捉識(shí)別人體動(dòng)作，如今被廣泛應(yīng)用于體感游戲制作中。此次實(shí)驗(yàn)主要調(diào)用了Kinect的深度攝像頭。深度攝像頭可以識(shí)別鏡頭到人體之間的距離，呈現(xiàn)的影像為黑白色。試驗(yàn)流程圖如圖6所示。本文在Processing中添加KinectPV2庫(kù)調(diào)用Kinect深度攝像頭，然后為識(shí)取到的畫面添加濾鏡，使屏幕上只出現(xiàn)最前方的手。如圖6所示，在讀取到過(guò)濾后的影像后，Processing可以重新調(diào)配影像的顏色，并計(jì)算出現(xiàn)在畫面上的體積的中心值，將中心值設(shè)值為圓球的坐標(biāo)值，屏幕上就可以出現(xiàn)人在玩球的互動(dòng)影像。

在此次實(shí)驗(yàn)中，本文發(fā)現(xiàn)任何影像都可以分解成成千上萬(wàn)個(gè)小像素。在計(jì)算機(jī)上，每個(gè)像素都有具體的坐標(biāo)值，當(dāng)改變坐標(biāo)值的大小、空間關(guān)系后，觀眾在再次站在設(shè)備前就會(huì)看到全新的影像畫面。

3 結(jié)語(yǔ)

生成藝術(shù)的特征之一就是它是由計(jì)算機(jī)語(yǔ)言生成的，而編程代碼是數(shù)字化的符號(hào)語(yǔ)言，是理性的，每一層代碼都需要有嚴(yán)謹(jǐn)?shù)倪壿嬯P(guān)系，這對(duì)于藝術(shù)設(shè)計(jì)師來(lái)說(shuō)有一定的困難。但如果藝術(shù)家能用畫畫時(shí)的流程思考如何進(jìn)行編寫，則編程的難度可以相對(duì)降低，Processing就是這樣的開源編程。

藝術(shù)家利用Processing創(chuàng)作的作品可以是單一靜態(tài)的圖形，如平面海報(bào)。但創(chuàng)作者只需稍稍改動(dòng)個(gè)別語(yǔ)言便能帶來(lái)全新的圖像，這使內(nèi)容呈現(xiàn)出神秘性、未知性，使作品變成了動(dòng)態(tài)多變的影像，與Arduino等多種傳感器設(shè)備連接后，人機(jī)交互賦予了作品新鮮活力。

本文綜合解讀了以Processing為工具進(jìn)行的新媒體藝術(shù)創(chuàng)作，研究重點(diǎn)在于在新媒體藝術(shù)創(chuàng)作中嘗試不同媒介間交互的可能性。在藝術(shù)創(chuàng)作過(guò)程與最后的呈現(xiàn)效果上，多種媒介相互連接運(yùn)作在改變了交互體驗(yàn)的同時(shí)也極大地豐富了作品整體的趣味性，使得作者和觀眾可以更好地融入作品本身。

受限于編程難度，本文的研究實(shí)驗(yàn)還處于初級(jí)階段。在內(nèi)容的呈現(xiàn)上，本文是通過(guò)Processing開源編程進(jìn)行創(chuàng)作，是將內(nèi)容在腦海中構(gòu)思好，再用數(shù)字化語(yǔ)言編寫，或在現(xiàn)有編程的基礎(chǔ)上進(jìn)行改編，最后由計(jì)算機(jī)自動(dòng)生成簡(jiǎn)單圖像或動(dòng)態(tài)影像;在表現(xiàn)的形式上，本文探索了重力感應(yīng)器、TouchOSC、Kinect體感設(shè)備與Processing分別進(jìn)行的簡(jiǎn)單交互，可以在一定程度上幫助作品實(shí)現(xiàn)與觀眾更深入的連接。

本文基于Processing平臺(tái)進(jìn)行的藝術(shù)創(chuàng)作實(shí)驗(yàn)在內(nèi)容和交互形式呈現(xiàn)出簡(jiǎn)單化和單一化的特征，但本文想通過(guò)上述實(shí)驗(yàn)為讀者提供新的創(chuàng)作思路、創(chuàng)作方法和靈感。無(wú)論是在內(nèi)容表現(xiàn)還是交互形式上，作者若想要觀眾與新媒體藝術(shù)作品更深入地連接，就需要對(duì)編程進(jìn)行更加深入的學(xué)習(xí)，這樣才能表現(xiàn)出更多變的內(nèi)容。在交互媒介上，一件藝術(shù)作品需要多種感應(yīng)器的配合，這樣才能產(chǎn)生更多元化的交互方式。

參考文獻(xiàn)：

[1] 王欣.基于Processing的計(jì)算機(jī)生成藝術(shù)應(yīng)用研究[J].藝術(shù)與設(shè)計(jì)（理論），2019（Z1）：61-62.

[2] 王紅，劉怡琳.交互之美——teamLab新媒體藝術(shù)數(shù)字化沉浸體驗(yàn)研究[J].藝術(shù)教育，2018（017）：130-131.

[3] 陳媛媛.淺析設(shè)計(jì)思維在新媒體藝術(shù)創(chuàng)作中的方法應(yīng)用[J].創(chuàng)意設(shè)計(jì)源，2019（06）：12-16.

作者簡(jiǎn)介：陳楨（1999—），男，江蘇句容人，碩士在讀，研究方向：信息產(chǎn)品設(shè)計(jì)。

陳媛媛（1986—），女，江蘇南京人，博士在讀，副教授，研究方向：新媒體藝術(shù)與理論、鄉(xiāng)村文化設(shè)計(jì)、動(dòng)畫藝術(shù)創(chuàng)作。