現(xiàn)場交互藝術(shù)的交互系統(tǒng)與控制行為設(shè)計
——以Myo腕帶為例

文/潘溯源

數(shù)字媒體藝術(shù)是伴著隨計算機(jī)技術(shù)的發(fā)展而產(chǎn)生的新興藝術(shù)模式，也被稱為新媒體藝術(shù)、多媒體藝術(shù)。隨著科技的創(chuàng)新又出現(xiàn)了包括裝置藝術(shù)、交互藝術(shù)、數(shù)字游戲藝術(shù)、虛擬現(xiàn)實藝術(shù)等多種基于數(shù)字媒體的藝術(shù)形式。其中，交互藝術(shù)以其交互性為最主要特點，結(jié)合軟硬件設(shè)計、藝術(shù)內(nèi)容創(chuàng)作和表演形成了自己的藝術(shù)模式[1]。

交互藝術(shù)根據(jù)其藝術(shù)展示形式的區(qū)別，分為非現(xiàn)場交互藝術(shù)與現(xiàn)場交互藝術(shù)。非現(xiàn)場交互藝術(shù)主要指通過網(wǎng)絡(luò)與計算機(jī)或移動終端所實現(xiàn)的信息交互藝術(shù)。此類交互藝術(shù)作品主要的交互結(jié)構(gòu)產(chǎn)生于數(shù)字信息與用戶之間的交互，因此通常不需要復(fù)雜的輔助外部設(shè)備，通過簡單的鼠標(biāo)鍵盤或桌面交互完成指令即可。現(xiàn)場交互藝術(shù)的展示表演則需要一個固定的空間或場地，例如博物館、游樂場、舞臺等?，F(xiàn)場交互藝術(shù)作品相比非現(xiàn)場作品，可以利用更多的展示媒體與交互模式，通過輔助性外部設(shè)備完成更加多變的交互形式，以實現(xiàn)藝術(shù)的表演性和展示性。各類高精度的體感捕捉設(shè)備的普及與產(chǎn)品化，也為現(xiàn)場交互藝術(shù)作品的展示表演提供了更多的可能性，從固定位置動作捕捉的Kinect、Leap Motion到可穿戴式的5DT數(shù)據(jù)手套、Myo腕帶等[2]。在擁有各類設(shè)備輔助之后，藝術(shù)家如何設(shè)計交互系統(tǒng)與表演行為，是現(xiàn)場交互藝術(shù)作品的成敗關(guān)鍵。本文以Myo腕帶為案例，對現(xiàn)場交互藝術(shù)的交互系統(tǒng)與控制行為兩方面的設(shè)計規(guī)則展開討論。

1.矩陣信號轉(zhuǎn)換與有效控制信號選擇

交互藝術(shù)不論以何種方式進(jìn)行交互，其目的是為了實現(xiàn)對信息的控制。因此，在設(shè)計系統(tǒng)的時候首先要完成信號篩選工作，以確保在信號采集前端將無效信號源過濾并完成有效信號的分組輸出，保證信號轉(zhuǎn)換模塊能夠直接獲得相應(yīng)的有效控制信號。Myo腕帶以8個電極裝置通過探測手臂的生物電變化對使用者的肌肉運動與手勢進(jìn)行探測，可以感知包括手臂運動、手勢甚至手指動作的信號。通過Myo Diagnostics Page[3]診斷程序提供的信息可以得知，Myo包含了IMU微慣性測量系統(tǒng)（圖1）和EMG肌電測量系統(tǒng)（圖2）兩種偵測模式。

圖1 Myo腕帶的IMU微慣性測量系統(tǒng)信號界面

圖2 Myo腕帶的EMG肌電測量系統(tǒng)信號界面

IMU微慣性傳感器由三個單軸加速度計量儀和三個單軸陀螺儀組成，對使用者的運動進(jìn)行偵測，進(jìn)而在三維空間中展開基礎(chǔ)定位、相對位移、方向角度和傾斜角的判斷，是如今主流運動偵測的模式之一，包括WII、HTC VIVE等游戲控制器大部分主流品牌的智能手機(jī)中都會置入。而在藝術(shù)表演的過程中，無論是樂器演奏、舞蹈還是戲劇表演，表演者身體必然會產(chǎn)生局部或整體的運動，通過在身上不同的部位放置IMU微慣性傳感器即可將表演動作直接轉(zhuǎn)換為針對數(shù)字影像、聲音等媒體信息的控制信號，使之產(chǎn)生交互控制。

EMG肌電傳感器則用來測量肌肉收縮時伴隨的電信號，目前，醫(yī)學(xué)領(lǐng)域和軍事領(lǐng)域?qū)υ摷夹g(shù)使用較廣，在數(shù)字媒體領(lǐng)域則主要運用于穿戴式動作捕捉系統(tǒng)的輔助系統(tǒng)。由于EMG肌電傳感器直接針對肌肉運動產(chǎn)生的生物電信號進(jìn)行偵測，即使像鋼琴演奏或弦樂器揉弦這樣細(xì)微的動作都可以通過EMG肌電傳感器準(zhǔn)確識別。相比IMU微慣性傳感器，它可以表現(xiàn)出更多內(nèi)在力量的改變。因此，在表演中即使在保持固定動作的前提下，使用EMG肌電傳感器和肌肉舒張等細(xì)微動作也能夠?qū)崿F(xiàn)交互控制。

在Myo腕帶上，工程師為了能夠精確地對手臂及手部動作和肌肉運動進(jìn)行捕捉，設(shè)置了8塊EMG肌電傳感器環(huán)繞于整個小臂對肌肉的電信號實施偵測，以此判斷使用者手部的細(xì)微動作。目前的腕帶可識別手掌內(nèi)翻、外翻，五指張開，握拳和搖滾羊頭五種手型。很可惜雖然Myo腕帶開放了部分開發(fā)工具包，但目前由于手勢識別的運算是在腕帶內(nèi)直接完成，所以用戶無法根據(jù)自己的喜好去添加其他控制手勢。雖然它限制了腕帶的多種可能性，但同時也確保了腕帶在運行中的穩(wěn)定性并減小了宿主計算機(jī)的運算壓力。

設(shè)計基于Myo的交互式系統(tǒng)時，首先要做的工作無疑是將腕帶輸入的矩陣信號轉(zhuǎn)換為獨立信號源。在MaxMSP平臺中，有兩種方式可以分解Myo腕帶發(fā)送的信號:第一種方式是將Myo腕帶的信號轉(zhuǎn)換為OSC信號，然后再發(fā)送至MaxMSP平臺，利用“OSC-Route”物件分解矩陣，以獨立信號源的模式發(fā)送至各輸出端口[4]；另一種則是使用基于“Thalmic Lab”開發(fā)包的“Myo”物件，直接接收Myo腕帶的信號并分解發(fā)送至相應(yīng)的輸出端[5]。相比之下OSC信號接口更為通用，對系統(tǒng)環(huán)境的要求也較低，對裝有Xcode的OS X系統(tǒng)都適用。而基于開發(fā)包的獨立物件則必須使用OS X 10.11.5以上的操作系統(tǒng)，并且系統(tǒng)內(nèi)安裝XQuartz才能使用。從功能上來看，“Myo”物件能直接調(diào)取Myo腕帶的8條EMG肌電信息，相比目前版本的OSC 接口信號只能調(diào)取5種基礎(chǔ)手型而言提供了更多的備選信號源（圖3）。

圖3 Myo開發(fā)物件與OSC信號橋接的分解信號

在現(xiàn)場交互藝術(shù)作品創(chuàng)作的過程中，調(diào)用、更換控制信息的情況時常出現(xiàn)，因此完成信息分解及分組的工作十分重要。只有盡可能地將可能使用到的信號從矩陣模式分解為獨立信號源，才能為后期有效控制信息的選擇提供更多的可能性，才能保證控制信息的最大精確度。

2.控制參數(shù)設(shè)置與控制行為設(shè)計

有了分解的獨立信號之后，第二步則要根據(jù)展示方式進(jìn)行數(shù)據(jù)的選擇與動作行為的設(shè)計。交互藝術(shù)中，由于場地空間的不同，使用技術(shù)的不同甚至表演、展示方式的不同，其針對參與者的交互行為也會受到影響。根據(jù)Myo腕帶所裝置的傳感器與佩戴方式來看，理論上使用者可以通過身體的運動實現(xiàn)腕帶的全角度翻轉(zhuǎn)、移動控制和小臂甚至手部動作的控制。然而，現(xiàn)實操作中的要求更為復(fù)雜，選擇使用包括Myo腕帶在內(nèi)的體感交互裝置的數(shù)據(jù)和演奏弓弦類樂器時選用對應(yīng)的琴弦與把位的原則同樣重要，如果使用了錯誤的琴弦，即使演奏出同樣的音高，音色也會受到影響。

Myo腕帶對手臂運動的偵測極為敏感，矩陣內(nèi)的數(shù)據(jù)組也提供了非常全面的運動數(shù)據(jù)。相對地，在決定使用哪一組參數(shù)作為控制參數(shù)的同時，使用何種行為進(jìn)行控制也十分重要。例如，在手臂自然下垂?fàn)顟B(tài)下僅需要旋轉(zhuǎn)90度，腕帶中的微慣性傳感器中的X軸定位信息就已經(jīng)產(chǎn)生了極大的變化，參數(shù)值從0升至0.5（閾值為-1.0～1.0），而若要在Y軸或Z軸上獲得同樣的參數(shù)變化，則需要將自然垂下的手臂橫向向外（Y軸）或向前（Z）軸伸平，動作明顯相較改變X軸的信號大得多（圖4）。

圖4 手臂完成規(guī)定動作前后定位器的參數(shù)變化

為了獲得同樣的參數(shù)，可以使用簡單細(xì)微的小動作，也可以使用舒展夸張的動作，具體的動作設(shè)計則需要根據(jù)以下兩條原則。

第一，交互行為產(chǎn)生的關(guān)聯(lián)信號干擾與有效控制信號的組合。一般意義的關(guān)聯(lián)信號指的是由函數(shù)關(guān)系產(chǎn)生的相對關(guān)系數(shù)值，而此處的關(guān)聯(lián)信號則是指由人為行為習(xí)慣導(dǎo)致相互影響的信號。人的行為不同于機(jī)器硬件，人的行為動作大多由多個肌肉韌帶組織甚至骨骼關(guān)節(jié)共同完成，若沒有長期專業(yè)的訓(xùn)練，相似動作之間影響是不可避免的。例如，使用Myo腕帶時，舉臂時由于肌肉習(xí)慣產(chǎn)生的橫向偏移和手臂旋轉(zhuǎn)的角度，都會對微慣性探測數(shù)據(jù)產(chǎn)生直接影響。對于此類情況，一方面使用者或控制員長期的練習(xí)是不可避免的；另一方面則是交互設(shè)計過程中對信號的選擇與行為動作的合理設(shè)計，控制系統(tǒng)設(shè)計過程中應(yīng)避免此類干擾信號，例如，此處的定位信號組XYZW四組信號可以分配給不同的時間軸或獨立的控制內(nèi)容，也通過換算合為一條控制信息，通過點定位的方式用以觸發(fā)特定的開關(guān)元件。

第二，交互行為的可實現(xiàn)性與有效性。人有很多種行為動作，但并不是所有的行為都可以用于交互行為。Myo腕帶雖然設(shè)置了8個EMG肌電傳感器，但想直接通過這8個傳感器的靜電信號進(jìn)行交互行為感應(yīng)并不是最好的選擇。首先，肌電傳感器的瞬時信號變化過于敏感，即使將信號單位換算為千位信息也很難獲得一個相對穩(wěn)定的數(shù)值；其次，肌肉的張弛控制也并非易事。所以，比起EMG肌電信號的使用整租數(shù)據(jù)進(jìn)行精密控制，僅利用強度差進(jìn)行簡單控制更容易實現(xiàn)。Myo腕帶中EMG肌電信號的使用最便捷的方法則是利用五種基礎(chǔ)手勢。Myo開發(fā)團(tuán)隊通過大量的測試與采樣確保五種基礎(chǔ)手勢的精確識別，通過基礎(chǔ)手勢與微慣性探測儀共同生成控制數(shù)據(jù)形成的行為控制遠(yuǎn)比使用單個傳感器接收的數(shù)據(jù)更為豐富。

在現(xiàn)場交互藝術(shù)作品創(chuàng)作的過程中，傳感器的矩陣信號分解后會產(chǎn)生大量數(shù)據(jù)，而此過程中準(zhǔn)確地使用參數(shù)，合理的動作行為才能提供有效的控制信息，完成有效交互。數(shù)據(jù)選擇時要注意關(guān)聯(lián)數(shù)據(jù)的分配與使用，同時根據(jù)傳感器的特點與信號變化模式設(shè)計展示、表演的行為動作，通過使用不同的傳感器分配、組合使用傳感器信息，實現(xiàn)最有效的交互控制設(shè)計。

現(xiàn)場交互藝術(shù)作品的交互設(shè)計需要考慮空間、行為動作以及交互裝置三大要素。體感技術(shù)使現(xiàn)場交互藝術(shù)更具創(chuàng)造性，其中包括Myo腕帶在內(nèi)的各類多傳感組合系統(tǒng)構(gòu)成的體感裝置提供給藝術(shù)家更多的選擇。在設(shè)計的過程中，通過矩陣信號的分解將有效信號源獨立分組，再根據(jù)作品需求設(shè)計交互行為并調(diào)制控制參數(shù)的閾值與控制目標(biāo)，實現(xiàn)交互的完整性、合理性與藝術(shù)性。

[1]李四達(dá).數(shù)字媒體藝術(shù)概論第3版[M].北京:清華大學(xué)出版社，2015.

[2]Kutz M.Eshbach’s Handbook of Engineering Fundamentals Eshbach 5th Edition[M].New Jersey: John-Wiley，2009.

[3]Myo腕帶官方信號測試頁面.http://diagnostics.myo.com/

[4]加利福利亞大學(xué)伯克利分校CNMAT Max/MSP OSC Externals.http://cnmat.berkeley.edu/

[5]Francoise J.Thalmic Labs.Myo Max/MSP Externals.https://www.julesfrancoise.com/myo/