心電信號在交互影像設(shè)計中的應(yīng)用研究

王翔宇　黃晶石

摘要：目的：當(dāng)代科技和經(jīng)濟(jì)的迅猛發(fā)展引發(fā)了人們對設(shè)計作品中交互性體驗(yàn)和情感互動的高需求，設(shè)計領(lǐng)域開始探索如何將反映個人情感狀態(tài)的心電信號融入交互影像設(shè)計領(lǐng)域。文章的研究目的在于深入了解基于心電信號的交互影像設(shè)計，探索其對視覺體驗(yàn)的新維度和人們情感互動需求的滿足程度。方法：文章主要從心電信號的三種可視化表達(dá)出發(fā)，即心電信號原始信息的可視化、心電信號轉(zhuǎn)譯信息的可視化和融合心電信號信息的綜合性可視化，著重研究其在具體案例中如何深入理解觀眾的情感、情緒和生理狀態(tài)，并提供更加個性化、引人入勝的互動體驗(yàn)。結(jié)果：通過分析交互影像設(shè)計案例中對心電信號信息的處理和藝術(shù)表現(xiàn)形式，深入剖析這三種設(shè)計類型在心電信號利用、用戶參與度、情感化表達(dá)、藝術(shù)呈現(xiàn)形式等方面的特點(diǎn)。文章的重點(diǎn)在于呈現(xiàn)這些設(shè)計類型的優(yōu)勢和局限性，以及它們在滿足用戶情感需求和提升藝術(shù)表現(xiàn)力方面的潛力。結(jié)論：研究結(jié)果驗(yàn)證了心電信號在交互影像設(shè)計中的可行性，強(qiáng)調(diào)了融合心電信號的設(shè)計方法不僅能夠提高用戶參與度，還能夠豐富情感表達(dá)和藝術(shù)展現(xiàn)形式。未來，這些設(shè)計方法將為交互影像設(shè)計，尤其是在個性化體驗(yàn)、情感共鳴和深度互動方面帶來更多可能性。

關(guān)鍵詞：心電信號；交互影像；情感化表達(dá)

中圖分類號：TP391.9 文獻(xiàn)標(biāo)識碼：A 文章編號：1004-9436（2024）05-0-03

1 交互影像設(shè)計概述

交互影像設(shè)計作為融合技術(shù)創(chuàng)新與藝術(shù)表現(xiàn)的前沿領(lǐng)域，開啟了信息傳遞方式的全新范式［1］。不同于傳統(tǒng)的單向信息傳遞，交互影像設(shè)計致力于通過多元化的互動方式和內(nèi)容，構(gòu)建作品與用戶之間雙向互動的溝通渠道。這種雙向互動不僅僅是技術(shù)上的創(chuàng)新，更是對用戶參與感的強(qiáng)化，將用戶置于信息傳遞的主體位置，并滿足其在情感層面的需求［2］。

在交互影像設(shè)計中，交互方式是連接作品與觀眾的紐帶。多樣化的技術(shù)手段使觀眾能夠以更直接、更即時的方式與作品互動。身體互動是其中較為常見的一種方式，即通過觀眾的身體動作、手勢或觸摸，作品能實(shí)時產(chǎn)生變化與回應(yīng)，這種即時性的互動提高了觀眾的參與感。同時，聲音互動是交互影像設(shè)計的一大亮點(diǎn)，觀眾可以通過聲音的變化來影響作品的展現(xiàn)形式，在音與像的互動中探索更多可能性。

交互影像設(shè)計將觀眾從傳統(tǒng)的被動觀賞者轉(zhuǎn)變?yōu)榉e極參與者，賦予他們探索、影響和塑造藝術(shù)作品的機(jī)會。如今，為了滿足觀眾對交互性體驗(yàn)和與作品進(jìn)行更深層次的情感互動的需求，不少設(shè)計師開始從觀眾的生理狀態(tài)入手，將觀眾的生理信號與設(shè)計作品相融合。研究表明，在情緒喚醒和情感共鳴方面，心電信號這一生理信號更加符合在交互體驗(yàn)過程中觀眾的需求［3］。可見，心電信號的引入不僅僅是技術(shù)上的創(chuàng)新，更架起了情感交流的橋梁。通過監(jiān)測心電信號，作品能更準(zhǔn)確地捕捉觀眾的情感波動，進(jìn)而呈現(xiàn)出更符合觀眾情感共鳴的展現(xiàn)形式。這種情感共鳴的加深不僅能夠滿足觀眾對深度交互的期待，而且能夠豐富交互影像設(shè)計的表現(xiàn)形式。

2 心電信號的特征及其情感化表達(dá)

心電信號是記錄人體心臟電活動的一種重要的生物信號。它能夠捕獲并表現(xiàn)心臟在每個心動周期的電生理變化，展示起搏點(diǎn)刺激心房肌、心室肌收縮和舒張的電流傳導(dǎo)過程。在標(biāo)準(zhǔn)心電圖波形中一共包含4種主要波段：P波段、QRS復(fù)合波段、T波段和U波段。每一種波段都對應(yīng)著心臟在特定階段的電活動和生理變化。研究表明，人的情緒狀態(tài)可以通過心率和心率變異性來分析和描述［4］。通過計算R波的變化，可以推導(dǎo)出心率的變化。強(qiáng)烈的情感，如興奮、緊張或焦慮等，通常伴隨著心率的上升，這是身體應(yīng)激反應(yīng)的一部分，為了應(yīng)對挑戰(zhàn)或威脅，心臟會加速供應(yīng)氧氣和能量。而在情感愉悅和放松的狀態(tài)下，心率通常會降低，這是因?yàn)槿梭w在愉悅狀態(tài)下更傾向于放松和平靜。

基于ECG的R-R間隔節(jié)律計算可以推導(dǎo)出心率變異性指標(biāo)。心率變異性也可稱作HRV，HRV是心率在不同時間點(diǎn)之間的變化，通常反映自主神經(jīng)系統(tǒng)的活動。較高的HRV通常與愉悅、輕松和情感適應(yīng)性相關(guān)，而較低的HRV可能與焦慮、緊張相關(guān)。對HRV信號進(jìn)行譜特征分析，可以得出LF和HF的值，通過對兩者的計算，可以評估交感神經(jīng)與副交感神經(jīng)的優(yōu)位性。因此，利用心電信號可以實(shí)時表現(xiàn)個體情感的特征，將其用于交互影像設(shè)計中，可以拉近作品與觀眾之間的距離，觀眾可以利用自己的心電信號與設(shè)計作品互動，甚至可以實(shí)時創(chuàng)作作品內(nèi)容，成為這個作品的創(chuàng)作者之一。這不僅能提升參與感和用戶體驗(yàn)，還能拓展用戶交互的深度，同時為交互影像設(shè)計領(lǐng)域帶來新的交互方式。

3 融合心電信號的交互設(shè)計形式

基于心電信號的交互影像設(shè)計流程主要包括三個關(guān)鍵步驟：信號采集、數(shù)據(jù)處理和數(shù)據(jù)可視化。在信號采集階段，系統(tǒng)需要獲取心電信號的數(shù)據(jù)，這需要通過心電傳感器進(jìn)行。一旦數(shù)據(jù)被采集，計算機(jī)就會對數(shù)據(jù)進(jìn)行處理。這個階段包括數(shù)據(jù)清洗、分析和轉(zhuǎn)換，以確保數(shù)據(jù)準(zhǔn)確可靠。數(shù)據(jù)可視化是設(shè)計過程中的關(guān)鍵環(huán)節(jié)，涉及將經(jīng)過處理的心電信號數(shù)據(jù)轉(zhuǎn)化為可視化的形式。從設(shè)計表現(xiàn)來看，可以分為心電信號原始信息的可視化表達(dá)、心電信號轉(zhuǎn)譯信息的可視化表達(dá)和融合心電信號信息的綜合性可視化表達(dá)。

3.1 心電信號原始信息的可視化表達(dá)

心電信號原始信息的可視化表達(dá)是以心電信號的可視化為基礎(chǔ)向觀眾呈現(xiàn)一種新型交互體驗(yàn)。這種設(shè)計融合了心跳特征與視覺內(nèi)容，能直觀呈現(xiàn)心率節(jié)奏，讓觀眾身臨其境感受心跳的律動。這種直觀的節(jié)奏表達(dá)不同于傳統(tǒng)藝術(shù)的靜態(tài)呈現(xiàn)，而是將觀眾的心率轉(zhuǎn)化為動態(tài)視覺變化。觀眾不再是旁觀者，而是作品的一部分，能夠感知自身的生理律動，從而產(chǎn)生更緊密的聯(lián)系。

心電信號原始信息的可視化表達(dá)探索起步較早，Cube Life是Dave Everitt和Greg Turner在1999年創(chuàng)作的作品［5］，作品唯一的輸入是觀眾的心電信號，這些心電信號數(shù)據(jù)用于觸發(fā)聲音并生成帶有魔方結(jié)構(gòu)的圖像。每個魔方對于創(chuàng)建它的觀眾來說都是獨(dú)一無二的，并且能夠根據(jù)觀眾的心跳數(shù)據(jù)在虛擬空間移動，與心跳的節(jié)奏保持一致。盡管在相同的脈沖下，得到的立方體是相同的，但生理反饋意味著觀眾變得更加投入，一些觀眾為了改變魔方的移動速度和方向嘗試讓自己的脈搏速度減慢，或者跳來跳去以加快脈搏速度。Cube Life的檢測設(shè)備操作簡單，包括一個夾子，可戴在手指（或耳垂）上，內(nèi)部有一個心電傳感器，用來測量心電的變化。如果觀眾在交互后摘下設(shè)備，屏幕中的魔方就會慢慢消失，直到下次輸入才會重啟。

Cube Life是比較早期的實(shí)踐作品，其將心電信號融入作品交互中，并在建立觀眾和作品全新關(guān)聯(lián)方式的同時，展示了心電信號在交互影像設(shè)計中不同尋常的表達(dá)形式，給觀眾帶來了全新的體驗(yàn)，具有劃時代的意義。然而，這種具有參與感的體驗(yàn)在于觀眾的互動，如果觀眾未提供心電信號輸入，作品就無法展現(xiàn)其獨(dú)特魅力。同時，基于此類的作品會強(qiáng)調(diào)技術(shù)和心電信號，從而忽視其他藝術(shù)要素，如更深層次的情感表達(dá)、藝術(shù)創(chuàng)意和審美等。設(shè)計師專注于獲取和直白地表達(dá)心電信號，而沒有在創(chuàng)作過程中將心電信號和設(shè)計元素進(jìn)行情感化的融合，從而導(dǎo)致作品顯得過于機(jī)械和冷漠。

3.2 心電信號轉(zhuǎn)譯信息的可視化表達(dá)

心電信號轉(zhuǎn)譯信息的可視化表達(dá)是一種深度個性化的設(shè)計形式，因?yàn)樗恢皇呛唵纬尸F(xiàn)心電信號的變化，而是將這些變化轉(zhuǎn)化為觀眾可以從中感知情緒的形式。在這樣的作品中，觀眾的心電信號不僅僅是一個輸入信號，更是一種情感和情緒的載體。通過解讀和分析觀眾心電信號，系統(tǒng)可以產(chǎn)生相應(yīng)的視覺、音樂或物理上的變化。例如，圖像的形狀、大小和顏色可能隨著心電信號的變化而變化，音樂的節(jié)奏或音量也可能隨之調(diào)整。這些變化并不是孤立存在的，而是能與觀眾的情緒相呼應(yīng)，呈現(xiàn)出與情感相關(guān)的內(nèi)容，引發(fā)觀眾內(nèi)心深處的共鳴。在這種情景下，觀眾成為作品的共同創(chuàng)作者。他們的情感和情緒變化，通過心電信號的反饋，與作品形成一種雙向互動。通過實(shí)時解讀和反饋心電信號，作品能夠更加準(zhǔn)確地捕捉觀眾的情緒變化，并將其轉(zhuǎn)化為可感知的形式，這種形式能使觀眾進(jìn)一步投入作品之中，獲得更加深刻的體驗(yàn)。

2016年，設(shè)計師Bin Yu和視覺藝術(shù)家Rogier Arents合作開展了一個項(xiàng)目［6］，利用筆式繪圖儀實(shí)現(xiàn)了心電信號轉(zhuǎn)譯信息的可視化表達(dá)。在這個項(xiàng)目中，生物反饋技術(shù)與視覺藝術(shù)相結(jié)合創(chuàng)造了一種全新的繪畫過程，它由參與者的心臟活動驅(qū)動，而心臟活動又受到其精神、身體和情緒狀態(tài)的影響。這個項(xiàng)目以心電信號為基礎(chǔ)，重新定義了情感表達(dá)的方式，將觀眾的情感和內(nèi)在狀態(tài)轉(zhuǎn)化為藝術(shù)作品的元素。作者使用花朵圖像作為視覺隱喻，將心率變異性（HRV）可視化為花朵的形狀。在這個項(xiàng)目中，每個花朵圖案都代表一個人心跳數(shù)據(jù)的獨(dú)特性，不同的線條波動代表參與者在與作品交互時不同的活動情感、身體狀態(tài)或行為，如安靜放松、進(jìn)行體育活動、大笑和深呼吸等。由于心跳活動與人類的經(jīng)歷和感受密切相關(guān)，因此這些生物反饋繪畫實(shí)際上反映了人的“精神狀態(tài)”。

心電信號轉(zhuǎn)譯信息的可視化表達(dá)能夠增強(qiáng)觀眾與作品之間的互動和情感聯(lián)系，這主要體現(xiàn)在心電信號的反饋上，根據(jù)觀眾情緒狀態(tài)改變設(shè)計元素，以反映觀眾的情感狀態(tài)。這些設(shè)計的成功之處在于激發(fā)了情感共鳴，使觀眾能夠積極參與并在情感上獲得強(qiáng)烈的個人感受。案例突出了心電信號作為一種情感表達(dá)工具的潛力，以及如何將生理數(shù)據(jù)轉(zhuǎn)化為藝術(shù)作品元素，進(jìn)一步深化了觀眾與作品之間的聯(lián)系。

3.3 融合心電信號信息的綜合性可視化表達(dá)

隨著學(xué)科交叉和多領(lǐng)域融合的不斷推進(jìn)，基于心電信號的交互影像設(shè)計逐漸成為藝術(shù)創(chuàng)作與科技創(chuàng)新的結(jié)合點(diǎn)。這種設(shè)計逐漸向其他領(lǐng)域延伸，形成了綜合性更強(qiáng)的藝術(shù)表現(xiàn)形態(tài)——將心電信號信息融入綜合性可視化表達(dá)的范疇。融合心電信號信息的綜合性可視化表達(dá)，不僅僅是為了展示觀眾心電信號的情感可視化，更在于向觀眾提供一種參與并影響作品的交互體驗(yàn)。它使觀眾成為藝術(shù)創(chuàng)作的參與者。這種設(shè)計賦予了觀眾更多的控制權(quán)和參與感，他們可以通過自身的心電信號與藝術(shù)家共同創(chuàng)作作品，甚至在一定程度上改變作品的敘事方向。在舞臺表演領(lǐng)域，這種設(shè)計的突出表現(xiàn)尤為引人注目。

舞臺表演本身就是一種綜合性藝術(shù)，而融合了心電信號的交互影像設(shè)計為表演注入了新的元素和維度。Moe Sugawa和Taichi Furukawa等人在2021年進(jìn)行了一次名為“Boiling Mind”的舞臺表演［7］，這場表演將觀眾的心電信號的情感化表達(dá)融入了審美創(chuàng)作的過程中，為觀眾帶來了一場前所未有的藝術(shù)體驗(yàn)。這不僅僅是一場表演，更像是觀眾與表演之間的一次共同創(chuàng)作。在此表演中，觀眾的情感狀態(tài)成了表演的一部分。通過改變舞臺元素，包括投影、聲音、燈光等，觀眾的心電信號被巧妙地融入表演之中。這種表演方式不僅僅是將觀眾的生理狀態(tài)呈現(xiàn)在舞臺上，更是將觀眾的情感、情緒與舞臺元素有機(jī)地結(jié)合起來。同時，表演者成了觀眾情感的“反應(yīng)者”。通過整個舞臺的投影，表演者能夠看到觀眾心電數(shù)據(jù)的變化，并據(jù)此調(diào)整自己的表演。他們通過觀察觀眾的心態(tài)，調(diào)整自己的動作和表演節(jié)奏，營造出更加溫和或更加激烈的氛圍，讓觀眾產(chǎn)生共鳴。整個表演構(gòu)建起了一個令人驚嘆的反饋循環(huán)，觀眾的情感狀態(tài)通過心電信號傳達(dá)給表演者，表演者據(jù)此調(diào)整表演，并再次影響觀眾的情感狀態(tài)，形成了一種連續(xù)的互動。這種互動不是一種單向的呈現(xiàn)，而是一種雙向的表演與觀看，創(chuàng)造了一個藝術(shù)體驗(yàn)的交織網(wǎng)絡(luò)。

這一表演是一次對傳統(tǒng)表演模式的大膽顛覆。它將觀眾從旁觀者轉(zhuǎn)化為參與者，讓他們的情感和情緒成了表演的一部分。這種表演形式不僅為觀眾帶來了前所未有的身臨其境般的體驗(yàn)，更是將藝術(shù)和科技融合，開創(chuàng)了一種全新的藝術(shù)形式。融合心電信號信息的綜合性可視化表達(dá)為交互影像和舞臺表演帶來了新的可能性，使觀眾能夠與舞臺表演有更深入的互動。

4 結(jié)語

基于心電信號的交互影像設(shè)計在表現(xiàn)形式上正經(jīng)歷一場深度變革，其交互形式從最初簡單的信號可視化到與表演內(nèi)容結(jié)合的實(shí)時交互，復(fù)雜性和融合性不斷加深。在此過程中，心電信號不僅僅用于監(jiān)測用戶的狀態(tài)，更參與了實(shí)時互動的創(chuàng)作，推動了科學(xué)、藝術(shù)和技術(shù)的有機(jī)結(jié)合，提供了更深層次、更有趣和更易引發(fā)情感共鳴的互動體驗(yàn)。此外，跨領(lǐng)域的合作與融合將促成交互設(shè)計朝著更具創(chuàng)新性的方向發(fā)展，基于心電信號的交互影像設(shè)計也將滲透到更廣泛的設(shè)計領(lǐng)域，如娛樂產(chǎn)業(yè)中的游戲、虛擬現(xiàn)實(shí)和影視制作，甚至是教育領(lǐng)域的創(chuàng)新教學(xué)方式。這種融合將探索出更多新的應(yīng)用場景，有助于深化人們對基于心電信號的交互影像設(shè)計的認(rèn)識和使用，對未來的科技創(chuàng)新和人機(jī)交互方式具有深遠(yuǎn)的意義和影響。

參考文獻(xiàn)：

［1］ 馬曉翔，孫為.數(shù)字媒體藝術(shù)概論［M］.南京：南京大學(xué)出版社，2022：241.

［2］ 楊超.新媒體環(huán)境下的影像交互發(fā)（下轉(zhuǎn)第頁）

（上接第頁）展研究［J］.西部廣播電視，2022，43（16）：42-44.

［3］ 克勞迪奧·馬特拉，艾金·格迪克，卡布雷拉·基羅斯 L，等.它怎么樣？利用智能手機(jī)傳感來測量觀眾對現(xiàn)場表演的隱含反應(yīng)［C］//第23屆ACM國際多媒體會議論文集.紐約：計算機(jī)協(xié)會，2015：201-210.

［4］ 易慧，陳瑞娟，鄧光華，等.基于心率變異性的情緒識別研究［J］.生物醫(yī)學(xué)工程研究，2020，39（2）：128-132

［5］ 埃德蒙茲·E，埃弗里特·D，麥考利·M，等.論生理計算在交互藝術(shù)中的應(yīng)用［J］.與計算機(jī)交互，2004，16（5）：897-915.

［6］ 余波，阿倫特斯·R.生物反饋繪畫：讓心引領(lǐng)畫筆［J］.列奧納多，2020，53（5）：504-509.

［7］ 菅川萌，古河地面，G.切爾尼紹夫，等.沸騰的心靈：通過心臟和皮膚電活動的可聽化和可視化來增強(qiáng)觀眾與表演者的聯(lián)系［C］//第十五屆有形、嵌入式和具體交互國際會議論文集.紐約：計算機(jī)協(xié)會，2021：1-10.

作者簡介：王翔宇（1998—），男，上海人，碩士在讀，研究方向：數(shù)媒與影像數(shù)字化。

黃晶石（1980—），男，遼寧沈陽人，博士，講師，系本文通訊作者，研究方向：生理人類學(xué)。