基于腦電信號(hào)的數(shù)據(jù)可視化設(shè)計(jì)研究

摘要：基于數(shù)據(jù)可視化設(shè)計(jì)的理論方法，總結(jié)探索當(dāng)前腦電數(shù)據(jù)可視化的特征及設(shè)計(jì)策略。探討與分析腦電數(shù)據(jù)可視化的基本要素，結(jié)合腦電可視化案例分析比較，歸納其設(shè)計(jì)特征以及類別，從建立視覺符號(hào)、選擇映射關(guān)系、設(shè)定模態(tài)交互3個(gè)方面構(gòu)思腦電數(shù)據(jù)可視化的交互設(shè)計(jì)策略?？偨Y(jié)腦電數(shù)據(jù)可視化的三大特征以及進(jìn)一步推導(dǎo)出可視化的設(shè)計(jì)方法。該研究可為腦電數(shù)據(jù)可視化設(shè)計(jì)及創(chuàng)新應(yīng)用提供參考，幫助設(shè)計(jì)研究者理解和制訂合適的研究路徑。

關(guān)鍵詞：據(jù)可視化設(shè)計(jì)；腦電數(shù)據(jù)；視覺隱喻；映射關(guān)系；模態(tài)交互

中圖分類號(hào)：TB472 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1003-0069（2024）12-0035-03

Abstract：Based on the theory and method of data visualization design，this paper summarizes and explores the characteristics and design strategies of current EEG data visualization. This paper discusses and analyzes the basic elements of EEG data visualization，combines the case analysis and comparison of EEG visualization，summarizes its design characteristics and categories，and conceiving the interaction design strategy of EEG data visualization from three aspects：establishing visual symbol，selecting mapping relationship and setting modal interaction. The three characteristics of EEG data visualization are summarized and the visualization design method is further deduced. This study can provide reference for the design and innovative application of EEG data visualization，and help design researchers to understand and develop appropriate research paths.

Keywords：Data visualization；Eeg data；Image schema；Mapping relation；Modal interaction

引言

近年來(lái)，由于大數(shù)據(jù)技術(shù)的興起與發(fā)展，越來(lái)越多的數(shù)據(jù)類型被廣泛應(yīng)用于新聞傳播、藝術(shù)展覽、醫(yī)療科普等場(chǎng)景中。與此同時(shí)，數(shù)據(jù)可視化設(shè)計(jì)作為衍生而起的信息傳達(dá)表現(xiàn)形式，通過篩選、組織和呈現(xiàn)，幫助人腦有效降低信息過載的價(jià)值逐步凸顯。

隨著人類精神文化需求的日益增長(zhǎng)與設(shè)計(jì)理念的不斷創(chuàng)新，傳統(tǒng)單向、低維的閱讀的形式已轉(zhuǎn)向更高維、多元化、沉浸性的多模態(tài)交互形式中去。腦機(jī)接口技術(shù)作為新興的交互形態(tài)，已逐漸從醫(yī)療科研領(lǐng)域慢慢滲透向藝術(shù)設(shè)計(jì)領(lǐng)域，具有很強(qiáng)的拓展性和創(chuàng)新價(jià)值，但目前國(guó)內(nèi)外相關(guān)的研究尚處于起步階段。本文將基于數(shù)據(jù)可視化設(shè)計(jì)的背景及理論，對(duì)腦電數(shù)據(jù)可視化設(shè)計(jì)的要素和特征進(jìn)行深入研究，為腦電信號(hào)與可視化設(shè)計(jì)的有機(jī)融合提供創(chuàng)作思路。

一、腦電信號(hào)在設(shè)計(jì)領(lǐng)域的應(yīng)用概述

腦電信號(hào)作為一種生理信號(hào)與人類的情緒、精神狀態(tài)、情感傳達(dá)有著密切的關(guān)聯(lián)，與其他生理信號(hào)：如心電、肌電相比，對(duì)人類感性的認(rèn)知有著更為精確和敏銳的反饋[1]。當(dāng)前，不少設(shè)計(jì)者跨領(lǐng)域進(jìn)行了實(shí)驗(yàn)與研究，Mirjana Prpa[2]等人提出了一種基于現(xiàn)有分類法中藝術(shù)品相似性的系統(tǒng)分類方法，通過輸入形式、映射模式、輸出形式、展示方式以及觀眾的主被動(dòng)5個(gè)維度對(duì)1965到2018年61件腦電藝術(shù)作品進(jìn)行了分類；Zhichuan Tang[3]等人提出了一種基于腦電數(shù)據(jù)的藝術(shù)治療評(píng)估方法，主要是依靠情緒刺激和繪畫治療；Piera Riccio[4]等人推出了一款基于人工智能的腦機(jī)接口程序，以人機(jī)交互的形式從藝術(shù)中表達(dá)人類的情緒。在實(shí)踐方面，由于腦電數(shù)據(jù)藝術(shù)與個(gè)體的強(qiáng)關(guān)聯(lián)性與創(chuàng)作的多元性，被應(yīng)用在各種藝術(shù)裝置、大型展覽和展演中，例如北京冬殘奧會(huì)的開幕式短片《綻放》、吉他演奏家劉義軍在成都藝術(shù)雙年展的腦電音樂舞臺(tái)等，都以獨(dú)特的編碼邏輯與互動(dòng)語(yǔ)言將隱藏在大腦中的節(jié)律通過藝術(shù)手段呈現(xiàn)出極大的視聽沖擊。

有別于一般數(shù)據(jù)可視化設(shè)計(jì)，基于腦電信號(hào)的可視化設(shè)計(jì)主體在創(chuàng)作者或是體驗(yàn)者自身，主要通過五感互動(dòng)或結(jié)合兩種主流情緒模型進(jìn)行實(shí)踐創(chuàng)作，將不可見的信號(hào)轉(zhuǎn)化成能感知的視覺符號(hào)和交互體驗(yàn)。由此，將隱秘在人腦中的電波信號(hào)與主觀呈現(xiàn)的設(shè)計(jì)意圖、視覺隱喻、交互形式之間建立關(guān)聯(lián)是腦電數(shù)據(jù)可視化設(shè)計(jì)的關(guān)鍵任務(wù)。

二、腦電數(shù)據(jù)可視化設(shè)計(jì)基本要素

英國(guó)數(shù)據(jù)記者和信息設(shè)計(jì)師大衛(wèi)·麥坎德利斯曾表示：我們接收的信息中80%來(lái)自視覺。借助圖形化的手段能夠以簡(jiǎn)單、優(yōu)雅的方式來(lái)查看可能太復(fù)雜抽象或分散而無(wú)法掌握的信息。此外，他也將數(shù)據(jù)可視化歸納為信息、故事、目標(biāo)與視覺形式四大要素[5]。有別于一般的數(shù)據(jù)可視化，腦電數(shù)據(jù)可視化是作為直接鏈接人體世界與外部外界的認(rèn)知紐帶，在形式上更為貼近內(nèi)容本身，表現(xiàn)形式更具多元化和創(chuàng)造力；在功能上更加強(qiáng)化了對(duì)個(gè)體的具身性認(rèn)知。由此，筆者根據(jù)目前已有的研究范例衍生歸納出腦電可視化設(shè)計(jì)具備的三大要素：概念隱喻、場(chǎng)景數(shù)據(jù)與形式表現(xiàn)。

（一）概念隱喻：“概念隱喻”屬于認(rèn)知語(yǔ)言學(xué)中的一個(gè)概念，最早由萊考夫和約瑟遜提出，與“隱喻”概念不同在于“概念隱喻”是深層次的，是人們利用在具體事物中形成的認(rèn)知思維去映射到另一個(gè)抽象概念中，用一個(gè)事物去經(jīng)歷和理解另一個(gè)事物是概念隱喻的本質(zhì)[6]。在《我們賴以生存的隱喻》一書中歸納定義了3種概念隱喻，即方位隱喻、本體隱喻和結(jié)構(gòu)隱喻。在可視化設(shè)計(jì)范疇中，這樣的隱喻關(guān)系擺脫單一的文本層面，通過裝置藝術(shù)表現(xiàn)得更為直觀和立體。腦電數(shù)據(jù)藝術(shù)作品《無(wú)想之想》 很好地體現(xiàn)了結(jié)構(gòu)隱喻（以一個(gè)具體的概念去理解抽象的概念）。此作品將“聚焦式冥想”這一概念通過6個(gè)主題性沉浸式自然場(chǎng)景為內(nèi)容載體予以映射體現(xiàn)，體驗(yàn)者佩戴腦電采集儀進(jìn)入“專注模式”，凝視屏幕，當(dāng)專注度高時(shí)，畫面中的雨滴會(huì)規(guī)律地落下、魚兒成群地游過、小鳥停在電線桿上……屏幕中的自然界形成一定的秩序。內(nèi)心的“寧?kù)o”與自然界的“寧?kù)o”以體驗(yàn)者的自主意識(shí)驅(qū)動(dòng)達(dá)到相通的狀態(tài)，使體驗(yàn)者在一次互動(dòng)實(shí)驗(yàn)中獲得了對(duì)冥想的認(rèn)識(shí)。

（二）場(chǎng)景數(shù)據(jù)：數(shù)據(jù)采集、數(shù)據(jù)處理和數(shù)據(jù)分析是數(shù)據(jù)可視化的重要環(huán)節(jié)，也是腦電數(shù)據(jù)可視化的關(guān)鍵部分。而腦電數(shù)據(jù)的選取，通常是由“概念”中的場(chǎng)景生發(fā)而來(lái)，構(gòu)建場(chǎng)景成為獲取數(shù)據(jù)的必要前提。例如，清華大學(xué)未來(lái)實(shí)驗(yàn)室作品《腦機(jī)繪夢(mèng)》中，目標(biāo)是將人在睡夢(mèng)中的腦電信號(hào)變化通過抽象畫面?zhèn)鬟_(dá)出來(lái)，由此構(gòu)建的場(chǎng)景數(shù)據(jù)則是被試者在睡夢(mèng)中（快速動(dòng)眼期）的腦電信號(hào)；媒體藝術(shù)家Refik Anadol的作品《融化的記憶》旨在表現(xiàn)有關(guān)大腦記憶的物質(zhì)性，所構(gòu)建的場(chǎng)景則是讓體驗(yàn)者進(jìn)入特定的長(zhǎng)期記憶中；在《巴甫洛夫很忙——大腦認(rèn)知訓(xùn)練游戲》設(shè)定的場(chǎng)景是要求體驗(yàn)者佩戴耳機(jī)，聆聽一段節(jié)奏變化的音樂，由音樂刺激提取腦電信號(hào)的變化……由于腦電信號(hào)在不同的場(chǎng)景與刺激反饋中存在特殊性，可通過信號(hào)中的頻率、幅度等特征表現(xiàn)出來(lái)，因此成為腦電可視化設(shè)計(jì)不同于其他數(shù)據(jù)可視化的特征與要素所在。

（三）形式表現(xiàn)：形式表現(xiàn)亦離不開隱喻的傳達(dá)，通過代表項(xiàng)和喻指對(duì)象之間的相似性與關(guān)聯(lián)性來(lái)進(jìn)行視覺表征，視覺符號(hào)在其中作為一種聯(lián)系本體喻體之間的橋梁，充分反映了設(shè)計(jì)者的抽象思維與通感表達(dá)。同時(shí)，形式表現(xiàn)又包含著媒介選擇和交互體驗(yàn)，腦電可視化的形式表達(dá)與“概念”緊密結(jié)合，突破了單純依靠圖表、圖像、視頻、交互的創(chuàng)作手法，而是進(jìn)行了有機(jī)的融合，在北京冬殘奧會(huì)開幕式上，張藝謀導(dǎo)演的作品《綻放》由一群殘障人士佩戴腦電提取器，通過意念將裝有顏料的氣球引爆，顏料最終噴灑到巨型畫布上，形成一幅獨(dú)一無(wú)二的“笑臉”[7]，如圖1。提取每位殘障人士的腦電波寓意殘奧會(huì)精神意志的總和，“引爆”氣球的概念隱喻奧運(yùn)精神的迸發(fā)，不同顏色喻指來(lái)自五湖四海匯聚一堂的人們。作品最大程度展現(xiàn)了腦電可視化藝術(shù)的特點(diǎn)，即將人類內(nèi)在精神的迸發(fā)顯化，與外在世界形成一致性，突破了對(duì)空間的設(shè)計(jì)，將數(shù)據(jù)的理性與藝術(shù)的張力進(jìn)行融合，同時(shí)也蘊(yùn)含著深刻的人文價(jià)值。

三、腦電數(shù)據(jù)可視化設(shè)計(jì)特征

可視化設(shè)計(jì)的目的是“讓數(shù)據(jù)說話”。打破數(shù)據(jù)本來(lái)模式化、公式化的屬性特征，與圖形圖像語(yǔ)言產(chǎn)生耦合[8]。腦電數(shù)據(jù)可視化由于其數(shù)據(jù)提取的特殊性，具備以下發(fā)展特征：主體參與的沉浸性、數(shù)據(jù)提取的特定性、人機(jī)交互的情感性。

（一）主體參與的沉浸性：隨著數(shù)據(jù)可視化逐步滲透向敘事學(xué)領(lǐng)域，要求可視化設(shè)計(jì)不僅滿足觀眾對(duì)信息認(rèn)知層面的理解，還要讓作品具備情感化和沉浸性。敘事學(xué)家瑪麗·勞爾·瑞安將沉浸劃分為空間沉浸、時(shí)間沉浸、認(rèn)知沉浸、情感沉浸和社會(huì)沉浸[9]。英國(guó)創(chuàng)意科技工作室Random Quark的作品The Art of Feeling創(chuàng)作了一個(gè)將用戶的積極記憶轉(zhuǎn)化為數(shù)字繪畫的藝術(shù)實(shí)驗(yàn)，每個(gè)參與者收集的數(shù)據(jù)被輸入群體可視化系統(tǒng)，這樣每個(gè)數(shù)字筆刷就遵循一定的規(guī)則轉(zhuǎn)化成一群復(fù)合筆刷的效果，如圖2。每位參與者都會(huì)通過引導(dǎo)而產(chǎn)生情感沉浸，進(jìn)入回憶同時(shí)也進(jìn)入了時(shí)間與空間的沉浸。每位體驗(yàn)者都會(huì)收到一幅獨(dú)一無(wú)二的數(shù)字繪畫，反映了他們回憶起快樂經(jīng)歷時(shí)個(gè)人腦電信號(hào)的變化。

（二）數(shù)據(jù)提取的特定性：數(shù)據(jù)從目標(biāo)需求與理解上分為兩大類，即按照數(shù)據(jù)特征與任務(wù)關(guān)系進(jìn)行分類，以及按照不同應(yīng)用領(lǐng)域中的使用目標(biāo)進(jìn)行分類[10]。腦電信號(hào)數(shù)據(jù)就屬于第一種類型，存在著不同任務(wù)關(guān)系下對(duì)應(yīng)不同數(shù)據(jù)的情境，通過控制變量設(shè)定不同場(chǎng)景，而將不同場(chǎng)景下產(chǎn)生的信號(hào)作為特定研究對(duì)象進(jìn)行實(shí)踐。例如，清華大學(xué)的夢(mèng)境生成實(shí)驗(yàn)就是基于睡眠場(chǎng)景來(lái)進(jìn)行數(shù)據(jù)采集，由被試者睡醒后對(duì)回憶的夢(mèng)境狀態(tài)制定情緒標(biāo)簽，情緒標(biāo)簽對(duì)應(yīng)快速眼動(dòng)期睡眠的數(shù)據(jù)，經(jīng)過踩點(diǎn)將其分為不同情緒對(duì)應(yīng)的數(shù)據(jù)段[11]。可視化設(shè)計(jì)是通過選擇腦電數(shù)據(jù)幾個(gè)通道的不同情緒數(shù)據(jù)段來(lái)控制編程中筆刷的某些元素，對(duì)應(yīng)到繪制的大小、位置等信息。

（三）人機(jī)交互的情感性：鐘鳴等[12]基于通感轉(zhuǎn)化理論研究，指出交互裝置設(shè)計(jì)可以通過用戶感知引導(dǎo)與環(huán)境引導(dǎo)推進(jìn)通感體驗(yàn)與情感體驗(yàn)的升級(jí)。腦電波藝術(shù)的情感性可以通過外部刺激和腦電的情感識(shí)別系統(tǒng)進(jìn)行頻帶探究來(lái)體現(xiàn)。讓體驗(yàn)者通過外界刺激（氣味、圖片、音樂、視頻等）產(chǎn)生情感變化（高興、悲傷等）并記錄下此時(shí)的腦電信號(hào)。再對(duì)腦電信號(hào)做預(yù)處理，降噪去偽跡，最后提取出與情感相關(guān)的特征，從而實(shí)現(xiàn)基于腦電的情感識(shí)別。腦電可視化裝置《伊于胡底》為體驗(yàn)者營(yíng)造了一個(gè)關(guān)于“感受平靜”的體驗(yàn)空間，裝置的起伏能夠影響體驗(yàn)者的情緒，而體驗(yàn)者需要感知自己的情緒進(jìn)而去控制裝置起伏波動(dòng)的大??；在格蕾絲·萊斯利的音樂作品Vessels中，通過電極設(shè)備獲取的腦電數(shù)據(jù)驅(qū)動(dòng)合成器生成音樂，同時(shí)藝術(shù)家將配合此音樂進(jìn)行長(zhǎng)笛演奏，構(gòu)成了具有不同音色、聲部的完整音樂作品。在腦電波藝術(shù)的體驗(yàn)過程中，體驗(yàn)者會(huì)不斷嘗試與互動(dòng)載體形成內(nèi)在平衡，打破對(duì)立視角，引入對(duì)自身的情緒及思維把握中去，即在交互中感知情緒的流動(dòng)。

四、腦電數(shù)據(jù)可視化的交互設(shè)計(jì)策略

楊彥波等[13]在信息可視化研究綜述中指出，可視化技術(shù)與應(yīng)用的實(shí)現(xiàn)方向，需從直觀化、關(guān)聯(lián)化、藝術(shù)化、交互化實(shí)現(xiàn)即時(shí)數(shù)據(jù)操作。由于腦電數(shù)據(jù)可視化獲取的數(shù)據(jù)更為抽象和隱晦，在構(gòu)建數(shù)據(jù)可視化的設(shè)計(jì)路徑中，本文基于其特點(diǎn)，從表現(xiàn)形式、內(nèi)部邏輯與交互方式提出了3個(gè)維度的設(shè)計(jì)策略：建立視覺符號(hào)、選擇映射關(guān)系、設(shè)定模態(tài)交互。圖3為筆者針對(duì)上述系統(tǒng)構(gòu)思總結(jié)整理的腦電數(shù)據(jù)可視化設(shè)計(jì)流程和交互策略。

（一）建立視覺符號(hào)

1.意象圖式與視覺符號(hào)：在構(gòu)建腦電可視化整體邏輯之初，首先需要特定的概念隱喻將其支撐起來(lái)，意象圖式是概念隱喻的具體表達(dá)，最初是由認(rèn)知語(yǔ)言學(xué)家喬治·萊可夫和馬克·約翰遜提出[14]。其將看似無(wú)關(guān)聯(lián)的抽象活動(dòng)賦予具體結(jié)構(gòu)，從而重新給一些日常生活中無(wú)關(guān)聯(lián)意義的事物建立一定的規(guī)則和聯(lián)系[15]。

基于意向圖示延伸出了視覺符號(hào)。在可視化設(shè)計(jì)中，不同的視覺符號(hào)給人帶來(lái)不同的感知。人們能夠通過這種帶有強(qiáng)烈情感色彩的“視覺符號(hào)”語(yǔ)言來(lái)表達(dá)自己意識(shí)中存在的情感態(tài)度，視覺符號(hào)的建立是對(duì)概念隱喻的具體構(gòu)思與集中展現(xiàn)。

2.腦電信號(hào)的視覺符號(hào)提取：在腦電可視化設(shè)計(jì)中，視覺符號(hào)作為信息的中轉(zhuǎn)，與腦電信號(hào)和受眾感知緊密相連，符號(hào)的造型、大小、色彩、光影等都影響著受眾的理解，要求設(shè)計(jì)者更好地把握腦電信號(hào)所代表的個(gè)體情緒，以便于將視覺符號(hào)建立有效的信息對(duì)稱，降低受眾對(duì)作品的誤讀。

在媒體藝術(shù)家Refik Anadol的作品《融化的記憶》中，參與者被指定進(jìn)入特定的長(zhǎng)期記憶中，捕捉的腦電數(shù)據(jù)實(shí)時(shí)反饋到定制的LED媒體墻上。在微觀上，視覺符號(hào)所承載的元素喚醒觀眾對(duì)于腦中記憶的共同認(rèn)知，例如沸騰的漩渦、波濤洶涌的海浪代表急促的記憶；盛開的花朵和流動(dòng)的沙子則表達(dá)舒緩的回憶。在宏觀上，這些可視化的元素探討了大腦記憶的物質(zhì)性，記錄記憶檢索的過程，將沉浸式互動(dòng)體驗(yàn)從空間沉浸內(nèi)化到認(rèn)知沉浸、情感沉浸，消解了現(xiàn)實(shí)環(huán)境與內(nèi)在環(huán)境的邊界，充分地融合觀眾的心智模式與情感共鳴，挖掘了互動(dòng)藝術(shù)更多的可能性，形成了超越空間的互動(dòng)體驗(yàn)。

在腦電數(shù)據(jù)可視化設(shè)計(jì)中，運(yùn)用意象圖式理論建立的腦電視覺符號(hào)有助于我們構(gòu)建整體的概念隱喻，有利于體驗(yàn)者從直觀而整體的角度聯(lián)想和思考主題，建立語(yǔ)義聯(lián)系，并進(jìn)一步感知作品賦予的特殊含義。

（二）選擇映射關(guān)系：圍繞腦電可視化人機(jī)交互情感性的特征，在交互表現(xiàn)手法上對(duì)數(shù)據(jù)與形式的映射選擇尤為重要。映射是將數(shù)值數(shù)據(jù)轉(zhuǎn)變成幾何數(shù)據(jù)的功能，因此映射功能實(shí)質(zhì)上完成的是數(shù)據(jù)建模功能，是可視化技術(shù)的核心[16]。數(shù)字技術(shù)能夠動(dòng)態(tài)匹配數(shù)據(jù)的變化范圍從而實(shí)現(xiàn)映射關(guān)系，通過算法的邏輯完成互動(dòng)[17]。不同映射關(guān)系在形式上存在差異，但出發(fā)點(diǎn)都是一致的：為消除信息閱讀障礙，幫助受眾更好地進(jìn)行體驗(yàn)。筆者根據(jù)現(xiàn)有腦電可視化設(shè)計(jì)歸納總結(jié)以下3種映射關(guān)系：直覺映射、邏輯映射與多通道映射，給設(shè)計(jì)者提供不同場(chǎng)景下的參考。

“直覺映射”是指從自身主觀認(rèn)識(shí)出發(fā)，包括通過意識(shí)和潛意識(shí)來(lái)判斷信息之間的相對(duì)聯(lián)系，多依賴于自身情感與經(jīng)驗(yàn)的主導(dǎo)，以人類普遍的認(rèn)知體系為基礎(chǔ)，探究人類在處理視聽語(yǔ)言之間關(guān)聯(lián)性時(shí)具有的共通心理傾向。例如聽一段低沉的音樂能讓人聯(lián)想到某些悲傷的回憶，看一幅明亮歡快的畫作能讓人感到愉悅等。當(dāng)需要以“情緒情感”作為主題的腦電可視化設(shè)計(jì)創(chuàng)作中，“直覺映射”通常作為一種用來(lái)檢測(cè)實(shí)驗(yàn)是否滿足設(shè)想的驗(yàn)證工具，與常見的Ekman情緒模型相結(jié)合，將情緒與色彩、音樂、氛圍一一對(duì)應(yīng)。

“邏輯映射”是指根據(jù)預(yù)先設(shè)置的邏輯關(guān)系來(lái)判斷信息間的匹配規(guī)則。在眾多藝術(shù)表現(xiàn)形式中都存在著各自的邏輯系統(tǒng)，例如，音樂藝術(shù)存在著音高、音色、旋律、節(jié)奏，而繪畫藝術(shù)又存在著形狀、明暗、疏密、冷暖等內(nèi)在邏輯，在這種內(nèi)部邏輯中找到與之相對(duì)的關(guān)系稱為“邏輯映射”。在腦電數(shù)據(jù)可視化設(shè)計(jì)中根據(jù)設(shè)計(jì)創(chuàng)意的出發(fā)點(diǎn)選擇與之相對(duì)應(yīng)的藝術(shù)表現(xiàn)形式，例如腦電數(shù)據(jù)聲音化的過程，即是在實(shí)時(shí)傳輸?shù)哪X電數(shù)據(jù)中將不同波形的振幅強(qiáng)度反映在聲音輸出的強(qiáng)度（音量、音高、速度）上，使之完成內(nèi)部邏輯的映射關(guān)系。

“多通道映射”源于計(jì)算機(jī)技術(shù)名詞，原指計(jì)算機(jī)與人類感官系統(tǒng)相對(duì)應(yīng)的多個(gè)信息輸入和輸出通道。在腦電數(shù)據(jù)可視化的運(yùn)用中，多通道的映射關(guān)系理解為將腦電信號(hào)與多感官、行為、情感等信息之間建立起多重的映射通道，并以不同的形式傳達(dá)。存在一對(duì)多、多對(duì)一或者多對(duì)多的映射模式。最常見的是將腦電數(shù)據(jù)與視聽進(jìn)行同步映射。

（三）設(shè)定模態(tài)交互：在數(shù)字媒體交互語(yǔ)言中，無(wú)外乎將感官通道與媒介進(jìn)行融合，多感官模態(tài)理論包含3種不同維度的意義：第一層指聯(lián)合感官機(jī)能，使信息接收過程更沉浸和直觀；第二是從藝術(shù)傳播形式出發(fā)，單一的視覺傳播形式通過感官和生理特征得到了延展，擴(kuò)充了藝術(shù)表現(xiàn)形式；第三是指在情感連接層面獲得更準(zhǔn)確和有效的信息傳達(dá)和體驗(yàn)感受[18]。下文基于數(shù)字體驗(yàn)設(shè)計(jì)基礎(chǔ)認(rèn)知，從感官層、行為層和意識(shí)層具體分析腦電可視化模態(tài)交互形式的設(shè)定（圖4）。

1.感官層：在數(shù)字體驗(yàn)中，通過感官接受信息具有本能和主動(dòng)的特征。場(chǎng)景數(shù)據(jù)作為腦電數(shù)據(jù)可視化的基本要素，其設(shè)計(jì)特征體現(xiàn)在數(shù)據(jù)提取的特定性上，這種特定性通常與感官系統(tǒng)相聯(lián)系。例如，圣羅蘭的“電波穿香室”利用嗅覺與腦電信號(hào)變化的聯(lián)系去推薦匹配個(gè)體喜好的香水；格蕾絲·萊斯利的音樂作品Vessels 探索了在腦電信號(hào)控制下產(chǎn)生的音樂和在音樂控制下產(chǎn)生的腦電變化，以及聽覺與腦電變化互相聯(lián)動(dòng)的關(guān)系。對(duì)于設(shè)計(jì)師來(lái)說，把握好感官系統(tǒng)能夠營(yíng)造更為貼切的設(shè)計(jì)場(chǎng)景，提升受眾體驗(yàn)，同時(shí)讓作品更具說服力。

2.行為層：模態(tài)交互形式的選擇取決于研究目的與主題設(shè)定，體驗(yàn)是人與環(huán)境相互作用的結(jié)果。在行為探索階段，分析受眾在活動(dòng)中的行為，能夠挖掘用戶行為背后的認(rèn)知心理，從而確定匹配的交互形式進(jìn)行有效的信息傳遞?；?dòng)視頻裝置《混亂的故事線》采集體驗(yàn)者在觀看《哈姆雷特》影片時(shí)的腦電數(shù)據(jù)，在觀眾集中注意力觀看影片時(shí)影片會(huì)正常播放，而當(dāng)觀眾走神時(shí)，影片會(huì)亂序。此作品針對(duì)用戶正常的觀看習(xí)慣進(jìn)行研究，分析視覺及專注度與腦電變化的聯(lián)動(dòng)關(guān)系。

3.意識(shí)層：意識(shí)層作為數(shù)字體驗(yàn)的最高層級(jí)，旨在基于用戶心智將思維聯(lián)通、情感化表達(dá)融入交互設(shè)計(jì)中。在腦電可視化設(shè)計(jì)中，通過腦電信號(hào)對(duì)用戶的情感狀態(tài)、認(rèn)知和思維過程以及體驗(yàn)感受進(jìn)行深入分析和理解，可以提供更加智能化、個(gè)性化和具有情感共鳴的交互體驗(yàn)。例如，在情感研究學(xué)家Suzanne Dikker的裝置Mutual Wave Machine中，讓兩名體驗(yàn)者進(jìn)入一個(gè)親密膠囊中，彼此對(duì)望，靠意念驅(qū)動(dòng)膠囊使其接近或拉開距離，在體驗(yàn)期間，腦電波越同步則表現(xiàn)出更連貫和可識(shí)別的視聽模式，而不同步則表現(xiàn)出趨向于黑暗的混亂視聽。此實(shí)驗(yàn)設(shè)計(jì)進(jìn)一步將腦電信號(hào)與個(gè)體意識(shí)和情感的鏈接通過裝置藝術(shù)顯化出來(lái)。

結(jié)語(yǔ)

腦電可視化的核心是將大腦的情緒與感覺以映射的形式展示于外界，結(jié)合視覺、聽覺、觸覺等感知覺以及空間的營(yíng)設(shè)，完成對(duì)身體數(shù)據(jù)的多元化數(shù)字建構(gòu)。從另一種意義上來(lái)說，腦電波藝術(shù)創(chuàng)作，打破了原有的設(shè)計(jì)與藝術(shù)的門檻，使所有人都可以成為自己的創(chuàng)作者，個(gè)體的不可替代性得到了極大程度的彰顯。本文基于腦電技術(shù)，探討了當(dāng)前腦電數(shù)據(jù)可視化設(shè)計(jì)的基本要素、設(shè)計(jì)特征，以及提出了從視覺符號(hào)、映射關(guān)系、模態(tài)交互3個(gè)層面出發(fā)的設(shè)計(jì)策略。無(wú)疑，腦電數(shù)據(jù)可視化已經(jīng)突破了傳統(tǒng)藝術(shù)的概念，互動(dòng)藝術(shù)與生理信號(hào)的碰撞結(jié)合，將激發(fā)數(shù)字生態(tài)領(lǐng)域更多元化的應(yīng)用前景。

參考文獻(xiàn)

[2]Prpa M，Pasquier P. Brain-computer Interfaces in Contemporary art：Latest techniques and taxonomy [J]. Brain Art：A brain-computer interface for Artistic Expression，2019：65-115.

[3]Tang Z，Li X，Xia D，et al. An art therapy evaluation method based on emotion recognition using EEG deep temporal features[J]. Multimedia Tools and Applications，2022，81（5）：7085-7101.

[4]Riccio P，Bergaust K，Christensen-Scheel B，et al. AI-based artistic representation of emotions from EEG signals：a discussion on fairness，inclusion，and aesthetics[J]. arXiv preprint arXiv： 2202.03246，2022.

[5]郝赫.數(shù)據(jù)可視化藝術(shù)跨學(xué)科課程：價(jià)值、模式與本土化策略[J].上海教育科研，2023（02）：12-17.

[6]劉月林，李虹.基于概念隱喻理論的交互界面設(shè)計(jì)[J].包裝工程，2012，33（22）：17-19.

[7]熊超.設(shè)計(jì)力，超越設(shè)計(jì)[J].中國(guó)廣告，2022（08）：10-15.

[8]程斌.基于腦神經(jīng)科學(xué)的可視化設(shè)計(jì)表現(xiàn)研究[J].藝術(shù)科技，2019，32（01）：44-45.

[9]張新軍.數(shù)字時(shí)代的敘事學(xué)——瑪麗-勞爾瑞安敘事理論研究[M].成都：四川大學(xué)出版社，2017：148-164.

[10]賈倩文，柴春雷，蔡蕊屹.數(shù)據(jù)可視化中的設(shè)計(jì)美學(xué)研究綜述[J].包裝工程，2022，43（20）：13-25.

[11]陳赟冰，王依晨.基于腦電的夢(mèng)境情緒生成藝術(shù)與療愈研究進(jìn)展[J].科技導(dǎo)報(bào)，2023，41（08）：83-93.

[12]鐘鳴，何人可，趙丹華，等. 基于通感轉(zhuǎn)化理論的交互裝置體驗(yàn)設(shè)計(jì)[J]. 包裝工程，2021，42（4）：109-114.

[13]楊彥波，劉濱，祁明月.信息可視化研究綜述[J].河北科技大學(xué)學(xué)報(bào)，2014，35（01）：91-102.

[14]李嬌.從意象圖式看隱喻的構(gòu)建與識(shí)解[J].考試周刊，2010（50）：91-93.

[15]羅保權(quán)，邢亞龍.多模態(tài)理論在數(shù)據(jù)可視化交互裝置設(shè)計(jì)中的應(yīng)用研究[J].設(shè)計(jì)，2022，35（01）：48-51.

[16]Yvette，徐瑞鴿.徐瑞鴿：實(shí)驗(yàn)性和前瞻性使藝術(shù)可視化成為可視化研究的前沿領(lǐng)域[J].設(shè)計(jì)，2021，34（14）：98-102.

[17]孫品一，周峰.探討大數(shù)據(jù)時(shí)代下的數(shù)據(jù)可視化[J].設(shè)計(jì)，2016，238（07）：136-137.

[18]徐潔漪，席濤.基于多模態(tài)感官理論的交互式數(shù)字藝術(shù)研究[J].工業(yè)設(shè)計(jì)，2018（03）：97-99.