基于腦神經(jīng)科學(xué)的可視化設(shè)計(jì)表現(xiàn)研究

程斌

摘 要：隨著近年來(lái)大數(shù)據(jù)與云計(jì)算的快速構(gòu)建、科技發(fā)展的提速，很多早就發(fā)明的技術(shù)得以實(shí)現(xiàn)并在人們的視野中迅速擴(kuò)大，諸如已經(jīng)提及發(fā)展幾十年了的人工智能、信息可視化。連腦神經(jīng)科學(xué)的可視化設(shè)計(jì)也有了很多科學(xué)家和藝術(shù)家參與探索其中，數(shù)字媒體超乎想象的發(fā)展為藝術(shù)與科技相結(jié)合提供了更廣闊的媒介基礎(chǔ)，抽象的意識(shí)形態(tài)與訊息因?yàn)榭梢暬O(shè)計(jì)的介入而變得觸手可及。本文基于對(duì)腦神經(jīng)科學(xué)的可視化案例進(jìn)行分析研究，為腦電波感應(yīng)可視化設(shè)計(jì)尋求更多元化的創(chuàng)作方向和內(nèi)容。

關(guān)鍵詞：腦神經(jīng)科學(xué);信息可視化;腦電波感應(yīng)

0 引言

信息隨著科技的發(fā)展已經(jīng)變成了一種不可缺少的媒介，并且數(shù)據(jù)量的幾何級(jí)增長(zhǎng)讓人們應(yīng)接不暇。研究表明人的大腦接收信息五感中83%來(lái)自視覺(jué)，所以好的可視化設(shè)計(jì)，可以把海量數(shù)據(jù)更有效的呈現(xiàn)其背后的邏輯與規(guī)律，并使得我們更容易更生動(dòng)的掌握真相。如今信息可視化的應(yīng)用越來(lái)越廣泛，涉及如測(cè)繪、財(cái)務(wù)測(cè)算、建筑、博物館、汽車、資訊、社交活動(dòng)、互聯(lián)網(wǎng)技術(shù)、氣象以及藝術(shù)等領(lǐng)域，越來(lái)越多的藝術(shù)家設(shè)計(jì)師去探究這些領(lǐng)域數(shù)據(jù)背后的原理，試圖用這種方式重新定義這個(gè)世界。其中腦神經(jīng)科學(xué)領(lǐng)域的可視化探索尚還在起步階段，能否運(yùn)用信息可視化的手段詮釋腦?神經(jīng)的運(yùn)動(dòng)，抑或者嘗試解析腦意識(shí)形態(tài)的變化，從藝術(shù)的角度來(lái)理解腦神經(jīng)科學(xué)的原理都是全新的巨大挑戰(zhàn)，或許這也是能打開(kāi)另一扇了解我們大腦深層結(jié)構(gòu)的認(rèn)知之門。

1 可視化設(shè)計(jì)重塑數(shù)據(jù)

作為一種新的美學(xué)形態(tài)，以數(shù)據(jù)信息為核心的可視化設(shè)計(jì)很多時(shí)候會(huì)被人認(rèn)為是一種圖形設(shè)計(jì)，或者是計(jì)算機(jī)技術(shù)方面的信息呈現(xiàn)，這種觀點(diǎn)隨著近年來(lái)的可視化數(shù)字媒體作品的不斷嘗試和演變逐漸被人們所摒棄，其邊界在不斷擴(kuò)大，新的技術(shù)形式允許利用圖形、圖像處理、計(jì)算機(jī)視覺(jué)等通過(guò)表達(dá)、模型對(duì)平面、立體、動(dòng)畫、交互的方式顯示，對(duì)數(shù)據(jù)進(jìn)行分析、解構(gòu)、重組。

數(shù)據(jù)可視化技術(shù)包含以下幾個(gè)基本概念：

第一，數(shù)據(jù)空間：是由n維屬性和m個(gè)元素組成的數(shù)據(jù)集所構(gòu)成的多維信息空間;

第二，數(shù)據(jù)開(kāi)發(fā)：是指利用一定的算法和工具對(duì)數(shù)據(jù)進(jìn)行定量的推演和計(jì)算;

第三，數(shù)據(jù)分析：指對(duì)多維數(shù)據(jù)進(jìn)行切片、塊、旋轉(zhuǎn)等動(dòng)作剖析數(shù)據(jù)，從而能多角度多側(cè)面觀察數(shù)據(jù);

第四，數(shù)據(jù)可視化：是指將大型數(shù)據(jù)集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開(kāi)發(fā)工具發(fā)現(xiàn)其中未知信息的處理過(guò)程。

目前可視化設(shè)計(jì)依據(jù)數(shù)據(jù)信息的內(nèi)在聯(lián)系和規(guī)律通過(guò)程序語(yǔ)言以視覺(jué)語(yǔ)言方式傳達(dá)與溝通信息，獲得深入認(rèn)知。同時(shí)通過(guò)人們的感官系統(tǒng)感知錯(cuò)綜復(fù)雜的過(guò)程、涉及不同學(xué)科領(lǐng)域的數(shù)據(jù)群以及多樣化大數(shù)據(jù)集合的模擬，產(chǎn)生對(duì)數(shù)據(jù)信息的另一種感知。英國(guó)的數(shù)字媒體藝術(shù)家Marcus Lyall在Canary Wharf冬季燈光節(jié)上創(chuàng)作了一個(gè)名為“on your wavelength”互動(dòng)裝置作品，現(xiàn)場(chǎng)有32組鋁框架構(gòu)成的LED燈群以及背景聲音合成構(gòu)建了一個(gè)光線隧道，超過(guò)30000個(gè)led燈柱展現(xiàn)夢(mèng)幻般的動(dòng)態(tài)視覺(jué)效果其實(shí)是由體驗(yàn)者帶上腦部傳感器控制得到的，隨著體驗(yàn)者思維模式的變化，大腦的腦電波數(shù)據(jù)可以控制音樂(lè)并創(chuàng)建復(fù)雜的光線模式。從這一實(shí)驗(yàn)互動(dòng)裝置來(lái)看人的大腦電波被轉(zhuǎn)化成燈光與音樂(lè)另一種形態(tài)的信息，就好像不可見(jiàn)的意念被實(shí)體化并且通過(guò)感官可以感知了。

2 理性的數(shù)據(jù)通過(guò)可視化擁有了感性的靈魂

可視化設(shè)計(jì)的目的是“讓數(shù)據(jù)說(shuō)話”。也就是說(shuō)讓數(shù)據(jù)不再像原來(lái)的屬性那么模式化、公式化，比如一直致力于交互式設(shè)計(jì)和數(shù)據(jù)可視化領(lǐng)域的美國(guó)設(shè)計(jì)團(tuán)隊(duì)Stamen Design Studio為adobe的Kuler社區(qū)進(jìn)行的可視化設(shè)計(jì)項(xiàng)目，就是用戶可以對(duì)kuler生成的套色進(jìn)行評(píng)價(jià)，描述感受（為顏色增加tags）;Stamen Design Studio通過(guò)對(duì)tags數(shù)據(jù)整合梳理，可根據(jù)搜索某時(shí)某地，與某關(guān)鍵字匹配的數(shù)據(jù)生成色彩分析集合圖形，這樣設(shè)計(jì)師就能夠輕易地從色彩的分布追蹤到流行色的變化趨勢(shì)，對(duì)下一步設(shè)計(jì)工作很有幫助。

從這些色彩中可以很容易分辨數(shù)據(jù)，大部分時(shí)候數(shù)據(jù)是冷漠的，難以理解的，可視化設(shè)計(jì)讓數(shù)據(jù)有了可敘述的方式，由此很多枯燥的分析報(bào)告也可以變成有情節(jié)的故事易于被解讀。2016年美國(guó)總統(tǒng)中期選舉“衛(wèi)報(bào)”采用大小不一有角度的箭頭表示共和黨和民主黨在這些中期內(nèi)的議院之間的對(duì)比情況，把當(dāng)時(shí)選舉民意的支持風(fēng)向、走勢(shì)更形象化的被解讀出來(lái)。

數(shù)字化敘事賦予了可視化設(shè)計(jì)更豐富的內(nèi)容，即將視頻、音頻、文本、燈光等多媒體形式可視化相結(jié)合的數(shù)據(jù)交互體驗(yàn)，顯然這就讓數(shù)據(jù)的可視化設(shè)計(jì)變得具有娛樂(lè)屬性，在研究和學(xué)術(shù)領(lǐng)域可視化通常是數(shù)據(jù)研究工具，注重精準(zhǔn)和視覺(jué)效率，數(shù)據(jù)只要表明研究成果的證明屬性就可以了，顯而易見(jiàn)，現(xiàn)在數(shù)字媒體的全面崛起表明可視化的娛樂(lè)屬性更易于數(shù)據(jù)的傳播和人們對(duì)于數(shù)據(jù)更廣泛使用的理解。random quark studio給他們的客戶Saatchi&Saatchi Wellness創(chuàng)作了一個(gè)將情感變成彩色畫作的作品，用腦電波讀取器測(cè)量Saatchi&Saatchi員工的腦波，并使用先進(jìn)的技術(shù)從數(shù)據(jù)中提取基本的情感信息（即憤怒、喜悅、厭惡等）。然后將其輸入到編譯好的生成群算法中，該算法輸出復(fù)雜的繪畫。情感畫作在杜魯門啤酒廠的一個(gè)展覽中展出，他們的每個(gè)員工也在他們的名片后面獲得情感“快照”。同時(shí)在他們的網(wǎng)站上，random quark studio還使用了機(jī)器學(xué)習(xí)在Twitter上來(lái)實(shí)時(shí)展示了當(dāng)時(shí)情感宣泄作畫的那一刻。

3 腦神經(jīng)信息可視化的具體應(yīng)用

信息可視化（Information visualization）是一個(gè)跨學(xué)科領(lǐng)域，目的是把大規(guī)模非規(guī)律化的信息數(shù)據(jù)以視覺(jué)語(yǔ)言來(lái)表現(xiàn)。與科學(xué)可視化相比，信息可視化更注重抽象數(shù)據(jù)具象化，其中如我們常用的樣本元素諸如文本、線條、色彩、圖形甚至高維空間當(dāng)中的點(diǎn)（這些點(diǎn)并不具有固有的二維或三維幾何結(jié)構(gòu)）。信息可視化設(shè)計(jì)中包含了數(shù)據(jù)可視化、信息圖形、知識(shí)可視化、科學(xué)可視化以及視覺(jué)設(shè)計(jì)方面的所有層面。在這種層次上，如果加以充分適當(dāng)?shù)慕M織整理，任何事物都是視覺(jué)樣本：表格、圖形、地圖，甚至包括文本在內(nèi)，無(wú)論其是靜態(tài)的還是動(dòng)態(tài)的，都將為我們提供某種方式或手段，并且能讓我們觀察并得到其中的規(guī)律，找到事物的本質(zhì)，發(fā)現(xiàn)各種層次的關(guān)聯(lián)，可能還會(huì)讓我們找到原來(lái)領(lǐng)域沒(méi)有發(fā)現(xiàn)的事物。不過(guò)，如今在科學(xué)技術(shù)研究領(lǐng)域，信息可視化這條術(shù)語(yǔ)則一般適用于大規(guī)模非數(shù)字型信息資源的可視化表達(dá)。信息可視化致力于創(chuàng)建那些以直觀方式傳達(dá)抽象信息的手段和方法，可視化設(shè)計(jì)手段與交互技術(shù)的融合是能讓用戶通過(guò)感官來(lái)探索以至立即理解大量的信息。

以往我們對(duì)于一些抽象信息的表達(dá)很難用科學(xué)的手段精確地描述出來(lái)，卻能用藝術(shù)與設(shè)計(jì)的形式意象表達(dá)出來(lái)，信息可視化設(shè)計(jì)也許目前還無(wú)法完全把抽象信息準(zhǔn)確的重現(xiàn)給人們，但確實(shí)未來(lái)很有可能實(shí)現(xiàn)的一種方式?？萍及l(fā)展到當(dāng)下，我們已經(jīng)可以通過(guò)腦電波感應(yīng)器探測(cè)感知人們的情緒，無(wú)論是感到厭煩還是興奮，精力是否集中的思考工作，抑或是處于放松休閑狀態(tài)。甚至可以通過(guò)大腦對(duì)于肌肉控制的狀態(tài)，感知人的笑容或者皺眉，以及其他的動(dòng)作反應(yīng)。在美國(guó)留學(xué)的Lisa Park認(rèn)為人類的情感是和自身的能量波相關(guān)聯(lián)，她創(chuàng)作了EUNOIA II這組作品是她第一次使用腦電波傳感器獲得她自己實(shí)時(shí)的腦電波數(shù)據(jù)和情感反應(yīng)，期間傳感器拾取了她挫敗、興奮、冥想的情緒值并轉(zhuǎn)換成了聲波通過(guò)揚(yáng)聲器對(duì)水產(chǎn)生了震動(dòng)，通過(guò)這個(gè)表演，她情感的強(qiáng)度被同時(shí)鏡像聲音音量的強(qiáng)度上，48個(gè)不同尺寸的金屬揚(yáng)聲器上。

在哥倫比亞大學(xué)杰羅姆·格林科學(xué)中心的公共大廳中的一面墻上，有7塊可以上下滑動(dòng)的72英寸顯示器，該交互式數(shù)字裝置作品《The Brain Index》由空間研究中心的Laura Kurgan、Mark Hansen和新媒體工作室AV&C共同創(chuàng)作。他們將藝術(shù)、科學(xué)、數(shù)據(jù)、通過(guò)講故事的形式和信息設(shè)計(jì)結(jié)合起來(lái)，讓你看懂大腦的活動(dòng)和作用。腦神經(jīng)有著重要的功能：視覺(jué)、嗅覺(jué)、聽(tīng)覺(jué)、味覺(jué)均由腦神經(jīng)傳遞，人類豐富的面部表情也由腦神經(jīng)控制。腦神經(jīng)中的迷走神經(jīng)參與自主神經(jīng)系統(tǒng)的構(gòu)成，參觀的人們，可以走至跟前，觸摸選擇不同的關(guān)于“腦科學(xué)”的資料信息，查閱關(guān)于神經(jīng)網(wǎng)絡(luò)和DNA等直觀的數(shù)字化資料。

獲2017年美國(guó)國(guó)家科學(xué)基金會(huì)科學(xué)與工程可視化挑戰(zhàn)圖解類別大獎(jiǎng)的《自我映射》（Self Reflected），是由賓夕法尼亞大學(xué)的神經(jīng)科學(xué)家及藝術(shù)家Greg Dunn博士和應(yīng)用物理學(xué)家及藝術(shù)家Brian Edwards博士一起創(chuàng)作的，他們嘗試用另一種方法讓人們感知大腦的運(yùn)動(dòng)。他們運(yùn)用22k鍍金反射微蝕（reflective microetching）這一革新的技術(shù)手段在肉眼可見(jiàn)的大腦和微小的神經(jīng)之間架設(shè)了一座橋梁。自我映射在金色表面的反光下，以動(dòng)畫的形式記錄大腦的活動(dòng)，觀看者可以通過(guò)這種方式感受大腦本身的神經(jīng)活動(dòng)。整體絢麗的展示效果向人們揭示了作為人類最神奇最?yuàn)W秘的一部分組織——大腦的神奇之處大量神經(jīng)活動(dòng)的細(xì)節(jié)。這一個(gè)效果并非來(lái)自大腦的掃描，而是基于對(duì)神經(jīng)活動(dòng)的算法模擬、數(shù)字設(shè)計(jì)、光蝕、燈光設(shè)計(jì)和鍍金各種藝術(shù)與科技手段相結(jié)合的一次創(chuàng)新，其在精度和尺度上獲得的成績(jī)是現(xiàn)在的掃描技術(shù)所無(wú)法實(shí)現(xiàn)的。

目前來(lái)看，基于腦神經(jīng)感應(yīng)的信息可視化設(shè)計(jì)與研究還處在起步階段，隨著腦感應(yīng)硬件的快速發(fā)展以及腦神經(jīng)科學(xué)的不斷挖掘，會(huì)不斷細(xì)分衍化，也許不久的將來(lái)我們可以通過(guò)腦神經(jīng)可視化研究知道如何讓兒童學(xué)習(xí)更加專注，自閉癥人群在腦神經(jīng)可視化設(shè)計(jì)的幫助下走出心理的陰影，期待藝術(shù)與科技完美融合后能夠發(fā)揮幾何式不可想象的發(fā)展空間，將科學(xué)研究與藝術(shù)設(shè)計(jì)相結(jié)合，揭開(kāi)人類大腦中的奇妙世界。

參考文獻(xiàn)：

[1] 邱南森.數(shù)據(jù)之美：一本書學(xué)會(huì)可視化設(shè)計(jì)[M].張伸，譯.中國(guó)人民大學(xué)出版社，2014.

[2] Tamara Munzner . Visualization Analysis and Design（AK Peters Visualization Series·English Edition）[M]. A K Peters/CRC Press，2014.