視聽覺融合下的“參與式建筑”研究

范成佳

湖南師范大學美術(shù)學院 湖南 長沙 410012

1 概述

情感表達=55%面部表情+38%聲音+7%其它，語音信號及面部表情是人類傳遞信息及表達情感的主要模態(tài)，即聽覺模態(tài)與視覺模態(tài)。視聽覺雙模態(tài)融合下，以格式塔完形心理學及卷積神經(jīng)網(wǎng)絡(luò)（CNN）信息識別處理模式與擴展現(xiàn)實（XR）技術(shù)為依托，對空間虛實融合斷裂問題及完形心理學視角下空間不連貫體驗彌合進行分析，探究雙模態(tài)下信息處理及識別較之于單模態(tài)下識別性能優(yōu)劣，基于此基礎(chǔ)上，分析研究其對于“參與式建筑”未來發(fā)展的影響。

2 視聽覺融合下的信息甄別及處理

2.1 視聽覺一致性融合

情感心理學研究表明信息傳遞及情感表達多半通過面部表情完成，其余則主要依靠聽覺進行，聲音通常被用來強化信息主題性或起到視覺輔助功能。同一對象同時輸出視覺及聽覺信息時傳播速度不同，則其到達人眼及人耳時間不同，人腦在處理此類信息時自動進行信息時間同步性校正，予人視知覺同步性錯覺。

2.2 信息傳遞及處理

視覺聽覺系統(tǒng)傳遞及處理信息進行分層處理，光電信號及聲波信號由感受器轉(zhuǎn)換為電信號，后經(jīng)下丘腦及側(cè)膝體傳至大腦皮層或初級聽皮層，各種細胞協(xié)同合作及大量神經(jīng)元細胞組合構(gòu)成視聽覺感知系統(tǒng)。人腦基于記憶及反饋機制，對于視聽覺系統(tǒng)所獲得信息進行識別處理，判斷實時情感狀態(tài)。

情感隨時間變化，大腦對于動態(tài)信息處理機能至關(guān)重要。視覺系統(tǒng)因“視覺暫留效應(yīng)”，可觀察到動態(tài)視覺信息，聽覺系統(tǒng)聲波連續(xù)刺激及聽覺神經(jīng)傳導(dǎo)通路延時性同樣存在時序性表現(xiàn)。大腦連續(xù)不斷通過視覺聽覺系統(tǒng)接收信息，進行判別，接收下一信息前調(diào)整反饋先前判別，循環(huán)往復(fù)，得出結(jié)論。

3 基于CNN及XR技術(shù)下的三維空間信息整合

3.1 XR及CNN技術(shù)

XR （擴展現(xiàn)實技術(shù)）指通過計算機技術(shù)創(chuàng)建一個虛實融合的人機交互環(huán)境，其包括 VR、AR、MR、HR等多種形式。卷積神經(jīng)網(wǎng)絡(luò)（CNN），深度前饋人工神經(jīng)網(wǎng)絡(luò)，三維卷積神經(jīng)網(wǎng)絡(luò)則常用于醫(yī)學圖像及視頻類數(shù)據(jù)識別。

3.2 XR&CNN

三維卷積神經(jīng)網(wǎng)絡(luò)冗余參數(shù)數(shù)量較小，基于多時序影像的研究與發(fā)展具備更多優(yōu)勢。稠密三維語義建圖，以結(jié)構(gòu)化語義信息數(shù)字化重構(gòu)現(xiàn)實世界，其對于其應(yīng)用領(lǐng)域包括了機器人感知和基于視覺交互（XR）相應(yīng)的經(jīng)典實現(xiàn)，利用經(jīng)典計算機視及部分卷積神經(jīng)網(wǎng)絡(luò)（CNNs）作為分類的輔助感知理解。

3.3 三維場景空間語義信息融合

三維場景下的信息整合，全局化對于空間幾何信息的提取及感知場景的語義信息提取，實現(xiàn)局部視圖深度圖及完整視圖結(jié)合的完整場景構(gòu)建，并對三維空間構(gòu)建進行優(yōu)化及修正。

3.4 深度神經(jīng)網(wǎng)絡(luò)語義信息整合下的參與式建筑

3.4.1 參與式場景搭建

深度神經(jīng)網(wǎng)絡(luò)（CNN）語義信息整合下的參與式建筑場景搭建，視聽覺融合，基于模型進行測算整合，用以判斷主體即時情感狀態(tài)及意向選擇。

3.4.2 參與式住宅設(shè)計

甲乙方合作式住宅設(shè)計，因知識背景等差異性存在，二者意見無法短期達成一致。基于共識區(qū)域及矛盾區(qū)域通過視聽覺信息整合分析搭建平臺對于提高溝通效率十分重要。擴展現(xiàn)實的參與式設(shè)計平臺ModRuleke即可滿足以上需求，基于WebGl 構(gòu)架下的物聯(lián)網(wǎng)三維可視化平臺，可為用戶生成各種個性化選項。

4 基于格式塔心理學下的交互模式分析

4.1 格式塔心理學完形認知原理

格式塔心理學（完形心理學），考夫卡等學者認為人類對于某事物的視覺整體感知不是各部分簡單聯(lián)合，是由視覺認知的經(jīng)驗組成的整體。主體通過視覺感知外物后進行視覺形象再組織，使其具備完整性及有序性。

4.2 完形心理學與交互設(shè)計

4.2.1 虛實融合空間體驗斷裂

個人終端沉浸式體驗?！按蟪叨鹊兔芏取?，如CAVE 沉浸體驗，虛擬攝影機需與觀眾視角進行配合，計算機需在主體改變運動狀態(tài)時進行三維場景的刷新與優(yōu)化，間隔若變化不當則會“出戲”，同樣若大尺度空間，數(shù)字影響投影覆蓋比例與體驗節(jié)奏搭配不當，同樣會導(dǎo)致體驗連貫性被打斷。

4.2.2 格式塔彈性“粘合”不連貫體驗

阿恩海姆提出視知覺形式的“力”貫穿其美學思想，在進行虛擬場景搭建時，主體的知覺力，可彌合不連貫體驗，將斷裂的元素有序組織，構(gòu)建“完形”格式塔。[7]格式塔理論多二維平面對于“力”進行討論，因空間三維性質(zhì)，其定位定向與體驗感知更為重要。聽覺信息對于參與式建筑空間定向感知起到重大作用，眼動信息也能不同程度地加強耳間時間差與聲級差分辨，從而提高聽覺空間信息分辨率。“視知覺”“聽知覺”結(jié)合的參與式建筑場景搭建及場景體驗更具完整性。

5 視覺聽覺雙模態(tài)下的融合銜接

5.1 RECOLA數(shù)據(jù)集視聽覺融合

視覺及聽覺融合模型性能驗證，RECOLA數(shù)據(jù)集進行試驗，基于 Arousal 及Valence 維度，利用原信號及圖像，不進行人工提取幾何紋理及特征，消除因特征識別對結(jié)果的影響。（圖1）

圖1 聲音特征提取模型及RECOLA 數(shù)據(jù)集圖像模型結(jié)構(gòu)

5.2 視聽覺獲取信息融合渠道對比

完形心理學基于心理學及人類視覺特性角度對空間體驗進行分析，提出在進行虛擬場景搭建時主體知覺力可彌合不連貫體驗，構(gòu)建“完形”格式塔。卷積神經(jīng)網(wǎng)絡(luò)（CNN）及擴展現(xiàn)實（XR）技術(shù)則基于人類視覺及聽覺系統(tǒng)捕捉信息原理，進行信息整合處理，模擬主體角度進行情感即時判斷識別，提升其舒適度及易操作性，彌合虛實空間斷裂，且后者雙模態(tài)下對主體情感意向判斷識別準確率更高。

6 結(jié)語

未來“參與式建筑”沉浸式的理想場景體驗會更完善，數(shù)據(jù)及算法支撐下情感識別及判斷模式可作為輔助工具提升生活舒適性及便捷性，單方面唯數(shù)據(jù)論，提倡數(shù)據(jù)中心主義，會導(dǎo)致思維及標準的固定化，在設(shè)計領(lǐng)域積極開發(fā)應(yīng)用新技術(shù)的同時，注重個性化、實用性及直接性表現(xiàn)，重視主體與對象直接溝通。