數(shù)字化背景下人機(jī)交互對(duì)景觀感知的影響

張洋 葛夢(mèng)婷 董孟斌 沈熙為

1 研究背景

以互聯(lián)網(wǎng)產(chǎn)業(yè)化和工業(yè)智能化為標(biāo)志、以技術(shù)融合為主要特征的第4次工業(yè)革命正以一系列顛覆性技術(shù)深刻地影響和改變著我們的城市，這些技術(shù)包括（但不限于）人工智能（artificial intelligence, AI）、大數(shù)據(jù)與云計(jì)算、機(jī)器人與自動(dòng)化、3D打印、傳感網(wǎng)、物聯(lián)網(wǎng)、虛擬現(xiàn)實(shí)（virtual reality, VR）技術(shù)、增強(qiáng)現(xiàn)實(shí)（augmented reality, AR）技術(shù)、混合現(xiàn)實(shí)（mixed reality, MR）技術(shù)、清潔能源、量子信息技術(shù)以及生物技術(shù)等[1]。城市正逐漸成為一個(gè)由各類即時(shí)大數(shù)據(jù)所建構(gòu)的網(wǎng)絡(luò)空間與實(shí)體的物理空間相互融合的復(fù)雜有機(jī)體[2]。城市物理空間與由信息通信技術(shù)產(chǎn)生的信息流動(dòng)空間連接組合，由以物理技術(shù)為主導(dǎo)轉(zhuǎn)變?yōu)橐孕畔⒓夹g(shù)為主導(dǎo)[3]，形成“二元化城市”的新格局[4]。數(shù)字技術(shù)“萬(wàn)物互聯(lián)”、虛擬性以及信息瞬時(shí)性的主要特征[5]，推動(dòng)了城市要素和人之間的行為屬性、行為特征和連接方式的轉(zhuǎn)變與創(chuàng)新[6]，物理世界和虛擬世界之間的映射變得更加頻繁，空間功能的轉(zhuǎn)換更加自由和靈活，人的行為方式與景觀場(chǎng)景中的物體發(fā)生更多的交互，并且不受空間的時(shí)空性、多維度性以及空間的具體形式等因素所限制。

與人類社會(huì)經(jīng)歷的4次重大變革相對(duì)應(yīng)[7]，風(fēng)景園林發(fā)展大致可分為4個(gè)階段：18世紀(jì)前的古典主義傳統(tǒng)園林的1.0時(shí)代，工業(yè)革命后人本主義園林的2.0時(shí)代，生態(tài)主義園林的3.0時(shí)代，以及數(shù)字化影響下智慧生態(tài)園林的4.0時(shí)代[8]。特別是近10年，數(shù)字化作為風(fēng)景園林發(fā)展的重要推動(dòng)因素，正成為行業(yè)研究與創(chuàng)新的關(guān)注重點(diǎn)之一，其帶來(lái)的影響也尤為顯著：一方面，數(shù)字技術(shù)作為輔助工具被大量應(yīng)用于風(fēng)景園林設(shè)計(jì)中，如設(shè)計(jì)的定量化分析評(píng)估、數(shù)據(jù)化信息捕捉與采集、數(shù)據(jù)可視化、參數(shù)化設(shè)計(jì)以及景觀過(guò)程模擬等[9]，推動(dòng)設(shè)計(jì)向多樣化和精準(zhǔn)化轉(zhuǎn)變；另一方面，數(shù)字化應(yīng)用已逐漸從城市場(chǎng)景向風(fēng)景園林場(chǎng)景延伸，其中，基于人機(jī)交互的各種智能機(jī)器正成為不同尺度景觀的“參與者”，并使景觀變成一種“反饋環(huán)境”，同時(shí)也在改變?nèi)藗兊木坝^感知，使景觀感知更趨于個(gè)性化和人性化。

起源于19世紀(jì)50年代的景觀感知理論（landscape perception theory），是在環(huán)境心理學(xué)研究基礎(chǔ)上發(fā)展起來(lái)的獨(dú)立理論，結(jié)合景觀美學(xué)和環(huán)境心理學(xué)，主要研究人對(duì)景觀和環(huán)境的感知與偏好[10]。在景觀環(huán)境中，人的各類器官（眼睛、手、耳等）感受環(huán)境刺激，并將刺激轉(zhuǎn)化為信息傳遞至大腦的過(guò)程被稱為感覺。在此基礎(chǔ)上，大腦結(jié)合認(rèn)知，基于主觀體驗(yàn)與經(jīng)驗(yàn)，對(duì)傳入信息進(jìn)行處理與解釋的過(guò)程被稱為知覺，感覺和知覺的過(guò)程統(tǒng)稱為感知[11]。景觀感知就是人對(duì)景觀環(huán)境的感知及相互作用的過(guò)程。

筆者通過(guò)梳理過(guò)去10余年景觀感知相關(guān)的文獻(xiàn)資料，發(fā)現(xiàn)國(guó)內(nèi)外學(xué)者關(guān)于人機(jī)交互對(duì)景觀感知的影響研究，大多圍繞對(duì)人的五感——視覺、聽覺、觸覺、嗅覺和味覺的影響展開。比如，一些學(xué)者基于五感體驗(yàn)的綜合性研究[12-16]，探討人機(jī)交互對(duì)各感官的影響，提出感官體驗(yàn)融入設(shè)計(jì)的策略方法；也有一些學(xué)者的研究主要針對(duì)聽覺，如楊盛[17]、趙昱[18]研究人機(jī)交互對(duì)聲景感知的作用；還有一些研究基于穿戴式設(shè)備對(duì)景觀感知的影響，如Zhang等[19]、Schlickman[20]、趙曉靜[21]、Fricker[22]研究VR或AR技術(shù)對(duì)景觀視覺感知的影響。Zube等[23]在1982年最早提出“人—景觀—結(jié)果”的景觀感應(yīng)模型，在數(shù)字技術(shù)快速發(fā)展的時(shí)代背景下，人機(jī)交互有望成為景觀感知新的、重要的媒介和工具，可以更好地增強(qiáng)反饋、輔助優(yōu)化描述景觀，幫助人與景觀環(huán)境之間建立更廣泛和密切的聯(lián)系（圖1）。因此，關(guān)于人機(jī)交互對(duì)景觀感知的影響研究不應(yīng)局限于感官感知的結(jié)果研究，更應(yīng)該關(guān)注人機(jī)交互對(duì)景觀感知影響的全過(guò)程性和人的參與性。本研究基于人機(jī)交互的作用媒介和機(jī)制，試圖從多個(gè)維度厘清人機(jī)交互如何作用于景觀之中，以及如何對(duì)人的景觀感知產(chǎn)生影響，并基于景觀感知的全過(guò)程，從4個(gè)層面提出人機(jī)交互對(duì)景觀感知的影響，即多源數(shù)據(jù)拓展空間信息范圍（感知維度）、多通道交互增強(qiáng)感官體驗(yàn)（感知方式）、實(shí)時(shí)計(jì)算強(qiáng)化動(dòng)態(tài)響應(yīng)過(guò)程（感知過(guò)程），以及情感計(jì)算觸發(fā)情感反饋（感知效果）。

圖1 人機(jī)交互對(duì)景觀感知影響的變化[23]Changes in the influence of human-computer interaction on landscape perception[23]

2 人機(jī)交互對(duì)人的思維認(rèn)知影響

人機(jī)交互主要通過(guò)傳感設(shè)備對(duì)人的行為數(shù)據(jù)（如表情、動(dòng)作、聲音等的變化）與環(huán)境數(shù)據(jù)（如溫度、濕度、空氣質(zhì)量、光照等的變化）進(jìn)行監(jiān)測(cè)與捕捉，經(jīng)過(guò)算法運(yùn)算后，以光效、圖像等形式進(jìn)行可視化輸出，從而引導(dǎo)人或環(huán)境做出相應(yīng)反饋[24]。人機(jī)交互不僅打破了原有“人—計(jì)算機(jī)”的單線程聯(lián)系方式，還構(gòu)建了人與智能機(jī)器相互聯(lián)系和影響的新型模式。人機(jī)交互模式對(duì)人的思維方式、行為方式和體驗(yàn)需求3個(gè)層面均產(chǎn)生了重要影響（圖2）。

圖2 人機(jī)交互對(duì)人的思維認(rèn)知影響Influence of human-computer interaction on human thinking and cognition

2.1 思維方式：機(jī)械思維轉(zhuǎn)變?yōu)榇髷?shù)據(jù)思維

機(jī)械思維的2個(gè)核心特點(diǎn)是確定性和因果關(guān)系，即認(rèn)為世界變化的規(guī)律是確定的，事物間存在著一定的因果關(guān)系，但當(dāng)人們意識(shí)到社會(huì)的復(fù)雜性后，發(fā)現(xiàn)不確定性才是社會(huì)的常態(tài)[25]。數(shù)字技術(shù)帶來(lái)各個(gè)領(lǐng)域數(shù)據(jù)的爆發(fā)式增長(zhǎng)，讓人們獲得海量數(shù)據(jù)的同時(shí)，也意識(shí)到數(shù)據(jù)中蘊(yùn)含的巨大潛力和價(jià)值。大數(shù)據(jù)分析為人們提供了解決問(wèn)題的新思路，因?yàn)榇髷?shù)據(jù)中所包含的信息可以幫助人們消除不確定性，單一數(shù)據(jù)的誤差也可以在海量數(shù)據(jù)面前被最小化。而且因果關(guān)系在某種程度上也可以被相關(guān)關(guān)系所取代，人們思考問(wèn)題可以不再過(guò)分依賴精確的因果關(guān)系，而是關(guān)注數(shù)據(jù)間的相關(guān)關(guān)系，并通過(guò)研究數(shù)據(jù)間的內(nèi)在邏輯得到一般性規(guī)律。當(dāng)前，人們開始利用大數(shù)據(jù)分析的結(jié)果進(jìn)行輔助管理和應(yīng)用決策，人們的思維方式也逐漸從傳統(tǒng)的機(jī)械思維轉(zhuǎn)變?yōu)楦唛_放性和前瞻性的大數(shù)據(jù)思維[26]。

2.2 行為方式：物理空間行為轉(zhuǎn)變?yōu)榫€上線下結(jié)合

隨著人機(jī)交互的載體如手機(jī)、攝像機(jī)、傳感器等設(shè)備的廣泛使用[27]，人—環(huán)境之間形成新的“人—機(jī)器—環(huán)境”智能增強(qiáng)生態(tài)鏈，依托物聯(lián)網(wǎng)，人與環(huán)境突破物質(zhì)空間和時(shí)間限制的強(qiáng)粘性關(guān)系[28]，人的行為方式更具有即時(shí)性、遠(yuǎn)程性和虛實(shí)結(jié)合性。即時(shí)性體現(xiàn)在傳統(tǒng)的人與環(huán)境的交互模式需要提前考慮時(shí)間成本，而在人機(jī)交互的背景下可以做到“瞬時(shí)體驗(yàn)、即時(shí)反饋”；遠(yuǎn)程性體現(xiàn)在人機(jī)交互忽略了可達(dá)性的因素，削弱了傳統(tǒng)體驗(yàn)中的物理空間，包括交通、地理等眾多因素對(duì)人與環(huán)境體驗(yàn)的影響；虛實(shí)結(jié)合性體現(xiàn)在人與機(jī)器的交互，能夠打破三維空間的限制，帶來(lái)線上線下的多元體驗(yàn)。

2.3 體驗(yàn)需求：靜觀的空間邏輯轉(zhuǎn)變?yōu)榛?dòng)的體驗(yàn)邏輯

人機(jī)交互的過(guò)程可以收集大量的個(gè)人數(shù)據(jù)，通過(guò)對(duì)這些數(shù)據(jù)的分析處理，可以對(duì)個(gè)體的社會(huì)屬性、個(gè)性偏好、行為習(xí)慣等方面進(jìn)行用戶畫像，產(chǎn)生可識(shí)別的標(biāo)簽定義，從而為個(gè)體推送個(gè)性化信息或提供定制化服務(wù)，在這一過(guò)程中，個(gè)體的意志和行為得到更多的關(guān)注，個(gè)體在習(xí)慣于這種體驗(yàn)的同時(shí)，會(huì)催生更多的個(gè)性化需求，這種需求也從生活體驗(yàn)擴(kuò)展到景觀體驗(yàn)中，對(duì)景觀的功能需求從靜觀的空間邏輯轉(zhuǎn)變?yōu)榛?dòng)的體驗(yàn)邏輯，人們已不再滿足于在被規(guī)劃好的景觀空間中靜觀，而是愈發(fā)傾向于主動(dòng)參與到景觀中形成互動(dòng)，注重通過(guò)個(gè)人的行為獲得個(gè)性化和多樣化的體驗(yàn)。同時(shí)人們也習(xí)慣于借助各種智能機(jī)器進(jìn)行互動(dòng)，如大部分的游客已經(jīng)習(xí)慣用手機(jī)掃描植物科普牌的二維碼，獲得植物的科普信息。所以，智能機(jī)器在景觀體驗(yàn)中扮演著越來(lái)越重要的角色。

3 人機(jī)交互的作用機(jī)制及其對(duì)景觀感知的影響

人機(jī)交互具有多源數(shù)據(jù)采集、多通道交互、實(shí)時(shí)移動(dòng)計(jì)算、情感判斷反饋4個(gè)方面的特征，這為景觀感知體驗(yàn)帶來(lái)了更多的可能性。總體來(lái)看，人機(jī)交互對(duì)景觀感知的影響體現(xiàn)在4個(gè)方面，即多源數(shù)據(jù)拓展空間信息范圍（感知維度）、多通道交互增強(qiáng)感官體驗(yàn)（感知方式）、實(shí)時(shí)計(jì)算強(qiáng)化動(dòng)態(tài)響應(yīng)過(guò)程（感知過(guò)程）、情感計(jì)算觸發(fā)情感反饋（感知效果）。

3.1 感知維度：多源數(shù)據(jù)拓展空間信息范圍

人機(jī)交互具有多源數(shù)據(jù)采集的特征，通過(guò)監(jiān)測(cè)不同類型數(shù)據(jù)的傳感器[29]、識(shí)別人行為活動(dòng)的攝像頭、測(cè)量生理指標(biāo)的測(cè)量?jī)x、獲取地理信息數(shù)據(jù)的無(wú)人機(jī)[30]和地理信息系統(tǒng)（GIS）[31]等數(shù)據(jù)采集媒介的廣泛使用，可以多途徑、多維度獲取以往難以獲得的數(shù)據(jù)信息，通過(guò)計(jì)算機(jī)算法處理，不僅可以幫助人們擺脫只能依靠身體感知的局限，拓展人對(duì)空間信息的感知方式和感知范圍，還可以幫助人們更好地認(rèn)知生物特征或者自然過(guò)程的復(fù)雜性，理解自然和環(huán)境的運(yùn)轉(zhuǎn)模式，并能直接進(jìn)行互動(dòng)[32]。

在人機(jī)交互的支持下，通過(guò)傳感器等設(shè)備監(jiān)測(cè)微氣候、植物、水文、空氣質(zhì)量等環(huán)境要素的變化數(shù)據(jù)，可以將空間中以往人難以感知或者不可見的微小變化，通過(guò)機(jī)器將變化過(guò)程和結(jié)果進(jìn)行放大或者轉(zhuǎn)化，以可視化的方式呈現(xiàn)給公眾[33]。人機(jī)交互可以拓展人們對(duì)生物的感知維度，如植物學(xué)研究表明，植物可以表現(xiàn)出智能性，只是其與人類和動(dòng)物所具有的機(jī)制不同，且時(shí)間跨度更長(zhǎng)[34]。英國(guó)倫敦大學(xué)學(xué)院（UCL）的交互建筑（interactive architecture）實(shí)驗(yàn)室在reEarth項(xiàng)目中向人們展示了植物對(duì)環(huán)境的自主感知能力，在一個(gè)球形交互裝置Hortum machina,B中安裝光照傳感器和插入式電極，以植物對(duì)光照的微小生理變化反應(yīng)，驅(qū)動(dòng)Hortum machina,B的自主旋轉(zhuǎn)移動(dòng)[35]（圖3）。北京林業(yè)大學(xué)園林學(xué)院蔡凌豪老師在《光之螺旋》交互景觀中，將10根由單片機(jī)控制的光柱，通過(guò)物聯(lián)網(wǎng)連接到校園里的銀杏（Ginkgo biloba）、鵝掌楸（Liriodendron chinense）、白皮松（Pinus bungeana）等10棵古樹上，樹上的水分傳感器會(huì)感知植物維管束中的水分含量，該水分含量數(shù)據(jù)會(huì)控制光柱的燈光顏色變化，當(dāng)植物水分充足時(shí)燈光呈現(xiàn)冷色，若水分減少燈光向暖色漸變，最終變?yōu)榧t色，燈光顏色的變化猶如植物實(shí)時(shí)的心電圖，將植物中細(xì)微的變化轉(zhuǎn)變成可見的景觀，藝術(shù)性地表達(dá)了自然萬(wàn)物的生命節(jié)律和脈動(dòng)[36]（圖4）。人機(jī)交互還可以拓展人們對(duì)環(huán)境因素的感知維度，如Swatek和他的團(tuán)隊(duì)研發(fā)的Smart Solar Flower交互景觀可以時(shí)刻向人們呈現(xiàn)太陽(yáng)的位置變化，其模仿向日葵（Helianthus annuus）的原理，利用GPS數(shù)據(jù)和光照傳感器，可以實(shí)時(shí)跟蹤太陽(yáng)的方位和角度，并通過(guò)內(nèi)置的雙軸跟蹤系統(tǒng)，確保其始終與太陽(yáng)保持90°的直射角度[37]。北京林業(yè)大學(xué)學(xué)研中心景觀的交互裝置，利用由PM2.5傳感器和Arduino單片機(jī)組成的控制系統(tǒng)，監(jiān)測(cè)空氣中PM2.5的濃度變化，并將其通過(guò)玻璃藝術(shù)裝置的顏色變化呈現(xiàn)給公眾[38]。

圖3 Hortum machina, B交互裝置[35]Hortum machina, B interaction installation[35]

圖4 《光之螺旋》交互景觀實(shí)景圖Interaction landscape scenario of Spiral of Light

除了拓展物理空間中的信息感知，采集的數(shù)據(jù)信息可以被轉(zhuǎn)化為可視化的虛擬場(chǎng)景，借助AR技術(shù)疊加在物理空間上，豐富和拓展人們對(duì)虛擬空間的信息感知。謝菲爾德大學(xué)Haynes等[39]運(yùn)用AR技術(shù)開發(fā)以移動(dòng)設(shè)備為載體的景觀雨洪模擬系統(tǒng)，該系統(tǒng)通過(guò)在真實(shí)場(chǎng)景中疊加雨洪數(shù)據(jù)信息，幫助人們更好地感知景觀環(huán)境變化并及時(shí)做出應(yīng)對(duì)。北京古北水鎮(zhèn)的AR歷史地圖，借助手機(jī)、Ipad等設(shè)備，利用AR技術(shù)在真實(shí)的明信片上“疊加”虛擬的歷史生活場(chǎng)景，創(chuàng)造跨越時(shí)空的空間場(chǎng)景連接。人機(jī)交互的多源數(shù)據(jù)采集特征打破了物理空間的限制，建立了景觀中物理空間與虛擬空間之間的關(guān)聯(lián)。

3.2 感知方式：多通道交互增強(qiáng)感官體驗(yàn)

多通道（multimodal）交互即利用人的多種動(dòng)作通道和感覺通道（如表情、手勢(shì)、語(yǔ)音、動(dòng)作、視線等）輸入信息，與計(jì)算機(jī)環(huán)境以非精確、并行的方式進(jìn)行交互[40]。在人機(jī)交互中，多通道交互實(shí)現(xiàn)了景觀感知深度的增強(qiáng)，這包括了視覺、聽覺、觸覺的感知增強(qiáng)，以及多感官交融下的感知增強(qiáng)。多通道交互是實(shí)現(xiàn)自然人機(jī)交互的重要途徑，其在自然交互和移動(dòng)交互方面，相較于傳統(tǒng)的單一通道交互方式有著更廣泛的應(yīng)用潛力，能夠擴(kuò)大用戶輸入信息的帶寬，提高用戶輸入的效率，促使人們能夠按其熟悉的方式進(jìn)行人機(jī)通信。人機(jī)交互下的多通道交互包括信息輸入與輸出兩大核心過(guò)程，持續(xù)革新升級(jí)的交互技術(shù)與不斷探索優(yōu)化的科研經(jīng)驗(yàn)始終在助力這兩大過(guò)程的發(fā)展。

在輸入方面，基于深度神經(jīng)網(wǎng)絡(luò)模型的單通道輸入如人機(jī)對(duì)話、機(jī)器翻譯、目標(biāo)識(shí)別、語(yǔ)音識(shí)別、手勢(shì)檢測(cè)與跟蹤、人體檢測(cè)與跟蹤等性能得到快速提升，如超大規(guī)模深度卷積神經(jīng)網(wǎng)絡(luò)（convolution neural network,CNN）在圖像目標(biāo)識(shí)別領(lǐng)域的辨識(shí)水平已經(jīng)超過(guò)普通人類的水平[41]。協(xié)同現(xiàn)今交互技術(shù)的發(fā)展步調(diào)，多通道交互也逐步向融合視覺、語(yǔ)音、語(yǔ)義、動(dòng)作等的多模態(tài)計(jì)算發(fā)展。目前基于機(jī)器學(xué)習(xí)或者統(tǒng)計(jì)方法的多通道信息融合計(jì)算模型主要包括神經(jīng)網(wǎng)絡(luò)模型、Bayes決策模型和基于圖模型的信息融合。谷歌公司的開發(fā)者通過(guò)神經(jīng)網(wǎng)絡(luò)模型試圖建立一個(gè)統(tǒng)一的深度學(xué)習(xí)模型，保證它在性能沒(méi)有明顯損失的情況下，能夠有效地完成不同數(shù)據(jù)模態(tài)、不同領(lǐng)域下的多類型任務(wù)[42]，以精確且全面地捕捉人的意向。在語(yǔ)音交互方面，中國(guó)科學(xué)院自動(dòng)化研究所的學(xué)者們通過(guò)攝像頭、麥克風(fēng)、體感捕捉設(shè)備等工具，獲取人的多模態(tài)行為信息，采用多虛擬人對(duì)話管理機(jī)制和混合主導(dǎo)式對(duì)話策略，對(duì)手勢(shì)、語(yǔ)音、情感、姿勢(shì)等多模態(tài)信息進(jìn)行分析融合，以理解人的意圖并自動(dòng)生成對(duì)話語(yǔ)言[43]。

在輸出方面，多通道交互模式可根據(jù)人的需求綜合使用多種輸出通道，并進(jìn)行多通道融合，形成多設(shè)備協(xié)同和跨設(shè)備場(chǎng)景遷移的新型人機(jī)交互模式和產(chǎn)品形態(tài)[44]，有效提升人機(jī)交互過(guò)程中的感官體驗(yàn)與沉浸感。一方面來(lái)自數(shù)據(jù)的“包裹”，大量的、豐富的、多維度的數(shù)據(jù)可以讓使用者瞬時(shí)獲得理想的信息和體驗(yàn)；另一方面來(lái)自光電媒介、顯像媒介、聲音媒介、可觸媒介等媒介傳播載體的增強(qiáng)，以及各媒介之間表現(xiàn)出的高度復(fù)合性，使輸出形式更加多樣化和復(fù)雜化。正如徐躍家等[45]所言，數(shù)字技術(shù)給人們帶來(lái)了前所未有的綜合感知體驗(yàn)，就連一個(gè)小小的手機(jī)都能具有聽覺、視覺、觸覺等輸出方式，實(shí)現(xiàn)從生理到心理的多感同步。近10年高速發(fā)展的VR技術(shù)，更是讓人“真實(shí)地進(jìn)入”虛擬空間中，配合觸覺、嗅覺、聽覺等多通道感官交互，獲得身臨其境的沉浸式體驗(yàn)。美國(guó)麻省理工學(xué)院Media實(shí)驗(yàn)室的城市科學(xué)（city science）研究小組在一次針對(duì)世界女性生活的策展中，通過(guò)多面屏幕、高清投影和燈光設(shè)計(jì)等多種媒介，將動(dòng)態(tài)影像與空間中心的城市模型相結(jié)合，使人們沉浸式地以他人的視角體驗(yàn)世界[46]。弗吉尼亞理工大學(xué)的高級(jí)研究計(jì)算（advanced research computing, ARC）實(shí)驗(yàn)室通過(guò)多面屏幕、高清投影與VR操控結(jié)合的方式，使人們能夠沉浸式地體驗(yàn)虛擬場(chǎng)景并自由地操控場(chǎng)景變化[47]（圖5）。Teamla團(tuán)隊(duì)的作品《在人們聚集的巖石上，注入水粒子的世界》（Universe of Water Particles on a Rock Where People Gather）利用互動(dòng)投影技術(shù)，在虛擬的三維空間中立體再現(xiàn)瀑布沿巖石下落的場(chǎng)景，作品通過(guò)實(shí)時(shí)計(jì)算人與水粒子之間相互作用產(chǎn)生的運(yùn)動(dòng)軌跡，描繪人與水形成的動(dòng)態(tài)效果，同時(shí)場(chǎng)景中的櫻花也會(huì)隨人的移動(dòng)逐漸綻放，形成人對(duì)景觀干預(yù)的實(shí)時(shí)反饋[48]。

圖5 ARC實(shí)驗(yàn)室的沉浸式交互體驗(yàn)[47]Immersive interaction in ARC Lab[47]

3.3 感知過(guò)程：實(shí)時(shí)計(jì)算強(qiáng)化動(dòng)態(tài)響應(yīng)過(guò)程

建立在實(shí)時(shí)計(jì)算上的動(dòng)態(tài)響應(yīng)過(guò)程是對(duì)景觀感知操作性與靈活度的加成，這種動(dòng)態(tài)響應(yīng)主要包括人與空間環(huán)境數(shù)據(jù)間的動(dòng)作性交互與心理性交互。隨著信息和數(shù)字技術(shù)融入城市環(huán)境，城市成為一個(gè)無(wú)時(shí)不在、無(wú)處不在而又無(wú)形的計(jì)算環(huán)境。這種新技術(shù)帶來(lái)的新城市環(huán)境，在人與機(jī)器之間建立起動(dòng)態(tài)的多層次、多維度的互動(dòng)和聯(lián)系，并最終產(chǎn)生“泛在聯(lián)系”（ubiquitous connection）[49]。信息網(wǎng)絡(luò)化的鏈接和傳遞、多種設(shè)備之間的連接性和信息數(shù)據(jù)的共享性，也實(shí)現(xiàn)了技術(shù)（互聯(lián)網(wǎng)技術(shù)、云計(jì)算、物聯(lián)網(wǎng)及大數(shù)據(jù)技術(shù)等）、場(chǎng)景、參與者（人、物、機(jī)構(gòu)、平臺(tái)、行業(yè)及系統(tǒng)）之間的瞬間聯(lián)系。

正是數(shù)據(jù)的實(shí)時(shí)計(jì)算與高速網(wǎng)絡(luò)信號(hào)傳遞的發(fā)展，使得當(dāng)下從技術(shù)層面加快了人機(jī)交互速度，人對(duì)空間的體驗(yàn)與需求能夠快速地通過(guò)交互技術(shù)與景觀環(huán)境連接，而無(wú)須長(zhǎng)時(shí)間等待或人工介入。人的行為可以獲得實(shí)時(shí)的動(dòng)態(tài)反饋，以往被動(dòng)參與景觀的過(guò)程轉(zhuǎn)變?yōu)橹鲃?dòng)介入，靜態(tài)觀賞景觀的過(guò)程轉(zhuǎn)變?yōu)閷?shí)時(shí)互動(dòng)[50]，從而激發(fā)出新的行為方式。同時(shí)，在互動(dòng)的過(guò)程中，人以使用者的身份參與作品并成為作品的一部分，而且人參與創(chuàng)作過(guò)程的不確定性又會(huì)使信息轉(zhuǎn)換的呈現(xiàn)方式產(chǎn)生多樣性。

Media實(shí)驗(yàn)室研究的觸控視覺魔方（tangible view cube）能夠?qū)崿F(xiàn)以實(shí)體模型為依托的多角度景觀場(chǎng)景模擬[51]。用戶可以在實(shí)體模型中自由翻轉(zhuǎn)魔方，而計(jì)算機(jī)中的景觀場(chǎng)景渲染則會(huì)根據(jù)魔方的位置和角度做出實(shí)時(shí)改變，從而使用戶能夠脫離鼠標(biāo)與鍵盤，實(shí)現(xiàn)更便捷的交互行為。同樣基于強(qiáng)化動(dòng)態(tài)交互的目標(biāo)，美國(guó)北卡羅來(lái)納州立大學(xué)的GeoForAll實(shí)驗(yàn)室通過(guò)觸控景觀（tangible landscape）技術(shù)使人們能夠通過(guò)直接操作景觀模型來(lái)實(shí)時(shí)改變電子圖像及相關(guān)分析數(shù)據(jù)，用戶可以在實(shí)體景觀模型中自由改變景觀要素與形態(tài)，而這些改變將被投影捕捉并實(shí)時(shí)傳輸至計(jì)算機(jī)中。最終，新的數(shù)據(jù)分析與場(chǎng)景渲染將實(shí)時(shí)更新，從而實(shí)現(xiàn)用戶在參與設(shè)計(jì)的同時(shí)與設(shè)計(jì)作品高效互動(dòng)[52]（圖6）。上海交通大學(xué)數(shù)字景觀實(shí)驗(yàn)室研發(fā)的《AI機(jī)械花》交互景觀是基于AI技術(shù)構(gòu)建的一種實(shí)時(shí)響應(yīng)的反饋式景觀。自然界中影響花開合的主要因素是光照，而機(jī)械花則是通過(guò)人的行為控制機(jī)械花的開合，它通過(guò)距離傳感器和攝像頭捕捉人的距離和肢體動(dòng)作，結(jié)合人物檢測(cè)、動(dòng)作捕捉等算法，設(shè)置4種人機(jī)交互模式來(lái)控制機(jī)械花葉片的開合幅度和方向變化，實(shí)現(xiàn)模擬自然植物的智能機(jī)器對(duì)人的行為的動(dòng)態(tài)反饋，增強(qiáng)人的景觀感知。同時(shí)，機(jī)械花與環(huán)境中的自然花境形成景觀模糊和體驗(yàn)反差，重構(gòu)“人—智能機(jī)器—自然”之間的互動(dòng)關(guān)系，激發(fā)人們對(duì)自然的思考（圖7）。

圖6 GeoForAll實(shí)驗(yàn)室的觸控景觀實(shí)驗(yàn)[52]Touch-control landscape experiment in GeoForAll Lab[52]

圖7 《AI機(jī)械花》3D打印模型（7-1）和人機(jī)交互場(chǎng)景（7-2）3D printed model (7-1) and human-computer interaction scenario (7-2) of AI Mechanical Flower

3.4 感知效果：情感計(jì)算觸發(fā)情感反饋

以動(dòng)態(tài)、科學(xué)的情感計(jì)算觸發(fā)用戶的情感反饋，是人機(jī)交互技術(shù)提升景觀感知的重要手段。情感計(jì)算是指利用機(jī)器對(duì)人類情感進(jìn)行感知、識(shí)別和理解，并能針對(duì)人的情感做出智能化反應(yīng)，建立人和智能機(jī)器的情感交流，甚至影響人的情緒。人機(jī)情感交互是對(duì)人類情感的信息處理過(guò)程的模擬，重點(diǎn)是形成人和智能機(jī)器的雙向情感交流，即情感從人流向智能機(jī)器，再?gòu)闹悄軝C(jī)器回流向人，實(shí)現(xiàn)人機(jī)“共情”或情感“交流”。這種雙向性建立在情感交互的2個(gè)核心環(huán)節(jié)上，即情感識(shí)別和情感表達(dá)。

情感識(shí)別主要基于生理信號(hào)、面部表情、文字信息、肢體動(dòng)作和語(yǔ)音符號(hào)等途徑[53]。目前的識(shí)別方式通常以單模態(tài)為主，如利用面部表情圖像識(shí)別人的高興、害怕、生氣、厭惡、悲傷、吃驚這6種情感狀態(tài)[54]，而相關(guān)研究發(fā)現(xiàn)多模態(tài)比單模態(tài)能夠提供更多的信息，更容易對(duì)情緒進(jìn)行準(zhǔn)確判斷，但現(xiàn)階段多模態(tài)一般是基于面部表情、肢體動(dòng)作、語(yǔ)音符號(hào)其中2種結(jié)合的雙模態(tài)，暫時(shí)無(wú)法實(shí)現(xiàn)實(shí)質(zhì)上的多模態(tài)，而且生理信號(hào)也很少能與以上幾種模態(tài)相結(jié)合[55]。對(duì)情緒的特征提取和分類主要通過(guò)機(jī)器學(xué)習(xí)算法和情緒判斷模型，從而實(shí)現(xiàn)對(duì)人的情感判斷，相比于早期使用支持向量機(jī)（support vector machine,SVM）進(jìn)行分類，隨著數(shù)據(jù)量增大，以循環(huán)神 經(jīng) 網(wǎng) 絡(luò)（recurrent neural network, RNN）、CNN、對(duì) 抗 神 經(jīng) 網(wǎng) 絡(luò)（adversarial neural network, ANN）等為代表的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)顯示出更精準(zhǔn)的推測(cè)潛力[56]，可以更準(zhǔn)確地理解人的情緒。如Smile就是一種通過(guò)單模態(tài)進(jìn)行面部表情識(shí)別的情緒交互景觀，它由識(shí)別微笑的交互站和燈管制成的笑臉組成，當(dāng)交互站感應(yīng)并識(shí)別到人的微笑表情時(shí)，固定在墻上的笑臉裝置就會(huì)自動(dòng)亮起，形成對(duì)人情感的直接反饋[57]（圖8）。

圖8 Smile情緒交互景觀的燈光裝置（8-1）和人機(jī)交互場(chǎng)景（8-2）[57]Light installation (8-1) and human-computer interaction scenario (8-2) of Smile emotion interaction landscape[57]

情感計(jì)算的最終目的是情感表達(dá)，即在情感感知的基礎(chǔ)上，做出智能化反應(yīng)。由于機(jī)器學(xué)習(xí)在情感計(jì)算方面的應(yīng)用主要集中在情感分類，很少應(yīng)用于智能機(jī)器的情感表現(xiàn)?，F(xiàn)有智能機(jī)器的情感表現(xiàn)力針對(duì)性不強(qiáng)，不能在與人的交互過(guò)程中對(duì)情感表達(dá)進(jìn)行自動(dòng)調(diào)節(jié)，因此在景觀場(chǎng)景中較難與人形成情感交流，導(dǎo)致大部分案例還停留在實(shí)驗(yàn)室研究層面，能夠應(yīng)用于實(shí)踐中的相對(duì)較少。Media實(shí)驗(yàn)室的研究團(tuán)隊(duì)將VR技術(shù)與情感識(shí)別結(jié)合，營(yíng)造了具有療愈效果的情感交互場(chǎng)景[58]。其中，研究者運(yùn)用腦電儀監(jiān)測(cè)用戶大腦活動(dòng)，并使用醫(yī)療腕帶監(jiān)測(cè)他們的心率與皮電活動(dòng)，這些數(shù)據(jù)將被實(shí)時(shí)轉(zhuǎn)化成模擬深海生物與靜謐氛圍的VR畫面，用戶通過(guò)佩戴VR眼鏡，將沉浸在這一平靜的場(chǎng)景中直面自己身體的內(nèi)部活動(dòng)，而與用戶相關(guān)聯(lián)的虛擬場(chǎng)景，又反過(guò)來(lái)療愈用戶的情緒（圖9）。同樣是基于對(duì)用戶情感與健康的關(guān)注，華盛頓大學(xué)的研究者們運(yùn)用腦電儀識(shí)別癱瘓病人的情緒與意圖，再通過(guò)計(jì)算機(jī)與電子發(fā)聲器將這些情緒與意圖轉(zhuǎn)換為動(dòng)態(tài)變化的音樂(lè)。這一人機(jī)交互過(guò)程使癱瘓病人能夠自由地將思緒轉(zhuǎn)換為具體音符，無(wú)須雙手也可以演奏音樂(lè)，病人的創(chuàng)作意圖得以實(shí)現(xiàn)，心情也得到療愈[59]。

圖9 Media實(shí)驗(yàn)室的海洋療愈情感交互實(shí)驗(yàn)[58]Ocean healing emotion interaction experiment in Media Lab[58]

4 結(jié)論與展望

人機(jī)交互不斷革新人們和環(huán)境之間的交互方式，它將對(duì)人的行為和環(huán)境進(jìn)行更全面的描述和反饋，讓人們以前所未有的方式感知景觀。未來(lái)在新信息技術(shù)、新交互方式、新智能反饋、新情感觸發(fā)的背景下，人機(jī)交互可為景觀感知?jiǎng)?chuàng)造更多的可能性。

1）新信息技術(shù)?；厮菰?G技術(shù)成熟和普及短短5年內(nèi)帶來(lái)的生活變革，它使移動(dòng)互聯(lián)網(wǎng)、電子支付、短視頻、網(wǎng)絡(luò)直播成為可能，4G和它催生的服務(wù)深刻改變了人們的認(rèn)知和生活方式。隨著5G甚至6G等新信息技術(shù)的普及，信息的傳遞速度將是4G技術(shù)的10倍以上，機(jī)器與機(jī)器之間有望實(shí)現(xiàn)真正的“萬(wàn)物互聯(lián)”，數(shù)據(jù)流和信息流將進(jìn)一步擴(kuò)大人的信息感知維度，甚至有機(jī)會(huì)引發(fā)更多顛覆性的體驗(yàn)變革。但是當(dāng)下也面臨著諸多挑戰(zhàn)，首先是物聯(lián)網(wǎng)的覆蓋范圍仍然有限，制約著信息獲得的廣度，因此，其覆蓋的范圍和類型需要進(jìn)一步擴(kuò)大；其次是傳感設(shè)備的靈敏度、準(zhǔn)確性和穩(wěn)定性，制約著信息獲取的深度，部分傳感設(shè)備存在長(zhǎng)期使用后靈敏度降低、信號(hào)容易被外界環(huán)境屏蔽或干擾等問(wèn)題，同時(shí)傳感設(shè)備的功能集成化和微型化也亟待提升。

2）新交互方式。人機(jī)交互的方式正逐漸打破傳統(tǒng)的桌面計(jì)算模式，呈現(xiàn)出多元化、創(chuàng)新化的特征?？v觀整個(gè)科技發(fā)展史，變革基本是由交互體驗(yàn)革新引發(fā)的，鼠標(biāo)和鍵盤標(biāo)志著個(gè)人電腦（personal computer, PC）時(shí)代的開端，觸摸技術(shù)標(biāo)志著移動(dòng)互聯(lián)網(wǎng)時(shí)代的開端，而在AI時(shí)代，隨著AI技術(shù)和深度學(xué)習(xí)算法的不斷進(jìn)步，人機(jī)交互將變得更加自然和方便[60]。單通道交互方面，相關(guān)技術(shù)的研究已經(jīng)有所突破，但仍存在諸多需要攻克的難點(diǎn)。例如，空中手勢(shì)交互的種類和自由度從二維靜態(tài)、近距離手勢(shì)擴(kuò)展到三維動(dòng)態(tài)、遠(yuǎn)距離手勢(shì)，并進(jìn)入實(shí)際應(yīng)用階段，如谷歌眼鏡“Google Project Glass”、微軟全息眼鏡“Microsoft Hololens”、AR頭 戴 設(shè) 備“Magic Leap One”，都可以實(shí)現(xiàn)手勢(shì)“隔空”操作，但識(shí)別的準(zhǔn)確性和范圍還有待提高。多通道交互方面，由于人機(jī)交互表達(dá)的豐富性和模糊性難以準(zhǔn)確映射為傳統(tǒng)人機(jī)交互的界面操作，導(dǎo)致人機(jī)交互系統(tǒng)在多通道融合框架下難以準(zhǔn)確理解用戶意圖，而且多通道的融合方法及交互系統(tǒng)依舊依賴于經(jīng)驗(yàn)設(shè)計(jì)，缺乏“自我增長(zhǎng)”的能力，同時(shí)系統(tǒng)的模型遷移能力在支持個(gè)性化用戶行為的理解方面也需要提高[61]。因此，構(gòu)建具有智能增長(zhǎng)能力的多通道信息融合和理解模型、訓(xùn)練計(jì)算機(jī)的類人認(rèn)知與學(xué)習(xí)能力，以及訓(xùn)練系統(tǒng)的多通道選擇與管控能力，將是多通道信息融合需要重點(diǎn)突破的方向。

3）新智能反饋。以人為起點(diǎn)的人機(jī)交互方式，未來(lái)可能會(huì)轉(zhuǎn)變?yōu)橐灾悄軝C(jī)器為起點(diǎn)的“主動(dòng)交互”，機(jī)器通過(guò)城市計(jì)算、社會(huì)計(jì)算、情感計(jì)算等方式，對(duì)人的行為數(shù)據(jù)和生理數(shù)據(jù)進(jìn)行挖掘和分析，計(jì)算出人的需求并主動(dòng)輸出執(zhí)行結(jié)果，做出個(gè)性化的智能反饋。同時(shí)，人在景觀中的交互將不僅限于被動(dòng)體驗(yàn)，通過(guò)物聯(lián)網(wǎng)、傳感設(shè)備可以把更多的數(shù)據(jù)信息采集映射到數(shù)字世界中，再通過(guò)數(shù)字世界反向控制和優(yōu)化物理世界中的場(chǎng)景，從而對(duì)環(huán)境形成有效反饋和改變。當(dāng)然，只有在“持續(xù)學(xué)習(xí)”策略的支持下，才能促使人和智能機(jī)器在環(huán)境中的共同進(jìn)化，但現(xiàn)階段大多數(shù)AI算法其實(shí)是“離線”的，即上傳至網(wǎng)絡(luò)物理系統(tǒng)中的模型是一個(gè)已經(jīng)調(diào)試過(guò)的模型（如深度學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)）[62]，所以智能機(jī)器缺乏實(shí)質(zhì)上的“持續(xù)學(xué)習(xí)”能力。因此，此方面的研究還需要繼續(xù)深入，才有可能實(shí)現(xiàn)真正的智能反饋。

4）新情感觸發(fā)。未來(lái)隨著情感計(jì)算相關(guān)技術(shù)的提升，將賦予智能機(jī)器在視、聽等方面更強(qiáng)的情感識(shí)別能力，同時(shí)智能機(jī)器對(duì)人的思維理解、情境理解能力將更加完善，情感交互能力也將更加智能。但是，情感是人類最復(fù)雜的、最不可預(yù)測(cè)的表達(dá)形式，情感計(jì)算仍存在諸多技術(shù)難題有待解決，比如情感分析往往主要集中在單／雙模態(tài)以及離散的基本情感類別等方面，缺乏更多模態(tài)及連續(xù)動(dòng)態(tài)情感分析的系統(tǒng)研究。所以為了實(shí)現(xiàn)精準(zhǔn)而科學(xué)的情感識(shí)別與交互，需要新技術(shù)、新設(shè)備的支撐，而這個(gè)過(guò)程將和傳感技術(shù)、機(jī)器學(xué)習(xí)、可視化等的未來(lái)發(fā)展同步。

圖片來(lái)源(Sources of Figures)：

圖1由作者根據(jù)參考文獻(xiàn)[23]改繪；圖2由作者繪制；圖3引自參考文獻(xiàn)[35]；圖4由北京甲板智慧科技有限公司提供；圖5引自參考文獻(xiàn)[47]；圖6引自參考文獻(xiàn)[52]；圖7由作者拍攝；圖8引自參考文獻(xiàn)[57]；圖9引自參考文獻(xiàn)[58]。