沉浸式所觸即所得網(wǎng)絡(luò)可視分析方法

王 松，劉 亮，蔡 婷，趙韋鑫，吳亞東

沉浸式所觸即所得網(wǎng)絡(luò)可視分析方法

王 松1，劉 亮1，蔡 婷1，趙韋鑫1，吳亞東2

(1. 西南科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽 621000；2. 四川輕化工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，四川 自貢 643000)

沉浸式網(wǎng)絡(luò)可視化在空間沉浸、用戶參與、多維感知等方面具有天然的優(yōu)勢(shì)。受用戶與日常物體交互方式所啟發(fā)，基于所觸即所得(WYTIWYG)的理念提出一種沉浸式網(wǎng)絡(luò)可視分析方法來挖掘網(wǎng)絡(luò)特征和關(guān)聯(lián)模式。首先提出手勢(shì)舒適度評(píng)估模型來指導(dǎo)手勢(shì)動(dòng)作設(shè)計(jì)，并引入窗口狀態(tài)模型來優(yōu)化手勢(shì)識(shí)別穩(wěn)定性。此外，將網(wǎng)絡(luò)分析交互需求與手勢(shì)動(dòng)作語義綁定，定義沉浸式網(wǎng)絡(luò)手勢(shì)交互范式。與真實(shí)世界中抓取交互類似，用戶可利用自然交互手勢(shì)在沉浸式環(huán)境下執(zhí)行移動(dòng)、高亮、布局維度變換、邊綁定等操作。最后，案例研究驗(yàn)證了方法的有效性。

沉浸式網(wǎng)絡(luò)；WYTIWYG；手勢(shì)舒適度模型；交互范式；網(wǎng)絡(luò)布局

在虛實(shí)融合不斷深入的趨勢(shì)下，以虛擬現(xiàn)實(shí)、數(shù)字孿生、區(qū)塊鏈等技術(shù)為基礎(chǔ)的元宇宙爆發(fā)出超乎想象的生機(jī)與活力。在元宇宙的熱潮下，美國著名互聯(lián)網(wǎng)社交巨頭Facebook正式宣布改名為“Meta”，旨在打造一個(gè)能無縫穿越、虛實(shí)融合的新一代主流社群平臺(tái)。沉浸式分析(immersive analytics，IA)作為一個(gè)新興的研究領(lǐng)域，即使用沉浸式技術(shù)創(chuàng)造更吸引人的沉浸式體驗(yàn)和無縫工作流來支持?jǐn)?shù)據(jù)理解和決策制定[1]。近年來，除了洞穴式虛擬環(huán)境(cave automatic virtual environment，CAVE)[2]環(huán)境和大型壁掛式顯示器[3]等昂貴的設(shè)備外，各種消費(fèi)級(jí)頭戴式虛擬現(xiàn)實(shí)(virtual reality，VR)和增強(qiáng)現(xiàn)實(shí)(augmented reality，AR)設(shè)備也涌現(xiàn)出來，這些設(shè)備為沉浸式網(wǎng)絡(luò)可視分析提供了更多潛能。

IA與網(wǎng)絡(luò)結(jié)構(gòu)可視化的結(jié)合，充分體現(xiàn)將網(wǎng)絡(luò)分析由傳統(tǒng)二維屏幕向VR環(huán)境轉(zhuǎn)移的創(chuàng)新性探索。WARE和FRANCK[4]進(jìn)行的用戶研究和KOTLAREK等[5]設(shè)計(jì)的心理映射質(zhì)量評(píng)估均證明在沉浸式環(huán)境下分析網(wǎng)絡(luò)結(jié)構(gòu)有助于感知網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特征。KWON等[6]提出一種以自我為中心的球形布局并進(jìn)一步關(guān)注網(wǎng)絡(luò)可視化在沉浸式VR環(huán)境中的應(yīng)用，提出了沉浸式環(huán)境下網(wǎng)絡(luò)布局、呈現(xiàn)和渲染方面的建議。交互技術(shù)作為IA中的關(guān)鍵技術(shù)，需要支持用戶完成編碼、過濾等基本任務(wù)，同時(shí)又不能打破沉浸感。WANG等[7]提出一種基于所見即所得理念的手勢(shì)交互方法，通過手勢(shì)動(dòng)作直接對(duì)體繪制結(jié)果的顏色、飽和度等光學(xué)屬性進(jìn)行調(diào)整。PIUMSOMBOON等[8]基于用戶對(duì)手勢(shì)的偏好，利用手勢(shì)之間的一致性，創(chuàng)建了AR場(chǎng)景下用戶自定義的手勢(shì)集。HUANG等[9]設(shè)計(jì)了8種針對(duì)圖形可視化的交互手勢(shì)，允許用戶在VR環(huán)境下與圖形可視化進(jìn)行交互。雷金樹等[10]提出基于游標(biāo)模型的非接觸式的自然手勢(shì)交互方法，并定義了4種沉浸式醫(yī)學(xué)可視化中非接觸式手勢(shì)交互操作。盡管沉浸式網(wǎng)絡(luò)分析所需顯示技術(shù)和交互技術(shù)已經(jīng)存在，但如何設(shè)計(jì)合適的視覺表達(dá)和人機(jī)交互方式仍然缺乏基本的理論知識(shí)和技術(shù)支撐。

結(jié)合當(dāng)前人機(jī)交互的基本理論和IA的應(yīng)用要求，優(yōu)秀的沉浸式交互技術(shù)需要維持沉浸式體驗(yàn)、支持直接操作以及最小化交互動(dòng)作負(fù)擔(dān)[11]?；诖耍疚奶岢鲆环N基于所觸即所得(what you touch is what you get，WYTIWYG)理念的沉浸式網(wǎng)絡(luò)可視分析方法來挖掘網(wǎng)絡(luò)特征和關(guān)聯(lián)模式。

1 沉浸式WYTISYG網(wǎng)絡(luò)可視化框架

在沉浸式環(huán)境中，可見場(chǎng)景被安排在用戶的視點(diǎn)周圍?；谏疃染€索、頭部跟蹤、手勢(shì)跟蹤等多感官條件，用戶可利用自然直觀的交互方式進(jìn)行沉浸式網(wǎng)絡(luò)結(jié)構(gòu)可視分析工作。沉浸式WYTISYG網(wǎng)絡(luò)可視化框架如圖1所示，其包含一個(gè)緊密耦合的呈現(xiàn)和交互循環(huán)，允許用戶挖掘網(wǎng)絡(luò)特征和關(guān)聯(lián)模式或只是享受網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)數(shù)據(jù)探索過程。在沉浸式環(huán)境中，利用空間坐標(biāo)變換將網(wǎng)絡(luò)數(shù)據(jù)映射到頭戴式VR設(shè)備(Oculus Rift)構(gòu)建的三維虛擬空間中，利用手勢(shì)識(shí)別傳感器(Leap Motion)捕獲手勢(shì)動(dòng)作，從而在沉浸環(huán)境下探索分析網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

圖1 觸即所得沉浸式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可視分析框架

1.1 沉浸式網(wǎng)絡(luò)交互任務(wù)

AMAR等[12]提出了信息可視化基本視覺分析任務(wù)類型，包括檢索值、過濾、計(jì)算值、找到極值等。依據(jù)基本視覺分析任務(wù)類型，沉浸式網(wǎng)絡(luò)可視化中常見的任務(wù)可分為基于拓?fù)浣Y(jié)構(gòu)、基于屬性、瀏覽任務(wù)和概覽任務(wù)[13]。基于拓?fù)浣Y(jié)構(gòu)的任務(wù)包含鄰接關(guān)系分析、可達(dá)性分析、連通性分析等?；趯傩缘娜蝿?wù)包含節(jié)點(diǎn)和邊屬性分析。瀏覽任務(wù)主要包含路徑跟蹤和回溯分析。概覽是一個(gè)復(fù)合的探索性任務(wù)，全局概覽使得基于拓?fù)涞娜蝿?wù)可以很快完成。

結(jié)合上述4類分析任務(wù)，以SHNEIDERMAN[14]提出的視覺信息搜尋原則“Overview first，zoom and filter，then details-on-demand”為指導(dǎo)，本文將沉浸式網(wǎng)絡(luò)中應(yīng)具備的交互方式分為3種類別，即通用交互、特定交互以及輔助性交互，見表1。

表1 沉浸式網(wǎng)絡(luò)可視分析任務(wù)

1.2 手勢(shì)動(dòng)作定義

1.2.1 手勢(shì)舒適度評(píng)估模型

隨著VR手柄、數(shù)據(jù)手套等手勢(shì)輸入設(shè)備的興起，手勢(shì)交互已成為人機(jī)交互領(lǐng)域的熱點(diǎn)。根據(jù)REMY等[15]提供的評(píng)估指導(dǎo)準(zhǔn)則，結(jié)合當(dāng)前人機(jī)交互領(lǐng)域中運(yùn)動(dòng)軌跡測(cè)量法和心理舒適度測(cè)量法，提出舒適度評(píng)估模型來設(shè)計(jì)交互手勢(shì)。

心理舒適度。主觀等級(jí)評(píng)定法可評(píng)估參與者主觀心理狀態(tài)，以獲得用戶定量或定性的見解。本文在手勢(shì)評(píng)估時(shí)采用5等級(jí)李克特量表來記錄使用者的心理狀態(tài)，圍繞動(dòng)作流暢度、舒適度等主觀因素設(shè)置問卷，最后進(jìn)行標(biāo)準(zhǔn)化處理

1.2.2 WYTIWYG手勢(shì)交互范式

結(jié)合可視化交互原語[16]與1.1節(jié)中總結(jié)的沉浸式網(wǎng)絡(luò)交互任務(wù)，從手勢(shì)庫中選取了單手“捏”、雙手“捏”等手勢(shì)動(dòng)作。單手“捏”：右手拇指和食指捏住節(jié)點(diǎn)或邊并向一定方向移動(dòng)時(shí)，目標(biāo)空間屬性將隨手勢(shì)軌跡變化而變化。雙手“捏”：與單手“捏”類似，左手和右手拇指和食指呈“捏”狀態(tài)且其他手指彎曲，當(dāng)雙手向相同方向移動(dòng)時(shí)，全局目標(biāo)空間屬性將隨手勢(shì)軌跡變化而變化；當(dāng)左右手拇指和食指呈“捏”狀態(tài)且其他手指伸直，當(dāng)雙手向相反方向移動(dòng)時(shí)，全局目標(biāo)尺寸將隨相對(duì)距離而變化。總之，不同的手勢(shì)動(dòng)作均以不同的手勢(shì)特征定義。

此外，不同的手勢(shì)動(dòng)作附帶的語義信息也不同，在沉浸式網(wǎng)絡(luò)交互動(dòng)作設(shè)計(jì)過程中，需要盡可能地將手勢(shì)動(dòng)作語義與網(wǎng)絡(luò)分析交互任務(wù)進(jìn)行綁定。本文基于手勢(shì)舒適度評(píng)估模型，擴(kuò)展沉浸式環(huán)境中針對(duì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的手勢(shì)交互方式。以縮放動(dòng)作為例，對(duì)具有縮放語義的手勢(shì)動(dòng)作進(jìn)行量化評(píng)估，根據(jù)評(píng)估結(jié)果選取圖2(a)手勢(shì)動(dòng)作為沉浸式網(wǎng)絡(luò)縮放手勢(shì)。手勢(shì)動(dòng)作語義與網(wǎng)絡(luò)分析交互任務(wù)進(jìn)行綁定的結(jié)果如圖3所示。

1.2.3 手勢(shì)識(shí)別優(yōu)化

從Leap Motion獲得的輸入為連續(xù)幀序列，交互狀態(tài)會(huì)頻繁地根據(jù)真實(shí)手勢(shì)發(fā)生突變，導(dǎo)致復(fù)雜交互功能不能通過樣本匹配來完成。為提高手勢(shì)識(shí)別準(zhǔn)確性，引入窗口狀態(tài)模型[10]并結(jié)合上下文對(duì)手勢(shì)狀態(tài)進(jìn)行預(yù)判。該模型將交互手勢(shì)序列中相鄰的3個(gè)手勢(shì)保存在窗口中，通過手勢(shì)語義來確定交互階段。當(dāng)手勢(shì)序列更新時(shí)，窗口向后滑動(dòng)更新交互狀態(tài)。如果窗口中的第一個(gè)手勢(shì)是非交互式手勢(shì)，最后2個(gè)相同，則將其標(biāo)記為就緒狀態(tài)；如果窗口內(nèi)2個(gè)交互手勢(shì)相同，則標(biāo)記為執(zhí)行狀態(tài)；如果最后一個(gè)與前2個(gè)不同，則標(biāo)記為結(jié)束狀態(tài)。

圖2 縮放手勢(shì)動(dòng)作量化評(píng)估結(jié)果

((a)=0.933; (b)=0.867; (c)=0.825; (d )=0.625)

圖3 沉浸式網(wǎng)絡(luò)手勢(shì)交互范式((a)通用交互；(b)特定交互；(c)輔助性交互)

1.3 維度空間變換拓?fù)洳季纸换?/h3>

為實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和關(guān)聯(lián)模式的漸進(jìn)式探索，提出維度空間網(wǎng)絡(luò)拓?fù)洳季址椒?，其將一維、二維和三維布局整合到沉浸式環(huán)境?；谏鐓^(qū)的維度空間布局的變換過程如圖4所示，主要包括社團(tuán)劃分、基于力導(dǎo)向算法的超節(jié)點(diǎn)初始布局以及維度空間變換。

其中，Pij為vi和vj的概率模型；m為邊數(shù)量，若vi和vj屬于同一社區(qū)則sisj=1，否則sisj=-1。

1.4 沉浸式三維邊綁定交互

當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜或網(wǎng)絡(luò)規(guī)模較大時(shí)，以直線為主的布局方式容易導(dǎo)致視覺混淆、邊緣遮擋等問題。本文將2D力導(dǎo)向邊綁定(force directed edge bundling，F(xiàn)DEB)[18]擴(kuò)展至3D沉浸式環(huán)境，實(shí)現(xiàn)保留網(wǎng)絡(luò)結(jié)構(gòu)特征的邊綁定。如圖5所示，首先將每條邊分段，2點(diǎn)的力為1，3和2之間的相互作用的合力，因此邊和邊之間存在4種相互作用力，即0和0、1和1、2和2以及3和3。對(duì)于任意邊上的點(diǎn)e，其受到的合力(e)為e與相鄰2個(gè)點(diǎn)e-1和e+1的合力加電荷力的總和，即

其中，ke為作用力參數(shù)；E為除e外所有相互作用邊的集合。此外，在進(jìn)行邊綁定時(shí)，考慮文獻(xiàn)[18]提出的方向、尺寸等兼容性約束條件，如圖6所示。對(duì)于連接P和Q的兼容性計(jì)算為

圖6 邊綁定約束性條件

2 案例分析

為驗(yàn)證本文方法在挖掘網(wǎng)絡(luò)特征和探索關(guān)聯(lián)模式有效性，以任務(wù)驅(qū)動(dòng)為導(dǎo)向，對(duì)社交網(wǎng)絡(luò)、腦科學(xué)網(wǎng)絡(luò)2種典型的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行探索分析。

2.1 社交網(wǎng)絡(luò)分析

探索日常生活中發(fā)生的社交網(wǎng)絡(luò)和關(guān)系模式是一項(xiàng)有趣的工作，如LIU等[19]從網(wǎng)絡(luò)的角度探索同伴關(guān)系對(duì)成績的影響。本文以2013年12月4日法國馬賽某高中學(xué)生間互動(dòng)數(shù)據(jù)為例，結(jié)合MASTRANDREA等[20]的研究，探索其社交模式。

在探索分析的過程中，可通過交互范式進(jìn)行相應(yīng)的交互操作，在沉浸式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)分析中實(shí)現(xiàn)WYTIWYG。如圖7(a)所示，將學(xué)生社交網(wǎng)絡(luò)映射到沉浸式環(huán)境中，通過移動(dòng)(圖3(a5))、縮放(圖3(a6))、旋轉(zhuǎn)(圖3(a7))等交互手勢(shì)動(dòng)作將觀察視點(diǎn)調(diào)整至恰當(dāng)?shù)囊曈X空間范圍，并利用全局邊綁定手勢(shì)(圖3(b5))緩解邊雜亂帶來的視覺干擾。通過在沉浸式環(huán)境下利用自然交互手勢(shì)進(jìn)行全方位多角度地進(jìn)行探索式分析，發(fā)現(xiàn)了學(xué)生之間有趣的幾種社交模式。如圖7(a1)，ID為277的學(xué)生除了與本社區(qū)關(guān)系密切還與其他社區(qū)的學(xué)生進(jìn)行過多次互動(dòng)。圖7(a2)中，ID為434的學(xué)生只與本社區(qū)的一個(gè)學(xué)生有過互動(dòng)。圖7(a3)部分學(xué)生在社交網(wǎng)絡(luò)內(nèi)形成了2人及以上的團(tuán)體。如圖7(a4)所示，ID為450的學(xué)生雖然與本社區(qū)學(xué)生有過互動(dòng)，但與社區(qū)外的學(xué)生互動(dòng)更加頻繁。

圖7 沉浸式社交網(wǎng)絡(luò)探索分析(a1～a4展示了4種不同的社交行為模式)

2.2 腦網(wǎng)絡(luò)分析

人類腦網(wǎng)絡(luò)研究是腦科學(xué)研究的核心，對(duì)于疾病預(yù)測(cè)、基因工程等具有重要意義。結(jié)合YANG等[21]的研究，提出2個(gè)分析任務(wù)：任務(wù)一整體對(duì)比分析正常與阿爾茨海默病 (Alzheimer disease，AD)患者腦網(wǎng)絡(luò)，定位AD患者異常腦區(qū)；任務(wù)二挖掘正常與AD患者腦網(wǎng)絡(luò)腦區(qū)間關(guān)聯(lián)模式。

(1) 為了保留對(duì)腦網(wǎng)絡(luò)結(jié)構(gòu)的感知，暫時(shí)保留原有腦區(qū)拓?fù)洳季?。首先利用移?dòng)(圖3(a5))、縮放(圖3(a6))、旋轉(zhuǎn)(圖3(a7))等通用交互手勢(shì)調(diào)整視覺空間最佳觀察視角，整體對(duì)比正常人和AD患者腦網(wǎng)絡(luò)結(jié)構(gòu)和腦區(qū)之間關(guān)聯(lián)度，并利用全局邊綁定手勢(shì)(圖3(b5))緩解腦區(qū)內(nèi)邊雜亂帶來的視覺干擾。在探索分析的過程中，利用截圖手勢(shì)(圖3(c))保存感興趣的結(jié)果。對(duì)比正常人腦網(wǎng)絡(luò)(圖8(a))和AD患者腦網(wǎng)絡(luò)(圖8(b)的額葉、頂葉和枕葉，根據(jù)腦區(qū)之間的關(guān)聯(lián)度發(fā)現(xiàn)AD患者的額葉關(guān)聯(lián)度較正常人低。AD患者額葉與頂葉腦區(qū)關(guān)聯(lián)度比正常人低，但枕葉與額葉的關(guān)聯(lián)度卻顯著高于常人。

圖8 正常人與AD患者腦網(wǎng)絡(luò)不同角度對(duì)比((a)正常腦網(wǎng)絡(luò)；(b) AD患者腦網(wǎng)絡(luò))

(2) 為進(jìn)一步挖掘正常及AD患者腦網(wǎng)絡(luò)腦區(qū)關(guān)聯(lián)模式的異同，在沉浸式環(huán)境下利用特定交互手勢(shì)動(dòng)作布局變換(圖3(b6)，圖3(b7)，圖3(b8))將網(wǎng)絡(luò)布局分別轉(zhuǎn)換為一維、二維和三維，并通過邊綁定(圖3(b5))減少視覺干擾，實(shí)現(xiàn)在不同維度空間下對(duì)腦網(wǎng)絡(luò)的漸進(jìn)式分析，如圖9所示。從一維布局對(duì)比正常腦網(wǎng)絡(luò)(圖9(a1))和AD患者腦網(wǎng)絡(luò)(圖9(b1))，發(fā)現(xiàn)AD患者腦網(wǎng)絡(luò)相較于正常腦網(wǎng)絡(luò)，其社區(qū)之間的關(guān)聯(lián)度整體偏低。二維布局下的正常腦網(wǎng)絡(luò)(圖9(a2))和AD患者腦網(wǎng)絡(luò)(圖9(b2))，可發(fā)現(xiàn)正常人腦網(wǎng)絡(luò)中C1與C4，C6與C4等社區(qū)之間關(guān)聯(lián)度較高，而AD患者腦網(wǎng)絡(luò)中C1與C4，C1與C6等社區(qū)之間關(guān)聯(lián)度低，但C1與C3，C1與C4社區(qū)之間關(guān)聯(lián)度較正常人偏高。對(duì)比三維布局下的正常腦網(wǎng)絡(luò)(圖9(a3))和AD患者腦網(wǎng)絡(luò)(圖9(b3))，發(fā)現(xiàn)正常腦網(wǎng)絡(luò)C4和C6社區(qū)活躍度較高，C1和C3社區(qū)活躍度較低，而AD患者腦網(wǎng)絡(luò)則相反。

圖9 正常腦網(wǎng)絡(luò)與AD患者腦網(wǎng)絡(luò)多維度對(duì)比((a1，b1)一維結(jié)構(gòu)；(a2，b2)二維結(jié)構(gòu)；(a3，b3)三維結(jié)構(gòu))

3 用戶評(píng)估

為進(jìn)一步驗(yàn)證本文方法的有效性，邀請(qǐng)了18名參與者(男10名，女8名)進(jìn)行用戶研究。參與者的平均年齡為25.34歲，其中7名本科生，10名碩士研究生，1名可視化與人機(jī)交互領(lǐng)域?qū)＜?。每位參與者均熟悉VR的概念，其中12名曾體驗(yàn)過VR設(shè)備或VR應(yīng)用。此外，每個(gè)參與者熟悉復(fù)雜網(wǎng)絡(luò)的基礎(chǔ)理論，其中11人對(duì)圖形學(xué)有一定的研究基礎(chǔ)。

3.1 評(píng)估任務(wù)

ARCHAMBAULT和PURCHASE[22]將網(wǎng)絡(luò)分析任務(wù)分為3種類型：感知型、記憶型和改變型。為更有效評(píng)估本文方法，基于這3種類型任務(wù)，設(shè)計(jì)了5個(gè)實(shí)驗(yàn)任務(wù)：

(1)識(shí)別指定節(jié)點(diǎn)的度。在網(wǎng)絡(luò)結(jié)構(gòu)中給定一個(gè)度real≥10的節(jié)點(diǎn)，高亮與該節(jié)點(diǎn)相連的邊。參與者需要通過手勢(shì)操作回答該節(jié)點(diǎn)度。

(2)識(shí)別指定2個(gè)節(jié)點(diǎn)之間的路徑。給定有 2個(gè)預(yù)先高亮節(jié)點(diǎn)的網(wǎng)絡(luò)結(jié)構(gòu)，||≥5為節(jié)點(diǎn)間最短路徑長度。參與者需利用手勢(shì)交互在2個(gè)節(jié)點(diǎn)之間尋找一條路徑，路徑長度為||。

(3)識(shí)別指定社區(qū)之間邊數(shù)。給定一個(gè)網(wǎng)絡(luò)并用不同的顏色編碼社區(qū)，參與者需要通過手勢(shì)交互回答指定2個(gè)社團(tuán)的之間邊數(shù)。

(4)識(shí)別網(wǎng)絡(luò)子圖結(jié)構(gòu)。在整個(gè)網(wǎng)絡(luò)中指定子圖結(jié)構(gòu)，參與者有20 s時(shí)間來記憶該子圖結(jié)構(gòu)。之后改變網(wǎng)絡(luò)的方向和尺寸等屬性，參與者需要在40 s時(shí)間內(nèi)找到指定子圖結(jié)構(gòu)。

(5)識(shí)別之前高亮的點(diǎn)。參與者需要用30 s時(shí)間記憶網(wǎng)絡(luò)中預(yù)先高亮的||個(gè)節(jié)點(diǎn)。10 s后將網(wǎng)絡(luò)復(fù)現(xiàn)，但取消之前高亮的節(jié)點(diǎn)，并找出之前被高亮的節(jié)點(diǎn)集合。

3.2 評(píng)估流程

3.3 結(jié)果分析

每項(xiàng)任務(wù)的平均完成時(shí)間和準(zhǔn)確率如圖10所示，Normal為鼠標(biāo)交互，O-Touch為沉浸式Oculus Touch手柄交互，Hand為本文沉浸式手勢(shì)交互。任務(wù)T1，非沉浸式鼠標(biāo)交互用時(shí)最短，3種方式在小規(guī)模網(wǎng)絡(luò)下完成準(zhǔn)確率上無明顯區(qū)別，但隨著網(wǎng)絡(luò)規(guī)模的增大，鼠標(biāo)交互的正確率明顯低于沉浸式交互，而在沉浸式手勢(shì)交互又比手柄交互略占優(yōu)勢(shì)。任務(wù)T2，鼠標(biāo)交互依然最快完成， 3種方式在小規(guī)模網(wǎng)絡(luò)下完成準(zhǔn)確率上無明顯區(qū)別，但在較大規(guī)模網(wǎng)絡(luò)中，鼠標(biāo)交互的正確率卻大打折扣，而沉浸式條件下交互方式表現(xiàn)良好。任務(wù)T3，在小規(guī)模網(wǎng)絡(luò)下3種交互方式的正確率并無明顯差異，但在大規(guī)模網(wǎng)絡(luò)中，手勢(shì)交互更占優(yōu)勢(shì)。任務(wù)T4，鼠標(biāo)交互更快，但正確率相對(duì)較低，而在沉浸式交互中，手勢(shì)略占優(yōu)勢(shì)。任務(wù)T5，鼠標(biāo)交互最快，且在2種規(guī)模網(wǎng)絡(luò)下的正確率均高于沉浸式交互，沉浸式交互方式稍顯不足。

綜上可知，參與者完成任務(wù)時(shí)間與網(wǎng)絡(luò)規(guī)模、任務(wù)難度有關(guān)，而對(duì)于完成任務(wù)的正確率則根據(jù)任務(wù)類型存在一定區(qū)別。小規(guī)模網(wǎng)絡(luò)結(jié)構(gòu)簡單，參與者能夠很快得到答案。而在較大規(guī)模網(wǎng)絡(luò)中，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，參與者需要進(jìn)行額外的交互才能完成。根據(jù)評(píng)估結(jié)果，本文提出的方法在沉浸式環(huán)境中對(duì)于結(jié)構(gòu)感知類任務(wù)更有優(yōu)勢(shì)。

圖10 手柄、手勢(shì)以及非沉浸式鼠標(biāo)交互實(shí)驗(yàn)結(jié)果對(duì)比((a)小規(guī)模網(wǎng)絡(luò)；(b)大規(guī)模網(wǎng)絡(luò))

4 總結(jié)與展望

針對(duì)傳統(tǒng)的網(wǎng)絡(luò)布局方式和單通道人機(jī)交互方式難以滿足沉浸式網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)分析的需求，本文基于WYTIWYG的理念提出了一種沉浸式網(wǎng)絡(luò)可視分析方法來挖掘網(wǎng)絡(luò)特征和關(guān)聯(lián)模式。用戶可以通過自然直觀的交互手勢(shì)執(zhí)行移動(dòng)、高亮等通用交互操作和網(wǎng)絡(luò)布局維度空間變換、邊綁定等特定交互操作。基于Oculus Rift和Leap Motion搭建測(cè)試平臺(tái)，通過在不同類型的網(wǎng)絡(luò)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，證明了本文方法對(duì)提高網(wǎng)絡(luò)結(jié)構(gòu)感知能力和多維分析能力的意義。

對(duì)于未來的工作，將從以下幾個(gè)方向改進(jìn)。①進(jìn)一步擴(kuò)展交互范式，基于所觸即所得的理念實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)進(jìn)行過濾或篩選；②實(shí)現(xiàn)復(fù)雜多元網(wǎng)絡(luò)的沉浸式可視化，并提供針對(duì)多元網(wǎng)絡(luò)的交互范式；③針對(duì)與大規(guī)模網(wǎng)絡(luò)進(jìn)行交互導(dǎo)致的手疲勞問題，擬通過CNN對(duì)關(guān)節(jié)特征進(jìn)行分類，根據(jù)手勢(shì)特征推測(cè)用戶意圖，以緩解手疲勞。

[1] FONNET A, PRIE Y. Survey of immersive analytics[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(3): 2101-2122.

[2] CRUZ-NEIRA C, SANDIN D J, DEFANTI T A, et al. The CAVE: audio visual experience automatic virtual environment[J]. Communications of the ACM, 1992, 35(6): 64-72.

[3] ISENBERG P, DRAGICEVIC P, WILLETT W, et al. Hybrid-image visualization for large viewing environments[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(12): 2346-2355.

[4] WARE C, FRANCK G. Evaluating stereo and motion cues for visualizing information nets in three dimensions[J]. ACM Transactions on Graphics, 1996, 15(2): 121-140.

[5] KOTLAREK J, KWON O H, MA K L, et al. A study of mental maps in immersive network visualization[C]//2020 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2020: 1-10.

[6] KWON O H, MUELDER C, LEE K, et al. A study of layout, rendering, and interaction methods for immersive graph visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2016, 22(7): 1802-1815.

[7] WANG S, ZHU D, YU H, et al. Immersive WYSIWYG (what You see is what You get) volume visualization[C]//2020 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2020: 166-170.

[8] PIUMSOMBOON T, CLARK A, BILLINGHURST M, et al. User-defined gestures for augmented reality[C]//2013 CHI Extended Abstracts on Human Factors Computer Systems, New York: ACM Press, 2013: 955-960.

[9] HUANG Y J, FUJIWARA T, LIN Y X, et al. A gesture system for graph visualization in virtual reality environments[C]//2017 IEEE Pacific Visualization Symposium. New York: IEEE Press, 2017: 41-45.

[10] 雷金樹, 王松, 朱東, 等. 基于游標(biāo)模型的沉浸式醫(yī)學(xué)可視化非接觸式手勢(shì)交互方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2019, 31(2): 208-217.

LEI J S, WANG S, ZHU D, et al. Title non-contact gesture interaction method based on cursor model in immersive medical visualization[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(2): 208-217 (in Chinese).

[11] ELMQVIST N, MOERE A V, JETTER H C, et al. Fluid interaction for information visualization[J]. Information Visualization, 2011, 10(4): 327-340.

[12] AMAR R, EAGAN J, STASKO J. Low-level components of analytic activity in information visualization[C]//2015 IEEE Symposium on Information Visualization, New York: IEEE Press, 2005: 111-117.

[13] LEE B, PLAISANT C, PARR C, et al. Task taxonomy for graph visualization[C]//2006 AVI Workshop on Beyond Time and Errors: Novel Evaluation Methods for Information Visualization. New York: ACM Press, 2006:1-5.

[14] SHNEIDERMAN B. The eyes have it: a task by data type taxonomy for information visualizations[C]//1996 IEEE Symposium on Visual Languages. New York: IEEE Press, 1996: 336-343.

[15] REMY C, BATES O, MANKOFF J, et al. Evaluating HCI research beyond usability[C]//Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-4.

[16] ROTH R E. An empirically-derived taxonomy of interaction primitives for interactive cartography and geovisualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(12): 2356-2365.

[17] NEWMAN M E J. Finding community structure in networks using the eigenvectors of matrices[J]. Physical Review E, 2006, 74(3): 036104.

[18] HOLTEN D, VAN WIJK J J. Force-directed edge bundling for graph visualization[J]. Computer Graphics Forum, 2009, 28(3): 983-990.

[19] LIU L, WANG S, CAI T, et al. Visual analytics methods for interactively exploring the campus lifestyle[C]//2021 IEEE 14th Pacific Visualization Symposium. New York: IEEE Press, 2021: 181-185.

[20] MASTRANDREA R, FOURNET J, BARRAT A. Contact patterns in a high school: a comparison between data collected using wearable sensors, contact diaries and friendship surveys[J]. PLoS One, 2015, 10(9): e0136497.

[21] YANG X S, SHI L, DAIANU M, et al. Blockwise human brain network visual comparison using NodeTrix representation[J]. IEEE Transactions on Visualization and Computer Graphics, 2017, 23(1): 181-190.

[22] ARCHAMBAULT D, PURCHASE H C. The “Map” in the mental map: experimental results in dynamic graph drawing[J]. International Journal of Human-Computer Studies, 2013, 71(11): 1044-1055.

Immersive WYTIWYG network visual analytics method

WANG Song1, LIU Liang1, CAI Ting1, ZHAO Wei-xin1, WU Ya-dong2

(1. School of Computer Technology and Science, Southwest University of Science and Technology, Mianyang Sichuan 621000, China; 2. School of Computer Science and Engineering, Sichuan University of Science and Engineering, Zigong Sichuan 643000, China)

Immersive network visualization possesses natural advantages in terms of spatial immersion, user engagement, and multi-dimensional perception. Inspired by users’ interaction with real-world objects, this paper proposed an immersive network visual analytics method to excavate network characteristics and association patterns based on the concept of What You Touch is What You Get (WYTIWYG). Firstly, a gesture comfort evaluation model was proposed to guide the design of gesture action, and a window state model was introduced to optimize the stability of gesture recognition. In addition, based on the binding of network analysis interaction requirements with gesture semantics, an immersive network gesture interaction paradigm was proposed. Similar to how interactions are grasped in the real world, users can employ natural interactive gestures to perform operations such as moving, highlighting, layout dimension transformation, and edge bundling in an immersive environment. Finally, case studies can verify the effectiveness of the proposed method.

immersive graph; WYTIWYG; gesture comfort model; interaction paradigm; network layout

TP 391

10.11996/JG.j.2095-302X.2022030496

A

2095-302X(2022)03-0496-08

2021-11-29；

2021-12-30

29 November，2021；

30 December，2021

國家自然科學(xué)基金項(xiàng)目(61802320，61872304)；西南科技大學(xué)博士基金項(xiàng)目(19zx7144)；西南科技大學(xué)素質(zhì)類教改(青年發(fā)展研究)專項(xiàng)資助項(xiàng)目(20szjg17)

National Natural Science Foundation of China (61802320, 61872304);Ph.D Research Startup Foundation of Southwest University of Science and Technology (19zx7144); The Special fund project of Quality Education Reform (Youth Development Research) of Southwest University of Science and Technology (20szjg17)

王 松(1989-)，男，講師，博士。主要研究方向?yàn)閿?shù)據(jù)分析與智能交互，包括可視化與可視分析、交通數(shù)據(jù)分析、虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)等。E-mail：wangsong@swust.edu.cn

WANG Song (1989-), lecture, Ph.D. His main research interests cover data analytics and intelligent interaction, including visualization and visual analytics, transportation data analytics, virtual reality, mixed reality, etc. E-mail：wangsong@swust.edu.cn