面向沉浸式流場(chǎng)可視化的多視圖數(shù)據(jù)管理方法

洪韜濮，楊 超，吳亞東，張曉蓉，王 昉，王賦攀

1.西南科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，四川 綿陽 621000

2.中國空氣動(dòng)力研究與發(fā)展中心 計(jì)算空氣動(dòng)力研究所，四川 綿陽 621000

3.四川輕化工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，四川 自貢 643002

4.空氣動(dòng)力學(xué)國家重點(diǎn)實(shí)驗(yàn)室，四川 綿陽 621000

流場(chǎng)可視化指利用計(jì)算機(jī)圖形學(xué)技術(shù)將數(shù)值模擬產(chǎn)生的流場(chǎng)數(shù)據(jù)進(jìn)行繪制、渲染，進(jìn)而轉(zhuǎn)為直觀的圖形圖像的過程，它可以幫助研究人員直觀、形象、高效地理解和分析流場(chǎng)的物理規(guī)律和特征[1]。通過可視化方法可以提高流場(chǎng)的視覺空間表現(xiàn)力，三維流場(chǎng)中常見的可視化方法包括流線[2]、紋理[3]、體繪制[4]等。沉浸式技術(shù)的三維顯示及交互技術(shù)與三維科學(xué)可視化環(huán)境特性高度契合[5]，目前已經(jīng)在醫(yī)療、工業(yè)、考古、地理、氣象等多個(gè)領(lǐng)域得到了廣泛應(yīng)用[6]。近年來隨著沉浸式技術(shù)的快速發(fā)展，為三維流場(chǎng)可視化技術(shù)帶來了新的可能性。

在流場(chǎng)數(shù)值模擬的過程中，由于對(duì)流場(chǎng)空間的不同網(wǎng)格劃分以及超算集群的分塊并行計(jì)算，流場(chǎng)數(shù)據(jù)通常以分塊的形式呈現(xiàn)給流場(chǎng)研究人員。對(duì)流場(chǎng)數(shù)據(jù)進(jìn)行分塊能簡化復(fù)雜的流場(chǎng)結(jié)構(gòu)，提供高質(zhì)量的網(wǎng)格[7]，利于進(jìn)行任務(wù)劃分、并行計(jì)算等操作。而流場(chǎng)可視化分析中使用的計(jì)算機(jī)圖形學(xué)技術(shù)必須應(yīng)用到對(duì)應(yīng)的數(shù)據(jù)塊之上。因此，對(duì)流場(chǎng)數(shù)據(jù)塊的組織和管理成為流場(chǎng)可視化分析的首要任務(wù)。

當(dāng)前沉浸式環(huán)境下針對(duì)多塊流場(chǎng)數(shù)據(jù)精確組織和管理的方法較少?，F(xiàn)有的桌面流場(chǎng)可視化軟件，如Tecplot[8]、Ensight[9]等，主要使用二維樹狀列表映射的方式，通過數(shù)據(jù)塊名映射到對(duì)應(yīng)數(shù)據(jù)塊，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)塊的組織和管理。然而，目前業(yè)界未形成統(tǒng)一的數(shù)據(jù)塊命名規(guī)范，使得數(shù)據(jù)塊精確管理效率較低，特別是在面對(duì)數(shù)百數(shù)千個(gè)數(shù)據(jù)塊時(shí)大大增加了用戶組織和管理數(shù)據(jù)塊的時(shí)間。另外，二維樹狀列表映射方式在沉浸式環(huán)境下還存在操作復(fù)雜、交互效率低、不直觀、影響沉浸式體驗(yàn)等問題，導(dǎo)致難以應(yīng)用到沉浸式環(huán)境中。沉浸式三維環(huán)境下需要更加直觀、高效、自然的多塊流場(chǎng)數(shù)據(jù)組織和管理方案。

針對(duì)沉浸式三維環(huán)境下多塊流場(chǎng)數(shù)據(jù)的組織和管理需求，提出了一種基于多視圖交互的數(shù)據(jù)塊組織和管理方法。該方法通過主視圖的可視化數(shù)據(jù)與小視圖可視化概覽數(shù)據(jù)結(jié)合交互，協(xié)同高效地完成流場(chǎng)可視化的多塊數(shù)據(jù)組織和管理任務(wù)。

1 相關(guān)工作

自20 世紀(jì)90 年代以來，沉浸式虛擬現(xiàn)實(shí)技術(shù)被廣泛應(yīng)用到科學(xué)可視化的研究中，并取得了顯著的成效[10]。Van Dam 等[11]指出沉浸式環(huán)境下更容易理解和探索復(fù)雜結(jié)構(gòu)，并能顯示更多有意義的信息，促進(jìn)更自然的交互。Donalek等[12]研究了在虛擬現(xiàn)實(shí)環(huán)境下的可視化技術(shù)，其結(jié)果表明，沉浸式環(huán)境可以明顯地提高感知幾何形狀的效率，使參與者能更直觀地理解數(shù)據(jù)，增強(qiáng)對(duì)數(shù)據(jù)關(guān)系的記憶。Drouhard 等[13]指出沉浸式技術(shù)能提供直觀的交互和高效的導(dǎo)航，并有助于進(jìn)行復(fù)雜數(shù)據(jù)集的協(xié)作研究。流場(chǎng)可視化是科學(xué)可視化的重要分支之一[1]，科學(xué)家很早就開始研究如何將其與沉浸式技術(shù)相結(jié)合。1991年，Bryson等[14]將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到CFD（computational fluid dynamics）領(lǐng)域，構(gòu)建了“虛擬風(fēng)洞（virtual wind tunnel，VWT）”，進(jìn)行流場(chǎng)特征分析。經(jīng)過20 多年發(fā)展VWT 已經(jīng)能夠進(jìn)行幾乎實(shí)時(shí)的虛擬風(fēng)洞實(shí)驗(yàn)[15]。Wasfy 等人[16]利用沉浸式Cave 環(huán)境呈現(xiàn)CFD數(shù)據(jù)可視化結(jié)果，并支持通過菜單界面完成參數(shù)調(diào)節(jié)。Chen 等人[17]構(gòu)建了支持多通道交互的沉浸式流場(chǎng)可視化系統(tǒng)。

目前針對(duì)流場(chǎng)數(shù)據(jù)塊組織和管理形式的相關(guān)研究主要集中于一些商用的桌面端軟件。該類軟件通常采用樹狀列表的呈現(xiàn)形式，即以數(shù)據(jù)塊名為索引構(gòu)建映射表呈現(xiàn)給用戶的形式，從而將對(duì)流場(chǎng)數(shù)據(jù)塊的組織和管理轉(zhuǎn)化為對(duì)映射表中各條目的組織和管理。該方法在對(duì)流場(chǎng)數(shù)據(jù)塊進(jìn)行可視化處理時(shí)，需要選中數(shù)據(jù)塊對(duì)應(yīng)的映射表?xiàng)l目以實(shí)現(xiàn)數(shù)據(jù)塊的操作，并可以使用連續(xù)選擇實(shí)現(xiàn)簡單的批量選取，但是使用過程中仍然存在許多不足。不同CFD 研究人員對(duì)數(shù)據(jù)塊命名習(xí)慣不同，使得難以從映射表?xiàng)l目名上快速獲知其所對(duì)應(yīng)的具體數(shù)據(jù)塊，只能進(jìn)行逐一嘗試，操作復(fù)雜且不夠直觀；當(dāng)流場(chǎng)數(shù)據(jù)塊數(shù)量很大時(shí)，其交互效率將會(huì)降低。

微型世界（world-in-mini，WIM）技術(shù)是一種有效增強(qiáng)用戶空間感知的解決方案。LaViola等[18]研究了一個(gè)用于大型沉浸式考古場(chǎng)景的導(dǎo)航交互方式，其提出的Step-WIM導(dǎo)航可以通過手勢(shì)在縮略圖和大型場(chǎng)景間切換，實(shí)現(xiàn)快速的移動(dòng)。Datey[19]在沉浸式環(huán)境下為三維散點(diǎn)圖制作了場(chǎng)景概覽，并通過場(chǎng)景概覽上操作完成在空間中的跳躍移動(dòng)。已有的研究表明，WIM 不僅能提供場(chǎng)景空間的整體概覽，增強(qiáng)用戶對(duì)整體數(shù)據(jù)的信息獲取效率，還能進(jìn)行快速的空間定位操作，利于高效地移動(dòng)。但目前依然缺乏關(guān)于微型世界對(duì)于虛擬現(xiàn)實(shí)中抽象數(shù)據(jù)可視化的研究[20]。

為保證對(duì)流場(chǎng)數(shù)據(jù)塊的管理和使用在整個(gè)流場(chǎng)可視分析的交互過程中能隨時(shí)進(jìn)行，需要數(shù)據(jù)塊管理方法能夠支持直觀的數(shù)據(jù)塊組織呈現(xiàn)以及快速方便的數(shù)據(jù)塊使用。

2 多視圖數(shù)據(jù)塊組織和管理方法

2.1 問題分析

在沉浸式環(huán)境下完整的流場(chǎng)數(shù)據(jù)信息通常直接呈現(xiàn)在一個(gè)三維空間場(chǎng)景中，用戶在該場(chǎng)景中分析流場(chǎng)特征，將此場(chǎng)景稱為主視圖。流場(chǎng)數(shù)據(jù)塊組織和管理方法需要解決的主要問題是能將數(shù)據(jù)塊直觀地呈現(xiàn)給用戶，從而能讓用戶可以方便地在主視圖中對(duì)單個(gè)或者多個(gè)數(shù)據(jù)塊進(jìn)行可視分析。

通常CFD 數(shù)值模擬計(jì)算的流場(chǎng)空間尺度都比較大，在流場(chǎng)可視分析過程時(shí)，為了進(jìn)行快捷精確的三維交互如流線布種等，用戶往往會(huì)沉浸在主視圖的整個(gè)流場(chǎng)數(shù)據(jù)之中。在沉浸式分析過程中，一方面，沉浸到流場(chǎng)中會(huì)使用戶難以高效地感知流場(chǎng)數(shù)據(jù)整體狀態(tài)，分析流場(chǎng)整體的特征；另一方面，在流場(chǎng)分析時(shí)通常會(huì)隱藏部分?jǐn)?shù)據(jù)塊，以免遮擋關(guān)鍵數(shù)據(jù)塊，但是當(dāng)用戶需要再次分析這些被隱藏?cái)?shù)據(jù)塊中的流場(chǎng)特征時(shí)，由于被隱藏而無法直接在主視圖中進(jìn)行可視分析。另外，用戶在進(jìn)行流場(chǎng)分析時(shí)，通常希望能快速地排除非關(guān)鍵數(shù)據(jù)塊，迅速定位到感興趣的塊。因此，需要一種應(yīng)用于沉浸式三維環(huán)境下的流場(chǎng)數(shù)據(jù)塊組織和管理方案，以方便用戶進(jìn)行高效的數(shù)據(jù)分析。

本文基于WIM交互技術(shù)，引入小視圖的概念，設(shè)計(jì)了三維數(shù)據(jù)管理視圖，以下簡稱三維小視圖。三維數(shù)據(jù)管理視圖以縮略圖的方式呈現(xiàn)于主視圖中，如圖1 所示，其中顯示了全部流場(chǎng)數(shù)據(jù)塊概覽信息，提供交互支持。并結(jié)合小視圖，提出了一種應(yīng)用于沉浸式流場(chǎng)可視化分析的多視圖數(shù)據(jù)塊組織和管理方法。該方法利用主視圖和小視圖的協(xié)作交互，幫助用戶完成對(duì)流場(chǎng)數(shù)據(jù)塊的高效可視分析。

圖1 場(chǎng)景中的三維數(shù)據(jù)管理視圖Fig.1 3D data management view in scene

2.2 三維小視圖定義

研究人員在對(duì)數(shù)據(jù)進(jìn)行操作時(shí)，既希望能具體觀察數(shù)據(jù)細(xì)節(jié)，對(duì)關(guān)注的數(shù)據(jù)塊進(jìn)行操作，又希望能高效快速地感知空間信息，管理整體數(shù)據(jù)塊。多視圖交互通過多個(gè)視圖呈現(xiàn)數(shù)據(jù)對(duì)象的不同狀態(tài)信息，研究人員可以隨時(shí)使用主視圖和三維小視圖進(jìn)行數(shù)據(jù)塊管理和交互，進(jìn)而完成可視化分析任務(wù)。圖2 展示了三維小視圖的組成結(jié)構(gòu)，其中包括：

圖2 三維小視圖的組成結(jié)構(gòu)Fig.2 Composition structure of 3D data management view

（1）數(shù)據(jù)的概覽。小視圖的基本任務(wù)是組織管理數(shù)據(jù)塊，在不干擾用戶對(duì)主視圖觀察的情況下，向用戶提供主視圖的復(fù)雜大量的數(shù)據(jù)塊的概覽，使得用戶在對(duì)數(shù)據(jù)交互過程中不用縮小正在交互的主視圖，就能直接觀察到主視圖整體信息。因此，流場(chǎng)數(shù)據(jù)塊將按一定比例縮小顯示到三維小視圖上，并默認(rèn)以白色半透明狀態(tài)顯示以方便觀察。

（2）用戶化身。用戶化身可以在三維小視圖上提供用戶自身位置映射，使用戶了解自身與數(shù)據(jù)塊的相對(duì)三維空間位置信息，增強(qiáng)用戶對(duì)空間結(jié)構(gòu)的把握。用戶的空間位置及朝向信息映射被到小視圖上顯示，以紅色圓球表示用戶位置，用戶的朝向由從圓球發(fā)射的射線表示。

（3）坐標(biāo)軸。用戶在進(jìn)行交互操作時(shí)，需要使用坐標(biāo)軸來輔助理解空間中的三維方向信息。在主視圖中提供坐標(biāo)軸顯示容易干擾用戶對(duì)數(shù)據(jù)塊細(xì)節(jié)的觀察，因此在三維小圖中將提供與小視圖契合的三維坐標(biāo)軸，方便用戶把握整體方向信息。坐標(biāo)軸顯示在三維小視圖中心，以紅綠藍(lán)射線代表XYZ軸。

（4）瀏覽交互控件。三維小視圖應(yīng)允許用戶進(jìn)行小視圖的瀏覽操作，使用戶能方便高效地獲取流場(chǎng)數(shù)據(jù)塊的整體信息，該功能由瀏覽交互控件實(shí)現(xiàn)。瀏覽交互控件懸浮于數(shù)據(jù)概覽下方，由一個(gè)藍(lán)色環(huán)形瀏覽控件及環(huán)心的一個(gè)白色移動(dòng)控件組成，分別控制三維小視圖的旋轉(zhuǎn)和縮放。

三維小視圖的功能包括：

（1）數(shù)據(jù)塊組織。區(qū)別桌面環(huán)境下二維樹狀列表數(shù)據(jù)管理方式，為了使用戶能在三維環(huán)境中直觀地理解數(shù)據(jù)塊映射，本文使用三維小視圖對(duì)數(shù)據(jù)進(jìn)行組織，通過圖形的方式將數(shù)據(jù)塊呈現(xiàn)給用戶，并支持不同狀態(tài)數(shù)據(jù)塊的區(qū)別顯示。

（2）數(shù)據(jù)塊管理。三維小視圖需要向用戶提供對(duì)數(shù)據(jù)塊的交互，支持用戶完成多視圖數(shù)據(jù)塊管理任務(wù)。用戶可以通過三維小視圖提供對(duì)單個(gè)數(shù)據(jù)塊的精確管理，以及多個(gè)數(shù)據(jù)塊的批量管理。

（3）數(shù)據(jù)塊整體變換。小視圖提供了對(duì)數(shù)據(jù)塊整體的幾何變化操作。整體的幾何變換交互操作在數(shù)據(jù)內(nèi)部進(jìn)行數(shù)據(jù)整體變換時(shí)，可以在變換過程中保持對(duì)空間信息的獲取，不易丟失整體信息。

（4）小視圖瀏覽。瀏覽操作向用戶提供更加全面地獲取空間信息的方式，使用戶能快速多視角地觀察三維小視圖。瀏覽功能不影響主視圖數(shù)據(jù)的變化。小視圖瀏覽包括其自身的移動(dòng)、旋轉(zhuǎn)、縮放，其交互通過小視圖交互控件完成。

（5）空間導(dǎo)航。本文的三維小視圖還提供了可以進(jìn)行快速跳躍移動(dòng)的導(dǎo)航交互。

并且為了提供方便快捷的交互，使用戶能在可視化交互過程中即時(shí)地進(jìn)行數(shù)據(jù)管理操作，小視圖可以由用戶在空間任意位置呼喚出來。

此外，當(dāng)主視圖中的可視化數(shù)據(jù)縮放產(chǎn)生變化時(shí)，用戶與數(shù)據(jù)的相對(duì)位置也會(huì)產(chǎn)生變化。為保證小視圖在場(chǎng)景中的觀察效果，三維小視圖對(duì)可視化數(shù)據(jù)進(jìn)行組織時(shí)的縮放交互應(yīng)滿足如下要求：

（1）為了保證小視圖的數(shù)據(jù)概覽大小適中，方便用戶對(duì)數(shù)據(jù)塊進(jìn)行管理操作，小視圖顯示的數(shù)據(jù)概覽部分在較小時(shí)應(yīng)進(jìn)行一定程度縮放。

（2）場(chǎng)景主視圖數(shù)據(jù)縮放時(shí)，用戶與主視圖數(shù)據(jù)相對(duì)位置將會(huì)發(fā)生變化。為了在小視圖上體現(xiàn)出位置變化，并保持?jǐn)?shù)據(jù)概覽的尺寸，應(yīng)當(dāng)以數(shù)據(jù)概覽為參照物來相對(duì)移動(dòng)用戶化身。

（3）當(dāng)用戶在數(shù)據(jù)外部距離數(shù)據(jù)較遠(yuǎn)時(shí)，為了使用戶可以在小視圖上快速觀察到用戶化身，應(yīng)將用戶化身保持在小視圖一定距離內(nèi)。

（4）由于三維小視圖本身支持瀏覽時(shí)的縮放交互，三維小視圖縮放比例應(yīng)受用戶瀏覽交互的縮放的制約，能在瀏覽交互進(jìn)行縮放時(shí)產(chǎn)生可視的縮放效果。

為此，本文定義了“最大顯示寬度”“有效顯示寬度”兩個(gè)量來衡量小視圖縮放后是否滿足以上幾個(gè)條件。“最大顯示寬度”表示用戶設(shè)定的允許小視圖顯示的最大寬度?！坝行э@示寬度”取小視圖上數(shù)據(jù)概覽和用戶化身在XYZ坐標(biāo)軸上的投影能取到的最大值。測(cè)試表明，當(dāng)“有效顯示寬度”剛好等于“最大顯示寬度”時(shí)能同時(shí)滿足上述幾個(gè)條件，并且顯示效果最好。故本文系統(tǒng)使用了如下公式計(jì)算主視圖到小視圖的縮放比率(Swim)：

其中，Ldefault-max為用戶初始設(shè)定的小視圖的最大顯示寬度，Sview為用戶瀏覽縮放的比例，Lmax表示經(jīng)過縮放處理后的“最大顯示寬度”。

max 方法用于取兩個(gè)傳入?yún)?shù)的最大值，Luser為用戶位置沿坐標(biāo)軸上投影的最大值，Sbyuser表示用戶位置沿坐標(biāo)軸最大投影值等于“最大顯示寬度”時(shí)計(jì)算出的小視圖縮放比例，且不小于1。

Ldata×Sdata表示主視圖數(shù)據(jù)輪廓經(jīng)過縮放后的最大坐標(biāo)軸投影寬度，該數(shù)值取數(shù)據(jù)AABB包圍盒[21]的坐標(biāo)軸投影最大值的一半；Sbydata表示數(shù)據(jù)坐標(biāo)軸最大投影值等于“最大顯示寬度”時(shí)計(jì)算出的小視圖縮放比例，且不會(huì)小于1；Sview表示小視圖縮放瀏覽縮放比例。

2.3 流場(chǎng)數(shù)據(jù)塊管理

選擇是數(shù)據(jù)管理中的基本任務(wù)，與一般科學(xué)可視化數(shù)據(jù)不同，由于多塊流場(chǎng)數(shù)據(jù)通常擁有大量的數(shù)據(jù)塊，這使得在進(jìn)行數(shù)據(jù)塊的選擇操作時(shí)交互難度更高。

本文結(jié)合所見即所得的思想[22]，利用主視圖的細(xì)節(jié)交互優(yōu)勢(shì)和小視圖的整體交互優(yōu)勢(shì)，通過多視圖方法完成對(duì)多塊數(shù)據(jù)的高效選擇，輔助完成數(shù)據(jù)管理任務(wù)。多視圖中的三維小視圖使用的數(shù)據(jù)概覽-數(shù)據(jù)塊的映射代替了傳統(tǒng)樹狀列表中數(shù)據(jù)條目-數(shù)據(jù)塊的映射方式，相比之下，多視圖交互不需要用戶間接理解數(shù)據(jù)塊條目，學(xué)習(xí)成本和難度更低，且交互過程更加直觀高效。

2.3.1 數(shù)據(jù)塊精確管理

通過精確管理可以快速完成對(duì)單個(gè)數(shù)據(jù)塊的選取任務(wù)，實(shí)現(xiàn)快速操作特定數(shù)據(jù)塊。為了使在沉浸式三維環(huán)境中交互更為直觀，減小三維環(huán)境中復(fù)雜的界面操作，本文通過凝視+手勢(shì)的交互方式完成精確數(shù)據(jù)管理。即通過從沉浸式環(huán)境中用戶雙目中心沿用戶朝向發(fā)射一條射線與數(shù)據(jù)塊的包圍盒進(jìn)行碰撞拾取，并通過預(yù)定義的確認(rèn)手勢(shì)完成對(duì)拾取對(duì)象的選取。如圖3 所示，系統(tǒng)將在射線與數(shù)據(jù)塊碰撞處顯示一個(gè)紅色凝視點(diǎn)，用于向用戶提示當(dāng)前選取的數(shù)據(jù)塊。

當(dāng)流場(chǎng)數(shù)據(jù)塊在主視圖中顯示時(shí)，數(shù)據(jù)塊選擇可以直接在主視圖中進(jìn)行，但當(dāng)流場(chǎng)數(shù)據(jù)塊在主視圖隱藏后，由于其被隱藏不可見，難以通過直接的交互對(duì)主視圖中隱藏?cái)?shù)據(jù)塊進(jìn)行選取交互。為了實(shí)現(xiàn)對(duì)隱藏?cái)?shù)據(jù)塊的管理，本文使用多視圖交互的方法，將隱藏的數(shù)據(jù)塊放入三維小視圖進(jìn)行統(tǒng)一的管理。并允許通過視圖切換交互將小視圖中存放的數(shù)據(jù)塊和主視圖中存放的數(shù)據(jù)塊進(jìn)行切換，如圖4 所示，以支持在主視圖中對(duì)已隱藏?cái)?shù)據(jù)塊進(jìn)行顯示及管理。為了與三維小視圖本身的數(shù)據(jù)概覽進(jìn)行區(qū)別，放入三維小視圖中的數(shù)據(jù)塊將擁有相比于數(shù)據(jù)概覽更高的不透明度以及額外的線框。

圖4 視圖切換Fig.4 Views switching

2.3.2 數(shù)據(jù)塊批量管理

隨著多塊數(shù)據(jù)中數(shù)據(jù)塊量的增大，精確的單塊選取方式已經(jīng)不能滿足大量數(shù)據(jù)塊選取的交互需求，用戶需要一種沉浸式環(huán)境下更高效的多塊數(shù)據(jù)管理方案。

為此提出了一種小視圖交互、主視圖反饋的多視圖數(shù)據(jù)批量管理方法。該方法通過在小視圖上進(jìn)行三維選取完成批量選取，并且由于小視圖整體偏小，使用戶較難直接觀察到即時(shí)的選取情況，故將交互反饋同時(shí)通過主視圖呈現(xiàn)。

小視圖上的批量管理交互使用了三維矩體碰撞選取的方式完成。用戶通過手勢(shì)操作在空間中拉取一個(gè)長方體，利用長方體與三維小視圖數(shù)據(jù)概覽中的數(shù)據(jù)塊進(jìn)行碰撞檢測(cè)，選取碰撞的數(shù)據(jù)塊。通過矩體碰撞可以一次性選取多個(gè)數(shù)據(jù)塊，達(dá)到批量管理的目的。

由于精確管理和批量管理中的選取功能僅能選取單塊或連續(xù)矩體范圍的數(shù)據(jù)塊，難以適應(yīng)各種形狀的數(shù)據(jù)選取需求。為了使用戶能快速完成復(fù)雜選取形狀的管理交互，小視圖向用戶提供了重選、疊加、剔除三種選取狀態(tài)，使用戶能通過三種選取狀態(tài)自由組合已選擇的數(shù)據(jù)塊。如圖5，在重選狀態(tài)下，每次的選取結(jié)果會(huì)取代已有選取結(jié)果。在疊加狀態(tài)下，每次的選取結(jié)果將加入已有的選取結(jié)果中。在剔除狀態(tài)下，會(huì)在已有的選取結(jié)果中剔除本次的選取結(jié)果。用戶能在三種選取狀態(tài)間自由切換，完成對(duì)特定形狀數(shù)據(jù)塊的管理。

圖5 數(shù)據(jù)塊選取狀態(tài)Fig.5 Block selection status

2.3.3 數(shù)據(jù)塊整體操作

在對(duì)科學(xué)可視化數(shù)據(jù)交互的過程中，通常需要對(duì)數(shù)據(jù)塊進(jìn)行整體的變換，常見變換方式包括數(shù)據(jù)的平移、縮放和旋轉(zhuǎn)三種幾何變換。在已有的沉浸式科學(xué)可視化研究中，用戶通常在數(shù)據(jù)外部對(duì)數(shù)據(jù)對(duì)象進(jìn)行直接的幾何變換。由于沉浸式實(shí)時(shí)流場(chǎng)可視化的特殊性，需要用戶浸入到流場(chǎng)中進(jìn)行流線布種等三維操作，此時(shí)數(shù)據(jù)會(huì)包裹用戶成為場(chǎng)景的參考系，這使得用戶在直接對(duì)主視圖數(shù)據(jù)進(jìn)行整體變換時(shí)容易產(chǎn)生視覺遮擋和眩暈感。

WIM技術(shù)可以有效解決該問題。用戶通過操作小視圖進(jìn)行整體變換，并在變換結(jié)束后將變換結(jié)果直接反映到主視圖上，實(shí)現(xiàn)間接地操作主視圖。通過三維小視圖操作塊進(jìn)行整體變換，在主視圖上只保留數(shù)據(jù)塊的開始狀態(tài)和最終狀態(tài)，可以避免在交互過程中主視圖變換對(duì)用戶的視覺干擾遮擋和暈眩，使用戶能在交互過程中感知自身空間位置。但由于主視圖顯示的不連續(xù)性，使用三維小視圖進(jìn)行整體變換容易使用戶丟失上下文信息。本文在通過WIM 整體變換交互的基礎(chǔ)上，額外引入除主視圖、小視圖外的第三個(gè)預(yù)覽視圖，提出了一種多視圖的數(shù)據(jù)整體操作方法。該方法在三維小視圖交互過程中，將二維預(yù)覽視圖以平面的方式置于小視圖上方，給予用戶交互結(jié)果的顯示。在小視圖連續(xù)的交互過程中，預(yù)覽視圖能持續(xù)更新交互結(jié)果在主視圖的顯示信息，保持用戶對(duì)第一人稱視圖信息的獲取，使用戶即使不即時(shí)更新主視圖也能同步獲取上下文信息。

3 案例研究

本文設(shè)計(jì)了基于樹狀列表和多視圖的數(shù)據(jù)管理方案對(duì)比實(shí)驗(yàn)，并從學(xué)習(xí)難度、交互效率及用戶評(píng)價(jià)幾個(gè)方面完成對(duì)實(shí)驗(yàn)的評(píng)估，以驗(yàn)證多視圖數(shù)據(jù)管理方法的有效性。在實(shí)驗(yàn)過程中，用戶需要使用不同的數(shù)據(jù)管理方法按順序選取指定數(shù)據(jù)塊對(duì)象進(jìn)行隱藏或顯示交互。

實(shí)驗(yàn)選擇基于樹狀列表的數(shù)據(jù)管理方法作為多視圖方法的對(duì)比，是因?yàn)樵摲椒ㄊ乾F(xiàn)有多塊流場(chǎng)可視化系統(tǒng)中傳統(tǒng)的數(shù)據(jù)管理方法。同時(shí)，考慮到二維交互和三維交互的差異性，樹狀列表管理方法實(shí)驗(yàn)設(shè)計(jì)了包含二維環(huán)境和三維環(huán)境的實(shí)驗(yàn)。二維桌面樹狀列表數(shù)據(jù)管理方法代表了傳統(tǒng)二維桌面下的數(shù)據(jù)管理方式，三維沉浸式列表數(shù)據(jù)管理方法代表了二維列表管理方法在三維環(huán)境下的應(yīng)用。

二維桌面樹狀列表管理方法的實(shí)驗(yàn)使用了桌面科學(xué)可視化軟件Ensight[9]完成。三維沉浸式列表管理實(shí)驗(yàn)程序由本系統(tǒng)提供，構(gòu)建了一個(gè)支持拖拽的三維交互界面，允許用戶在界面上進(jìn)行數(shù)據(jù)塊管理操作，并且在數(shù)據(jù)塊隱藏后其列表中的名稱將以灰色顯示，方便用戶獲取其顯隱狀態(tài)。三維沉浸式列表的功能包含對(duì)數(shù)據(jù)塊的單塊管理以及批量管理。

本次實(shí)驗(yàn)分別在桌面和沉浸式環(huán)境下進(jìn)行，桌面實(shí)驗(yàn)的交互使用鍵鼠完成，沉浸式環(huán)境實(shí)驗(yàn)的交互方式以手勢(shì)及凝視交互為主。手勢(shì)凝視結(jié)合交互除了用于多視圖方法的數(shù)據(jù)精確管理外，還用于三維界面的交互操作。系統(tǒng)通過凝視點(diǎn)在界面的移動(dòng)來模擬鼠標(biāo)在界面的移動(dòng)，并通過食指和拇指碰撞成OK形狀完成單擊手勢(shì)，模擬鼠標(biāo)在界面的點(diǎn)擊。

系統(tǒng)基于VTK[23]和OpenVR[24]技術(shù)實(shí)現(xiàn)，硬件使用了頭戴式顯示設(shè)備HTC Vive和基于機(jī)器視覺的手勢(shì)識(shí)別設(shè)備Leap Motion。Leap Motion 設(shè)備的手勢(shì)識(shí)別區(qū)域?yàn)榍胺藉F形范圍。通過膠帶將Leap Motion 連接在HTC Vive 前方，保證頭戴式顯示設(shè)備和Leap Motion設(shè)備的相對(duì)位置不發(fā)生變化，并使用戶在交互時(shí)手勢(shì)動(dòng)作輸入?yún)^(qū)域正好處于前方視野范圍內(nèi)，更便于沉浸式環(huán)境下的交互。

實(shí)驗(yàn)流場(chǎng)數(shù)據(jù)使用了CGNS[25]公開的YF-17戰(zhàn)斗機(jī)的非結(jié)構(gòu)化網(wǎng)格流場(chǎng)數(shù)據(jù)和SQNZ_S 結(jié)構(gòu)化網(wǎng)格流場(chǎng)數(shù)據(jù)。YF-17數(shù)據(jù)共包含15個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊均有直觀的命名。為了保證沉浸式環(huán)境下的可視化結(jié)果易于操作和觀察，將主視圖數(shù)據(jù)塊大小縮放至長寬12 m，機(jī)頭距離機(jī)尾約1.2 m。SQNZ_S 數(shù)據(jù)包含12 個(gè)數(shù)據(jù)塊，數(shù)據(jù)塊以順序編號(hào)命名。

3.1 任務(wù)設(shè)計(jì)

本次實(shí)驗(yàn)共分為兩部分，分別為訓(xùn)練部分和任務(wù)部分。訓(xùn)練部分為對(duì)數(shù)據(jù)管理交互功能的學(xué)習(xí)，保證參與者在進(jìn)行實(shí)驗(yàn)時(shí)能熟悉可行的交互功能，順利完成操作任務(wù)，并統(tǒng)計(jì)在訓(xùn)練階段中的學(xué)習(xí)時(shí)長。實(shí)驗(yàn)階段為參與者依次使用不同交互方式完成數(shù)據(jù)管理任務(wù)，同時(shí)記錄每個(gè)任務(wù)完成時(shí)間。

訓(xùn)練部分的任務(wù)如表1 任務(wù)1.1 所示，任務(wù)共有三種學(xué)習(xí)，分別為桌面列表管理方案、沉浸式列表管理方案、沉浸式多視圖管理方案。在訓(xùn)練過程中，會(huì)向參與者說明交互的方法和過程，并及時(shí)解答其提出的疑問。為了避免訓(xùn)練階段操作過數(shù)據(jù)塊的先驗(yàn)知識(shí)對(duì)實(shí)驗(yàn)階段結(jié)果的影響，在訓(xùn)練階段和實(shí)驗(yàn)階段使用了不同的數(shù)據(jù)。訓(xùn)練階段使用SQNZ_S數(shù)據(jù)完成，實(shí)驗(yàn)階段使用YF-17數(shù)據(jù)完成。

表1 實(shí)驗(yàn)任務(wù)設(shè)計(jì)Table 1 Experimental tasks design

實(shí)驗(yàn)部分任務(wù)如表1 中任務(wù)2.1、任務(wù)2.2 所示。在任務(wù)2.1中，參與者需要執(zhí)行精確管理數(shù)據(jù)任務(wù)，依次完成指定單塊數(shù)據(jù)的選取和操作任務(wù)。在任務(wù)2.2 中，參與者執(zhí)行快速批量管理數(shù)據(jù)任務(wù)，完成多個(gè)數(shù)據(jù)塊的選取和操作。在實(shí)驗(yàn)過程中將統(tǒng)計(jì)每個(gè)任務(wù)的交互時(shí)間。

3.2 實(shí)驗(yàn)流程

數(shù)據(jù)管理方法包含樹狀列表管理方法和多視圖管理方法兩種。在使用一種方法完成任務(wù)后，參與者需要使用另一種方法再次執(zhí)行該任務(wù)。

樹狀列表方法包含二維桌面列表管理方案和三維沉浸式列表管理方案兩種，如表2所示?？紤]到二維樹狀列表和三維樹狀列表實(shí)驗(yàn)類似，兩者實(shí)驗(yàn)過程會(huì)相互影響，故將參與者均分為兩組，“桌面組”和“沉浸式組”。“桌面組”人員進(jìn)行二維桌面列表管理方法實(shí)驗(yàn)和多視圖管理方法實(shí)驗(yàn)；“沉浸式組”人員進(jìn)行三維沉浸式列表管理方法實(shí)驗(yàn)和多視圖管理方法實(shí)驗(yàn)。由于每個(gè)方案參與人數(shù)不相等，在最后的實(shí)驗(yàn)統(tǒng)計(jì)時(shí)，取本方案參與者的交互數(shù)據(jù)平均值。

表2 實(shí)驗(yàn)方案Table 2 Experimental scheme

在實(shí)驗(yàn)過程中，允許用戶自由對(duì)數(shù)據(jù)進(jìn)行變換，以切換最佳的觀察角度，并在每個(gè)實(shí)驗(yàn)前，會(huì)告知參與者需要盡快完成任務(wù)。本次實(shí)驗(yàn)共招募了12 名參與者，參與者年齡從21 歲到32 歲，均無視力障礙等影響交互認(rèn)知的疾病，且均習(xí)慣使用右手，與本系統(tǒng)預(yù)定義的交互習(xí)慣相符合。其中4名用戶有VR頭戴式顯示器的使用或開發(fā)經(jīng)驗(yàn)，6名用戶有流場(chǎng)相關(guān)知識(shí)背景，考慮到此類經(jīng)驗(yàn)知識(shí)對(duì)交互學(xué)習(xí)、流場(chǎng)理解有一定程度的影響，故將上述人員均分到兩個(gè)實(shí)驗(yàn)組之中。

3.3 實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)了包括所有參與者的平均訓(xùn)練時(shí)長、平均任務(wù)完成時(shí)長及用戶反饋。平均訓(xùn)練時(shí)長和平均任務(wù)完成時(shí)長數(shù)據(jù)通過實(shí)驗(yàn)獲取，用戶反饋由用戶主觀評(píng)價(jià)獲取。

3.3.1 訓(xùn)練時(shí)長

為了使參與者在實(shí)驗(yàn)進(jìn)行時(shí)能較熟悉地完成實(shí)驗(yàn)任務(wù)，減小因不熟悉交互對(duì)實(shí)驗(yàn)過程產(chǎn)生的影響，會(huì)在實(shí)驗(yàn)前對(duì)參與者進(jìn)行訓(xùn)練，并統(tǒng)計(jì)參與者對(duì)于每種交互方式學(xué)習(xí)的訓(xùn)練時(shí)長。

圖6 展示了參與者對(duì)三種交互方案在完成訓(xùn)練任務(wù)1.1 時(shí)的平均時(shí)長表現(xiàn)。從圖中可以看出，列表管理方式訓(xùn)練時(shí)長略短于多視圖管理方式訓(xùn)練時(shí)長，即更容易被學(xué)習(xí)。考慮其原因是多視圖管理交互需要更多的學(xué)習(xí)內(nèi)容。

圖6 任務(wù)1.1的訓(xùn)練時(shí)長Fig.6 Training duration of task 1.1

3.3.2 完成時(shí)間

圖7 展示了參與者通過不同方法分別完成數(shù)據(jù)管理任務(wù)的時(shí)長?？梢钥闯黾词乖跀?shù)據(jù)塊有直觀命名的情況下，多視圖的方法在精確管理和批量管理任務(wù)中依然比樹狀列表的方法花費(fèi)了更少的時(shí)間，其效率差距較為明顯。通過實(shí)驗(yàn)過程觀察和后續(xù)的調(diào)研，發(fā)現(xiàn)列表用戶花費(fèi)的時(shí)間主要集中在理解數(shù)據(jù)條目和數(shù)據(jù)塊映射關(guān)系上。

圖7 數(shù)據(jù)管理實(shí)驗(yàn)完成時(shí)間Fig.7 Completion time of data management experiment

考慮到對(duì)數(shù)據(jù)條目映射熟悉度會(huì)影響交互效率，為了觀察映射關(guān)系對(duì)實(shí)驗(yàn)結(jié)果的影響程度，邀請(qǐng)了已經(jīng)參與過實(shí)驗(yàn)的人員繼續(xù)進(jìn)行相同實(shí)驗(yàn)。在后續(xù)的實(shí)驗(yàn)中重復(fù)執(zhí)行任務(wù)2.2，觀察完成時(shí)間的變化趨勢(shì)。結(jié)果統(tǒng)計(jì)如圖8所示。

圖8 多次執(zhí)行任務(wù)2.2的完成時(shí)間Fig.8 Completion time of multiple task 2.2

從折線圖中可以明顯看出，隨著重復(fù)實(shí)驗(yàn)的進(jìn)行，二維和三維列表方式完成時(shí)間都大幅地縮短，相比之下，沉浸式多視圖的方式較為穩(wěn)定。這也說明了對(duì)條目到數(shù)據(jù)塊映射關(guān)系的理解確實(shí)會(huì)極大影響數(shù)據(jù)管理任務(wù)的交互速度。這與本文中提到的“樹狀列表需要間接理解數(shù)據(jù)塊條目，增加了學(xué)習(xí)成本”的觀點(diǎn)相吻合。

在多次實(shí)驗(yàn)后，參與者已經(jīng)熟悉了列表方法中的條目和數(shù)據(jù)塊映射關(guān)系，此時(shí)其交互效率才與多視圖方法相近。

此外，無論是初次實(shí)驗(yàn)還是后續(xù)實(shí)驗(yàn)中，沉浸式列表方法相比沉浸式多視圖方法和桌面樹狀列表方法都表現(xiàn)更差，這也說明了相比于二維列表的方法，多視圖數(shù)據(jù)管理方法更適合沉浸式環(huán)境。

3.3.3 用戶反饋

在本實(shí)驗(yàn)中還收集了參與者關(guān)于實(shí)驗(yàn)的反饋。對(duì)于數(shù)據(jù)管理任務(wù)，一名參與者表示，由于數(shù)據(jù)本身是側(cè)放著的，導(dǎo)致名為upper的數(shù)據(jù)塊在飛機(jī)左側(cè)而非上面，這對(duì)理解數(shù)據(jù)和列表的映射關(guān)系有影響。另一名參與者提出，樹狀列表中順序混亂也影響了查找數(shù)據(jù)塊的時(shí)間。還有參與了后續(xù)實(shí)驗(yàn)的參與者表示，在多次實(shí)驗(yàn)后他能僅通過對(duì)列表上條目名稱的記憶，不觀察流場(chǎng)數(shù)據(jù)塊就能快速完成數(shù)據(jù)塊管理任務(wù)。

在交互方面，一名用戶覺得沉浸式系統(tǒng)中沿手勢(shì)拖拽方向移動(dòng)的導(dǎo)航交互難以理解，隱喻應(yīng)為拖拽數(shù)據(jù)而非用戶自身，可視化結(jié)果移動(dòng)方向與手勢(shì)拖拽移動(dòng)方向相同更容易理解。有三名參與者認(rèn)為手勢(shì)識(shí)別不夠準(zhǔn)確，導(dǎo)致其在一些任務(wù)中有時(shí)會(huì)需要進(jìn)行重復(fù)操作。有一名參與者指出了手勢(shì)交互容易產(chǎn)生疲勞的問題。

此外，還有一名用戶指出系統(tǒng)光照方面的不足，當(dāng)斜著看數(shù)據(jù)塊時(shí)亮度會(huì)變暗，容易誤判其已隱藏。

3.4 結(jié)果分析

通過實(shí)驗(yàn)結(jié)果可以看出：在沉浸式環(huán)境下，由于多視圖交互方式的多樣性，增加了部分學(xué)習(xí)成本，使得多視圖管理方法的學(xué)習(xí)效率略低于列表管理方法的學(xué)習(xí)效率，但在實(shí)驗(yàn)過程中，多視圖呈現(xiàn)出明顯的交互效率優(yōu)勢(shì)。列表管理方法需要用戶在對(duì)數(shù)據(jù)和條目映射有一定理解后，才能達(dá)到與多視圖方法相當(dāng)?shù)慕换バ省?/p>

此外，在對(duì)數(shù)據(jù)管理實(shí)驗(yàn)時(shí)間統(tǒng)計(jì)中，值得注意的地方是桌面列表和沉浸式列表兩種方法在完成任務(wù)2.1 時(shí)花費(fèi)的時(shí)間都是多于任務(wù)2.2的，而沉浸式多視圖則是在2.2任務(wù)中花費(fèi)的時(shí)間更多。在參考了實(shí)驗(yàn)數(shù)據(jù)后發(fā)現(xiàn)了其原因主要是，在進(jìn)行精確管理和批量管理任務(wù)時(shí)，列表方法都是使用交互方式相近的鼠標(biāo)點(diǎn)擊條目交互方式；而多視圖需要手勢(shì)、手勢(shì)+凝視等多種交互方式來回切換。用戶在進(jìn)行連續(xù)相同的交互時(shí)會(huì)逐漸提高效率，因此列表方法花費(fèi)時(shí)長更多地受任務(wù)數(shù)量的影響，而任務(wù)2.1中需要進(jìn)行更多的選取和隱藏交互任務(wù)，故花費(fèi)時(shí)間更多；多視圖方法在任務(wù)2.1 中以連續(xù)的精確選取交互為主，在任務(wù)2.2 中，需要精確選取、批量選取、視圖切換等更多樣的交互來協(xié)同完成，對(duì)交互效率的影響較大。

總體來說，多視圖結(jié)合交互的方法能有效解決沉浸式數(shù)據(jù)塊管理問題，并且其在沉浸式環(huán)境下的交互效率是優(yōu)于二維列表方法的。

4 總結(jié)和未來工作

本文定義了用戶數(shù)據(jù)管理任務(wù)的三維數(shù)據(jù)管理視圖，并提出了一個(gè)應(yīng)用于沉浸式環(huán)境下流場(chǎng)多塊數(shù)據(jù)管理的多視圖交互方法。該方法使用了三維數(shù)據(jù)管理視圖和主視圖結(jié)合交互的方式，共同完成沉浸式環(huán)境下的多塊流場(chǎng)數(shù)據(jù)管理交互任務(wù)。最后以HTC Vive+Leap Motion 構(gòu)建沉浸式流場(chǎng)可視化系統(tǒng)，定義了兩項(xiàng)沉浸式流場(chǎng)中的交互任務(wù)，從訓(xùn)練時(shí)長、完成時(shí)間、用戶反饋三方面對(duì)比了傳統(tǒng)列表管理方法和多視圖管理方法的差異。實(shí)驗(yàn)表明，基于多視圖的交互方法在沉浸式環(huán)境下表現(xiàn)更為優(yōu)異，擁有更高的交互自然性和交互效率。

未來的研究包括：（1）探索沉浸式環(huán)境下更多的多視圖應(yīng)用方式。（2）研究多視圖交互對(duì)數(shù)據(jù)分析過程的影響。（3）研究多人協(xié)同分析時(shí)的多視圖應(yīng)用。