多模態(tài)時空數(shù)據(jù)多層次可視化任務(wù)模型

劉銘崴，朱 慶，朱 軍，馮 斌，李 赟，張駿驍，付 蕭，張鵬程，楊衛(wèi)軍，寧新穩(wěn),3，徐婉妍

1. 西南交通大學(xué)地球科學(xué)與環(huán)境工程學(xué)院，四川 成都 611756； 2. 廣州市城市規(guī)劃勘測設(shè)計研究院，廣東 廣州 510060； 3. 中國鐵路設(shè)計集團有限公司，天津 300251； 4. 荔浦縣國土資源局，廣西 桂林 546600

與傳統(tǒng)空間信息系統(tǒng)主要處理物理空間的點線面體矢量數(shù)據(jù)與相關(guān)的屬性數(shù)據(jù)相比，新一代空間信息系統(tǒng)處理的數(shù)據(jù)則具有典型的多模態(tài)特征。多模態(tài)時空數(shù)據(jù)充分刻畫了人機物三元空間中“大到宇宙，小到塵?！钡亩嗔６葧r空對象從誕生到消亡全生命周期中的位置、幾何、行為，以及語義關(guān)聯(lián)關(guān)系等全息特征信息，對其進行描述、診斷和預(yù)測等多層次可視分析成為感知、認知與控制人機物三元世界的重要途徑[1-2]。多模態(tài)時空數(shù)據(jù)包括：真實感的精細幾何、紋理與材質(zhì)，視頻、實景照片等；非真實感的計算與模擬結(jié)果數(shù)據(jù)、抽象表達的符號等，這些非結(jié)構(gòu)化且稀疏的數(shù)據(jù)為存儲、計算及繪制帶來了巨大挑戰(zhàn)。同時在多模態(tài)時空數(shù)據(jù)可視化應(yīng)用中，大規(guī)模用戶可以使用多樣化可視化交互設(shè)備(如 PC、手機、HoloLens等)高并發(fā)的接入可視化服務(wù)，這些用戶擁有不同的專業(yè)背景，具有不同重量級的分析與展示任務(wù)，對多模態(tài)時空數(shù)據(jù)的興趣程度、抽象程度和細節(jié)層次千差萬別，既有宏觀格局呈現(xiàn)，也有微觀結(jié)構(gòu)表達，還有人機物三元空間復(fù)雜交織的關(guān)聯(lián)關(guān)系。為了避免信息過載與信息過度抽象，亟需可視化與模型計算的有機耦合，從而自適應(yīng)地動態(tài)構(gòu)建符合人類認知規(guī)律的可視化場景[3-7]?，F(xiàn)有的空間信息可視化方法以數(shù)據(jù)為中心，主要面向單一的高性能展示任務(wù)，無法同時滿足多模態(tài)時空數(shù)據(jù)復(fù)雜而多樣化的可視化應(yīng)用需求，因此對網(wǎng)絡(luò)環(huán)境下多模態(tài)時空大數(shù)據(jù)的多樣化可視化任務(wù)進行建模，并在語義層面構(gòu)建規(guī)范統(tǒng)一的形式化描述模型，已經(jīng)成為新一代空間信息系統(tǒng)和時空大數(shù)據(jù)處理面臨的緊迫需求。

現(xiàn)有研究中根據(jù)對可視化任務(wù)分解情況與任務(wù)間關(guān)聯(lián)關(guān)系，可以將信息領(lǐng)域可視化任務(wù)模型按照：低層級、高層級及多層級三類進行劃分[8-10]。低層級可視化任務(wù)模型中，按照對可視化任務(wù)的關(guān)注點不同主要分為兩類：第1類主要關(guān)注可視分析方法，典型的內(nèi)容有分類、聚類、排序、對比、關(guān)聯(lián)等[8，11]；第2類則主要關(guān)注可視化分析應(yīng)用過程中數(shù)據(jù)處理方式，典型的內(nèi)容有瀏覽、識別、編碼、抽象/具象、過濾等[12-13]。高層級可視化任務(wù)模型描述主要關(guān)注可視分析階段的差異，典型內(nèi)容包括：數(shù)據(jù)匯集、數(shù)據(jù)瀏覽、數(shù)據(jù)分析等[14]。多層級可視化任務(wù)模型的出發(fā)點是對任務(wù)間的耦合關(guān)系進行統(tǒng)一的描述，典型內(nèi)容包括：可視化目的、可視化方法、可視化內(nèi)容、可視化時間、可視化空間、可視化用戶等[10，15-16]。表1為各類可視化任務(wù)模型的分類依據(jù)及優(yōu)缺點。

表1 可視化任務(wù)分類

多模態(tài)時空數(shù)據(jù)可視化包含了一系列數(shù)據(jù)操作、模型計算及交互探索任務(wù)，場景數(shù)據(jù)操作任務(wù)需要高效率數(shù)據(jù)組織與管理，時空關(guān)聯(lián)分析與過程模擬等模型演算任務(wù)需要依賴有效的分析模型和高性能計算，地理知識歸納與檢驗等可視化探索任務(wù)需要高交互性人機交互環(huán)境，而現(xiàn)有的可視化任務(wù)模型主要以數(shù)據(jù)為中心，難以滿足可視化任務(wù)多樣化且高并發(fā)的需求，需要面向多模態(tài)時空數(shù)據(jù)多樣化可視化應(yīng)用需求，發(fā)展協(xié)同存儲、計算及繪制資源的多層次可視化任務(wù)模型。本文按照低層級的展示性可視化任務(wù)、高層級的分析性可視化任務(wù)及多層級的探索性可視化任務(wù)3個層次，建立新一代空間信息系統(tǒng)多層次可視化任務(wù)模型，描述了不同任務(wù)的主要驅(qū)動力和時空信息需求，刻畫了任務(wù)需求與存算繪資源的依賴關(guān)系。

1 多層次可視化任務(wù)模型

人們對多模態(tài)時空數(shù)據(jù)的可視化需求包括從數(shù)據(jù)瀏覽，到數(shù)據(jù)分析再到知識獲取等多層次需求[17-18]。首先對多模態(tài)時空數(shù)據(jù)進行展示性可視化，構(gòu)建可感知的“地理世界”，進一步通過各種分析與模擬構(gòu)建增強的“地理世界”，在此基礎(chǔ)上，通過各種人機交互進行規(guī)律和知識的探索與發(fā)現(xiàn)，構(gòu)建認知的“地理世界”[19]。由此可見，人類時空認知的基本需求決定了多模態(tài)時空數(shù)據(jù)可視化任務(wù)。包括3個基本層次：展示性可視化任務(wù)(taskV)、分析性可視化任務(wù)(taskA)及探索性可視化任務(wù)(taskE)[20-22]。如圖1所示，多層次可視化任務(wù)模型(task_model)可從多模態(tài)時空數(shù)據(jù)(data)、分析計算模型(model)、人機交互(interaction)、繪制(render)4個維度形式化描述為

task=〈data,model,interaction,render〉

task_model=〈taskV,taskA,taskE〉

taskV∈taskA∈taskE

圖1 多模態(tài)時空數(shù)據(jù)多層次可視化任務(wù)模型Fig.1 Multi-level visualization task model for multi-modal spatio-temporal data

展示性可視化任務(wù)主要以多模態(tài)時空數(shù)據(jù)、信息和知識的高效表達與傳遞為基本目標，重點包括離散-連續(xù)、動-靜、真實感-抽象、精細-概略場景相宜的自適應(yīng)表達，以及與真實場景高度融合的協(xié)同可視化。其形式化定義為taskV=〈data,render〉。展示性可視化任務(wù)以數(shù)據(jù)為驅(qū)動，其特征任務(wù)為場景數(shù)據(jù)存儲管理調(diào)度與場景繪制。場景數(shù)據(jù)存儲管理調(diào)度為處理層任務(wù)，以高效的數(shù)據(jù)I/O為目標；場景繪制為展示層任務(wù)，以高性能的場景繪制為目標。展示性可視化任務(wù)從數(shù)據(jù)處理層躍遷到數(shù)據(jù)展示層的過程是數(shù)據(jù)到圖形圖像的過程，依賴的核心技術(shù)為實時繪制。

分析性可視化任務(wù)旨在表達通過復(fù)雜計算分析所獲取的多模態(tài)時空數(shù)據(jù)中所隱含的信息，突出數(shù)據(jù)中所包含的特征與關(guān)聯(lián)關(guān)系，并以增強現(xiàn)實場景形式進行展現(xiàn)。典型的應(yīng)用包括實時計算與近實時模擬結(jié)果的動態(tài)可視化、空間格局與分布模式可視化、符號化與真實場景融合可視化等。其形式化定義為：taskA=〈data,model,render〉。分析性可視化任務(wù)由數(shù)據(jù)和模型協(xié)同驅(qū)動，在展示性可視化任務(wù)基礎(chǔ)上，以場景動態(tài)生成和增強現(xiàn)實可視化任務(wù)為特征任務(wù)。場景動態(tài)生成任務(wù)為處理層任務(wù)，以分析模擬計算為主；增強現(xiàn)實可視化任務(wù)為展示層任務(wù)，以在基礎(chǔ)場景中疊加分析計算信息，從而實現(xiàn)增強現(xiàn)實場景的動態(tài)構(gòu)建為目標。分析性可視化任務(wù)從數(shù)據(jù)處理層躍遷到數(shù)據(jù)展示層的過程是數(shù)據(jù)到信息的過程，依賴的核心技術(shù)為分析模型計算。

探索性可視化任務(wù)基于多通道人機交互界面，通過場景中特定對象聚焦、變形、選擇、突出和簡化等直接對增強現(xiàn)實場景的探索性調(diào)整操作，實現(xiàn)數(shù)據(jù)、人腦、機器智能和應(yīng)用場景4方面的有機耦合，以支持假設(shè)驗證、知識歸納和推理論斷等深度關(guān)聯(lián)分析。典型的應(yīng)用包括適合復(fù)雜環(huán)境的多機多用戶協(xié)同式交互、位置敏感的新型人機界面和多模態(tài)時空數(shù)據(jù)的可視化篩選、映射和布局。其形式化定義為：taskE=〈data,model,interaction,render〉。探索性可視化任務(wù)在模型和數(shù)據(jù)驅(qū)動的基礎(chǔ)上引入人機交互驅(qū)動，以語義視覺變量調(diào)整和假設(shè)推理為特征任務(wù)為特征任務(wù)。語義視覺變量調(diào)整為處理層任務(wù)，以場景數(shù)據(jù)操作為主；假設(shè)推理為展示層任務(wù)，其以人機協(xié)同交互為主。探索性可視化任務(wù)從數(shù)據(jù)處理層躍遷到數(shù)據(jù)展示層的過程是數(shù)據(jù)到知識的過程，依賴的核心技術(shù)為場景實時交互。

在各個層次任務(wù)中，數(shù)據(jù)處理層任務(wù)依賴的是數(shù)據(jù)的I/O、計算及同步更新，即這類任務(wù)對存儲和計算資源的依賴比較高，在當(dāng)前主流的Client/Sever(C/S)、Browser/Server(B/S)，以及Client/Cloud(C/C)架構(gòu)中，更多地在具有高性能計算與高吞吐能力的服務(wù)端進行處理；數(shù)據(jù)展示層任務(wù)需要對場景進行高性能渲染以及對交互的實時響應(yīng)，其對繪制以及網(wǎng)絡(luò)資源依賴較高，這類任務(wù)主要以客戶端處理為主，必要時需要通過靠近客戶端的邊緣域(edge side)服務(wù)器協(xié)同處理[23-24]。

2 任務(wù)感知的自適應(yīng)可視化引擎

針對多模態(tài)時空數(shù)據(jù)與多樣化可視化環(huán)境的特點，根據(jù)展示性、分析性以及探索性多層次可視化任務(wù)需求，設(shè)計提出新一代空間信息系統(tǒng)的自適應(yīng)可視化引擎。首先介紹任務(wù)感知的自適應(yīng)可視化機制，然后介紹自適應(yīng)可視化引擎的功能架構(gòu)。

2.1 任務(wù)感知的自適應(yīng)可視化機制

任務(wù)感知的自適應(yīng)可視化以多層次可視化任務(wù)模型為依據(jù)，根據(jù)不同層次可視化任務(wù)的特點，自適應(yīng)地適配多粒度對象場景數(shù)據(jù)，以及優(yōu)化調(diào)度存儲、繪制與計算資源，最優(yōu)化滿足多樣化可視化應(yīng)用需求。多樣化客戶端與云中心或邊緣服務(wù)端的數(shù)據(jù)請求被分為3種類型，分別是實時繪制場景數(shù)據(jù)請求、場景分析操作請求及場景交互請求。服務(wù)端接收到來自客戶端的3類請求后將其對應(yīng)于多層次可視化任務(wù)模型中展示、分析與探索3個層次的可視化任務(wù)，并根據(jù)不同層次任務(wù)時空信息需求及其可視化表達驅(qū)動力進行數(shù)據(jù)與資源的協(xié)同調(diào)度(圖2)。

圖2 任務(wù)感知的自適應(yīng)可視化機制Fig.2 Flow of task-aware and adaptive visualization engine

任務(wù)感知的自適應(yīng)可視化過程描述如下：服務(wù)端(云中心和邊緣域)接收到實時繪制場景數(shù)據(jù)請求后，將其解譯為展示性可視化任務(wù)。服務(wù)端根據(jù)客戶端標識信息適配多模態(tài)場景數(shù)據(jù)并通過并行文件系統(tǒng)以及混合索引獲取可視化場景數(shù)據(jù)，最后返回給客戶端必要的繪制信息進行真實感場景渲染。這類任務(wù)處理過程中服務(wù)端主要工作為數(shù)據(jù)檢索與I/O，但在面對性能十分低下的用戶端時，邊緣服務(wù)器會承擔(dān)場景渲染工作，客戶端只進行圖片渲染。當(dāng)服務(wù)端接收到場景分析操作請求時，將其解譯為分析性可視化任務(wù)，系統(tǒng)需要在處理實時繪制任務(wù)之前完成場景的動態(tài)生成，主要是調(diào)度高性能計算節(jié)點完成場景分析與過程模擬，再將計算得到的數(shù)據(jù)疊加到基礎(chǔ)場景以符號化或真實感形式表達，完成增強現(xiàn)實場景的構(gòu)建，并將場景數(shù)據(jù)與描述反饋給客戶端進行渲染。服務(wù)端接收到場景交互請求時(如對場景中對象行為的修改等)，將其解譯為探索性可視化任務(wù)。系統(tǒng)一方面需要保證高效的I/O以及分析計算，還需要保證實時的人機交互，這類任務(wù)需要微服務(wù)三級的存算繪資源的協(xié)同調(diào)度。因為邊緣域服務(wù)器更靠近客戶端，能更好地保證與客戶端的實時交互能力，場景交互請求首先發(fā)送給邊緣服務(wù)器處理，如果邊緣服務(wù)器中沒有支持分析交互結(jié)果所需數(shù)據(jù)則將請求消息轉(zhuǎn)發(fā)給中心服務(wù)器處理，同樣輕量化的計算任務(wù)(如空間分析)可以直接在邊緣服務(wù)器執(zhí)行，重量化的計算任務(wù)(如過程模擬)則需要將請求轉(zhuǎn)發(fā)給中心服務(wù)器處理。

任務(wù)感知的自適應(yīng)可視化機制中，存儲、計算以及繪制資源被服務(wù)化為一系列多模態(tài)場景數(shù)據(jù)服務(wù)、場景計算分析服務(wù)以及場景繪制服務(wù)，這些不同粒度的服務(wù)可以通過可視化分析工作流有機地構(gòu)建服務(wù)鏈。這種資源服務(wù)化，工作流與服務(wù)鏈驅(qū)動的方式，一方面面向多層次可視化任務(wù)，動態(tài)構(gòu)建滿足多樣化可視化需求的可視化過程；另一方面面向云環(huán)境中動態(tài)的系統(tǒng)資源，根據(jù)各服務(wù)質(zhì)量動態(tài)優(yōu)化服務(wù)鏈最優(yōu)化系統(tǒng)資源調(diào)度。

2.2 功能架構(gòu)

如圖3所示，任務(wù)感知的自適應(yīng)可視化引擎主要包括3個模塊：數(shù)據(jù)I/O模塊、分析計算模塊以及場景構(gòu)建與優(yōu)化模塊。數(shù)據(jù)I/O模塊主要面向多樣化應(yīng)用場景數(shù)據(jù)的高吞吐量需求，利用內(nèi)外存協(xié)同技術(shù)，將數(shù)據(jù)檢索、存取以及緩存一體化處理，通過橫向高擴展的高性能存儲集群來實現(xiàn)；分析計算模塊則主要面向分析與探索性可視化任務(wù)，包括以場景分析目的的時空關(guān)聯(lián)分析和時空過程模擬，探索決策為目的場景調(diào)整、視覺變量更新以及場景對象更新，該模塊需要充分利用算法的可并行性，以數(shù)據(jù)適配、信息符號化、數(shù)據(jù)編碼等場景優(yōu)化手段表現(xiàn)，最后依托高性能計算集群實現(xiàn)多節(jié)點計算任務(wù)的高性能并行處理；場景構(gòu)建與優(yōu)化模塊主要進行多粒度對象基礎(chǔ)地理場景構(gòu)建以及以信息增強與虛實融合的增強現(xiàn)實場景構(gòu)建。

圖3 任務(wù)感知的自適應(yīng)可視化引擎功能架構(gòu)Fig.3 Functional framework of task-aware adaptive visualization engine

為了更好地提升云-霧-端之間的協(xié)同能力，引擎中3個模塊主要部署在云服務(wù)中心，同時在邊緣服務(wù)器中部署場景構(gòu)建與優(yōu)化模塊以及訂制的分析與數(shù)據(jù)管理服務(wù)，以滿足不同計算、繪制以及交互能力的多樣化用戶終端上展示、分析以及探索應(yīng)用需求。

因為任務(wù)感知的自適應(yīng)可視化機制中存儲、計算以及繪制資源被服務(wù)化不同粒度的服務(wù)，為了便于服務(wù)的管理和維護，本引擎采用“微服務(wù)架構(gòu)”(micro-service architecture)形式發(fā)布并管理不同粒度的數(shù)據(jù)、分析以及場景繪制服務(wù)[25-26]。多粒度存算繪服務(wù)被部署在應(yīng)用容器中，通過服務(wù)編排動態(tài)按需的創(chuàng)建多個實例并保證各個服務(wù)實例分配到合適的存算繪資源。在調(diào)度過程中，引擎依據(jù)可視化分析工作流構(gòu)建可視化服務(wù)鏈，并根據(jù)各個服務(wù)實例的服務(wù)質(zhì)量選取最佳服務(wù)(必要時創(chuàng)建新的服務(wù)實例)以實現(xiàn)服務(wù)鏈優(yōu)化。

3 案例分析

如圖4所示，面向數(shù)字城市智能設(shè)施管理需求，分別以建筑物宏觀的格局關(guān)系描述、中觀的綜合管網(wǎng)沖突診斷，以及微觀的精準管線故障修復(fù)方案漸進探索3個典型案例進行驗證分析。

圖4 典型的多層次可視化應(yīng)用場景Fig.4 Cases of multi-level visualization

展示性可視化場景是傳統(tǒng)三維GIS通用的可視化表達方式，因為受限于數(shù)據(jù)驅(qū)動機制，根據(jù)數(shù)據(jù)庫模型只有有限的場景內(nèi)容選擇和細節(jié)層次控制可由用戶操控，滿足放大縮小和漫游等需要，當(dāng)然在該場景中也可進行簡單的查詢操作(圖4(a))。

分析結(jié)果增強的場景則為了突出特定任務(wù)所需的分析解釋，需要充分考慮整體與局部、真實感與抽象之間的相宜性。例如建筑物內(nèi)的綜合管網(wǎng)沖突診斷，可視化表達則要聚焦到室內(nèi)管線網(wǎng)絡(luò)，而對建筑物的外觀以及非管網(wǎng)部件則可采取半透明方式，根據(jù)分析結(jié)果還要對沖突管線紅色高亮顯示，從而提高診斷結(jié)果的可解釋性和易感知性。由于任務(wù)千差萬別，所需要的分析模型多種多樣，如何有機協(xié)同場景數(shù)據(jù)與分析模型是此類可視化的關(guān)鍵難點，也是傳統(tǒng)空間信息系統(tǒng)還很薄弱的地方(圖4(b))。

交互式增強現(xiàn)實場景則為了充分利用增強現(xiàn)實設(shè)備如HoloLens等對更加復(fù)雜的設(shè)施管理問題進行漸進求精的推理解釋和預(yù)測分析，如對管線故障的精準處置。該類可視化的最大挑戰(zhàn)在于大量人機交互信息的實時接入，并驅(qū)動數(shù)據(jù)和分析模型相互作用，通過漸進式的可視化探索分析，實現(xiàn)復(fù)雜場景數(shù)據(jù)與分析模型的易解釋與易感知(圖4(c))。

4 結(jié) 論

本文面向新一代空間信息系統(tǒng)多模態(tài)時空數(shù)據(jù)可視化應(yīng)用的重大需求，針對多層次多樣化任務(wù)并發(fā)對場景數(shù)據(jù)及其處理資源的高效組織與優(yōu)化調(diào)度難題，建立了包含展示性可視化、分析性可視化以及探索性可視化3個層次任務(wù)的多模態(tài)時空數(shù)據(jù)可視化任務(wù)模型，描述了不同任務(wù)的主要驅(qū)動力和時空信息需求，并刻畫了任務(wù)需求與存算繪資源的依賴關(guān)系；同時基于該模型設(shè)計了任務(wù)感知的多模態(tài)時空數(shù)據(jù)自適應(yīng)可視化引擎。通過多樣化客戶端中宏觀綜合決策與微觀精準診斷與漸進推理協(xié)同的智能設(shè)施管理典型案例分析，表明本文構(gòu)建的可視化任務(wù)模型可為云-霧-端三級的存算繪資源協(xié)同優(yōu)化調(diào)度奠定基礎(chǔ)，同時也為時空大數(shù)據(jù)的可視分析提供了重要的技術(shù)支撐。