基于粒計(jì)算的大數(shù)據(jù)空間行為可視化技術(shù)仿真

郭 亮

(贛南師范大學(xué)，江西 贛州 341000)

1 引言

大數(shù)據(jù)是指融合多種來(lái)源，并以多元化的形式存在的龐大數(shù)據(jù)組，具有數(shù)據(jù)量大、增長(zhǎng)速度快以及結(jié)構(gòu)多樣的特點(diǎn)，大數(shù)據(jù)包含的數(shù)據(jù)信息具有時(shí)效性。通過(guò)對(duì)海量大數(shù)據(jù)的存儲(chǔ)、檢索、通信、處理等操作，能夠得到更加權(quán)威的研究結(jié)果，同時(shí)可以制定出有針對(duì)性的發(fā)展策略[1]。大數(shù)據(jù)涉及的領(lǐng)域逐漸向人們的日常生活靠近，能夠儲(chǔ)存人們的日?？臻g行為數(shù)據(jù)?？臻g行為指的是人們?cè)谌粘Ｉ钪邪l(fā)生的行為動(dòng)作，包括空間移動(dòng)行為、社交行為、語(yǔ)言行為等。長(zhǎng)期研究發(fā)現(xiàn)大數(shù)據(jù)空間行為以數(shù)據(jù)的方式呈現(xiàn)不夠直觀，為解決該問(wèn)題，相關(guān)學(xué)習(xí)提出要對(duì)空間行為大數(shù)據(jù)進(jìn)行可視化處理，并以DAG圖的方式呈現(xiàn)用戶(hù)的空間行為。可視化技術(shù)執(zhí)行過(guò)程需要使用代碼程序，由于用戶(hù)需求不同所以需要用戶(hù)自行開(kāi)發(fā)，但并不意味著用戶(hù)要進(jìn)行源代碼開(kāi)發(fā)，而是在工作空間內(nèi)上傳JAR包。

文獻(xiàn)[2]提出基于CiteSpace的大數(shù)據(jù)空間行為可視化技術(shù)，以時(shí)空知識(shí)圖譜及內(nèi)容知識(shí)圖譜分析為主要研究方法，基于信息可視化軟件CiteSpace，對(duì)大數(shù)據(jù)空間行為進(jìn)行可視化比較和分析，提出粒計(jì)算解決框架，分析了深度學(xué)習(xí)與粒計(jì)算的邏輯關(guān)系，提出深度學(xué)習(xí)本質(zhì)上是多粒度計(jì)算，可以用深度學(xué)習(xí)引導(dǎo)在大數(shù)據(jù)處理中形成數(shù)據(jù)粒和功能粒的最優(yōu)結(jié)構(gòu)，討論了量子比特編碼與粒計(jì)算的關(guān)系，提出用量子比特編碼有可能降低大數(shù)據(jù)問(wèn)題的規(guī)模和復(fù)雜度。但該方法僅能為大數(shù)據(jù)空間行為可視化技術(shù)提供理論知識(shí)，缺少實(shí)際應(yīng)用。文獻(xiàn)[3]提出基于SuperMap的大數(shù)據(jù)空間行為可視化技術(shù)，以海量時(shí)空點(diǎn)數(shù)據(jù)為例，采用預(yù)處理可視化方案，設(shè)計(jì)并實(shí)現(xiàn)了一套高可擴(kuò)展的分布式可視分析框架。基于SuperMap技術(shù)，還原空間行為，得到可視化結(jié)果。但該方法只能處理部分信息結(jié)構(gòu)簡(jiǎn)單的數(shù)據(jù)，對(duì)于結(jié)構(gòu)復(fù)雜、冗余度高的數(shù)據(jù)無(wú)法進(jìn)行準(zhǔn)確的可視化處理。

由于大數(shù)據(jù)與空間行為都屬于瞬時(shí)行為，要求可視化技術(shù)要保證可視信息的實(shí)時(shí)性，為此需要在傳統(tǒng)可視化技術(shù)的基礎(chǔ)上對(duì)大數(shù)據(jù)空間行為可視化技術(shù)進(jìn)行優(yōu)化與改進(jìn)。本研究引入粒計(jì)算方法，其基本單位為粒，是論域中的子集、類(lèi)、簇以及元素通過(guò)功能標(biāo)簽、不可區(qū)分性以及相似性和功能標(biāo)簽而形成的集合。集合的一個(gè)子集、系統(tǒng)的一個(gè)模塊等都是粒。將粒計(jì)算的構(gòu)建與分解原理應(yīng)用到大數(shù)據(jù)空間行為的可視化技術(shù)中，能夠提升技術(shù)速度，實(shí)現(xiàn)可視化技術(shù)的優(yōu)化。

2 大數(shù)據(jù)空間行為可視化技術(shù)設(shè)計(jì)

大數(shù)據(jù)空間行為可視化技術(shù)的思想為：將大數(shù)據(jù)空間行為的數(shù)據(jù)信息通過(guò)數(shù)據(jù)挖掘、粒計(jì)算處理以及變換、編碼等過(guò)程轉(zhuǎn)換為圖像數(shù)據(jù)[4]。具體的設(shè)計(jì)過(guò)程如圖1所示。

圖1 空間行為可視化技術(shù)流程圖

空間行為數(shù)據(jù)一般采用矢量數(shù)據(jù)模型來(lái)表示，矢量數(shù)據(jù)模型由點(diǎn)線(xiàn)面三個(gè)基本元素單位組成，用來(lái)表示空間行為中的實(shí)體。

2.1 空間行為數(shù)據(jù)挖掘

空間行為數(shù)據(jù)包括社交行為數(shù)據(jù)、邏輯語(yǔ)言行為數(shù)據(jù)和空間移動(dòng)行為數(shù)據(jù)。挖掘空間行為數(shù)據(jù)的步驟為空間行為數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、數(shù)據(jù)表述和數(shù)據(jù)評(píng)價(jià)四個(gè)階段[5]，其過(guò)程如圖2所示。

圖2 數(shù)據(jù)挖掘一般步驟

在按照上圖步驟挖掘大數(shù)據(jù)空間行為數(shù)據(jù)的過(guò)程中，首先設(shè)定數(shù)據(jù)挖掘的最小支持度為s，最小置信度為C0，進(jìn)而得到候選項(xiàng)集，如果該集合的支持度大于等于最小支持度，那么就稱(chēng)之為頻繁項(xiàng)集[6]。對(duì)數(shù)據(jù)庫(kù)中的大數(shù)據(jù)進(jìn)行掃描，直到不再產(chǎn)生新的候選項(xiàng)集為止。

按照上述數(shù)據(jù)挖掘步驟對(duì)社交行為數(shù)據(jù)進(jìn)行挖掘，將社交數(shù)據(jù)、話(huà)題、命名實(shí)體及其關(guān)聯(lián)定義為層次語(yǔ)義模型，將每一條消息定義為一個(gè)節(jié)點(diǎn)，自然劃分話(huà)題不相同的消息，將劃分結(jié)果定義為：

∏={n:n∈VT}

(1)

式中n表示的是空間行為數(shù)據(jù)中的消息數(shù)據(jù)，VT為相同話(huà)題的消息集合。對(duì)劃分遍歷后得到的聚類(lèi)圖用矩陣向量來(lái)表示，圖形表達(dá)式如式(2)所示。

AG=〈VT，ET〉

(2)

式中ET表示命名實(shí)體分類(lèi)關(guān)系。按照相同的挖掘方法挖掘空間行為中的邏輯語(yǔ)言行為和空間移動(dòng)行為大數(shù)據(jù)，聚類(lèi)融合空間行為數(shù)據(jù)，輸出最終的挖掘結(jié)果，實(shí)現(xiàn)空間行為數(shù)據(jù)的挖掘。

2.2 基于粒計(jì)算的空間行為數(shù)據(jù)可視化處理

基于粒計(jì)算進(jìn)行空間行為數(shù)據(jù)的可視化處理，首先需要標(biāo)準(zhǔn)化數(shù)據(jù)格式，將不同的空間行為數(shù)據(jù)類(lèi)型轉(zhuǎn)換成為統(tǒng)一的格式，設(shè)融合的大挖掘數(shù)據(jù)原始序列的表達(dá)式為

X(0)=(x(0)(1)，x(0)(2)，…，x(0)(n))

(3)

設(shè)D1為作用于x(0)的算子，X(0)經(jīng)過(guò)算子D1作用后可以得到式(4)中的序列[7]

XD1=(x(0)(1)d1，x(0)(2)d1，…，x(0)(n)d1)

(4)

式中單位元素的計(jì)算公式為：

(5)

式中λ為加權(quán)變換算子系數(shù)，其取值為0<λ<1。由此建立加權(quán)變換方程如下

x(0)(k)+ax(1)(k)=b

(6)

式中，a為微分變量，其對(duì)應(yīng)的微分方程可以表示為

(7)

式中，t代表微分作用系數(shù)，求解上述微分方程的響應(yīng)函數(shù)，如式(8)所示

(8)

則挖掘原始數(shù)據(jù)的響應(yīng)序列為

(9)

通過(guò)濾波處理、坐標(biāo)變換、幾何變換、線(xiàn)性分割等步驟，借助粒計(jì)算中的粒構(gòu)建和分解原理，從粒度空間優(yōu)化和多粒度聯(lián)合計(jì)算兩個(gè)方面，實(shí)現(xiàn)粒計(jì)算的預(yù)處理[8]。具體的處理過(guò)程如圖3所示。

圖3 粒計(jì)算的空間行為數(shù)據(jù)可視化處理框架圖

2.2.1粒度空間優(yōu)化

針對(duì)空間行為問(wèn)題性質(zhì)以及計(jì)算過(guò)程的約束條件，在問(wèn)題大數(shù)據(jù)的多粒度表示空間中選擇合適的粒層。通過(guò)對(duì)空間行為推測(cè)出滿(mǎn)意解的粒度，再對(duì)本身的粒度進(jìn)行求解。解的粒度與問(wèn)題粒度之間的映射關(guān)系為MPS，問(wèn)題的粒度比解的粒度更粗，從而得到特定粒度上的解。在大數(shù)據(jù)空間行為問(wèn)題的求解過(guò)程中，所要計(jì)算出的空間行為可視化數(shù)據(jù)處于核實(shí)的粒度層次上，在這個(gè)過(guò)程中所處理的信息粒的粒度稱(chēng)為計(jì)算粒度[9]。從解的粒度到計(jì)算粒度之間存在著映射關(guān)系，可以表示為MSC。根據(jù)MPS和MSC，能夠得到空間行為問(wèn)題粒度與計(jì)算粒度存在的映射關(guān)系，用MPC表示，因此粒度空間優(yōu)化就會(huì)轉(zhuǎn)換為求解MPC的過(guò)程，如圖4所示。

圖4 問(wèn)題粒度到計(jì)算粒度的映射求解過(guò)程

按照?qǐng)D中的映射求解流程，得出粒子空間的優(yōu)化結(jié)果，并將空間行為大數(shù)據(jù)輸入到該粒度空間中。

2.2.2多粒度聯(lián)合計(jì)算

多粒度聯(lián)合計(jì)算是指將求解空間行為大數(shù)據(jù)的過(guò)程，依次分配到數(shù)據(jù)表示的多個(gè)粒度層中，從而形成多個(gè)子任務(wù)，協(xié)同每一個(gè)粒度層次上相對(duì)簡(jiǎn)單的部分，以此完成復(fù)雜問(wèn)題的求解[10]。圖5當(dāng)中存在兩條模糊規(guī)則的推理系統(tǒng)，對(duì)每一個(gè)粒層中的功能計(jì)算其隸屬度等。

圖5 多層粒度的模糊推理計(jì)算示意圖

圖中Ai與Bi分別為多層粒度中的單位粒子，那么映射關(guān)系可以通過(guò)式(10)來(lái)計(jì)算。

(10)

ωi=μAi(x)×μBi(x)，i=1，2

(11)

其中μ為計(jì)算模糊系數(shù)。根據(jù)若干較低層次的粒層，輸出高層次的計(jì)算結(jié)果，完成粒計(jì)算的可視化處理。

2.3 空間行為軌跡變換

將大數(shù)據(jù)中的空間行為數(shù)據(jù)信息轉(zhuǎn)換為圖形的表示方式，首先要變換空間行為軌跡，此過(guò)程分為兩個(gè)步驟，分別為空間行為軌跡生成和軌跡變換[11]。空間行為軌跡生成需要計(jì)算行為距離，同時(shí)判斷空間行為的方向。在進(jìn)行距離與方向的計(jì)算時(shí)需要遍歷空間內(nèi)的每一個(gè)節(jié)點(diǎn)，路徑的緩沖區(qū)相交得到空間行為集合L，那么其距離總長(zhǎng)度也為L(zhǎng)，其中每?jī)蓚€(gè)節(jié)點(diǎn)之間的長(zhǎng)度系數(shù)為κ，則空間行為的整體方向值計(jì)算公式如下

L=κ1α1+κ2α2+…+κnαn

(12)

其中每一個(gè)空間段的方向角為αn，計(jì)算得出方向角的值與距離長(zhǎng)度值，最終得到空間行為軌跡變換結(jié)果。

2.4 輸出可視化繪制圖像

將轉(zhuǎn)換完成的空間行為以對(duì)應(yīng)的繪制圖像的形式輸出，圖像的繪制過(guò)程如圖6所示。

圖6 繪制過(guò)程流程圖

首先繪制變換數(shù)據(jù)的底圖信息，按照對(duì)應(yīng)空間行為配置信息以及元素，實(shí)現(xiàn)大數(shù)據(jù)空間行為的可視化。接著按照空間行為的聚集程度，將數(shù)據(jù)全部繪制在畫(huà)布上，并使用不同的顏色來(lái)表示。對(duì)數(shù)據(jù)中的每一個(gè)粒子元素做一個(gè)緩沖區(qū)，緩沖區(qū)的像素值與到元素的距離成反比，也就是逐漸遞減，遞減函數(shù)可通過(guò)式(13)來(lái)計(jì)算

(13)

通過(guò)式(13)得出的每一個(gè)結(jié)果都包含著該像素的顏色信息，此時(shí)畫(huà)布中的所有像素都有不同的alpha值。將透明度轉(zhuǎn)換為色彩紙，根據(jù)alpha值的不同，將當(dāng)前的alpha的值對(duì)應(yīng)的RGB值賦予到像素[12]。

3 仿真分析

為檢測(cè)粒計(jì)算下的大數(shù)據(jù)空間行為可視化技術(shù)的有效性，需要設(shè)計(jì)仿真對(duì)可視化技術(shù)的結(jié)果進(jìn)行分析。為了保證仿真變量的唯一性，在仿真過(guò)程中選擇相同的大數(shù)據(jù)空間行為數(shù)據(jù)作為仿真的仿真數(shù)據(jù)。通過(guò)搭建可視化技術(shù)應(yīng)用的處理仿真平臺(tái)，對(duì)輸入的空間行為數(shù)據(jù)進(jìn)行可視化技術(shù)處理，并對(duì)結(jié)果進(jìn)行具體分析。

3.1 搭建可視化處理仿真平臺(tái)

由于采集實(shí)際空間行為數(shù)據(jù)不可控因素較多，因此直接調(diào)用數(shù)據(jù)庫(kù)中的數(shù)據(jù)信息，并搭建仿真環(huán)境，在仿真環(huán)境下對(duì)空間行為信息進(jìn)行可視化處理。

仿真環(huán)境主要由物理設(shè)備層、軟件環(huán)境層、業(yè)務(wù)邏輯層、服務(wù)層以及應(yīng)用層五個(gè)部分組成。其中物理層能夠?yàn)檎麄€(gè)可視化技術(shù)的物理硬件提供支持。在物理層上安裝服務(wù)器、CPU處理器以及存儲(chǔ)器等硬件設(shè)備。利用服務(wù)器強(qiáng)大的運(yùn)算處理能力，為上層所有功能計(jì)算提供支持。軟件環(huán)境層，即為可視化技術(shù)處理層，提供可視化數(shù)據(jù)處理平臺(tái)最基本的軟件支持。而業(yè)務(wù)邏輯層、服務(wù)層及應(yīng)用層，主要支持可視化技術(shù)的正常運(yùn)行以及后期維護(hù)處理，保證空間行為可視化技術(shù)在仿真過(guò)程中可以正常使用。

3.2 設(shè)立仿真對(duì)照

為了凸顯設(shè)計(jì)出的粒計(jì)算下大數(shù)據(jù)空間行為可視化技術(shù)的有效性，在仿真中將傳統(tǒng)的可視化空間行為處理技術(shù)作為仿真對(duì)照。仿真中兩種可視化技術(shù)處理的仿真空間行為數(shù)據(jù)相同，以此保證仿真變量的唯一性。

3.4 仿真結(jié)果與分析

將兩種空間行為可視化技術(shù)作為仿真環(huán)境中的軟件環(huán)境層，將相同的空間行為數(shù)據(jù)輸入到仿真環(huán)境當(dāng)中。分別使用兩種技術(shù)對(duì)其進(jìn)行可視化處理，在數(shù)據(jù)輸入時(shí)啟動(dòng)時(shí)間計(jì)，直輸出空間行為可視化圖像后，計(jì)時(shí)結(jié)束。記錄計(jì)時(shí)器顯示的時(shí)間數(shù)據(jù)，該數(shù)據(jù)即為可視化技術(shù)處理所消耗的時(shí)間，對(duì)兩種技術(shù)的仿真結(jié)果進(jìn)行對(duì)比分析。

路線(xiàn)創(chuàng)建過(guò)程如圖7所示。

圖7 大數(shù)據(jù)空間行為軌跡創(chuàng)建過(guò)程

設(shè)置像素點(diǎn)的圓半徑以及模糊度，使其攜帶新的顏色值，重新在畫(huà)布上繪制圖像，并將大數(shù)據(jù)空間行為的可視化繪制圖像輸出，輸出結(jié)果如圖8所示。

圖8 大數(shù)據(jù)空間行為可視化輸出結(jié)果圖

在上述實(shí)驗(yàn)結(jié)果的基礎(chǔ)上，下面對(duì)提出方法的穩(wěn)定性進(jìn)行實(shí)驗(yàn)驗(yàn)證。將傳統(tǒng)方法作為實(shí)驗(yàn)對(duì)照，隨著大數(shù)據(jù)空間行為挖掘時(shí)間的增加，輸出方法挖掘穩(wěn)定性，實(shí)驗(yàn)結(jié)果如下：

圖9 穩(wěn)定性對(duì)比

圖9對(duì)比了兩種方法的應(yīng)用穩(wěn)定性，從該實(shí)驗(yàn)結(jié)果中可以看出傳統(tǒng)方法的穩(wěn)定性波動(dòng)較大，最高波動(dòng)達(dá)到±1.5%，該范圍的穩(wěn)定性無(wú)法滿(mǎn)足實(shí)際應(yīng)用要求。相比之下，研究方法的穩(wěn)定性波動(dòng)范圍±0.5%，說(shuō)明該方法具有更好的穩(wěn)定性，這大大增強(qiáng)了方法的應(yīng)用性能。

除方法的穩(wěn)定性之外，隨著待挖掘行為數(shù)量的增高，其可視化處理的時(shí)長(zhǎng)也是衡量方法有效性的關(guān)鍵性參數(shù)。經(jīng)過(guò)仿真過(guò)程，得出有關(guān)于空間行為可視化技術(shù)的執(zhí)行時(shí)間結(jié)果，如表1所示。

表1 實(shí)驗(yàn)對(duì)比結(jié)果

從表中的數(shù)據(jù)結(jié)果可以看出，傳統(tǒng)可視化技術(shù)的平均消耗時(shí)間為0.5秒/kB，而設(shè)計(jì)出的可視化技術(shù)的平均消耗時(shí)間僅為0.02秒/kB。隨著處理數(shù)據(jù)量的增加，兩種技術(shù)的可視化處理速度也在發(fā)生變化，當(dāng)空間行為數(shù)據(jù)量達(dá)到1GB時(shí)，使用設(shè)計(jì)出的粒計(jì)算可視化技術(shù)相比于傳統(tǒng)的可視化技術(shù)可以節(jié)省大約873.8秒，且經(jīng)過(guò)處理與計(jì)算發(fā)現(xiàn)，兩種可視化技術(shù)的處理準(zhǔn)確率與輸出結(jié)果的質(zhì)量相近。因此可以得出結(jié)論：當(dāng)?shù)贸鼋葡嗤梢暬幚斫Y(jié)果時(shí)，使用粒計(jì)算可視化技術(shù)可以節(jié)省大量的處理時(shí)間。

4 結(jié)束語(yǔ)

通過(guò)分析使用粒計(jì)算處理大數(shù)據(jù)空間行為，研究大數(shù)據(jù)空間行為和粒計(jì)算領(lǐng)域的相關(guān)基礎(chǔ)，為實(shí)現(xiàn)空間行為的可視化處理，因此提出基于粒計(jì)算的大數(shù)據(jù)空間行為可視化技術(shù)，將實(shí)現(xiàn)的可視化技術(shù)應(yīng)用到實(shí)際的研究工作當(dāng)中，在保證可視化質(zhì)量的前提下，可以節(jié)省大量的處理時(shí)間，希望這種基于粒子計(jì)算的大數(shù)據(jù)處理方式，可以對(duì)研究著提供一些有益的借鑒和幫助。