大數(shù)據(jù)信息可視化實(shí)時(shí)推送系統(tǒng)設(shè)計(jì)研究

黃思蓓，賈寶林

(上海工業(yè)自動(dòng)化儀表研究院有限公司，上海 200233)

0 引言

隨著計(jì)算機(jī)、互聯(lián)網(wǎng)等計(jì)算機(jī)技術(shù)的飛速發(fā)展，用戶數(shù)據(jù)以量級(jí)增長(zhǎng)的方式被存儲(chǔ)和記錄，形成了信息擁擠的局面。大數(shù)據(jù)的三個(gè)主要特征就是海量化、多樣化、快速化[1]。海量級(jí)數(shù)據(jù)中包含的規(guī)律和趨勢(shì)是當(dāng)今各行各業(yè)的專業(yè)人士面對(duì)的機(jī)遇和挑戰(zhàn)。數(shù)據(jù)可視化無(wú)疑是有效的途徑[2]。

大數(shù)據(jù)可視化概念的出現(xiàn)，挖掘出復(fù)雜數(shù)據(jù)所蘊(yùn)含的關(guān)聯(lián)、模式[3]，幫助用戶以結(jié)構(gòu)化的方式利用海量數(shù)據(jù)。在大數(shù)據(jù)時(shí)代，可視化的實(shí)時(shí)性數(shù)據(jù)需求是發(fā)展方向之一。

1 系統(tǒng)設(shè)計(jì)分析

傳統(tǒng)的數(shù)據(jù)信息展示系統(tǒng)在處理大數(shù)據(jù)時(shí)，存在時(shí)效性低、處理數(shù)據(jù)量級(jí)不高的問(wèn)題，需要用戶不斷主動(dòng)刷新，難以在第一時(shí)間捕捉感知信息變化。在此背景下，基于大數(shù)據(jù)和實(shí)時(shí)推送[4]相關(guān)技術(shù)的發(fā)展而產(chǎn)生的大數(shù)據(jù)信息可視化實(shí)時(shí)推送系統(tǒng)是更優(yōu)的解決方案。

大數(shù)據(jù)的主要處理過(guò)程包括但不限于采集、分析和展示數(shù)據(jù)；大數(shù)據(jù)信息可視化實(shí)時(shí)推送系統(tǒng)的關(guān)鍵在于展示數(shù)據(jù)。展示數(shù)據(jù)的主要過(guò)程是數(shù)據(jù)的實(shí)時(shí)、可視化呈現(xiàn)，將數(shù)據(jù)分析結(jié)果以易讀、歸類、聚類、圖形等形式輸出，幫助用戶清晰、有效地獲取信息的分類和分析?？梢暬瘮?shù)據(jù)的展示有推式和拉式，在一定量級(jí)的前提下，對(duì)即時(shí)性有較高要求，呈現(xiàn)數(shù)據(jù)隨時(shí)間的趨勢(shì)變化，并能實(shí)現(xiàn)用戶交互[5]，幫助用戶實(shí)時(shí)查詢信息狀態(tài)。

數(shù)據(jù)推式和拉式這兩種實(shí)現(xiàn)方式的目標(biāo)一致，都是為了向用戶展示最新的信息。其基礎(chǔ)思想是將用戶從瀏覽器獲取查詢信息的主動(dòng)行為，改為由服務(wù)器主動(dòng)發(fā)送信息。服務(wù)器向用戶瀏覽器批量發(fā)送數(shù)據(jù)，并在發(fā)送完成后仍然保持與瀏覽器的連接通道。隨后，服務(wù)器可以繼續(xù)發(fā)送批量數(shù)據(jù)，達(dá)到實(shí)時(shí)更新信息的目的。這種數(shù)據(jù)傳送方式的效率比通常的客戶端主動(dòng)查詢方式更高。這是因?yàn)楹罄m(xù)數(shù)據(jù)的傳輸無(wú)需再建立新的連接通道。無(wú)論是否有數(shù)據(jù)傳輸始終保持連接，服務(wù)器可以在任意時(shí)間發(fā)送大批量數(shù)據(jù)，并控制信息更新的時(shí)刻和頻率，從而實(shí)現(xiàn)信息推送的實(shí)時(shí)性要求。

本文提出一種關(guān)于大數(shù)據(jù)信息可視化實(shí)時(shí)推送系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)流程，便于相關(guān)開(kāi)發(fā)和設(shè)計(jì)人員對(duì)大數(shù)據(jù)信息可視化實(shí)時(shí)推送系統(tǒng)進(jìn)行設(shè)計(jì)和開(kāi)發(fā)。

2 系統(tǒng)設(shè)計(jì)過(guò)程

本文提出一種將實(shí)時(shí)技術(shù)貫穿于系統(tǒng)整個(gè)過(guò)程的設(shè)計(jì)方法。該方法包括功能需求分析、數(shù)據(jù)結(jié)構(gòu)分析和架構(gòu)設(shè)計(jì)三個(gè)部分。每個(gè)部分都從實(shí)時(shí)性出發(fā)與考慮，滿足用戶期望的實(shí)時(shí)信息展示需求。

2.1 功能需求分析

大數(shù)據(jù)信息可視化界面是用戶與大數(shù)據(jù)系統(tǒng)交互的窗口[6]。用戶通過(guò)信息推送獲取更新的數(shù)據(jù)信息。只有對(duì)大數(shù)據(jù)包含的海量數(shù)據(jù)進(jìn)行分析聚類后，才能得到有價(jià)值的信息。為了讓用戶實(shí)時(shí)獲取更新的信息，在系統(tǒng)設(shè)計(jì)過(guò)程中需要重點(diǎn)設(shè)計(jì)推送的實(shí)時(shí)流程，防止數(shù)據(jù)重疊與信息滯后。

大數(shù)據(jù)信息可視化實(shí)時(shí)推送系統(tǒng)所展示的是實(shí)時(shí)信息，在設(shè)計(jì)前需要對(duì)推送的信息進(jìn)行分類。針對(duì)不同類型推送的頻率和方式有所差異。一般來(lái)說(shuō)，推送信息有三種類型，分別是直觀的實(shí)時(shí)數(shù)據(jù)信息、分析處理后的聚類信息以及普通數(shù)據(jù)，例如系統(tǒng)用戶信息。普通數(shù)據(jù)沒(méi)有即時(shí)性要求，查詢隨機(jī)，查詢頻率也比較低。

數(shù)據(jù)分類如表1所示。

表1 數(shù)據(jù)分類表

實(shí)時(shí)數(shù)據(jù)信息是不需要作進(jìn)一步處理的原始統(tǒng)計(jì)數(shù)據(jù)，例如數(shù)據(jù)報(bào)表等。分析處理后的聚類信息是為滿足大數(shù)據(jù)可視化要求，對(duì)原始統(tǒng)計(jì)數(shù)據(jù)進(jìn)行多維度的聚類分析，形成有特征性的分組分類的統(tǒng)計(jì)數(shù)據(jù)。在對(duì)推送信息進(jìn)行分類和確認(rèn)后，需要具體分析不同的目標(biāo)需求。差異的需求指標(biāo)項(xiàng)包括數(shù)據(jù)準(zhǔn)確性、用戶關(guān)注點(diǎn)和相關(guān)操作行為、推送頻率和更新時(shí)機(jī)、滯后時(shí)差的容忍度等。相關(guān)的指標(biāo)項(xiàng)在需求調(diào)研過(guò)程中需要使用定量和定性相結(jié)合的思考方式和設(shè)計(jì)方案。

2.2 數(shù)據(jù)結(jié)構(gòu)分析

大數(shù)據(jù)可視化的數(shù)據(jù)量過(guò)于龐大，且每秒數(shù)據(jù)流量也非常巨大，不可能將每一條數(shù)據(jù)作為觸發(fā)實(shí)時(shí)信息聚類的契機(jī)。因此，需要進(jìn)行定量操作，在數(shù)據(jù)流的角度上分析數(shù)據(jù)。同時(shí)，設(shè)計(jì)既要確保用戶感受到實(shí)時(shí)性、不丟失重要的信息觀測(cè)時(shí)間點(diǎn)，又要在發(fā)揮機(jī)器性能約束前提下最大限度地進(jìn)行實(shí)時(shí)數(shù)據(jù)計(jì)算。在進(jìn)行分析數(shù)據(jù)時(shí)，可以采用以下步驟。①具體化數(shù)據(jù)指標(biāo)：將用戶提出的需求細(xì)化，具體到每一個(gè)數(shù)據(jù)指標(biāo)。②選擇組合指標(biāo)：選擇符合需求描述的數(shù)據(jù)指標(biāo)組合。③合并數(shù)據(jù)指標(biāo)：對(duì)數(shù)據(jù)指標(biāo)統(tǒng)一格式和精度，化繁為簡(jiǎn)。檢查分析每個(gè)反映用戶需求的待展示的圖表，將同一圖表內(nèi)不同數(shù)據(jù)指標(biāo)歸類，以最少推送更新盡可能多的圖表項(xiàng)為目標(biāo)，規(guī)劃推送數(shù)據(jù)接口內(nèi)的數(shù)據(jù)指標(biāo)組合，力爭(zhēng)一次數(shù)據(jù)推送可以同時(shí)更新多維信息。

2.3 架構(gòu)設(shè)計(jì)

在經(jīng)過(guò)數(shù)據(jù)分析后，界面上需要展示的數(shù)據(jù)信息已基本確定。接下來(lái)的功能設(shè)計(jì)階段主要考慮數(shù)據(jù)推送速度、信息聚類計(jì)算速度、數(shù)據(jù)防丟失這三個(gè)方面。因此，在進(jìn)行架構(gòu)設(shè)計(jì)時(shí)需要強(qiáng)調(diào)以數(shù)據(jù)流為中心，遵循數(shù)據(jù)一致性、準(zhǔn)確性、實(shí)時(shí)性等原則。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

由圖1可知，外部數(shù)據(jù)接入后，首先進(jìn)入數(shù)據(jù)采集集群進(jìn)行轉(zhuǎn)換和清洗，然后流入計(jì)算服務(wù)集群進(jìn)行計(jì)算，最后存儲(chǔ)在分布式集群。三個(gè)集群間使用Kafka通道進(jìn)行數(shù)據(jù)定向流通?？梢暬到y(tǒng)得到監(jiān)控信號(hào)后，主動(dòng)將計(jì)算結(jié)果數(shù)據(jù)推送到Web端，使用戶可以觀察到數(shù)據(jù)變化。

以上系統(tǒng)結(jié)構(gòu)中的整體數(shù)據(jù)流處理如圖2所示。

圖2 數(shù)據(jù)流處理示意圖

數(shù)據(jù)流設(shè)計(jì)如圖3所示。

圖3 數(shù)據(jù)流設(shè)計(jì)示意圖

在進(jìn)行架構(gòu)設(shè)計(jì)時(shí)，重點(diǎn)設(shè)計(jì)以下五個(gè)步驟。

①模塊設(shè)計(jì)。根據(jù)具體業(yè)務(wù)需求設(shè)計(jì)后，需要考慮不同業(yè)務(wù)的不同數(shù)據(jù)處理率要求。對(duì)此，可以在系統(tǒng)內(nèi)以處理速率為基準(zhǔn)劃分若干的模塊，將相同的數(shù)據(jù)處理率的業(yè)務(wù)調(diào)配整合到同一模塊。這樣，模塊內(nèi)所有業(yè)務(wù)可使用統(tǒng)一速率的讀寫線程進(jìn)行數(shù)據(jù)操作。

②存儲(chǔ)設(shè)計(jì)。在存儲(chǔ)之前，先應(yīng)剔除冗余的數(shù)據(jù)，再應(yīng)用數(shù)據(jù)預(yù)處理工具(數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)集成)自動(dòng)、高速地實(shí)現(xiàn)海量數(shù)據(jù)的過(guò)濾和整理[7]。存儲(chǔ)組件可選用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)或者NOSQL數(shù)據(jù)庫(kù)。對(duì)于只進(jìn)行直接查詢的實(shí)時(shí)數(shù)據(jù)，沒(méi)有過(guò)多的存儲(chǔ)表字段設(shè)計(jì)要求。對(duì)于需要復(fù)雜運(yùn)算的聚類數(shù)據(jù)，可將計(jì)算結(jié)果所有需要推送展示的字段放入一個(gè)寬表中，避免多個(gè)數(shù)據(jù)表直接出現(xiàn)層級(jí)，去除字段間的關(guān)聯(lián)關(guān)系，使字段平坦、查詢語(yǔ)句直接，以減少?gòu)?fù)雜查詢帶來(lái)的時(shí)間延遲。

③線程設(shè)計(jì)。由于可視化實(shí)時(shí)推送系統(tǒng)對(duì)時(shí)間高度敏感，在進(jìn)行設(shè)計(jì)時(shí)可考慮將數(shù)據(jù)的讀和寫分成不同的線程處理。讀寫線程可進(jìn)一步細(xì)分為高速讀、低速讀、高速寫和低速寫四種類型。各類型線程處理數(shù)據(jù)選擇如表2所示。

表2 線程處理數(shù)據(jù)選擇表

④信息推送。對(duì)于可視化界面需要進(jìn)行趨勢(shì)分析的圖表，其快速變化的動(dòng)態(tài)效果需要考慮前端不斷查詢請(qǐng)求對(duì)后端服務(wù)器的負(fù)載要求。因此，在前后端信息溝通方式上，首選后端服務(wù)器推送模型。前端服務(wù)器訂閱相關(guān)信息主題后，等待來(lái)自服務(wù)器的消息推送。一次消息可攜帶多維度數(shù)據(jù)。一次推送可更新若干圖表。這樣可以實(shí)現(xiàn)在界面組件觀測(cè)到多種趨勢(shì)同時(shí)改變的良好可視化效果。同時(shí)，設(shè)計(jì)需要避免同一數(shù)據(jù)分析結(jié)果被多次作為新信息推送到前端，導(dǎo)致占用服務(wù)器資源和網(wǎng)絡(luò)資源。這也會(huì)加大前端因?yàn)闊o(wú)效刷新帶來(lái)的負(fù)載。

⑤時(shí)間調(diào)度。在實(shí)際環(huán)境中，每秒處理的數(shù)據(jù)可達(dá)千萬(wàn)級(jí)。如果每次收到新數(shù)據(jù)都進(jìn)行可視化推送，將導(dǎo)致可視化組件變化頻率高于人眼可接受的程度，也就是每秒變化一千次和每秒變化一百次的視覺(jué)效果是等同的。同時(shí)，如果前端可視化組件以高速變化，在人視覺(jué)上則表現(xiàn)為“抖動(dòng)”的現(xiàn)象。解決這個(gè)問(wèn)題可以從兩方面入手：一是可視化使用折線圖或散點(diǎn)圖等反映高速變化趨勢(shì)的組件；二是考慮在服務(wù)端架設(shè)緩存層以控制信息推送的頻率，可選用Redis組件等作為高速緩存作定時(shí)、定量推送。具體推送頻率需要在實(shí)際布署測(cè)試后不斷調(diào)整。

2.4 布署測(cè)試

系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)編碼完成后，可視化實(shí)時(shí)推送系統(tǒng)需要進(jìn)行布署測(cè)試，驗(yàn)證設(shè)計(jì)的合理性，并進(jìn)行調(diào)試修改。其目標(biāo)是取得最佳的用戶體驗(yàn)。布署測(cè)試主要包括功能測(cè)試、實(shí)地測(cè)試和可行性測(cè)試三個(gè)部分。

功能測(cè)試是為了保證用戶所提的每個(gè)需求都在系統(tǒng)中得到實(shí)現(xiàn)且無(wú)遺漏，在設(shè)計(jì)過(guò)程中得到充分的展示。因此，需要重點(diǎn)關(guān)注數(shù)據(jù)流是否順暢、推送頻率是否合適、數(shù)據(jù)實(shí)時(shí)性是否滿足系統(tǒng)需求。

實(shí)地測(cè)試是因?yàn)殚_(kāi)發(fā)過(guò)程中使用的軟硬件設(shè)備與實(shí)際上線運(yùn)行使用的軟硬件設(shè)備可能不同，為確保用戶現(xiàn)場(chǎng)使用的具體效果而進(jìn)行的測(cè)試，包括動(dòng)態(tài)效果、色差是否正常等。

可行性測(cè)試主要檢驗(yàn)設(shè)計(jì)的可視化界面是否能夠完全解釋信息含義、組件選擇是否能合適體現(xiàn)數(shù)據(jù)可視化需求、是否與客戶需求相匹配、是否達(dá)到了所見(jiàn)即所得的可視化效果。

3 設(shè)計(jì)實(shí)例

本文以某地區(qū)單位大數(shù)據(jù)系統(tǒng)可視化實(shí)時(shí)推送系統(tǒng)設(shè)計(jì)為例。系統(tǒng)采用大屏界面，展示全國(guó)范圍內(nèi)精確到市縣行政區(qū)域乃至機(jī)關(guān)單位的實(shí)時(shí)數(shù)據(jù)。其特殊之處在于，實(shí)時(shí)數(shù)據(jù)需要與歷史數(shù)據(jù)進(jìn)一步分析處理后獲取聚類信息，原始數(shù)據(jù)和聚類數(shù)據(jù)同步實(shí)時(shí)可視化展示[8-9]。用戶對(duì)聚類信息所關(guān)注的重點(diǎn)是數(shù)據(jù)的統(tǒng)計(jì)和挖掘，通過(guò)顯示界面直觀地展示地區(qū)分布情況和變化趨勢(shì)，且聚類信息具有數(shù)量級(jí)大、時(shí)間范圍廣、統(tǒng)計(jì)維度多等特點(diǎn)。根據(jù)用戶的需求，系統(tǒng)設(shè)計(jì)要求在可靠性、易用性、實(shí)時(shí)性、準(zhǔn)確性四個(gè)方面重點(diǎn)把控。在得到用戶的需求和系統(tǒng)設(shè)計(jì)要求后，則進(jìn)行需求和數(shù)據(jù)分析。在警告分析需求維度、選擇數(shù)據(jù)、合并維度和選擇表現(xiàn)后，確定使用地圖標(biāo)注數(shù)據(jù)對(duì)應(yīng)的發(fā)生地域。每獲取一條新的原始數(shù)據(jù)都全面重新計(jì)算累計(jì)數(shù)值和趨勢(shì)分析，并立即綜合更新數(shù)據(jù)聚類分析后的柱狀圖、餅圖、折線圖等圖表。聚類展示和原始展示數(shù)據(jù)時(shí)間滯后在1 s內(nèi)。

本文結(jié)合數(shù)據(jù)推送的指導(dǎo)思想得到設(shè)計(jì)架構(gòu)方案。開(kāi)發(fā)測(cè)試布署調(diào)試結(jié)合用戶需求進(jìn)行相關(guān)修改。用戶試用后，反復(fù)多次優(yōu)化信息聚類計(jì)算方法，調(diào)整數(shù)據(jù)推送頻率。

4 結(jié)論

在互聯(lián)網(wǎng)飛速發(fā)展的時(shí)代，大數(shù)據(jù)將持續(xù)改變和影響人們生活的方方面面。大數(shù)據(jù)信息可視化實(shí)時(shí)推送系統(tǒng)將取代傳統(tǒng)的用戶主動(dòng)式查詢信息系統(tǒng)。

本文提出了大數(shù)據(jù)信息可視化實(shí)時(shí)推送系統(tǒng)設(shè)計(jì)方法，并通過(guò)設(shè)計(jì)實(shí)例進(jìn)行了相關(guān)的論述。該設(shè)計(jì)方法一定程度上能夠?yàn)樵O(shè)計(jì)架構(gòu)人員在實(shí)時(shí)推送系統(tǒng)設(shè)計(jì)時(shí)提供設(shè)計(jì)流程的指導(dǎo)，是一種可參考的設(shè)計(jì)規(guī)范和方案。