探析大數(shù)據(jù)可視化技術(shù)與工具

閆鍇 覃曉虹 郭丹

【摘 ?要】可視化隨著大數(shù)據(jù)時(shí)代的來(lái)臨日漸重要，傳統(tǒng)可視化技術(shù)在應(yīng)對(duì)大規(guī)模數(shù)據(jù)有響應(yīng)時(shí)間過(guò)長(zhǎng)、缺少靈活性等弊端，而現(xiàn)如今，這項(xiàng)技術(shù)已發(fā)展到一定程度，很多互聯(lián)網(wǎng)公司都推出了各自的產(chǎn)品，種類(lèi)繁多，能滿足目前大多數(shù)需求。針對(duì)目前幾款比較熱門(mén)和使用普遍的技術(shù)和工具，從他們的功能特點(diǎn)展開(kāi)分析。

【關(guān)鍵詞】大數(shù)據(jù);可視化;技術(shù);工具

引言

現(xiàn)代社會(huì)，人類(lèi)早已和數(shù)據(jù)密不可分，海量數(shù)據(jù)的組成真實(shí)地反映了現(xiàn)實(shí)世界的復(fù)雜事物，但人腦無(wú)法直接把龐大的數(shù)據(jù)轉(zhuǎn)化為有效的信息，數(shù)據(jù)可視化這項(xiàng)技術(shù)有助于我們更好的管理和理解這些數(shù)據(jù)，以及發(fā)現(xiàn)復(fù)雜數(shù)據(jù)更深層次的聯(lián)系。21世紀(jì)初Jim Thomas教授提出可視化是大數(shù)據(jù)挖掘與分析中一項(xiàng)必不可少的技術(shù)，發(fā)展至今從入門(mén)級(jí)的Excel到專業(yè)級(jí)的商業(yè)產(chǎn)品，這項(xiàng)技術(shù)已經(jīng)較為成熟，它的應(yīng)用無(wú)論在金融、銷(xiāo)售、物流、電力、交通、傳媒，還是醫(yī)學(xué)、地理等科學(xué)都發(fā)揮著重要的作用，幫助各領(lǐng)域人員發(fā)現(xiàn)問(wèn)題，診斷問(wèn)題，解決問(wèn)題。

1 .大數(shù)據(jù)可視化基本概念

在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的價(jià)值將得到最大程度的釋放，微小的數(shù)據(jù)也有可能產(chǎn)生超乎想象的價(jià)值。大數(shù)據(jù)的特點(diǎn)包括：Volume（數(shù)據(jù)量大），數(shù)據(jù)從GB到TB、PB乃至EB級(jí)別，采集、存儲(chǔ)和計(jì)算的量大;Variety（類(lèi)型繁多），廣泛的數(shù)據(jù)來(lái)源，決定了大數(shù)據(jù)形式多樣性;Velocity（速度快失效高），數(shù)據(jù)增長(zhǎng)速度快，處理速度快，時(shí)效性高;Value（價(jià)值密度低），所產(chǎn)生的數(shù)據(jù)中，有價(jià)值的數(shù)據(jù)所占比例很小，數(shù)據(jù)價(jià)值密度較低;Online（數(shù)據(jù)在線），數(shù)據(jù)一直在線，隨時(shí)能調(diào)用和計(jì)算，這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)最大的特征。

數(shù)據(jù)可視化是一種通過(guò)將數(shù)據(jù)編碼為可視對(duì)象如點(diǎn)、線、顏色、位置關(guān)系、動(dòng)態(tài)效果等，并將對(duì)象組成圖形來(lái)傳遞數(shù)據(jù)信息的技術(shù)。其目的是以清晰且高效的方式將信息傳遞給用戶，是利用人眼的感知能力對(duì)數(shù)據(jù)進(jìn)行交互的可視化表達(dá)以增強(qiáng)數(shù)據(jù)認(rèn)知的技術(shù)。

數(shù)據(jù)可視化技術(shù)包含以下幾個(gè)基本概念：

數(shù)據(jù)空間：是由n維屬性和m個(gè)元素組成的數(shù)據(jù)集所構(gòu)成的多維信息空間;

數(shù)據(jù)開(kāi)發(fā)：是指利用一定的算法和工具對(duì)數(shù)據(jù)進(jìn)行定量的推演和計(jì)算;

數(shù)據(jù)分析：指對(duì)多維數(shù)據(jù)進(jìn)行切片、塊、旋轉(zhuǎn)等動(dòng)作剖析數(shù)據(jù)，從而能多角度多側(cè)面觀察數(shù)據(jù);

數(shù)據(jù)可視化：是指將大型數(shù)據(jù)集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開(kāi)發(fā)工具發(fā)現(xiàn)其中未知信息的處理過(guò)程。

2. 大數(shù)據(jù)可視化技術(shù)有哪些

前端界面中幾種常見(jiàn)的大數(shù)據(jù)可視化技術(shù)，例如Highchar ts、Echarts、Charts、D3，使用JavaScript結(jié)合HTML5中的Can vas和SVG實(shí)現(xiàn)，能在pc和移動(dòng)設(shè)備上運(yùn)行且支持大多數(shù)主流瀏覽器，兼容性很好。

2.1 Highcharts

開(kāi)源但不完全免費(fèi)的軟件，非商業(yè)用途可免費(fèi)使用，商業(yè)用途需授權(quán)，支付相關(guān)費(fèi)用獲得技術(shù)支持、圖表定制服務(wù)以及VIP專屬服務(wù)。

Highcharts主要優(yōu)勢(shì)在于：

（1）兼容性高，可以在所有的移動(dòng)設(shè)備及電腦上的瀏覽器（IE6以上）中使用。（2）配置語(yǔ)法簡(jiǎn)單，所有配置都是JSON對(duì)象，易于讀寫(xiě)和解析。（3）支持用戶一鍵導(dǎo)出以及直接打印圖表。（4）支持多坐標(biāo)軸，同時(shí)對(duì)比多個(gè)數(shù)據(jù)。

2.2 Echarts

開(kāi)源的、免費(fèi)的可視化庫(kù)，功能豐富，涵蓋各行業(yè)圖標(biāo)，可根據(jù)需求高度個(gè)性化定制。

ECharts全新4.0版本新特點(diǎn)：千萬(wàn)級(jí)數(shù)據(jù)可視化渲染能力、SVG + Canvas 雙引擎動(dòng)力更佳、數(shù)據(jù)樣式分離及扁平配置讓開(kāi)發(fā)更便捷、首創(chuàng)無(wú)障礙訪問(wèn)支持、適配微信小程序和ppt。

2.3 Chart

由社區(qū)共同維護(hù)的開(kāi)源項(xiàng)目，8種可視化展現(xiàn)形式，每種方式都具有動(dòng)態(tài)效果并且可定制，支持所IE9以上瀏覽器。

Chart.js2.0版本的新增特點(diǎn)包括：

（1） 可以混合不同圖表，以便在數(shù)據(jù)集之間提供清晰的視覺(jué)區(qū)分。

（2）新增圖表軸類(lèi)型，輕松繪制各種復(fù)雜的圖形。

（3）改變數(shù)據(jù)、更新顏色和添加數(shù)據(jù)時(shí)，均有開(kāi)箱即用動(dòng)畫(huà)效果。

3 .大數(shù)據(jù)可視化工具分析

目前國(guó)內(nèi)外數(shù)據(jù)可視化市場(chǎng)上已有不少成熟產(chǎn)品，廠商主要來(lái)自這幾類(lèi)：一類(lèi)是提供商業(yè)可視化產(chǎn)品的軟件服務(wù)商，國(guó)內(nèi)有帆軟、永洪科技、東軟、四方偉業(yè)、SMARTBI等，國(guó)外有SAP BO、IBMCognos、Oracle BIEE、Microsoft BI等傳統(tǒng)商業(yè)智能軟件服務(wù)商。第二類(lèi)是新興可視化產(chǎn)品提供商，國(guó)內(nèi)有恒泰實(shí)達(dá)、數(shù)字冰雹、海致BDP等，國(guó)外有Tableau、Qlik、Micros trategy等。第三類(lèi)是互聯(lián)網(wǎng)巨頭公司，如網(wǎng)易有數(shù)、百度圖說(shuō)、阿里云數(shù)加，其大數(shù)據(jù)平臺(tái)可視化基本是自己設(shè)計(jì)開(kāi)發(fā)，同時(shí)售賣(mài)各種數(shù)據(jù)產(chǎn)品。第四類(lèi)是互聯(lián)網(wǎng)大數(shù)據(jù)服務(wù)商，如百分點(diǎn)、海云數(shù)據(jù)、神策數(shù)據(jù)、友盟等。每款產(chǎn)品有其自身特點(diǎn)和應(yīng)用場(chǎng)景，以下介紹幾款有代表性的產(chǎn)品。

3.1 DataV

DataV是阿里云的一款數(shù)據(jù)可視化產(chǎn)品，用來(lái)分析并展示龐大復(fù)雜的數(shù)據(jù)，分為基礎(chǔ)、企業(yè)和專業(yè)版，可滿足多種業(yè)務(wù)的展示需求。功能特點(diǎn)：

（1）提供多種模板。DataV提供指揮中心、地理分析、實(shí)時(shí)監(jiān)控、匯報(bào)展示等多種場(chǎng)景模版。（2）多種數(shù)據(jù)類(lèi)型。AnalyticDB、RDS MySQL、兼容MySQL數(shù)據(jù)庫(kù)、CSV文件、DataV數(shù)據(jù)代理服務(wù)、API、靜態(tài)JSON。（3）圖形化界面。無(wú)須編程能力，拖拽使用，簡(jiǎn)單方便。（4）多分辨率適配。DataV特別針對(duì)拼接大屏端的展示做了分辨率優(yōu)化，能夠適配非常規(guī)的拼接分辨率。

企業(yè)版相比基礎(chǔ)版，增加功能包括：

（1）支持大屏加密發(fā)布。（2）支持更多數(shù)據(jù)源類(lèi)型。（3）支持的項(xiàng)目數(shù)量增多。（4）支持本地部署。（5）支持自定義組件。

3.2 RayData

RayData是騰訊云大數(shù)據(jù)實(shí)時(shí)可視化交互系統(tǒng)，系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)圖形可視化并實(shí)時(shí)交互，使用戶對(duì)數(shù)據(jù)的管理更加方便，應(yīng)用場(chǎng)景豐富。產(chǎn)品處于內(nèi)測(cè)階段，可通過(guò)申請(qǐng)來(lái)獲得使用資格。功能特點(diǎn)：

（1）超高分辨率。采用獨(dú)特的超高分辨率運(yùn)算引擎，使圖像不被壓縮，結(jié)合其不同于傳統(tǒng)可視化界面的表現(xiàn)形式，最終呈現(xiàn)具有視覺(jué)沖擊和豐富細(xì)節(jié)的結(jié)果。（2）內(nèi)容模塊個(gè)性化。靈活的程序架構(gòu)，模塊化管理，方便個(gè)性化新增業(yè)務(wù)，滿足各種需求。（3）端到端軟硬一體機(jī)。RayData提供端到端產(chǎn)品方案，包括從軟件到大屏以及后端渲染服務(wù)器，只需用戶提供數(shù)據(jù)源，無(wú)須二次開(kāi)發(fā)。（4）實(shí)時(shí)交互。根據(jù)接入的數(shù)據(jù)實(shí)時(shí)變化，且為雙向互動(dòng)，提高用戶的參與度。此外，用戶利用移動(dòng)端能遠(yuǎn)程對(duì)大屏進(jìn)行控制，控制模塊根據(jù)需求自由定制。

4. 總結(jié)

在大數(shù)據(jù)時(shí)代，可視化技術(shù)占據(jù)著不可替代的一部分，應(yīng)用于各個(gè)行業(yè)領(lǐng)域，商用和免費(fèi)的產(chǎn)品繁多，不管有沒(méi)有編程經(jīng)驗(yàn)的用戶都能找到自己適用的工具。目前來(lái)看，可視化技術(shù)已取得了一定的成果，但隨著時(shí)代發(fā)展，數(shù)據(jù)的規(guī)模和復(fù)雜度也會(huì)不斷增加，這項(xiàng)技術(shù)面臨的問(wèn)題和挑戰(zhàn)也會(huì)不斷增加，相信未來(lái)的可視化工具功能會(huì)更加強(qiáng)大全面。

參考文獻(xiàn)

[1]崔迪，郭小燕，陳為.大數(shù)據(jù)可視化的挑戰(zhàn)與最新進(jìn)展[J].計(jì)算機(jī)應(yīng)用.2017- 07-10.

[2]黃璽磊.大數(shù)據(jù)的最后一公里——數(shù)據(jù)可視化技術(shù)[J].中國(guó)金融電腦，2017- 02-07.

[3]劉勘，周曉崢，周洞汝.基于平行坐標(biāo)法的可視數(shù)據(jù)挖掘[J].計(jì)算機(jī)研究與發(fā)展，2003-02-11.

[4]中國(guó)大數(shù)據(jù)可視化市場(chǎng)份額排名出爐，中國(guó)軟件網(wǎng).