大數(shù)據(jù)時(shí)代兩款敏捷商業(yè)智能工具對(duì)比分析

王 喆，戚小玉，東春昭，楊濤存，鄒 丹

（中國(guó)鐵道科學(xué)研究院 鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心，北京 100081）

大數(shù)據(jù)時(shí)代兩款敏捷商業(yè)智能工具對(duì)比分析

王 喆，戚小玉，東春昭，楊濤存，鄒 丹

（中國(guó)鐵道科學(xué)研究院 鐵路大數(shù)據(jù)研究與應(yīng)用創(chuàng)新中心，北京 100081）

大數(shù)據(jù)時(shí)代的來(lái)臨使得對(duì)數(shù)據(jù)的高速捕獲和實(shí)時(shí)分析變得越來(lái)越重要。相對(duì)于傳統(tǒng)商業(yè)智能軟件體量大、對(duì)業(yè)務(wù)變化響應(yīng)時(shí)間長(zhǎng)、靈活性差的缺點(diǎn)，敏捷商業(yè)智能軟件采用輕量建模方式迅速響應(yīng)需求變更，用戶可以通過(guò)簡(jiǎn)單的拖拉拽實(shí)現(xiàn)對(duì)業(yè)務(wù)的分析和展示。本文從使用角度對(duì)比分析了兩款主流敏捷性商業(yè)智能軟件Tableau和Qlik Sense。

商業(yè)智能；大數(shù)據(jù)；敏捷性BI；Tableau；Qlik Sense

近年來(lái)，隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等技術(shù)和應(yīng)用的興起，大數(shù)據(jù)在全球范圍內(nèi)備受關(guān)注，對(duì)大數(shù)據(jù)的定義也有多種提法。麥肯錫全球研究院將大數(shù)據(jù)定義為“無(wú)法在一定時(shí)間內(nèi)使用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行獲取、管理和處理的數(shù)據(jù)集合”[1]。大數(shù)據(jù)可以認(rèn)為是分析的另一種表述，從數(shù)據(jù)中萃取知識(shí)，并將其轉(zhuǎn)化為商業(yè)優(yōu)勢(shì)的智能化活動(dòng)[2]。

商業(yè)智能（BI，Business Intelligence）軟件通常被理解為是將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識(shí)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策的工具。進(jìn)入大數(shù)據(jù)時(shí)代以來(lái)， BI軟件越來(lái)越注重快速建模、用戶自主分析、數(shù)據(jù)可視化和多設(shè)備支持。數(shù)據(jù)可視化豐富的效果圖簡(jiǎn)化了閱讀者的分析使用過(guò)程，從而大大提高了閱讀者的決策和判斷的能力、有利于企業(yè)提升信息資源和服務(wù)的水平[3]。

從Gartner公司發(fā)布的2016年商業(yè)智能和分析軟件的魔力象限報(bào)告中不難看出（見(jiàn)圖1），在處于行業(yè)領(lǐng)導(dǎo)地位的象限中，Tableau公司和Qlik公司的商業(yè)智能產(chǎn)品在執(zhí)行能力（考量產(chǎn)品的易用程度和價(jià)格、服務(wù)的完善程度和技術(shù)支持能力、管理團(tuán)隊(duì)的經(jīng)驗(yàn)和能力等）評(píng)價(jià)中居于領(lǐng)先地位。

圖1 Gartner公司2016年商業(yè)智能魔力象限

Qlik Sense是Qlik公司在成熟產(chǎn)品Qlik View基礎(chǔ)上推出的一款輕量級(jí)BI產(chǎn)品，其快速建模和自主式分析能力降低了BI工具的使用門(mén)檻。Qlik Sense主要包括Desktop和Server兩個(gè)產(chǎn)品，Desktop針對(duì)單機(jī)版用戶，Server版針對(duì)企業(yè)用戶，二者在分析和可視化功能上并無(wú)差別。

Tableau的核心產(chǎn)品是Tableau Desktop和Tableau Server。其中，Tableau Desktop是為企業(yè)數(shù)據(jù)工作者和數(shù)據(jù)分析人員設(shè)計(jì)的一個(gè)可視化數(shù)據(jù)分析工具。而Tableau Server是一個(gè)Tableau可視化內(nèi)容的發(fā)布服務(wù)器，它通過(guò)結(jié)合Tableau Desktop設(shè)計(jì)好的可視化儀表盤(pán)和分析圖表，讓企業(yè)的業(yè)務(wù)用戶，可以通過(guò)使用Web瀏覽器或者移動(dòng)設(shè)備訪問(wèn)查看可視化儀表盤(pán)的功能。

下文將主要從用戶使用角度來(lái)對(duì)比敏捷性BI產(chǎn)品Tableau Desktop&Server（簡(jiǎn)稱：Tableau）和Qlik Sense Desktop&Server（簡(jiǎn)稱：Qlik Sense）。

1 Qlik Sense產(chǎn)品

1.1 數(shù)據(jù)處理

1.1.1 數(shù)據(jù)源

在Qlik Sense中是按照應(yīng)用程序→工作表的層級(jí)管理可視化報(bào)表，報(bào)表的可視化效果如圖2所示。

圖2 Qlik Sense可視化效果圖

對(duì)于同一個(gè)應(yīng)用程序而言，內(nèi)部的各工作表共享同樣的數(shù)據(jù)連接，也就是連接到同一個(gè)或多個(gè)數(shù)據(jù)源。Qlik Sense支持的數(shù)據(jù)源種類有很多，包括：Excel文件、ODBC數(shù)據(jù)源、OLE DB數(shù)據(jù)源、Web文件、所有文件、逗號(hào)分隔文件幾類。如果遇到了不在上述支持列表中的數(shù)據(jù)源，還可以通過(guò)Qlik提供的編程接口QVX SDK來(lái)建立用戶定制化連接。

1.1.2 數(shù)據(jù)加載

Qlik Sense中數(shù)據(jù)加載方式有兩種：內(nèi)存訪問(wèn)方式和實(shí)時(shí)加載模式。內(nèi)存訪問(wèn)方式是第1次裝載數(shù)據(jù)的時(shí)候?qū)?shù)據(jù)全量加載到內(nèi)存中，其后的可視化分析運(yùn)算都基于內(nèi)存數(shù)據(jù)，如果數(shù)據(jù)源有更新的話可以在QMC（Qlik Management Console）中通過(guò)運(yùn)行加載任務(wù)的方式進(jìn)行增量加載。內(nèi)存訪問(wèn)方式的特點(diǎn)是速度快且對(duì)數(shù)據(jù)實(shí)時(shí)性要求不高。實(shí)時(shí)加載模式是實(shí)時(shí)地從數(shù)據(jù)源讀取數(shù)據(jù)并刷新可視化視圖，特點(diǎn)是數(shù)據(jù)實(shí)時(shí)性較高但是對(duì)資源消耗比較大，比較考驗(yàn)數(shù)據(jù)源的性能。數(shù)據(jù)實(shí)時(shí)加載模式需要在數(shù)據(jù)加載編輯器的腳本中添加Direct關(guān)鍵字來(lái)實(shí)現(xiàn)。

1.1.3 數(shù)據(jù)模型

數(shù)據(jù)源加載完成后，Qlik Sense自動(dòng)將不同數(shù)據(jù)表中字段名稱相同的字段或者數(shù)據(jù)一致性程度較高的兩個(gè)字段識(shí)別為關(guān)聯(lián)字段（也可以手動(dòng)建立或者取消關(guān)聯(lián)）。通過(guò)表與表之間的關(guān)聯(lián)字段建立支持整個(gè)應(yīng)用程序的數(shù)據(jù)模型，如圖3所示。

圖3 在Qlik Sense Enterprise模型查看器中瀏覽模型

數(shù)據(jù)模型是創(chuàng)建應(yīng)用程序后進(jìn)行數(shù)據(jù)分析和可視化的基礎(chǔ)。在創(chuàng)建數(shù)據(jù)模型的過(guò)程中，Qlik Sense還提供了較多的數(shù)據(jù)表轉(zhuǎn)換工具，例如：交叉表轉(zhuǎn)換、數(shù)據(jù)行變字段、按層級(jí)組織數(shù)據(jù)等，分別通過(guò)在數(shù)據(jù)加載腳本中添加Crosstable、Generic、Hierarchy關(guān)鍵字來(lái)實(shí)現(xiàn)。這些轉(zhuǎn)換相當(dāng)于在原始數(shù)據(jù)源和分析數(shù)據(jù)源之間做抽取、轉(zhuǎn)換、加載（ETL）工作，方便用戶使用。

1.2 可視化方式

1.2.1 基本控件

Qlik Sense為用戶提供了最基本的可視化控件，包括：餅圖、地圖、散點(diǎn)圖、篩選器、樹(shù)形圖、條形圖、透視表、KPI、儀表、折線圖、組合圖等，不同的視圖展現(xiàn)方式針對(duì)不同的場(chǎng)景。Qlik Sense的每張工作表上都可以添加多個(gè)可視化控件，通過(guò)優(yōu)化組合的方式針對(duì)同一主題從不同的角度分析和展現(xiàn)數(shù)據(jù)。

1.2.2 擴(kuò)展控件

除了系統(tǒng)提供的最基礎(chǔ)的可視化控件之外，如果用戶還需要定制個(gè)性化的可視化效果，可以通過(guò)擴(kuò)展控件的方式實(shí)現(xiàn)。Qlik Sense提供了擴(kuò)展控件應(yīng)用程序接口（API），用戶可以使用Javascript調(diào)用擴(kuò)展API編寫(xiě)出滿足自己需求的控件，豐富Qlik Sense的展示效果。另外，在Qlik的官方社區(qū)中，愛(ài)好者們公布了各式各樣的個(gè)性化控件，任何人都可以下載并集成到自己的Qlik Sense中使用。

1.2.3 同企業(yè)業(yè)務(wù)系統(tǒng)集成

如果要將Qlik Sense的可視化報(bào)表集成到企業(yè)現(xiàn)有的業(yè)務(wù)系統(tǒng)中，必須使用Qlik Sense Enterprise。通過(guò)Qlik Sense Enterprise創(chuàng)建的應(yīng)用程序和工作表都自動(dòng)保存在服務(wù)器端，每個(gè)用戶只能訪問(wèn)到自己目錄下的應(yīng)用程序?？梢栽赒MC中發(fā)布應(yīng)用程序從而將應(yīng)用程序共享給多人瀏覽，應(yīng)用程序一經(jīng)發(fā)布只可以瀏覽不可以更改。

每個(gè)工作表創(chuàng)建完成后無(wú)論是否發(fā)布，Qlik Sense都會(huì)為其分配一個(gè)統(tǒng)一資源定位符（URL）來(lái)唯一標(biāo)識(shí)。在企業(yè)應(yīng)用中，用戶可以通過(guò)在企業(yè)Portal中訪問(wèn)該URL的方式將Qlik的報(bào)表視圖集成到企業(yè)應(yīng)用中，便于和現(xiàn)有業(yè)務(wù)的整合。

1.3 地圖擴(kuò)展

企業(yè)業(yè)務(wù)分析系統(tǒng)越來(lái)越注重企業(yè)數(shù)據(jù)同地理信息數(shù)據(jù)的集成。Qlik Sense把地圖作為一個(gè)控件顯示在工作表中，地理底圖只能從Qlik默認(rèn)的地圖URL中選擇，底圖上面可以疊加用戶地圖和數(shù)據(jù)。用戶使用其他工具制作的地圖或者圖層數(shù)據(jù)可以通過(guò)導(dǎo)出KML文件的方式關(guān)聯(lián)到Qlik Sense的數(shù)據(jù)源中，然后疊加顯示在地圖控件上，這樣就完成了用戶數(shù)據(jù)同地圖數(shù)據(jù)的集成。由于不支持自定義底圖，可視化分析時(shí)必須保證服務(wù)器能夠連接到互聯(lián)網(wǎng)才能正確顯示底圖。

1.4 API

Qlik Sense提供了較為豐富的API，用戶幾乎可以從各個(gè)層面根據(jù)自己的需求對(duì)Qlik Sense進(jìn)行定制化開(kāi)發(fā)，表1列出了Qlik Sense幾種API類型和功能。

表1 Qlik Sense提供的API種類和應(yīng)用場(chǎng)景說(shuō)明

2 Tableau產(chǎn)品

2.1 數(shù)據(jù)處理

2.1.1 數(shù)據(jù)源

Tableau支持的數(shù)據(jù)源種類繁多，多達(dá)上百種。其中，除了常見(jiàn)的Oracle、DB2、SQLServer等數(shù)據(jù)庫(kù)，還包括Hortonworks Hadoop Hive、Cloudera Hadoop Hive&Impala、Teradata、Google Analytics、Web數(shù)據(jù)連接器等大數(shù)據(jù)類型的數(shù)據(jù)源。另外，所有兼容ODBC 3.0的數(shù)據(jù)庫(kù)和應(yīng)用程序都可以直接作為T(mén)ableau的數(shù)據(jù)源。Tableau軟件的可視化效果如圖4所示。

圖4 Tableau的可視化效果圖

2.1.2 數(shù)據(jù)加載

無(wú)論是Tableau Desktop還是Tableau Server，其數(shù)據(jù)加載方式都有兩種：實(shí)時(shí)方式和數(shù)據(jù)提取方式。這兩種方式與Qlik中的類似，實(shí)時(shí)數(shù)據(jù)加載表示Tableau直接連接到數(shù)據(jù)源，加載性能由數(shù)據(jù)源的性能決定；數(shù)據(jù)提取方式是將數(shù)據(jù)源中數(shù)據(jù)加載到Tableau快速數(shù)據(jù)引擎中，后面對(duì)數(shù)據(jù)的操作都基于數(shù)據(jù)引擎中的數(shù)據(jù)進(jìn)行。與Qlik不同的是，Tableau軟件在這兩種數(shù)據(jù)加載方式之間切換時(shí)可以非常方便地在界面上直接選擇，無(wú)需修改數(shù)據(jù)加載腳本。

2.2 可視化方式

在Tableau中，對(duì)數(shù)據(jù)源中各數(shù)據(jù)表的關(guān)聯(lián)關(guān)系建立好之后，系統(tǒng)會(huì)自動(dòng)根據(jù)數(shù)據(jù)表中的字段類型、特點(diǎn)劃分成維度和度量?jī)深悺＞S度是分析問(wèn)題的角度，比如：年、月、日、城市、單位等；一切可以測(cè)量的值都可以被稱作度量。Tableau根據(jù)字段特點(diǎn)自動(dòng)創(chuàng)建劃分的維度和度量，還可以通過(guò)人工調(diào)整的方式修改，或者添加新的計(jì)算字段用于補(bǔ)充現(xiàn)有維度和度量。在確定了維度和度量之后，在Tableau中就可以通過(guò)鼠標(biāo)拖拉拽的方式實(shí)現(xiàn)自主式分析。

Tableau提供的可視化控件和Qlik類似，包括：餅圖、柱狀圖、樹(shù)形圖、折線圖等。所不同的是，Tableau會(huì)根據(jù)用戶鼠標(biāo)選中的度量或維度，分析該字段的數(shù)據(jù)特征并智能地對(duì)推薦使用的顯示方式加以高亮顯示，輔助用戶決策。

2.3 地圖擴(kuò)展

Tableau提供了較為豐富的地圖支持方式，比如：脫機(jī)地圖、Tableau地圖服務(wù)、Web地圖服務(wù)（WMS）等。另外，Tableau還可以自定義地圖的地理編碼、圖層、圖例等信息。

2.4 API

Tableau提供的API大體上可以分為以下3種類型，如表2所示。

表2 Tableau提供的API及其功能

2.5 與R的集成

R是用于統(tǒng)計(jì)計(jì)算的免費(fèi)開(kāi)源編程語(yǔ)言和環(huán)境。它是發(fā)展最快的統(tǒng)計(jì)編程語(yǔ)言之一，并正在成為大多數(shù)數(shù)據(jù)科學(xué)家首選的工具。R語(yǔ)言的優(yōu)勢(shì)是統(tǒng)計(jì)和分析功能強(qiáng)大、函數(shù)眾多，但是缺點(diǎn)是對(duì)大數(shù)據(jù)的管理較差，人機(jī)交互功能較弱。R與Tableau的集成，可以使用R來(lái)處理統(tǒng)計(jì)分析的“重頭戲”，而Tableau讓用戶在簡(jiǎn)單的拖放環(huán)境中研究并可視化表示結(jié)果，將統(tǒng)計(jì)發(fā)現(xiàn)轉(zhuǎn)變?yōu)槠恋膬x表板。

3 結(jié)束語(yǔ)

Qlik Sense和Tableau軟件都很好地兼具了BI分析工具的數(shù)據(jù)分析能力以及簡(jiǎn)單易操作的特點(diǎn)，符合敏捷型BI工具的要求。二者強(qiáng)大的數(shù)據(jù)可視化能力在數(shù)據(jù)分析專家和抽象數(shù)據(jù)之間架起了一座橋梁，能夠使人們以最直觀的方式從數(shù)據(jù)中獲取知識(shí)和經(jīng)驗(yàn)。同時(shí)，兩款軟件在一些細(xì)節(jié)功能上各有特點(diǎn)，細(xì)節(jié)功能對(duì)比參見(jiàn)表3。

表3 Qlik Sense和Tableau軟件細(xì)節(jié)功能對(duì)比

通過(guò)上述內(nèi)容不難發(fā)現(xiàn)，Tableau軟件易用性好、用戶上手快，比較適合個(gè)人用戶以及沒(méi)有經(jīng)過(guò)可視化分析培訓(xùn)的企業(yè)人員使用，使用者能夠以最快的時(shí)間將自己所掌握的數(shù)據(jù)以可視化圖表的形式展現(xiàn)出來(lái)，并通過(guò)Tableau Server共享給其他用戶；Qlik Sense以其豐富的二次開(kāi)發(fā)接口和可擴(kuò)展性，提供給用戶充分的定制能力，使用戶可以通過(guò)數(shù)據(jù)加載腳本和Qlik API來(lái)定制數(shù)據(jù)連接和可視化報(bào)表的展現(xiàn)方式，比較適合較大規(guī)模的企業(yè)級(jí)應(yīng)用。

[1] Manyika J,Chui M,Brown J,et al.Big Data:The Next Frontier for Innovation,Competition and Productivity [R].McKinsey Global Institute,2011:11.

[2] McAfee A,Brynjolfsson E.Big Data:The Management Revolution [J].Harvard Business Review,2012 (October):61-68.

[3] 段 建,翟慧敏,程 杰.大數(shù)據(jù)背景下可視化設(shè)計(jì)趨勢(shì)應(yīng)用研究[J].電腦知識(shí)與技術(shù)，2015（11）：3-4.

[4] Tableau Software[EB/OL].http://www.tableau.com,2016-6-12.

[5] Qlik[EB/OL].http://www.qlik.com,2016-6-12.

責(zé)任編輯 王 浩

Comparative analysis of two agile business intelligence tools in big data era

WANG Zhe,QI Xiaoyu,DONG Chunzhao,YANG Taocun,ZOU Dan
( Research and Application Innovation Center for Big Data Technology in Railway,China Academy of Railway Sciences,Beijing 100081,China)

Along with the advent of the era of big data,the high-speed data capture and real-time analysis are becoming more and more important.Compared with the traditional intelligent software of large size,long responding time for business changes and poor fexibility,lightweight modeling method was adopted by agile BI tools in order to adapt to changes in demand.Users could implement the analysis and display of business through a simple drag and drop.This article focused on the comparative analysis of two mainstream agile business intelligence software of Tableau and Qlik Sense.

business intelligence;big data;agile BI;Tableau;Qlik Sense

U29-39

A

1005-8451（2016）09-0079-04

2016-06-15

中國(guó)鐵路總公司科技研究開(kāi)發(fā)計(jì)劃課題（2015X003-F）；中國(guó)鐵道科學(xué)研究院院基金重大項(xiàng)目（1551DZ8004）。

王 喆，副研究員；戚小玉， 助理研究員。