基于SaaS和云技術(shù)的商業(yè)數(shù)據(jù)分析及挖掘模型應(yīng)用

摘 要：目前，大數(shù)據(jù)成為政府、企業(yè)等組織機(jī)構(gòu)最重要的資產(chǎn)之一。通過SaaS服務(wù)、云技術(shù)，依托BDP商業(yè)數(shù)據(jù)平臺(tái)，研究商業(yè)數(shù)據(jù)分析及挖掘模型，并在企業(yè)中進(jìn)行推廣與應(yīng)用，幫助企業(yè)利用數(shù)據(jù)驅(qū)動(dòng)管理，提升經(jīng)營績效。

關(guān)鍵詞：SaaS；云技術(shù)；商業(yè)數(shù)據(jù)；數(shù)據(jù)分析及挖掘

一、引言

麥肯錫研究報(bào)告《大數(shù)據(jù)：下一個(gè)創(chuàng)新、競爭和生產(chǎn)率的前沿》（2011）中指出數(shù)據(jù)已經(jīng)逐漸成為每個(gè)行業(yè)的基礎(chǔ)性資源，對(duì)于海量數(shù)據(jù)的挖掘、分析，預(yù)示著新的生產(chǎn)率增長浪潮的到來。2012年美國公布了“大數(shù)據(jù)研發(fā)計(jì)劃”。歐盟對(duì)科學(xué)數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)投資1億多歐元，并將數(shù)據(jù)信息化基礎(chǔ)設(shè)施建設(shè)作為Horizon 2020計(jì)劃的優(yōu)先項(xiàng)目之一。

2015年9月，國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》，截止2017年1月底，我國有37個(gè)省市專門出臺(tái)大數(shù)據(jù)發(fā)展規(guī)劃及行動(dòng)計(jì)劃。但國內(nèi)企業(yè)，真正以數(shù)據(jù)分析為決策依據(jù)的，主要集中在銀行、保險(xiǎn)、電信和電商行業(yè)，尚未擴(kuò)充到運(yùn)營管理的所有領(lǐng)域。商業(yè)企業(yè)為了在激烈的市場競爭中取得優(yōu)勢，利用數(shù)據(jù)分析及挖掘技術(shù)，為一系列決策提供科學(xué)可靠的依據(jù)將勢在必行。

二、應(yīng)用價(jià)值與優(yōu)勢

1.數(shù)據(jù)分析及挖掘模型應(yīng)用價(jià)值

全球數(shù)據(jù)供應(yīng)量在2012年已達(dá)2800萬億GB，但上述數(shù)據(jù)中僅有0.5%被用于分析。預(yù)計(jì)到2020年，人均數(shù)據(jù)量將達(dá)5，247GB。目前，部分大型企業(yè)投入幾千萬甚至上億的成本進(jìn)行信息化建設(shè)，如利用SAP、ERP、CRM進(jìn)行數(shù)據(jù)分析，但部門之間數(shù)據(jù)沒有打通，平臺(tái)數(shù)據(jù)不能共享，不能及時(shí)支撐業(yè)務(wù)需求。隨著市場競爭的加劇，消費(fèi)者需求越來越高，對(duì)企業(yè)經(jīng)營管理者提出更高的要求，需要將分散的數(shù)據(jù)聚合在一起，并對(duì)這些數(shù)據(jù)進(jìn)行高效分析及挖掘。數(shù)據(jù)分析及挖掘模型的應(yīng)用能夠幫助企業(yè)解決上述問題，實(shí)現(xiàn)多維度數(shù)據(jù)的系統(tǒng)分析，及時(shí)發(fā)現(xiàn)異常并提出改善方案，幫助企業(yè)實(shí)現(xiàn)智能化的決策支持。

2.商業(yè)數(shù)據(jù)平臺(tái)優(yōu)勢

（1）一站式數(shù)據(jù)管理與分析

從各種內(nèi)部數(shù)據(jù)，到各種SaaS應(yīng)用、互聯(lián)網(wǎng)平臺(tái)、再到需要監(jiān)控的各類外部數(shù)據(jù)，幾百種的數(shù)據(jù)源，一鍵式進(jìn)行接入，進(jìn)行數(shù)據(jù)處理、分析、挖掘，并多終端可視化呈現(xiàn)，能夠?qū)?shù)據(jù)進(jìn)行全價(jià)值鏈的管理。

（2）靈活易用的可視化分析

只需要接入數(shù)據(jù)源的源數(shù)據(jù)，不需要任何的預(yù)處理就可以對(duì)數(shù)據(jù)做任意維度的多維分析，簡單拖拽就可以通過數(shù)據(jù)獲得業(yè)務(wù)洞察，沒有任何技術(shù)基礎(chǔ)的人都可以自助進(jìn)行數(shù)據(jù)分析。

（3）億行數(shù)據(jù)、秒級(jí)響應(yīng)

構(gòu)建完備的數(shù)據(jù)服務(wù)器集群，提供強(qiáng)大穩(wěn)定的數(shù)據(jù)計(jì)算能力，上億行的數(shù)據(jù)，1秒鐘可以響應(yīng)。

三、關(guān)鍵技術(shù)與主要應(yīng)用

1.關(guān)鍵技術(shù)

采用業(yè)界最新的分布式架構(gòu)，云計(jì)算輕松處理海量數(shù)據(jù)。數(shù)據(jù)庫兼容+自采集，實(shí)現(xiàn)全數(shù)據(jù)整合。數(shù)據(jù)對(duì)接--數(shù)據(jù)集中化管理，賬號(hào)直連--支持SQL Server， Oracle， MySQL； API對(duì)接--通過API進(jìn)行數(shù)據(jù)寫入；零散數(shù)據(jù)存在EXCEL表格中的，可以直接導(dǎo)入BDP中使用。細(xì)顆粒鉆取，多維度關(guān)聯(lián)交互。

快速拖拽靈活分析建模，點(diǎn)選配置實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì)分析。手機(jī)、PC同步，數(shù)據(jù)排名、預(yù)警推送，驅(qū)動(dòng)業(yè)務(wù)流。采用業(yè)界最新技術(shù)，性能不斷優(yōu)化升級(jí)，物理安全（超五星級(jí)的數(shù)字北京機(jī)房）、組織安全（賬戶系統(tǒng)和數(shù)據(jù)系統(tǒng)相互隔離）、加密安全技術(shù)（等同于銀行加密技術(shù)等級(jí)）、認(rèn)證安全（烏云24小時(shí)安全監(jiān)測）。

2.主要應(yīng)用

打通企業(yè)常用的數(shù)據(jù)庫，包括MySQL、SQLServer、Oracle等主流數(shù)據(jù)庫；連通上百度、新浪、微信等百家主流的網(wǎng)絡(luò)營銷推廣平臺(tái)；對(duì)接在線客服平臺(tái)；連接百度統(tǒng)計(jì)、CNZZ等應(yīng)用統(tǒng)計(jì)數(shù)據(jù)；導(dǎo)入EXCEL、CRM、ERP等企業(yè)日常經(jīng)營管理數(shù)據(jù)；匯總移動(dòng)應(yīng)用排名數(shù)據(jù)、本地生活指數(shù)等公共數(shù)據(jù)。通過數(shù)據(jù)源進(jìn)行數(shù)據(jù)接入后，對(duì)進(jìn)入的數(shù)據(jù)進(jìn)行多表關(guān)聯(lián)、數(shù)據(jù)聚合、追加合并、SQL創(chuàng)建、二維轉(zhuǎn)一維、提取數(shù)據(jù)等數(shù)據(jù)處理技術(shù)，對(duì)分散數(shù)據(jù)源的數(shù)據(jù)進(jìn)行建模。并進(jìn)行可視化的結(jié)果分析和呈現(xiàn)，以及對(duì)結(jié)果的向下鉆取進(jìn)行原因追溯。

對(duì)于企業(yè)經(jīng)營管理的關(guān)鍵指標(biāo)進(jìn)行預(yù)警設(shè)置?？梢栽陬A(yù)警條件被觸發(fā)的第一時(shí)間通過電腦或者手機(jī)接收到信息，方便企業(yè)管理層與決策層進(jìn)行實(shí)時(shí)決策。對(duì)數(shù)據(jù)做任意多維分析，根據(jù)企業(yè)沉淀的數(shù)據(jù)資源進(jìn)行未來一段時(shí)期的預(yù)測。構(gòu)建完備的數(shù)據(jù)服務(wù)器集群，提供強(qiáng)大穩(wěn)定的數(shù)據(jù)計(jì)算能力，提高響應(yīng)速度。

四、模型構(gòu)建與應(yīng)用

1.商業(yè)數(shù)據(jù)分析及挖掘模型構(gòu)建

通過將企業(yè)生產(chǎn)數(shù)據(jù)、銷售數(shù)據(jù)、客戶數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)等商業(yè)數(shù)據(jù)導(dǎo)入到BDP商業(yè)數(shù)據(jù)平臺(tái)，對(duì)各種數(shù)據(jù)進(jìn)行存儲(chǔ)及管理、建模并計(jì)算分析，然后以可視化圖表方式呈現(xiàn)給需要數(shù)據(jù)的企業(yè)進(jìn)行分析管理決策。如圖1所示：

2.商業(yè)數(shù)據(jù)分析及挖掘模型應(yīng)用

首先收集客戶需求，然后提取客戶數(shù)據(jù)源、導(dǎo)入商業(yè)數(shù)據(jù)平臺(tái)，接著在商業(yè)數(shù)據(jù)平臺(tái)建立數(shù)據(jù)分析與挖掘模型并設(shè)計(jì)計(jì)算邏輯、平臺(tái)自動(dòng)運(yùn)轉(zhuǎn)計(jì)算，最后平臺(tái)輸出可視化圖表及分析結(jié)果，指導(dǎo)商業(yè)企業(yè)制定戰(zhàn)略規(guī)劃，并進(jìn)行相應(yīng)的管理決策。

例如：某食品企業(yè)需要利用BDP商業(yè)數(shù)據(jù)平臺(tái)對(duì)現(xiàn)有的經(jīng)營狀況進(jìn)行改進(jìn)，需完成幾個(gè)步驟：

步驟一，提出企業(yè)初始需求，如：對(duì)于現(xiàn)有sku的保質(zhì)期內(nèi)的進(jìn)銷存分析精度不夠，分析周期過長，分析成果無法指導(dǎo)經(jīng)營；對(duì)于門店拓展缺少數(shù)據(jù)作為指導(dǎo)；技術(shù)團(tuán)隊(duì)人員緊缺，需要改進(jìn)現(xiàn)有的經(jīng)營狀況；

步驟二，業(yè)務(wù)洞察：分析數(shù)據(jù)收集不夠全面，缺少間接數(shù)據(jù)；對(duì)于現(xiàn)狀問題要及時(shí)發(fā)現(xiàn)、鎖定、調(diào)整；對(duì)于商品庫存結(jié)構(gòu)分析 需要進(jìn)行全面的即時(shí)性分析，便于指導(dǎo)送配貨；使用BDP機(jī)器學(xué)習(xí)算法分析商品連帶率、成交率、客單價(jià)等；

步驟三，搭建數(shù)據(jù)平臺(tái)架構(gòu)：將EXCEL數(shù)據(jù)、公開數(shù)據(jù)、第三方平臺(tái)數(shù)據(jù)，及會(huì)員管理系統(tǒng)、ERP系統(tǒng)中的數(shù)據(jù)進(jìn)行整合，搭建大數(shù)據(jù)平臺(tái)，進(jìn)行商品分析、業(yè)務(wù)監(jiān)控與分析、會(huì)員數(shù)據(jù)分析、各部門KPI考核、成本控制、銷售預(yù)測；

步驟四，解決方案核心分析場景：銷售分析，數(shù)據(jù)實(shí)時(shí)更新，店長實(shí)時(shí)查看各門店銷售排名；多維度分析：客單量、同比、環(huán) 比、新老門店對(duì)比等；促銷情況分析；商品分析：商品分類分析，各類商品利潤貢獻(xiàn)，商品與會(huì)員的交叉分析；會(huì)員分析：會(huì)員系統(tǒng)RFM數(shù)據(jù)分析模型，會(huì)員新增情況、會(huì)員分布情況分析，會(huì)員消費(fèi)習(xí)慣分析；

步驟五，解決方案數(shù)據(jù)分析指標(biāo)體系分解，如圖2所示：

步驟六，平臺(tái)成果展示，如圖3所示：

步驟七，移動(dòng)端隨時(shí)獲取最新數(shù)據(jù)，如圖4所示：

五、結(jié)語

常規(guī)的數(shù)據(jù)分析系統(tǒng)對(duì)數(shù)據(jù)源進(jìn)行抽取、轉(zhuǎn)換需要耗費(fèi)大量時(shí)間。隨著數(shù)據(jù)量迅速增長，大部分企業(yè)面臨用戶量、并發(fā)量大，業(yè)務(wù)需求變化快，響應(yīng)速度差，數(shù)據(jù)技術(shù)人員短缺，各部門信息不透明等挑戰(zhàn)。數(shù)據(jù)系統(tǒng)癱瘓、數(shù)據(jù)口徑不一等問題層出不窮。數(shù)據(jù)分析及挖掘模型的應(yīng)用能夠幫助企業(yè)解決上述問題，實(shí)現(xiàn)多維度數(shù)據(jù)的系統(tǒng)分析，及時(shí)發(fā)現(xiàn)異常并提出改善方案，幫助企業(yè)實(shí)現(xiàn)智能化的決策支持。

隨著互聯(lián)網(wǎng)不斷發(fā)展，基于SaaS和云技術(shù)的數(shù)據(jù)分析及挖掘服務(wù)將逐漸演變?yōu)閿?shù)據(jù)分析的新熱點(diǎn)?；谶@兩種技術(shù)而研發(fā)的商業(yè)數(shù)據(jù)分析及挖掘模型必將廣泛應(yīng)用于各行各業(yè)，如交通、醫(yī)療、統(tǒng)計(jì)領(lǐng)域。其在商業(yè)企業(yè)的應(yīng)用也將更加成熟。

參考文獻(xiàn)：

[1]任惠琳.商業(yè)企業(yè)營銷數(shù)據(jù)挖掘及營銷數(shù)據(jù)統(tǒng)計(jì)分析系統(tǒng)的有效構(gòu)建[J].現(xiàn)代商業(yè)，2013，（31）.

[2]王益萍，琚春華.基于分布式數(shù)據(jù)挖掘的連鎖商業(yè)企業(yè)經(jīng)營決策分析[J].商業(yè)研究，2006，（20）.

[3]楊京，王效岳，白如江，祝娜.大數(shù)據(jù)背景下數(shù)據(jù)科學(xué)分析工具現(xiàn)狀及發(fā)展趨勢[J].情報(bào)理論與實(shí)踐，2015，（3）.

[4]任新社，陳靜遠(yuǎn).關(guān)于數(shù)據(jù)挖掘研究現(xiàn)狀及發(fā)展趨勢的探究[J].信息通信，2016，（2）.

[5]劉紹清，黃章樹.數(shù)據(jù)挖掘商業(yè)應(yīng)用平臺(tái)的需求分析[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2007，（6）.

作者簡介：彭楚鈞，女，湖南網(wǎng)絡(luò)工程職業(yè)學(xué)院講師，碩士，研究方向：電子商務(wù)、網(wǎng)絡(luò)營銷；楊麗光，女，湖南領(lǐng)度信息技術(shù)有限公司，營銷總監(jiān)，研究方向：大數(shù)據(jù)營銷、電子商務(wù)；通信作者：胡欣怡，女，湖南網(wǎng)絡(luò)工程職業(yè)學(xué)院，工程師，碩士，研究方向：網(wǎng)絡(luò)營銷；聶磊，男，湖南領(lǐng)度信息技術(shù)有限公司，總經(jīng)理，研究方向：大數(shù)據(jù)營銷、電子商務(wù)