大數(shù)據(jù)處理技術(shù)下的電商云平臺建設(shè)與應(yīng)用研究

龍虎 李娜

摘要：大數(shù)據(jù)處理技術(shù)下的電商云平臺建設(shè)是以大數(shù)據(jù)技術(shù)為基礎(chǔ)，突破一系列關(guān)鍵技術(shù)，構(gòu)建基于大數(shù)據(jù)技術(shù)的電子商務(wù)云平臺，形成大數(shù)據(jù)技術(shù)在電子商務(wù)領(lǐng)域的應(yīng)用。通過對大數(shù)據(jù)處理技術(shù)、電子商務(wù)以及云計算的概念進行梳理，提出了大數(shù)據(jù)處理技術(shù)下的電商云平臺架構(gòu)，給出了具體的平臺應(yīng)用，進一步提煉了大數(shù)據(jù)的價值，推動大數(shù)據(jù)技術(shù)下的電子商務(wù)發(fā)展。

關(guān)鍵詞：大數(shù)據(jù)處理技術(shù)；電商；云平臺

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2018）28-0296-03

Research on Construction and Application of Electronic Commerce Cloud Platform under Big Data Processing Technology

LONG Hu， LI Na

（Kaili University， Kaili 556011， China）

Abstract： The construction of electronic commerce cloud platform based on big data processing technology is to break through a series of key technologies， build electronic commerce cloud platform based on big data technology， and form the application of big data technology in the field of electronic commerce. Through combing the concepts of big data processing technology， electronic commerce and cloud computing， this paper puts forward the framework of electronic commerce cloud platform based on big data processing technology， gives the specific platform application， further refines the value of big data， and promotes the development of electronic commerce based on big data technology.

Key words： Big data processing technology； Electronic commerce； Cloud platform

隨著互聯(lián)網(wǎng)浪潮的崛起，大數(shù)據(jù)技術(shù)受到高度關(guān)注，大數(shù)據(jù)技術(shù)在各個行業(yè)的應(yīng)用越來越多。國外方面，如美國的亞馬遜公司、Verizon和蘋果等大型企業(yè)公司都對云計算及應(yīng)用方面開展了深入研究，國內(nèi)方面，如阿里巴巴、當當網(wǎng)、京東、蘇寧易購等電商企業(yè)也都先后在大數(shù)據(jù)處理技術(shù)和云計算的研發(fā)和應(yīng)用上投入了大量的精力，并將最新研究成果應(yīng)用到電商交易中。當前，已有很多企業(yè)對大數(shù)據(jù)技術(shù)和云計算很感興趣，并借助大數(shù)據(jù)技術(shù)來對海量電商數(shù)據(jù)進行數(shù)據(jù)存儲和信息共享。借助大數(shù)據(jù)處理技術(shù)，結(jié)合云計算搭建電商大數(shù)據(jù)云平臺可及時處理海量的非結(jié)構(gòu)化電商數(shù)據(jù)，并可節(jié)約在電商設(shè)備方面的資金投入，在平臺上可實時了解客戶行為數(shù)據(jù)，快速挖掘有用信息，實現(xiàn)有用信息的智能推送，從而實現(xiàn)電商企業(yè)績效提升。大數(shù)據(jù)處理技術(shù)下的電商云平臺建設(shè)是以大數(shù)據(jù)技術(shù)為基礎(chǔ)，突破一系列關(guān)鍵技術(shù)，構(gòu)建基于大數(shù)據(jù)技術(shù)的電子商務(wù)云平臺，形成大數(shù)據(jù)技術(shù)在電子商務(wù)領(lǐng)域的應(yīng)用。通過對大數(shù)據(jù)處理技術(shù)、電子商務(wù)以及云計算的概念進行梳理，提出了大數(shù)據(jù)處理技術(shù)下的電商云平臺架構(gòu)，給出了具體的平臺應(yīng)用，進一步提煉了大數(shù)據(jù)的價值，推動大數(shù)據(jù)技術(shù)下的電子商務(wù)發(fā)展。

1大數(shù)據(jù)處理技術(shù)

大數(shù)據(jù)，其英文全稱為BIG DATA，是指海量數(shù)據(jù)，既包括結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，還包括非結(jié)構(gòu)化的數(shù)據(jù)，具有種類繁多的信息價值，無法用目前的主流軟件工具，在一定的時間內(nèi)，去采取、分析處理及管理，高速海量的信息資產(chǎn)[1]。大數(shù)據(jù)已被視為硬件和軟件以及網(wǎng)絡(luò)之外的第四種計算資源，大數(shù)據(jù)技術(shù)的戰(zhàn)略意義是對海量的有意義的信息進行專業(yè)化處理。大數(shù)據(jù)技術(shù)一般可分為整體技術(shù)和關(guān)鍵技術(shù)兩個方面，整體技術(shù)主要是是指數(shù)據(jù)采集、數(shù)據(jù)存儲、基礎(chǔ)架構(gòu)、數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、模型預測和結(jié)果呈現(xiàn)等方面，大數(shù)據(jù)預處理技術(shù)主要是對已接收數(shù)據(jù)的辨析、抽取和清洗等操作；大數(shù)據(jù)存儲及管理技術(shù)主要是用存儲器將采集到的數(shù)據(jù)存儲起來，建立相應(yīng)的數(shù)據(jù)庫，并進行管理和調(diào)用。

2大數(shù)據(jù)處理技術(shù)下的電商云平臺建設(shè)

2.1 大數(shù)據(jù)技術(shù)與云計算

大數(shù)據(jù)技術(shù)是涵蓋了從數(shù)據(jù)的海量存儲和處理以及應(yīng)用等多方面的技術(shù)，主要解決大規(guī)模的數(shù)據(jù)承載和計算等問題，大數(shù)據(jù)技術(shù)對存儲和分析以及安全的需求，促進了云計算架構(gòu)、云存儲、云安全技術(shù)快速發(fā)展和演進，推動了云服務(wù)與云應(yīng)用的落地。云計算這個名詞是由Google首席執(zhí)行官埃里克·施密特在搜索引擎大會上提出的，云計算的特點主要體現(xiàn)在應(yīng)用層面、服務(wù)層面和技術(shù)層面三個方面，通過云計算，普通的用戶，如企業(yè)公司、政府等社會組織不需要部署自己的機房和各種服務(wù)器，只需要向云計算服務(wù)商購買云計算資源中心提供的相應(yīng)服務(wù)即可。云計算是大數(shù)據(jù)處理的基礎(chǔ)，是大數(shù)據(jù)的IT基礎(chǔ)和平臺。通過云計算，云計算服務(wù)提供商可以實現(xiàn)集中統(tǒng)一掌控大量的計算資源，向用戶提供彈性化的計算資源服務(wù)。

云計算代表著一種數(shù)據(jù)存儲、計算能力，大數(shù)據(jù)代表著一種數(shù)據(jù)知識挑戰(zhàn)，計算需要數(shù)據(jù)來體現(xiàn)其效率，數(shù)據(jù)需要計算來體現(xiàn)價值[3]。云計算類型以服務(wù)類型來劃分一般可分為基礎(chǔ)設(shè)施類、平臺類和應(yīng)用類三種類型；以所有權(quán)來劃分云計算系統(tǒng)類型主要有公共云、私有云和混合云三種類型。云計算結(jié)合大數(shù)據(jù)，是時代發(fā)展的必然趨勢。云計算的資源共享、高可擴展性、服務(wù)特性可以用來搭建大數(shù)據(jù)平臺，分享解決方案，是大數(shù)據(jù)挖掘及知識生產(chǎn)的基礎(chǔ)，大數(shù)據(jù)云計算是由分布式計算和并行計算發(fā)展而來的，大數(shù)據(jù)處理可根據(jù)需求訪問計算機和存儲系統(tǒng)，計算可能在本地計算機或遠程服務(wù)器中，也可能在大量的分布式計算機上運行，分布式計算和并行計算是實現(xiàn)運算的技術(shù)支撐。

2.2大數(shù)據(jù)處理技術(shù)下的電商云平臺建設(shè)

大數(shù)據(jù)處理技術(shù)下的電商云平臺建設(shè)是以大數(shù)據(jù)技術(shù)為基礎(chǔ)，突破一系列關(guān)鍵技術(shù)，構(gòu)建基于電子商務(wù)大數(shù)據(jù)的服務(wù)平臺，形成大數(shù)據(jù)技術(shù)在電子商務(wù)領(lǐng)域的應(yīng)用。大數(shù)據(jù)技術(shù)體系的支撐，包括基于Hadoop的基礎(chǔ)架構(gòu)體系及大規(guī)模數(shù)據(jù)存儲與計算方案、海量數(shù)據(jù)實時處理技術(shù)，基于分布式的聯(lián)機分析處理技術(shù)，海量日志數(shù)據(jù)分析處理技術(shù)，敏感數(shù)據(jù)管理與數(shù)據(jù)安全技術(shù)。大數(shù)據(jù)處理技術(shù)下的電商云平臺架構(gòu)如圖1所示。

大數(shù)據(jù)處理技術(shù)下的電商云平臺架構(gòu)主要由數(shù)據(jù)來源、平臺建設(shè)、服務(wù)總線、示范應(yīng)用和服務(wù)對象等部分組成，數(shù)據(jù)來源部分主要是訂單數(shù)據(jù)、供應(yīng)鏈數(shù)據(jù)、倉儲數(shù)據(jù)、智能物流數(shù)據(jù)、互聯(lián)網(wǎng)金融數(shù)據(jù)、開放公共數(shù)據(jù)和其他數(shù)據(jù)等部分；平臺建設(shè)方面主要是離線計算平臺、實時計算平臺和智能計算平臺三個部分，其中離線計算平臺又包括數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)訪問三個部分，實時計算平臺主要包括實時抽取、實時計算和多維分析查詢等部分，智能計算平臺主要包括深度學習、運籌學、回歸、分類和聚類等部分；服務(wù)總線部分主要是由開放API、沙箱和測試環(huán)境、平臺工具、開發(fā)者社區(qū)、區(qū)塊鏈技術(shù)、供應(yīng)商開放平臺、綜合物流開放平臺、售后服務(wù)開放平臺等部分組成；示范應(yīng)用方面主要包括C2B、智能電商、智慧供應(yīng)鏈、智能物流、智能客服、智慧農(nóng)業(yè)、智慧金融、電商物流指數(shù)、零售指數(shù)和大數(shù)據(jù)征信等部分組成；服務(wù)對象部分主要由生產(chǎn)商、供應(yīng)商、經(jīng)銷商、平臺商家、個人和企業(yè)用戶、農(nóng)產(chǎn)品生產(chǎn)商等。大數(shù)據(jù)處理技術(shù)下的電商云平臺可為傳統(tǒng)制造企業(yè)提供大數(shù)據(jù)分析能力，搭建企業(yè)和消費者之間的橋梁，提升生產(chǎn)效率，打造智慧化銷售產(chǎn)業(yè)鏈，通過開放產(chǎn)業(yè)鏈各個環(huán)節(jié)的大數(shù)據(jù)和算法應(yīng)用能力，促進電子商務(wù)及銷售行業(yè)創(chuàng)新。

3大數(shù)據(jù)處理技術(shù)下的電商云平臺應(yīng)用研究

大數(shù)據(jù)正在從誕生之初的概念化轉(zhuǎn)向具體的實際應(yīng)用，大數(shù)據(jù)技術(shù)無論是國內(nèi)還是國外正在經(jīng)歷前所未有的快速演變以適應(yīng)大數(shù)據(jù)處理與應(yīng)用需求，很多大型互聯(lián)網(wǎng)公司都加強了在大數(shù)據(jù)領(lǐng)域的投資。大數(shù)據(jù)處理技術(shù)的研究，取得了較大的進展，政府部門對大數(shù)據(jù)技術(shù)及應(yīng)用越來越重視，很多高校和研究機構(gòu)都在積極探索大數(shù)據(jù)技術(shù)及應(yīng)用，并于很多企業(yè)聯(lián)合成立實驗室探索大數(shù)據(jù)技術(shù)，挖掘大數(shù)據(jù)到價值。國外對于大數(shù)據(jù)技術(shù)也很重視，如美國政府提出的大數(shù)據(jù)國家戰(zhàn)略，硅谷地區(qū)互聯(lián)網(wǎng)企業(yè)Facebook和 Google等對大數(shù)據(jù)的創(chuàng)新應(yīng)用進行的深入探索，這些互聯(lián)網(wǎng)企業(yè)還擁有龐大的數(shù)據(jù)資源及技術(shù)設(shè)備，而且，很多高端技術(shù)人才還為探索大數(shù)據(jù)技術(shù)提供了基礎(chǔ)保障。

通過高質(zhì)量的電商大數(shù)據(jù)，可以支持政府宏觀經(jīng)濟把控、決策并獲取精準的反饋。通過消費趨勢大數(shù)據(jù)，支持供給側(cè)改革和產(chǎn)業(yè)結(jié)構(gòu)調(diào)整，通過海量消費數(shù)據(jù)，可以幫助企業(yè)和政府了解市場。通過互聯(lián)網(wǎng)為企業(yè)提供大數(shù)據(jù)分析能力，搭建企業(yè)和消費者之間的橋梁，提升生產(chǎn)效率。通過大數(shù)據(jù)處理技術(shù)提供互聯(lián)網(wǎng)金融服務(wù)，在風控、征信、理財、股權(quán)、保險和管理等領(lǐng)域產(chǎn)生創(chuàng)新，為企業(yè)提供大數(shù)據(jù)解決方案，為個人提供智能財富管理服務(wù)。通過云平臺開放大數(shù)據(jù)資源，利用區(qū)塊鏈技術(shù)，建立可信，安全的數(shù)據(jù)資產(chǎn)環(huán)境，推進大數(shù)據(jù)融合、共享和交易。依據(jù)客戶消費和檔案數(shù)據(jù)，稅務(wù)發(fā)票，輿論數(shù)據(jù)等，建立企業(yè)和個人信用數(shù)據(jù)庫，輔助政府進行社會和經(jīng)濟治理。

4結(jié)束語

大數(shù)據(jù)時代背景下，電商借助大數(shù)據(jù)技術(shù)已進入飛速發(fā)展，利用Hadoop技術(shù)來對大數(shù)據(jù)進行分析，利用先進的云計算、虛擬化技術(shù)、NOSQL數(shù)據(jù)庫技術(shù)和Eucalyptus技術(shù)來搭建電子商務(wù)云平臺，采用數(shù)據(jù)挖掘算法并結(jié)合云計算對數(shù)據(jù)的獲取、表示、建模和融合進行研究，建立數(shù)據(jù)的表示和關(guān)聯(lián)模型，得出以云服務(wù)為中心的計算模型和系統(tǒng)架構(gòu)，以解決大數(shù)據(jù)處理技術(shù)下的電商云平臺建設(shè)，進一步提煉大數(shù)據(jù)處理技術(shù)的應(yīng)用價值，推動大數(shù)據(jù)環(huán)境下的電子商務(wù)發(fā)展，同時，也解決了電商設(shè)備重復投資建設(shè)的弊端，從而節(jié)約成本降低費用。

參考文獻：

[1] 龍虎，楊暉.大數(shù)據(jù)背景下的數(shù)據(jù)分析與可視化研究[J].凱里學院學報，2016，34（3）：98-102.

[2] 楊偉強.電子商務(wù)數(shù)據(jù)分析[M].北京：人民郵電出版社，2017.

[3] 李天目.大數(shù)據(jù)云服務(wù)技術(shù)架構(gòu)與實踐[M].北京：清華大學出版社，2016.

[4] 李聯(lián)寧.大數(shù)據(jù)技術(shù)及應(yīng)用教程[M].北京：清華大學出版社，2016.

[5] UNITED NATIONS GLOBAL PULSE. 2012，Big Data for Development： Challenges & Opportunities[R].2012.

[6] LAPKIN A. Hype Cycle for Big Data[R].Gartner，Inc.G00235042，2012.

[7] INTERNATIONAL DATA CORPORATION. Electronic Medicines Compendium. 2011 IDC Digital Universe Study： BigData is Here，Now What？[R].2011.

【通聯(lián)編輯：王力】