大數(shù)據(jù)模式的數(shù)據(jù)挖掘研究

劉昆

摘要：大數(shù)據(jù)作為互聯(lián)網(wǎng)發(fā)展到當(dāng)前的一個(gè)顯著趨勢，與云計(jì)算、物聯(lián)網(wǎng)等技術(shù)共同構(gòu)成了新的網(wǎng)絡(luò)發(fā)展潮流，大數(shù)據(jù)的數(shù)據(jù)挖掘應(yīng)用具有極高的研究價(jià)值。該文以O(shè)2O電商大數(shù)據(jù)模式為例，分析了大數(shù)據(jù)環(huán)境下O2O電商用戶數(shù)據(jù)，闡述了O2O電商數(shù)據(jù)挖掘框架、挖掘流程與挖掘方法，并對大數(shù)據(jù)模式下電商用戶數(shù)據(jù)的挖掘應(yīng)用進(jìn)行了探討，希望能為大數(shù)據(jù)模式下數(shù)據(jù)挖掘研究提供參考。

關(guān)鍵詞：數(shù)據(jù)挖掘；O2O電商平臺；用戶數(shù)據(jù)；大數(shù)據(jù)

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2016）36-0019-02

數(shù)據(jù)挖掘是指人們從自身感興趣的知識與數(shù)據(jù)中挖掘出潛在的、隱含的未知有用信息，信息提取的過程被稱為數(shù)據(jù)挖掘。大數(shù)據(jù)作為互聯(lián)網(wǎng)發(fā)展到當(dāng)前的一個(gè)顯著趨勢，與云計(jì)算、物聯(lián)網(wǎng)等技術(shù)共同構(gòu)成了新的網(wǎng)絡(luò)發(fā)展潮流。數(shù)據(jù)挖掘作為一門交叉學(xué)科，涉及數(shù)據(jù)可視化、統(tǒng)計(jì)學(xué)、高性能計(jì)算、人工智能、模式識別、機(jī)械學(xué)習(xí)、歸納推理、數(shù)據(jù)庫等諸多技術(shù)，在應(yīng)對當(dāng)前快速發(fā)展的各行各業(yè)大規(guī)模數(shù)據(jù)處理與分析方面具有顯著優(yōu)勢，已經(jīng)成為目前深受學(xué)界重視的熱門研究領(lǐng)域[1]。大數(shù)據(jù)當(dāng)前最具代表性的是電商數(shù)據(jù)，這種新型的O2O（Online-to-Oline）電子商務(wù)模式引領(lǐng)著大數(shù)據(jù)發(fā)展潮流，下面我們以O(shè)2O電商大數(shù)據(jù)模式為例研究下線上線下的電商用戶數(shù)據(jù)挖掘。

1大數(shù)據(jù)環(huán)境下O2O電商用戶數(shù)據(jù)分析

O2O電子商務(wù)模式是近年來興起的新商業(yè)模式，以電商平臺為紐帶，將實(shí)體經(jīng)濟(jì)與線上資源相結(jié)合，構(gòu)建經(jīng)濟(jì)延伸渠道，利用線上服務(wù)挖掘吸引客源，利用線下平臺完成積極交流活動，目前以淘寶、天貓、京東、蘇寧等多家電商平臺為眾人所熟知。O2O電商模式在2006年最先由沃爾瑪公司啟用，發(fā)展到現(xiàn)在，已經(jīng)與社交網(wǎng)絡(luò)、移動終端（手機(jī)、平板電腦等）緊密結(jié)合，以團(tuán)購等形式出現(xiàn)，配合移動優(yōu)惠、線上個(gè)性服務(wù)、增值服務(wù)等形成了新的商業(yè)形態(tài)，國內(nèi)外從事電商的企業(yè)更是數(shù)以千計(jì)，比如淘寶網(wǎng)、騰訊網(wǎng)、拉手網(wǎng)、推特、百度等，諸多業(yè)界巨頭迅速跟進(jìn)，尤其是2013年淘寶天貓日交易量超過300億元更是占據(jù)交易量榜首。電商發(fā)展到現(xiàn)在，已經(jīng)成為擁有眾多用戶數(shù)據(jù)的強(qiáng)大平臺，數(shù)據(jù)的暴增與社會化逐漸模糊了電商企業(yè)的數(shù)據(jù)邊界。海量的用戶數(shù)據(jù)超越了目前人力處理范疇，諸如數(shù)據(jù)冗余、數(shù)據(jù)過載、數(shù)據(jù)捕獲情況快速增長，面對此種情況，應(yīng)用大數(shù)據(jù)模式做數(shù)據(jù)挖掘已經(jīng)成為必然，是解決電商大數(shù)據(jù)壓力的首要手段。當(dāng)前電商發(fā)展已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，用戶數(shù)據(jù)以每年平均60%的速度快速增長，企業(yè)平均利用率不到5%，用戶數(shù)據(jù)作為寶貴資源并未發(fā)揮出自身價(jià)值，所以進(jìn)行數(shù)據(jù)挖掘具有重要意義[2]。

2大數(shù)據(jù)環(huán)境下O2O電商用戶數(shù)據(jù)挖掘研究

2.1 O2O電商用戶數(shù)據(jù)挖掘框架

電商用戶數(shù)據(jù)的大數(shù)據(jù)特征意味著傳統(tǒng)數(shù)據(jù)分析技術(shù)無法高效的挖掘利用其潛在價(jià)值，同樣是提取有效未知信息，數(shù)據(jù)挖掘是將其增值的過程，且數(shù)據(jù)挖掘優(yōu)越性主要表現(xiàn)在以下三個(gè)方面：一是數(shù)據(jù)挖掘處理處理規(guī)模以PB級別甚至更大量級別論處，二是數(shù)據(jù)挖掘不僅可處理靜態(tài)結(jié)構(gòu)化數(shù)據(jù)，其在處理非結(jié)構(gòu)化、半結(jié)構(gòu)化及實(shí)時(shí)數(shù)據(jù)方面更具優(yōu)勢，三是數(shù)據(jù)挖掘在分析手段和方法上更加多元化復(fù)雜化，包括機(jī)器學(xué)習(xí)、人工智能算法等等，可更好地服務(wù)于數(shù)據(jù)潛力未知知識的挖掘。傳統(tǒng)數(shù)據(jù)分析方法如平滑、濾波、傅里葉變換、極限與峰值等在大數(shù)據(jù)環(huán)境下發(fā)揮作用有限，對數(shù)據(jù)分析師及分析過程極為依賴，且只能處理結(jié)構(gòu)化數(shù)據(jù)，分析速率慢，缺乏實(shí)時(shí)性，數(shù)據(jù)價(jià)值不高，對比數(shù)據(jù)挖掘方法而言，弊端眾多[3]。

結(jié)合電商大數(shù)據(jù)特殊性來看，應(yīng)用數(shù)據(jù)挖掘法才可以從以PB和EB級計(jì)的數(shù)據(jù)中及時(shí)挖掘高價(jià)值未知信息，服務(wù)電商企業(yè)發(fā)展與競爭。所以，當(dāng)前大數(shù)據(jù)挖掘模式已經(jīng)成為電商競爭的重要領(lǐng)域，從數(shù)據(jù)海洋中尋找規(guī)律成為必然。就目前而言，結(jié)合電商大數(shù)據(jù)特點(diǎn)，數(shù)據(jù)挖掘框架結(jié)構(gòu)設(shè)計(jì)如下，利用此結(jié)構(gòu)可獲得價(jià)值更高、更為精準(zhǔn)的數(shù)據(jù)信息，實(shí)現(xiàn)實(shí)時(shí)響應(yīng)。

2.2電商用戶數(shù)據(jù)挖掘流程

傳統(tǒng)數(shù)據(jù)分析流程比起大數(shù)據(jù)挖掘分析利用要簡單許多，利用分類算法與預(yù)測算法對抽樣選擇的元數(shù)據(jù)進(jìn)行連續(xù)取值和離散類別。大數(shù)據(jù)挖掘與其相比，更類似于知識被自動發(fā)現(xiàn)的過程，在無目標(biāo)無限制條件下從多個(gè)龐大數(shù)據(jù)源獲取數(shù)據(jù)，并對其進(jìn)行預(yù)處理，利用人工智能算法與機(jī)器學(xué)習(xí)處理挖掘數(shù)據(jù)，獲得價(jià)值較高的潛在信息。在電商數(shù)據(jù)挖掘中，需要注意一個(gè)要點(diǎn)，電商用戶數(shù)據(jù)具有群體性特征，可根據(jù)不同群體用戶特征挖掘用戶個(gè)人特點(diǎn)，獲得價(jià)值含量較高的信息，服務(wù)電商經(jīng)營發(fā)展與管理。電商用戶的數(shù)據(jù)挖掘流程，首先要從電商平臺、社交網(wǎng)絡(luò)、O2O平臺獲取數(shù)據(jù)，進(jìn)行解析、清洗與重構(gòu)，經(jīng)過數(shù)據(jù)過濾與映射之后，進(jìn)行數(shù)據(jù)抽取和關(guān)聯(lián)數(shù)據(jù)融合，應(yīng)用數(shù)據(jù)模型進(jìn)行挖掘，并最終將挖掘到的高價(jià)值信息進(jìn)行應(yīng)用，服務(wù)于電商平臺個(gè)性化功能的打造與升級，簡單來說，數(shù)據(jù)挖掘流程可簡化為收集——準(zhǔn)備——轉(zhuǎn)化——抽取——挖掘——應(yīng)用六大步驟。

2.3 電商用戶數(shù)據(jù)挖掘方法

大數(shù)據(jù)挖掘應(yīng)用關(guān)聯(lián)規(guī)則、聚類與分類方法等可有效預(yù)測未來發(fā)展趨勢，作出高價(jià)值有效決策，服務(wù)電商用戶數(shù)據(jù)的挖掘應(yīng)用。關(guān)聯(lián)規(guī)則分析包括因果、時(shí)序、簡單關(guān)聯(lián)三類，在數(shù)據(jù)挖掘中通過分析找出關(guān)聯(lián)關(guān)系，從而提煉出影響用戶需求及行為的關(guān)鍵因素，為電商經(jīng)營運(yùn)行提供風(fēng)險(xiǎn)評估、風(fēng)險(xiǎn)預(yù)測、經(jīng)營決策支持等。聚類與分類分析中，聚類分析用于市場細(xì)分，研究不同客戶群行為特征，方便用戶背景與興趣歸類和購買預(yù)測等，分類分析則是根據(jù)對象共同特點(diǎn)挖掘分類并建立相關(guān)模型，映射到特定類型，可用于用戶滿意度、用戶群體特征與屬性、購買趨勢預(yù)測分析。社會網(wǎng)絡(luò)分析主要針對不同社會單位如個(gè)人、群體或社會等分析其關(guān)系結(jié)構(gòu)和屬性，專注用戶間關(guān)系，通過研究描述這種關(guān)系流動情況來獲得各類信息及資源等。變化與偏差分析主要針對用戶異常數(shù)據(jù)的發(fā)現(xiàn)、識別與流失預(yù)警等，對于不滿足規(guī)則的特例、預(yù)測模型偏差與量值變化等潛在知識進(jìn)行挖掘。

2.4 電商用戶數(shù)據(jù)的挖掘應(yīng)用

大數(shù)據(jù)模式的數(shù)據(jù)挖掘在O2O電商用戶數(shù)據(jù)中的應(yīng)用，可有效挖掘用戶潛在心理與行為特征，分析興趣焦點(diǎn)所在，對于摸清其消費(fèi)習(xí)慣更好的調(diào)整經(jīng)營戰(zhàn)略有重要意義，便于電商平臺制定更加高效精準(zhǔn)的市場發(fā)展對策，及時(shí)掌握市場變化與用戶需求變化，從而在電商平臺上提供更加及時(shí)且個(gè)性化的服務(wù)，提升經(jīng)濟(jì)效益，將用戶潛在信息價(jià)值轉(zhuǎn)化為支持電商企業(yè)決策的潛力。大數(shù)據(jù)模式下的用戶數(shù)據(jù)挖掘應(yīng)用可更好的細(xì)化市場，挖掘用戶行為需求與準(zhǔn)則，讓電商平臺爭取到更多的商家資源，吸引大量消費(fèi)者，提升信賴度與依賴度，便于電商的精準(zhǔn)營銷。數(shù)據(jù)挖掘的應(yīng)用有利于進(jìn)一步優(yōu)化電商平臺網(wǎng)絡(luò)，提供更好的用戶服務(wù)，有利于穩(wěn)定客戶關(guān)系，進(jìn)一步鎖定潛在用戶，還可大力發(fā)展電商增值服務(wù)，防范該平臺上的用戶欺詐等行為，做好風(fēng)險(xiǎn)管理，保護(hù)數(shù)據(jù)信息與用戶合法權(quán)益。

綜上所述，隨著大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)等技術(shù)潮流來襲，基于大數(shù)據(jù)模式的數(shù)據(jù)挖掘可更好的挖掘其潛在高價(jià)值信息，推動社會發(fā)展與技術(shù)升級，實(shí)現(xiàn)到數(shù)據(jù)為王的轉(zhuǎn)變，尤其是O2O電商平臺，將在大數(shù)據(jù)模式下的數(shù)據(jù)挖掘中迎來更好的發(fā)展，創(chuàng)造巨大的商業(yè)價(jià)值，因此必須加快數(shù)據(jù)挖掘與應(yīng)用的研究、探索與實(shí)踐。

參考文獻(xiàn)：

[1] 劉大有，陳慧靈，齊紅，楊博.時(shí)空數(shù)據(jù)挖掘研究進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展，2013（2）.

[2] 李晉，杜慶東，穆寶良.基于SOA的數(shù)據(jù)挖掘服務(wù)整合研究與設(shè)計(jì)[J].沈陽師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2010（2）.

[3] 段曉華.數(shù)據(jù)挖掘技術(shù)在電子商務(wù)客戶關(guān)系管理中的應(yīng)用研究[J].湖南文理學(xué)院學(xué)報(bào)：自然科學(xué)版，2010（2）.