實(shí)體商業(yè)大數(shù)據(jù)交易平臺(tái)研究與設(shè)計(jì)

顏琪 電子科技大學(xué)成都學(xué)院

引言

“互聯(lián)網(wǎng)+”概念提出后，以互聯(lián)網(wǎng)平臺(tái)為基礎(chǔ)的電子商務(wù)企業(yè)蒸蒸日上，而實(shí)體商務(wù)卻處于低迷狀態(tài)。通過大數(shù)據(jù)交易平臺(tái)可解決這類問題，它將生成客戶要求的邏輯策略并執(zhí)行采集、存儲(chǔ)、清洗、挖掘、可視化的數(shù)據(jù)處理。主要應(yīng)用于實(shí)體商業(yè)的量化信息服務(wù)，針對(duì)用戶的屬性，加以合理的處理分析，促使更多的潛在用戶消費(fèi)，實(shí)現(xiàn)精準(zhǔn)營銷，提高實(shí)體商業(yè)對(duì)于電子商業(yè)的競爭力。平臺(tái)框架由硬件層、架構(gòu)層、存儲(chǔ)層、處理層及應(yīng)用層組成。實(shí)體商業(yè)大數(shù)據(jù)交易平臺(tái)架構(gòu)如圖1所示。

圖1 實(shí)體商業(yè)大數(shù)據(jù)交易平臺(tái)架構(gòu)

1 數(shù)據(jù)采集

數(shù)據(jù)采集模塊將采集商品的位置信息與用戶坐標(biāo)信息。商品的位置信息通過預(yù)處理商家的歷史交易數(shù)據(jù)獲得，為后續(xù)數(shù)據(jù)挖掘提供基礎(chǔ)。用戶坐標(biāo)信息采用群智感知的方式進(jìn)行采集。通過采集商店中攜帶智能設(shè)備用戶的信息，得到客流量情況。

2 數(shù)據(jù)存儲(chǔ)

實(shí)體商店處于數(shù)據(jù)量日益增加的大數(shù)據(jù)環(huán)境中。由于關(guān)系型數(shù)據(jù)庫橫向擴(kuò)展、海量數(shù)據(jù)的并發(fā)讀寫能力差等缺陷，對(duì)實(shí)體商店的商業(yè)環(huán)境特征的分析，選取NoSQL 數(shù)據(jù)庫中的——HBase 作為數(shù)據(jù)存儲(chǔ)載體。

建立三個(gè)模塊表，即商店信息表，商品表及用戶表。平臺(tái)在實(shí)際運(yùn)行中，直接查詢所存儲(chǔ)的表信息的所有信息會(huì)增加時(shí)間成本，所以通過構(gòu)造合理的二級(jí)索引表來提升查詢效率。

實(shí)體商店的HBase 數(shù)據(jù)庫存儲(chǔ)結(jié)構(gòu)通過滿足運(yùn)營商、商店及用戶的需求實(shí)現(xiàn)高性能的存儲(chǔ)。增加二級(jí)索引表提高響應(yīng)速度，優(yōu)化用戶體驗(yàn)。

3 數(shù)據(jù)清洗

通過定期對(duì)數(shù)據(jù)進(jìn)行清洗解決數(shù)據(jù)采集產(chǎn)生的數(shù)據(jù)缺失、數(shù)據(jù)冗余及數(shù)據(jù)異常等問題，實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的提升。

前期需對(duì)商店信息表、商品表及用戶表中的數(shù)據(jù)進(jìn)行簡單的分析，結(jié)合清洗設(shè)備，確立清洗的目標(biāo)與所需具體方法，并檢測數(shù)據(jù)中是否存在冗余數(shù)據(jù)、設(shè)備故障、中斷或人為損壞所致的異常數(shù)據(jù)、設(shè)備采集值超過正常設(shè)定參數(shù)值等不一致數(shù)據(jù)。評(píng)估定位檢測的輸出結(jié)果并評(píng)估，從業(yè)務(wù)影響與問題本質(zhì)兩方面進(jìn)行分析，優(yōu)化原方案。最后修正檢測輸出的數(shù)據(jù)，刪除空數(shù)據(jù)、結(jié)合排序消除不一致數(shù)據(jù)、結(jié)合優(yōu)先權(quán)隊(duì)算法合并冗余數(shù)據(jù)、結(jié)合K 最近鄰法減少缺失屬性值對(duì)分析的影響，估測缺失數(shù)據(jù)并進(jìn)行填充。

4 數(shù)據(jù)挖掘

通過集成多組件與YARN 框架，獲得合理的歸納，獲得數(shù)據(jù)中潛在的規(guī)律。

離線數(shù)據(jù)處理主要完成歷史交易數(shù)據(jù)的挖掘。將采集的用戶購物信息作為離線數(shù)據(jù)進(jìn)行分析，不指定分類標(biāo)準(zhǔn)，根據(jù)數(shù)據(jù)全面客觀地劃分用戶群體，結(jié)合邏輯回歸算法預(yù)測不同用戶群體的發(fā)展趨勢，以此招納符合發(fā)展趨勢的商家入駐。

實(shí)時(shí)數(shù)據(jù)主要完成用戶實(shí)時(shí)數(shù)據(jù)的挖掘。采用模糊Apriori 算法挖掘用戶與商品間的聯(lián)系，推測用戶還可能購買的商品信息。之后挖掘頻繁項(xiàng)集，即多次購買的商品信息，若得到的頻繁性數(shù)據(jù)與預(yù)定的最小支持度一致，產(chǎn)生強(qiáng)關(guān)聯(lián)規(guī)則。

5 數(shù)據(jù)可視化

數(shù)據(jù)可視化模塊通過使用百度開源項(xiàng)目Echart 對(duì)輸出數(shù)據(jù)進(jìn)行圖形化繪制，呈現(xiàn)出數(shù)據(jù)間的關(guān)聯(lián)。平臺(tái)提供商家離線、實(shí)時(shí)數(shù)據(jù)的可視化圖像、決策支持與趨勢預(yù)測，提高決策人員對(duì)營銷運(yùn)行體征的研判速度，最大化地避免感性思維帶來的風(fēng)險(xiǎn)。

面向商家，提供商店基礎(chǔ)銷售情況，輔助商家調(diào)整商品庫存、逆向營銷。實(shí)時(shí)反饋人群遷移信息判斷客流量情況，擬合下一時(shí)段的客流量，以此提醒商家應(yīng)對(duì)短時(shí)間的客流量急增現(xiàn)象。實(shí)時(shí)客流量及趨勢預(yù)測如圖2 所示。

圖2 實(shí)時(shí)客流量及趨勢預(yù)測圖

面向運(yùn)營商，可視化重復(fù)率高的購物路徑，糾正用戶的購物直觀印象，或在這條購物路徑上重新規(guī)劃設(shè)立廣告推送，促進(jìn)消費(fèi)；反饋時(shí)間序列的全景地形人流量堆積圖，觀察人群的聚集位置及遷移方向，用于大型廣告推送及活動(dòng)設(shè)立。

6 實(shí)驗(yàn)結(jié)果及分析

基于Hadoop 分布式集群并行實(shí)現(xiàn)自適應(yīng)式移動(dòng)軌跡算法與模糊Apriori 算法。以百貨商店為例，針對(duì)10 萬條用戶和商家數(shù)據(jù)進(jìn)行分析。

其中Apriori 算法匹配程度在70%～75% 的數(shù)據(jù)有9585條，'75%～80%的數(shù)據(jù)有82533條，80%～85的數(shù)據(jù)有6742 條，85%～90%的數(shù)據(jù)有135 條，90%以上的數(shù)據(jù)有5 條，相比于傳統(tǒng)銷售系統(tǒng)，推薦精度平均提高25.6%。

7 結(jié)束語

該平臺(tái)提供了模塊的優(yōu)化設(shè)計(jì)，如在存儲(chǔ)方面，設(shè)計(jì)了相應(yīng)的查詢優(yōu)化，設(shè)計(jì)了清洗框架以保證整個(gè)生命周期的數(shù)據(jù)質(zhì)量。通過實(shí)體商業(yè)大數(shù)據(jù)平臺(tái)，能夠?qū)崿F(xiàn)精準(zhǔn)營銷，并為決策者們提供決策支持與個(gè)性化營銷方案的目標(biāo)。但該交易平臺(tái)還需要集成更多的功能模塊，不斷改善以達(dá)到實(shí)體行業(yè)的創(chuàng)新。