基于Hadoop的東盟電子商務(wù)平臺(tái)的研究與設(shè)計(jì)

摘要：隨著信息技術(shù)的不斷發(fā)展，目前各個(gè)行業(yè)操作流程都越來(lái)越自動(dòng)化，與此同時(shí)，各個(gè)行業(yè)對(duì)于信息的記錄、收集與分析、處理意識(shí)也越來(lái)越強(qiáng)，傳統(tǒng)的存儲(chǔ)模式已經(jīng)不能滿足信息化時(shí)代電商發(fā)展的新需求。尤其是全球經(jīng)濟(jì)一體化推動(dòng)之下，各個(gè)地區(qū)數(shù)據(jù)的樣式越來(lái)越多樣化，數(shù)據(jù)的復(fù)雜性也同步提升。單機(jī)存儲(chǔ)容量有限，而且查詢效果比較低，人們?cè)跀?shù)據(jù)訪問(wèn)的過(guò)程中運(yùn)行速度也很慢，已經(jīng)不能滿足當(dāng)前快速發(fā)展的電商設(shè)計(jì)需求。大數(shù)據(jù)信息處理平臺(tái)，目前已經(jīng)得到互聯(lián)網(wǎng)行業(yè)的青睞，在電子商務(wù)平臺(tái)設(shè)計(jì)與研究方面得到了廣泛應(yīng)用?，F(xiàn)以東盟電子商務(wù)協(xié)議為例，淺談Hadoop大數(shù)據(jù)平臺(tái)的核心組件、技術(shù)優(yōu)勢(shì)和應(yīng)用意義，并就更好地基于Hadoop完善電商數(shù)據(jù)的收集方案，整合電商網(wǎng)站用戶數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和應(yīng)用，提升用戶粘性，發(fā)現(xiàn)更多創(chuàng)新性商業(yè)價(jià)值展開(kāi)論述，以此來(lái)推進(jìn)東盟電子商務(wù)平臺(tái)系統(tǒng)的研究與設(shè)計(jì)。

關(guān)鍵詞：Hadoop;數(shù)據(jù)分析;協(xié)同過(guò)濾;業(yè)務(wù);用戶;盈利

中圖分類號(hào)：F724?文獻(xiàn)識(shí)別碼：A?文章編號(hào)：2096-3157（2020）24-0015-03

2018年11月12日，東南亞國(guó)家聯(lián)盟各國(guó)在新加坡簽署東盟電子商務(wù)協(xié)議，旨在促進(jìn)區(qū)域內(nèi)跨境電商貿(mào)易便利化。東盟電子商務(wù)協(xié)議的簽訂，為東南亞國(guó)家步入電商新時(shí)代帶來(lái)了有利的契機(jī)。與此同時(shí)，在電商平臺(tái)系統(tǒng)的研究與設(shè)計(jì)方面也需要加快步伐，這樣才能夠更好地滿足電商企業(yè)入駐的需求。同時(shí)，用戶訪問(wèn)過(guò)程中信息瀏覽、商品推送的效率也能大大提升。東南亞國(guó)家本身區(qū)域跨度比較大，人們的一些消費(fèi)理念，購(gòu)物需求也各不相同，在這一模式之下，要想更好地推動(dòng)?xùn)|南亞電子商務(wù)的發(fā)展，就必須要因地制宜，做好數(shù)據(jù)的提取、處理和分析，為企業(yè)提供更多精準(zhǔn)信息，這樣企業(yè)才能夠更好地調(diào)整戰(zhàn)略方向，提高資源配置的靈活性，進(jìn)而為企業(yè)發(fā)展創(chuàng)造更多價(jià)值。至于Hadoop的系統(tǒng)研發(fā)已經(jīng)成為電商發(fā)展的核心生態(tài)圈，大量的業(yè)務(wù)數(shù)據(jù)和日志文件的產(chǎn)生，不僅需要有效的存儲(chǔ)，同時(shí)更要能夠快速分析，科學(xué)挖掘，這樣才能夠是電商平臺(tái)的運(yùn)營(yíng)更加穩(wěn)定，也能更好地結(jié)合用戶的需求，發(fā)現(xiàn)更多商業(yè)增長(zhǎng)點(diǎn)。

一、Hadoop架構(gòu)與優(yōu)勢(shì)分析

Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，在此基礎(chǔ)上用戶可以開(kāi)展多角度的分布式程序開(kāi)發(fā)，具體顯著的集群威力、高速運(yùn)算和海量存儲(chǔ)能力。Hadoop框架設(shè)計(jì)的核心是HDFS和MapReduce。HDFS設(shè)計(jì)部署在低廉的硬件上，具有較高容錯(cuò)性，用以提供高吞吐量應(yīng)用程序訪問(wèn)數(shù)據(jù)，可以以信息流形式并行訪問(wèn)系統(tǒng)中多組數(shù)據(jù)，實(shí)現(xiàn)了數(shù)據(jù)的海量存儲(chǔ);而MapReduce是一種編程模型，是一種高性能并行計(jì)算平臺(tái)，方便了編程人員把自己的程序運(yùn)行在分布式系統(tǒng)上，結(jié)合映射概念，通過(guò)系統(tǒng)高效進(jìn)行數(shù)據(jù)分布存儲(chǔ)、數(shù)據(jù)通信、容錯(cuò)處理等并行計(jì)算，使得海量數(shù)據(jù)的計(jì)算過(guò)程大大簡(jiǎn)化。

1.Hadoop生態(tài)圈組件解讀

Hadoop框架結(jié)構(gòu)的實(shí)現(xiàn)不是單純依賴基礎(chǔ)組件，而是將一些核心組件整合在了一起，共同構(gòu)成了Hadoop生態(tài)圈（見(jiàn)圖1），這些組件的類型非常多元化，同時(shí)各個(gè)組件精確分工，密切合作。根據(jù)不同的業(yè)務(wù)需要，人們既可以整體運(yùn)用全部組件，又能進(jìn)行有選擇的增刪搭配，還能將服務(wù)器嵌入分布式構(gòu)架之中，整個(gè)系統(tǒng)仍然保持穩(wěn)定流暢安全可靠。Hadoop的基礎(chǔ)組件涵蓋了多個(gè)類型，其中比較主要的由HDFS——分布式存儲(chǔ);Hive——分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ);HBase——分布式非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ);Storm、Kafka——分布式消息傳遞;Yarn——資源調(diào)度;Ambari——監(jiān)控;MapReduce框架——分布式計(jì)算;Saprk——內(nèi)存式分布型運(yùn)算;Flink——實(shí)時(shí)流處理計(jì)算組件等組成，很多基礎(chǔ)組件共同支撐著Hadoop生態(tài)圈的流暢運(yùn)轉(zhuǎn)。

2.Hadoop生態(tài)圈優(yōu)勢(shì)分析

Hadoop生態(tài)圈架構(gòu)的完整和靈活使得它在互聯(lián)網(wǎng)電商中被廣泛運(yùn)用，其優(yōu)勢(shì)體現(xiàn)在以下幾個(gè)方面：

第一，高可靠性。Hadoop對(duì)數(shù)據(jù)處理采用的是能夠同時(shí)存儲(chǔ)大量數(shù)據(jù)并進(jìn)行分布式處理的框架，因此可以有效存儲(chǔ)并行運(yùn)算，使得數(shù)據(jù)的提取和處理更加可靠，獲得了人們的高度信賴。

第二，高擴(kuò)展性。Hadoop系統(tǒng)架構(gòu)的形式非常靈活，它可以在計(jì)算機(jī)集簇間高效完成數(shù)據(jù)任務(wù)的分配，并進(jìn)行海量數(shù)據(jù)的計(jì)算與分析。這種集簇處理不是只著眼于一組數(shù)據(jù)，而是可以非常方便的擴(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)之中，因而它的高擴(kuò)展性決定了其應(yīng)用面非常廣泛。

第三，高時(shí)效性。Hadoop在實(shí)施大容量數(shù)據(jù)存儲(chǔ)的同時(shí)，還能夠在節(jié)點(diǎn)之間進(jìn)行動(dòng)態(tài)的數(shù)據(jù)移動(dòng)，而且分布式運(yùn)算可以保證各節(jié)點(diǎn)之間動(dòng)態(tài)平衡，使得整個(gè)系統(tǒng)反應(yīng)速度非常快，用戶的瀏覽體驗(yàn)可以有效增強(qiáng)，數(shù)據(jù)反饋和呈現(xiàn)的時(shí)效性，顯著提升。

第四，高容錯(cuò)性。Hadoop本身是一個(gè)分布式計(jì)算平臺(tái)，因此它能夠自動(dòng)對(duì)數(shù)據(jù)進(jìn)行多副本存儲(chǔ)，一旦任務(wù)失敗也能夠重新進(jìn)行任務(wù)分配，方便任務(wù)繼續(xù)往下推進(jìn)。它的伸縮式處理方式，可以使數(shù)據(jù)處理的速度大大加快，任務(wù)失敗的頻率也能大大降低。

第五，低成本性。Hadoop本身是開(kāi)放式的平臺(tái)模式。與數(shù)據(jù)集市相比Hadoop在多個(gè)平臺(tái)上的運(yùn)行都非常理想，而且對(duì)于延展性功能也可以用其他語(yǔ)言來(lái)編寫(xiě)，最后合并入應(yīng)用程序之中。它的框架兼容性非常強(qiáng)，這就使軟件本身使用的成本大大降低。一些碎片化任務(wù)可以直接發(fā)送到節(jié)點(diǎn)上，開(kāi)發(fā)人員只需要實(shí)現(xiàn)相應(yīng)的接口，不需要考慮數(shù)據(jù)流、容錯(cuò)程序、變形等細(xì)節(jié)，這就使得分布式程序開(kāi)發(fā)的難度大大降低，兼容性大大提升，軟件使用成本顯著降低。

二、借助Hadoop開(kāi)展大數(shù)據(jù)處理的意義

進(jìn)入新世紀(jì)以來(lái)，互聯(lián)網(wǎng)思維已經(jīng)改極大的改變了人們的生活模式，網(wǎng)絡(luò)的便利性也正引導(dǎo)著人們的購(gòu)物習(xí)慣產(chǎn)生較大的改變。在這一契機(jī)之下，越來(lái)越多的互聯(lián)網(wǎng)企業(yè)崛起，其中數(shù)量最多、規(guī)模影響力比較大的當(dāng)屬電商平臺(tái)。國(guó)內(nèi)的淘寶、京東、拼多多等都已經(jīng)成為一流平臺(tái)，商品的種類非常多，而且吸引了大量?jī)?yōu)質(zhì)用戶。在人們使用這些電商平臺(tái)的過(guò)程中，大量的數(shù)據(jù)信息也被提取出來(lái)，呈現(xiàn)出強(qiáng)大的應(yīng)用優(yōu)勢(shì)。因此，我們?cè)谶M(jìn)行新的電商平臺(tái)設(shè)計(jì)時(shí)，也要從中吸取經(jīng)驗(yàn)。依托數(shù)據(jù)分析，嘗試向客戶推送優(yōu)質(zhì)商品，提升用戶復(fù)購(gòu)率，通過(guò)一些品牌產(chǎn)品的打折、促銷等，提升用戶粘性，使企業(yè)和用戶之間的互動(dòng)交流越來(lái)越頻繁，而平臺(tái)本身的商業(yè)價(jià)值及社會(huì)影響力也能顯著提升。東盟電子商務(wù)平臺(tái)的建立也要以此為契機(jī)，搭建起一個(gè)有力的平臺(tái)，為商戶、企業(yè)與客戶締造良性溝通橋梁。

1.基于Hadoop生態(tài)圈優(yōu)化數(shù)據(jù)的挖掘和利用

東盟國(guó)家是近年來(lái)世界發(fā)展最快的互聯(lián)網(wǎng)市場(chǎng)，在此之前，東盟國(guó)家的互聯(lián)網(wǎng)電商發(fā)展并不完善，中小企業(yè)發(fā)展的空間非常非常少。東盟電子商務(wù)協(xié)議的簽訂為東盟企業(yè)的騰飛奠定了有效基礎(chǔ)。要想進(jìn)一步提升電商平臺(tái)對(duì)東盟企業(yè)的影響力，就必須要使電商平臺(tái)能夠以較低的門檻走入千家萬(wàn)戶，這樣才可以更好地帶動(dòng)消費(fèi)市場(chǎng)的發(fā)展。在這個(gè)過(guò)程中，東盟企業(yè)不僅要生產(chǎn)出優(yōu)質(zhì)的產(chǎn)品，更重要的是要能夠有效挖掘客戶潛在的消費(fèi)價(jià)值。依托數(shù)據(jù)的存儲(chǔ)和運(yùn)用，使電商企業(yè)能夠更好地找準(zhǔn)未來(lái)發(fā)展方向，實(shí)現(xiàn)產(chǎn)業(yè)升級(jí)。

以往傳統(tǒng)銷售模式下，東盟國(guó)家的很多企業(yè)都是先生產(chǎn)后銷售，這就會(huì)使生產(chǎn)成本的占用大大增加，而且會(huì)有產(chǎn)品滯銷的可能，企業(yè)的經(jīng)營(yíng)風(fēng)險(xiǎn)顯著提升。電商平臺(tái)的建立及大數(shù)據(jù)的挖掘，可以更好地結(jié)合市場(chǎng)需求來(lái)優(yōu)化生產(chǎn)作業(yè)，以進(jìn)一步降低企業(yè)經(jīng)營(yíng)的風(fēng)險(xiǎn)，提升企業(yè)總體效益。

2.基于數(shù)據(jù)分析凸顯用戶至上進(jìn)行個(gè)性化推送

目前中國(guó)的電商市場(chǎng)發(fā)展已經(jīng)非常完善，比較著名的如淘寶，本身系統(tǒng)比較流暢，商品的種類也很全，用戶粘合度自然就非常好。這是因?yàn)樗藢⒂脩舻囊恍┫M(fèi)信息、消費(fèi)數(shù)據(jù)進(jìn)行有效記錄之外，還會(huì)針對(duì)用戶過(guò)往的購(gòu)買喜好進(jìn)行一些個(gè)性化推薦或新品速遞，這樣就極大的方便了用戶在海量商品中快速尋找自己的心儀產(chǎn)品，進(jìn)而更好地帶動(dòng)用戶的消費(fèi)需求。

東盟電子商務(wù)平臺(tái)設(shè)計(jì)的過(guò)程中也要引入這一理念，除了要建立起一個(gè)流暢度較高的電商平臺(tái)之外，還要能夠更好地貼合用戶的喜好來(lái)進(jìn)行產(chǎn)品的推送。Hadoop平臺(tái)本身有強(qiáng)大的數(shù)據(jù)存儲(chǔ)和分析功能，尤其是它的高效擴(kuò)展性和容錯(cuò)性，非常方便進(jìn)行并行處理和任務(wù)分配。東南亞地區(qū)不同國(guó)家的用戶消費(fèi)需求帶有很大的差異性，在統(tǒng)一電商平臺(tái)構(gòu)建的過(guò)程中，我們要正視用戶的這一差異，并以此來(lái)完成數(shù)據(jù)的挖掘和優(yōu)化工作，這樣就可以在較短的時(shí)間內(nèi)把優(yōu)質(zhì)產(chǎn)品推送向推送給用戶，而且也能為企業(yè)的生產(chǎn)加工與內(nèi)部升級(jí)提供有效參考。

3.激活電商市場(chǎng)良性競(jìng)爭(zhēng)氛圍促進(jìn)企業(yè)優(yōu)化升級(jí)

隨著互聯(lián)網(wǎng)思維的逐步發(fā)展，傳統(tǒng)企業(yè)要想在競(jìng)爭(zhēng)中脫穎而出，除了要生產(chǎn)出優(yōu)質(zhì)的產(chǎn)品之外，還要能夠貼近用戶需求，提升用戶使用的體驗(yàn)，以優(yōu)質(zhì)的服務(wù)迎合客戶的需求，以更好地留住客戶，吸引客戶，進(jìn)行復(fù)購(gòu)或其他類產(chǎn)品的選擇。因此，電商平臺(tái)除了要完成數(shù)據(jù)的推送，幫助客戶挑選之外，還要完善一體化服務(wù)評(píng)價(jià)系統(tǒng)。

借助大數(shù)據(jù)分析，讓用戶將使用過(guò)程中的一些體驗(yàn)，包括產(chǎn)品品質(zhì)、服務(wù)的安全性、交易效率周期等都進(jìn)行有效的收集和反饋，從而更好地幫助企業(yè)進(jìn)一步做好優(yōu)化升級(jí)。淘汰一些不良企業(yè)，引導(dǎo)企業(yè)樹(shù)立較強(qiáng)的風(fēng)險(xiǎn)意識(shí)，實(shí)現(xiàn)從短期效益，向企業(yè)的長(zhǎng)遠(yuǎn)性發(fā)展有機(jī)邁進(jìn)，這樣才可以更好地提升平臺(tái)的運(yùn)轉(zhuǎn)效率，對(duì)于企業(yè)自身而言，也是實(shí)現(xiàn)轉(zhuǎn)型升級(jí)的一個(gè)重要契機(jī)。

三、基于Hadoop的東盟電子商務(wù)平臺(tái)的研究與設(shè)計(jì)框架分析

1.東盟電子商務(wù)平臺(tái)的框架分析

東盟電子商務(wù)平臺(tái)的設(shè)計(jì)要體現(xiàn)出簡(jiǎn)潔性和層次性，對(duì)頁(yè)面要進(jìn)行有效的劃分，在不同的位置著重進(jìn)行不同欄目的推薦，以更好地提升用戶粘性，優(yōu)化用戶的使用體驗(yàn)?；贖adoop的東盟電子商務(wù)平臺(tái)框架要包含四個(gè)基礎(chǔ)部分：數(shù)據(jù)展示層、數(shù)據(jù)分析層、數(shù)據(jù)層和基礎(chǔ)設(shè)施層，以Hadoop集群為基礎(chǔ)設(shè)施，對(duì)數(shù)據(jù)層的日志文件和業(yè)務(wù)數(shù)據(jù)進(jìn)行處理分析，最后在Web界面進(jìn)行分析展示。以下為東盟電子商務(wù)平臺(tái)的總體架構(gòu)圖（見(jiàn)圖2）。

2.東盟電子商務(wù)平臺(tái)的特色功能分析

東盟電子商務(wù)的主頁(yè)要凸顯出廣告位、優(yōu)推薦、購(gòu)精品三個(gè)模塊。

廣告位主要是為商家預(yù)留的重點(diǎn)商品合作展示欄目，可以采用圖片輪換的樣式，滾動(dòng)顯示一些優(yōu)質(zhì)商家的推廣鏈接，從而更好地為平臺(tái)創(chuàng)造經(jīng)濟(jì)效益。而從用戶的角度，還要推薦出優(yōu)推薦這一重點(diǎn)模塊，結(jié)合大數(shù)據(jù)運(yùn)算得出的結(jié)果，每天定時(shí)推送一些秒殺產(chǎn)品、熱銷貨品或其他應(yīng)季主打單品，同樣以滾動(dòng)展示的方式，以此供用戶瀏覽和秒殺。購(gòu)精品則是從用戶反饋的角度，推薦一些評(píng)價(jià)比較好、回購(gòu)率比較高的商品，凸顯出平臺(tái)本身的產(chǎn)品優(yōu)勢(shì)。

同樣在主頁(yè)的最上方，要預(yù)留出商品搜索欄，方便用戶直接搜索想要購(gòu)買的商品。搜索出來(lái)商品之后，還可以結(jié)合平臺(tái)大數(shù)據(jù)對(duì)商品進(jìn)行有效的排行，比如根據(jù)商品的價(jià)格進(jìn)行排行，或根據(jù)用戶的購(gòu)買數(shù)量即綜合銷量排行榜。結(jié)合數(shù)據(jù)運(yùn)算和學(xué)習(xí)能力，還可以推薦一些類似衍生商品。如用戶購(gòu)買了鋼筆之后，可以推薦之前其他同類別的鋼筆、字帖及其他類別的文具等，為客戶會(huì)去購(gòu)買，提供更多選擇空間。另外，對(duì)于用戶的瀏覽足跡也要有效記錄，根據(jù)他們的瀏覽方向，可以推送可能具有購(gòu)買欲望的商品，這類算法的應(yīng)用可以更好地體現(xiàn)出電子商務(wù)平臺(tái)的學(xué)習(xí)技能。

總之，東盟電子商務(wù)平臺(tái)的研究與設(shè)計(jì)旨在更好地借助大數(shù)據(jù)理念來(lái)優(yōu)化電子商務(wù)平臺(tái)的運(yùn)營(yíng)和管理。同時(shí)依托Hadoop的數(shù)據(jù)分析來(lái)提升企業(yè)本身的風(fēng)險(xiǎn)意識(shí)，優(yōu)化企業(yè)質(zhì)量管理，提升電商行業(yè)在市場(chǎng)的整體管控能力，完善電商平臺(tái)日常數(shù)據(jù)的分析與運(yùn)用，推動(dòng)電商行業(yè)科學(xué)決策，穩(wěn)定健康、良性發(fā)展。

參考文獻(xiàn)：

[1]趙正陽(yáng).基于Hadoop及深度學(xué)習(xí)的電商個(gè)性化推薦平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京交通大學(xué)，2018.

[2]嚴(yán)亞寧.基于Hadoop的數(shù)據(jù)處理平臺(tái)的設(shè)計(jì)與開(kāi)發(fā)研究[J].現(xiàn)代信息科技，2019，003（003）：5～7.

[3]李文強(qiáng).基于Hadoop的電子商務(wù)大數(shù)據(jù)分析綜合實(shí)訓(xùn)平臺(tái)建設(shè)[J].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化，2018，008（011）：46～47.

[4]劉溪怡.基于Hadoop用戶數(shù)據(jù)分析系統(tǒng)的研究與設(shè)計(jì)[J].數(shù)碼設(shè)計(jì)（下），2019，（011）：234～234.

[5]郭旭.基于Hadoop的AIS數(shù)據(jù)分析平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].通訊世界，2019，26（04）：34～35.

[6]彭航.基于Hadoop的高校大數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].知識(shí)文庫(kù)，2019，（019）：45～46.

[注]基金項(xiàng)目：2018年度廣西高校中青年教師基礎(chǔ)能力提升項(xiàng)目“基于Hadoop的東盟電子商務(wù)平臺(tái)的研究與設(shè)計(jì)”（項(xiàng)目編號(hào)：2018KY1139，主持人：任璇炫）

作者簡(jiǎn)介：

任璇炫，廣西工商職業(yè)技術(shù)學(xué)院講師，碩士;研究方向：計(jì)算機(jī)應(yīng)用技術(shù)。