探析大數(shù)據(jù)處理技術(shù)對互聯(lián)網(wǎng)電商的影響

尹偉

【摘 要】隨著信息時代的推進(jìn)和互聯(lián)網(wǎng)高速發(fā)展，大數(shù)據(jù)作為一種新興概念已經(jīng)引起了社會各領(lǐng)域的高度重視。尤其是互聯(lián)網(wǎng)時代下產(chǎn)生的電子商務(wù)營銷模式與大數(shù)據(jù)的聯(lián)系更為緊密，大數(shù)據(jù)的處理技術(shù)正逐漸成為互聯(lián)網(wǎng)電商企業(yè)創(chuàng)新發(fā)展的重要武器，對于企業(yè)增大經(jīng)濟(jì)利益和市場競爭力起到重要作用。本文首先介紹了大數(shù)據(jù)和大數(shù)據(jù)處理技術(shù)的概念、特征，接著介紹了電商網(wǎng)絡(luò)的基礎(chǔ)處理系統(tǒng)，最后分析大數(shù)據(jù)處理對電子商務(wù)的影響，希望為大數(shù)據(jù)處理技術(shù)在互聯(lián)網(wǎng)電商行業(yè)的應(yīng)用和創(chuàng)新發(fā)展提供借鑒。

【關(guān)鍵詞】大數(shù)據(jù)處理；互聯(lián)網(wǎng)電商；影響

一、大數(shù)據(jù)與大數(shù)據(jù)處理

（一）大數(shù)據(jù)的概念

大數(shù)據(jù)是互聯(lián)網(wǎng)技術(shù)的新興概念，指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)涵蓋的范圍十分廣泛，并不局限于網(wǎng)絡(luò)中的信息或是人口普查中的信息，還包含社會各領(lǐng)域、日常生活中的諸多信息。大數(shù)據(jù)具有大數(shù)據(jù)的5V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實(shí)性）。

（二）大數(shù)據(jù)處理的概念

當(dāng)前是一個信息爆炸的社會，網(wǎng)絡(luò)上充斥著數(shù)以億計、千億計的龐雜數(shù)據(jù)信息，而如此巨大的數(shù)據(jù)量，必須要一定的技術(shù)對其進(jìn)行處理，選擇出有效的數(shù)據(jù)投入使用，以創(chuàng)造更大的價值，此過程即大數(shù)據(jù)的處理。大數(shù)據(jù)的處理包含多種技術(shù)，如數(shù)據(jù)挖掘技術(shù)、大規(guī)模并行處理或分布式數(shù)據(jù)庫、云計算等。隨著大數(shù)據(jù)的廣泛化、資源化使用，其處理技術(shù)也將不斷地進(jìn)行升級，以適應(yīng)社會發(fā)展的需要。

（三）大數(shù)據(jù)及大數(shù)據(jù)技術(shù)的特點(diǎn)

1.數(shù)據(jù)量大

從字面意思上看，大數(shù)據(jù)最顯著的特點(diǎn)便是“大”，包含的數(shù)據(jù)量至少應(yīng)在100TB之上。數(shù)據(jù)量如此之大的原因主要有兩點(diǎn)：一是隨著信息時代的發(fā)展，網(wǎng)絡(luò)不斷普及，網(wǎng)絡(luò)使用者逐年增多，由此而來的數(shù)據(jù)產(chǎn)生途徑也隨著增加。二是網(wǎng)絡(luò)信息成為人人可共享的資源，擺脫了單位利用數(shù)據(jù)的傳統(tǒng)方式，大大增加了網(wǎng)絡(luò)信息的利用率，網(wǎng)絡(luò)數(shù)據(jù)量也有了顯著的增加。

2.類型多

傳統(tǒng)的數(shù)據(jù)往往多為結(jié)構(gòu)化數(shù)據(jù)，是原始數(shù)據(jù)的抽象化，類型較為單一。而大數(shù)據(jù)下的數(shù)據(jù)常為非結(jié)構(gòu)化數(shù)據(jù)，儲存更為復(fù)雜，涉及的領(lǐng)域較多，規(guī)模又很大，處理起來也更為不易。至今，非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)更為普遍，接近結(jié)構(gòu)化數(shù)據(jù)的三倍之多，增長速度也高達(dá)結(jié)構(gòu)化數(shù)據(jù)的10到50倍不等。隨數(shù)據(jù)的不斷擴(kuò)充，數(shù)據(jù)已具有越來越多的類型，這是大數(shù)據(jù)的優(yōu)勢，同時也是其所面臨的挑戰(zhàn)。

3.處理速度快

由于當(dāng)前數(shù)據(jù)產(chǎn)生途徑多、利用率高且不斷產(chǎn)生，所以數(shù)據(jù)的增長速度就明顯加快，因此，大數(shù)據(jù)必須具備快速處理數(shù)據(jù)的能力。另外，當(dāng)前的數(shù)據(jù)多且種類繁雜，并不是所有收集到的數(shù)據(jù)都有使用價值，因此，大數(shù)據(jù)需要具備快速而準(zhǔn)確的處理能力分析篩選出有價值的信息。

4.大數(shù)據(jù)具有較低的價值密度

大數(shù)據(jù)多為非結(jié)構(gòu)化數(shù)據(jù)，沒有經(jīng)過程式化的處理，多為保持本質(zhì)的原始數(shù)據(jù)。原始數(shù)據(jù)即為未被處理的各種信息的數(shù)據(jù)，其有用和無用的信息未被篩選，因而價值密度相對較低。

5.人工智能技術(shù)的融入。

簡單來說，大數(shù)據(jù)就是對大規(guī)模數(shù)據(jù)進(jìn)行集中且智能化的處理和分析，通過這一過程，能夠發(fā)現(xiàn)數(shù)據(jù)中潛在的信息，并挖掘出一定的智慧，進(jìn)而對未來的發(fā)展態(tài)勢做出科學(xué)的預(yù)測。人工智能技術(shù)的融入，使得數(shù)據(jù)的處理更加科學(xué)化，如當(dāng)前機(jī)器學(xué)習(xí)、自然語言理解等人工智能技術(shù)已經(jīng)融入到大數(shù)據(jù)各個流程的處理當(dāng)中，發(fā)揮了重要的作用。

6.大數(shù)據(jù)處理的普遍模式是分布式處理架構(gòu)。

大數(shù)據(jù)需要處理大規(guī)模、海量化且異構(gòu)的數(shù)據(jù)，而傳統(tǒng)的處理方式很難滿足這一需求，因此采用分布式的方式進(jìn)行處理能夠達(dá)到良好的處理效果。如分布式文件系統(tǒng)、分布式編成環(huán)境以及大規(guī)模并行處理數(shù)據(jù)庫等技術(shù)得到了應(yīng)用和推廣。

二、大數(shù)據(jù)處理對互聯(lián)網(wǎng)電商的重要意義

（一）為市場營銷方案提供依據(jù)

市場營銷首先要做到的是制定符合市場需求的營銷方案，以最低的成本獲得最大的經(jīng)濟(jì)效益。而大數(shù)據(jù)處理作為數(shù)據(jù)分析、處理的有效方式，可以幫助企業(yè)分析市場供求關(guān)系和未來走勢，為企業(yè)的營銷方案提供重要的決策依據(jù)，從而使企業(yè)的在立足市場的基礎(chǔ)下，擴(kuò)大占有率。

（二）使個性化服務(wù)提供成為可能

隨經(jīng)濟(jì)的發(fā)展和人們生活水平的提高，人們對物質(zhì)更高的要求。產(chǎn)品質(zhì)量已經(jīng)不是人們的唯一要求，企業(yè)想要發(fā)展就必須創(chuàng)新服務(wù)模式，為消費(fèi)者提供個性化的服務(wù)。傳統(tǒng)的營銷模式通常是以企業(yè)產(chǎn)品為中心進(jìn)行銷售，而大數(shù)據(jù)處理模式下，企業(yè)可以根據(jù)用戶的購買記錄發(fā)現(xiàn)其購物需求，從而為其提供更為精準(zhǔn)且更具個性化的商品。

三、大數(shù)據(jù)時代互聯(lián)網(wǎng)電商的基礎(chǔ)處理系統(tǒng)

隨著經(jīng)濟(jì)的發(fā)展和人們生活水平的提高，消費(fèi)者越來越傾向于網(wǎng)上購物，因此電商網(wǎng)站的并發(fā)訪問量大大增加，數(shù)據(jù)呈爆炸性增長。例如“雙十一”期間，淘寶和天貓的網(wǎng)站總交易額高達(dá)上千億元；春運(yùn)時期，鐵道部售票網(wǎng)站日點(diǎn)擊量在5億次以上。伴隨著業(yè)務(wù)量的劇增，電商平臺每秒鐘都在生成海量的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。高并發(fā)和大數(shù)據(jù)量訪問成為當(dāng)前電商處理系統(tǒng)的潛在危機(jī)，處理這些大數(shù)據(jù)是其當(dāng)前所要解決的重要問題。

傳統(tǒng)的分布式計算并行計算和數(shù)據(jù)庫集群等處理技術(shù)長期存在擴(kuò)展性低、成本高、硬件復(fù)雜等局限性。大數(shù)據(jù)時代背景下，想要滿足發(fā)展的需要，電商企業(yè)必須引入具備高容錯、高擴(kuò)展、低成本、易使用特點(diǎn)的新的架構(gòu)和處理系統(tǒng)。

（一）數(shù)據(jù)倉庫系統(tǒng)

當(dāng)前，電子商務(wù)的數(shù)據(jù)大規(guī)模存在且持續(xù)增長，表現(xiàn)為大規(guī)模、分布式、異構(gòu)性，使得電商數(shù)據(jù)倉庫系統(tǒng)發(fā)生了顯著變化：一是，數(shù)據(jù)量由TB級升至PB級，并仍在持續(xù)爆炸式增長。二是，硬件平臺由高端服務(wù)器轉(zhuǎn)向由中低端硬件構(gòu)成的大規(guī)模集群平臺，并行數(shù)據(jù)庫的規(guī)模增大，成本急劇上升。由此導(dǎo)致電商面臨數(shù)據(jù)量的膨脹、數(shù)據(jù)深度分析需求的增長這兩大挑戰(zhàn)。目前僅具備傳統(tǒng)數(shù)據(jù)處理技術(shù)和信息分析能力的數(shù)據(jù)倉庫和BI工具難以完成PB級大數(shù)據(jù)的數(shù)據(jù)管理和分析工作。

（二）大數(shù)據(jù)的IT基礎(chǔ)——云計算架構(gòu)

云計算是新型分布式網(wǎng)絡(luò)計算架構(gòu)，特別適合向各種網(wǎng)絡(luò)應(yīng)用提供計算、存儲、網(wǎng)絡(luò)、軟件等在線服務(wù)，是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說法，過去常用來表示圖片中的電信網(wǎng)，后來被用作互聯(lián)網(wǎng)的抽象概念。云計算具有強(qiáng)大的運(yùn)算能力，可以用來預(yù)測氣候變化和市場發(fā)展趨勢，其特征包括：

一是超大規(guī)模?！霸啤本哂邢喈?dāng)?shù)囊?guī)模，Google云計算已經(jīng)擁有100多萬臺服務(wù)器，IBM、微軟、Yahoo等的“云”均擁有幾十萬臺服務(wù)器，企業(yè)私有云一般擁有數(shù)百上千臺服務(wù)器。

二是虛擬化。云計算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請求的資源來自“云”，而不是固定的有形的實(shí)體。應(yīng)用在“云”中某處運(yùn)行，但實(shí)際上用戶無需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置。只需要一臺筆記本或者一個手機(jī)，就可以通過網(wǎng)絡(luò)服務(wù)來實(shí)現(xiàn)我們需要的一切，甚至包括超級計算這樣的任務(wù)。

三是高可靠性。“云”使用了數(shù)據(jù)多副本容錯、計算節(jié)點(diǎn)同構(gòu)可互換等措施來保障服務(wù)的安全，相比于本地計算機(jī)云計算較為可靠。

四是通用性。云計算不針對特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出多種的應(yīng)用，同一個“云”可以同時支撐不同的應(yīng)用運(yùn)行。

五是高可擴(kuò)展性?！霸啤钡囊?guī)模可以動態(tài)伸縮，滿足應(yīng)用和用戶規(guī)模增長的需要。

六是按需服務(wù)?！霸啤弊鳛橐环N資源，可以按需購買，其計費(fèi)也與水、電、氣無異。

七是極其廉價。云計算具有自動化集中式管理功能，可以使大量企業(yè)無需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本，同時其通用性使的資源的利用率大大增加，這在一定程度上大大減少了用戶的使用成本。

四、大數(shù)據(jù)處理對電子商務(wù)的影響

（一）大數(shù)據(jù)處理使電子商務(wù)的運(yùn)營方式數(shù)據(jù)化

隨著大數(shù)據(jù)處理技術(shù)的普及與完善，電子商務(wù)企業(yè)的運(yùn)營模式逐漸以數(shù)據(jù)化為主導(dǎo)，貫穿企業(yè)運(yùn)營中的采購、營銷、財務(wù)以及人事等一系列過程。例如，在營銷方面，大數(shù)據(jù)處理技術(shù)幫助使企業(yè)收集消費(fèi)者的購物信息，并分析出其需求和購物傾向，并以此對日后的營銷方向做出預(yù)測，從而以最小的成本實(shí)現(xiàn)最大的利潤。

（二）大數(shù)據(jù)處理使產(chǎn)業(yè)鏈更加緊密

大數(shù)據(jù)處理技術(shù)將電子商務(wù)企業(yè)的產(chǎn)業(yè)鏈緊密結(jié)合在一起，即加強(qiáng)公司、供應(yīng)商與經(jīng)銷商三者之間的互動與整合。具體表現(xiàn)為企業(yè)與供應(yīng)商之間的資源得到更好的共享，企業(yè)與用戶的關(guān)系越來越近，從而促進(jìn)企業(yè)經(jīng)濟(jì)效益的提高。

（三）大數(shù)據(jù)處理使電子商務(wù)的數(shù)據(jù)資源化

隨著信息時代的發(fā)展與進(jìn)步，大數(shù)據(jù)作為信息時代的重要資源將是企業(yè)擴(kuò)大市場占有率的關(guān)鍵因素。與此同時，數(shù)據(jù)作為一種資源將逐漸發(fā)展成為一項(xiàng)產(chǎn)業(yè)，有關(guān)數(shù)據(jù)的服務(wù)，如對數(shù)據(jù)分析、可視化的業(yè)務(wù)和眾包模式等，會逐漸普及并完善，為企業(yè)創(chuàng)造更多的價值。

（四）大數(shù)據(jù)處理保證了電子商務(wù)的信息安全

隨著電子商務(wù)的發(fā)展，網(wǎng)絡(luò)安全問題日益凸顯。隨著網(wǎng)絡(luò)與人們生活的日益緊密，大量的個人信息逐漸泄露于網(wǎng)絡(luò)各個社交平臺，根據(jù)個人信息進(jìn)行詐騙的案件屢屢發(fā)生，尤其是消費(fèi)者在進(jìn)行網(wǎng)上購物時，極易泄露住址、聯(lián)系方式等信息，使人們在享受電子商務(wù)帶來的便利的同時，也面臨著諸多安全隱患。而如今，大數(shù)據(jù)處理技術(shù)的應(yīng)用為電子商務(wù)的安全提供了重要保障，一方面，大數(shù)據(jù)處理技術(shù)為電子商務(wù)系統(tǒng)建立基礎(chǔ)的數(shù)據(jù)中心庫，并保證信息在收集、傳輸、處理等一系列過程中的安全，另一方面，大數(shù)據(jù)處理技術(shù)保證了被破壞后數(shù)據(jù)的恢復(fù)，且其身份認(rèn)證等手段大大提高電子商務(wù)的安全性能。

（五）大數(shù)據(jù)處理提高了電子商務(wù)企業(yè)的信息處理能力

隨著電子商務(wù)的深入發(fā)展，電子商務(wù)平臺的日數(shù)據(jù)量越來越龐大，而對這些信息進(jìn)行分析處理是電商企業(yè)重點(diǎn)要解決的問題，而云計算的核心功能之一就是信息的收集與處理，因此將云計算環(huán)境下的大數(shù)據(jù)運(yùn)用到電子商務(wù)發(fā)展中來，既是云計算拓展其用途的需要，也是電子商務(wù)發(fā)展的必然。在云計算環(huán)境下，電子商務(wù)的商家一方面利用“云”對龐雜的商務(wù)信息進(jìn)行統(tǒng)一化、規(guī)范化的管理，以保證電子商務(wù)平臺的有序運(yùn)行，另一方面通過對消費(fèi)者信息的收據(jù)，以及大數(shù)據(jù)結(jié)果分析，電商企業(yè)可以對消費(fèi)者的行為進(jìn)行預(yù)測，并適時地為其推出有針對性的產(chǎn)品，以提高平臺的交易量，進(jìn)而提高企業(yè)的經(jīng)濟(jì)效益。

（六）大數(shù)據(jù)處理降低了電子商務(wù)企業(yè)的平臺運(yùn)行成本

電子商務(wù)的平臺運(yùn)行成本在其經(jīng)營中占有很大的比重，其中的硬件維修與引進(jìn)、軟件的開發(fā)與完善都需要消耗大量的成本和資源。而大數(shù)據(jù)處理技術(shù)可以建立云計算架構(gòu)來提高資源的利用和整合，降低管理人員的人力成本，減少平臺運(yùn)營支出和資本支出，同時計算平臺可以通過對動態(tài)資源的管理實(shí)現(xiàn)業(yè)務(wù)的優(yōu)化，而這樣強(qiáng)大的數(shù)據(jù)處理功能使商家最大限度地降低平臺運(yùn)行成本變成可能。

五、大數(shù)據(jù)處理在電子商務(wù)上的未來發(fā)展趨勢

（一）專業(yè)化數(shù)據(jù)處理服務(wù)與產(chǎn)品日益豐富

大型電商企業(yè)、政府、社會盈利機(jī)構(gòu)等組織可以利用大數(shù)據(jù)處理技術(shù)在云環(huán)境下協(xié)同工作，生產(chǎn)出專業(yè)化數(shù)據(jù)處理服務(wù)或產(chǎn)品，并可提供給沒有足夠IT能力的中小電商企業(yè)。

（二）大數(shù)據(jù)定制化系統(tǒng)

大數(shù)據(jù)定制化系統(tǒng)成為超大規(guī)模電商的商機(jī)和趨勢，并可作為IT能力輸出給中小電商企業(yè)。

（三）構(gòu)建新型電商的商業(yè)模式

云計算帶來的規(guī)模經(jīng)濟(jì)效應(yīng)、個性化服務(wù)等優(yōu)勢，不僅變革了IT基礎(chǔ)設(shè)施，更重要的是重塑了經(jīng)濟(jì)學(xué)概念，促進(jìn)了企業(yè)業(yè)務(wù)模式的改變，從而使得電商行業(yè)可以快速邁進(jìn)服務(wù)經(jīng)濟(jì)時代。隨著大數(shù)據(jù)處理技術(shù)與營銷思想的良性互動，傳統(tǒng)商業(yè)模式將得得以徹底變革和創(chuàng)新，構(gòu)建出新型電商營銷新模式、新思路、新方法。

（四）IT基礎(chǔ)設(shè)施成為核心競爭力

大數(shù)據(jù)處理技術(shù)的應(yīng)用，為海量的資源提供了有利的整合措施和可靠的保證，其先進(jìn)的計算處理性能、簡單方便的部署使用方案和全方位的監(jiān)控管理措施，顯著提高了電商網(wǎng)絡(luò)數(shù)據(jù)庫和計算中心的工作效率，最大限度地降低IT運(yùn)營和管理維護(hù)成本，給傳統(tǒng)IT基礎(chǔ)設(shè)施帶來革命性變革。這種技術(shù)優(yōu)勢突破了電商交易規(guī)模的發(fā)展瓶頸，在技術(shù)的基礎(chǔ)上提升了電商行業(yè)的發(fā)展空間，使得IT基礎(chǔ)設(shè)施逐漸成為電商企業(yè)的核心競爭力。

六、結(jié)束語

大數(shù)據(jù)作為IT行業(yè)的新技術(shù)，對于企業(yè)的發(fā)展與創(chuàng)新具有重要的價值，在社會發(fā)展中，大數(shù)據(jù)的資源性日益凸顯。電子商務(wù)作為互聯(lián)網(wǎng)時代的新型商務(wù)模式，與大數(shù)據(jù)有著密不可分的聯(lián)系，大數(shù)據(jù)處理技術(shù)的發(fā)展將對電子商務(wù)企業(yè)產(chǎn)生重要影響，大數(shù)據(jù)處理技術(shù)的應(yīng)用能優(yōu)化電商企業(yè)的運(yùn)營方式、緊密其產(chǎn)業(yè)鏈、保證信息安全、提高信息處理能力、降低網(wǎng)絡(luò)平臺運(yùn)營成本，對電商企業(yè)的經(jīng)濟(jì)效益和市場占有率起積極作用。在信息時代，電商企業(yè)運(yùn)用并完善大數(shù)據(jù)處理技術(shù)，是自身獲得長足發(fā)展的重要動力。

【參考文獻(xiàn)】

[1]陳晶晶.淺析數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用[J].信息通信，2017（12）.

[2]陳云海，黃蘭秋.大數(shù)據(jù)處理對電子商務(wù)的影響研究[J].電信科學(xué)，2013（03）.

[3]劉志超，陳勇，姚志立.大數(shù)據(jù)時代的電子商務(wù)服務(wù)模式革新[J].科技管理研究，2014（01）.

[4]甘麗新，涂偉.大數(shù)據(jù)時代電子商務(wù)的機(jī)遇與挑戰(zhàn)探討[J].科技廣場，2013（03）.