大數(shù)據(jù)時(shí)代電子商務(wù)安全與數(shù)據(jù)分析平臺(tái)分析

廖娟 阮運(yùn)飛

摘要：大數(shù)據(jù)技術(shù)與電子商務(wù)領(lǐng)域的發(fā)展之間相互促進(jìn)，大數(shù)據(jù)在電子商務(wù)中的應(yīng)用，使數(shù)據(jù)成為一項(xiàng)關(guān)鍵性的市場(chǎng)競(jìng)爭(zhēng)資源，同時(shí)也促進(jìn)了其自身發(fā)展普及。本文對(duì)大數(shù)據(jù)時(shí)代電子商務(wù)安全與數(shù)據(jù)分析平臺(tái)進(jìn)行分析，強(qiáng)調(diào)大數(shù)據(jù)時(shí)代，電子商務(wù)數(shù)據(jù)安全及分析的重要性，研究電子商務(wù)安全管理體系及數(shù)據(jù)分析平臺(tái)的構(gòu)建方案，促進(jìn)電子商務(wù)行業(yè)健康化發(fā)展。

關(guān)鍵詞：大數(shù)據(jù);電子商務(wù);數(shù)據(jù)分析;安全管理

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（201 9）30-0291-02

電子商務(wù)通過(guò)對(duì)市場(chǎng)信息及客戶信息的收集、整理和深挖，精確分析市場(chǎng)形勢(shì)、精準(zhǔn)把握用戶需求，極大促進(jìn)了電子商務(wù)經(jīng)濟(jì)效益的提升。行業(yè)向陽(yáng)發(fā)展的同時(shí)，也帶來(lái)更嚴(yán)重的信息安全問(wèn)題，導(dǎo)致用戶合法權(quán)益受到侵害。在大數(shù)據(jù)時(shí)代，電子商務(wù)的安全管理與數(shù)據(jù)的分析利用同樣重要，因此需要對(duì)其安全與數(shù)據(jù)分析平臺(tái)進(jìn)行研究。

1大數(shù)據(jù)時(shí)代電子商務(wù)安全體系構(gòu)建

1.1安全體系架構(gòu)設(shè)計(jì)

大數(shù)據(jù)時(shí)代的電子商務(wù)安全體系架構(gòu)與以往的安全體系并無(wú)本質(zhì)性的差別，由于依托于網(wǎng)絡(luò)系統(tǒng)，因此其架構(gòu)依然涵蓋安全協(xié)議、安全技術(shù)、服務(wù)范圍等模塊，以確保電子商務(wù)安全體系的邏輯完整。大數(shù)據(jù)電子商務(wù)安全體系架構(gòu)包括五個(gè)部分，即商務(wù)層、協(xié)議認(rèn)證層、安全驗(yàn)證層、安全技術(shù)層和網(wǎng)絡(luò)安全層。其中，前三個(gè)層級(jí)的主要功能是進(jìn)行安全驗(yàn)證，由安全技術(shù)層和網(wǎng)絡(luò)安全層發(fā)揮安全防護(hù)作用。以網(wǎng)絡(luò)安全層為例，網(wǎng)絡(luò)安全層為電子商務(wù)提供宏觀上的安全保障，包括防火墻技術(shù)、信息訪問(wèn)技術(shù)、網(wǎng)絡(luò)傳輸安全控制技術(shù)等。網(wǎng)絡(luò)安全層能夠抵御外部環(huán)境對(duì)電子商務(wù)系統(tǒng)的人侵和攻擊，降低發(fā)生數(shù)據(jù)盜取、信息泄漏等安全問(wèn)題的概率。而安全技術(shù)層負(fù)責(zé)對(duì)數(shù)據(jù)傳輸過(guò)程加密，以免數(shù)據(jù)在傳輸過(guò)程中被盜

取或篡改。數(shù)據(jù)傳輸加密技術(shù)水平與系統(tǒng)計(jì)算能力相適應(yīng)，在大數(shù)據(jù)時(shí)代，數(shù)據(jù)計(jì)算能力得到極大的提升，以往的很多加密技術(shù)已不再能滿足電子商務(wù)安全防護(hù)的需求。

1.2安全驗(yàn)證方法選擇

1.2.1安全性驗(yàn)證

數(shù)據(jù)安全性的衡量標(biāo)準(zhǔn)包括數(shù)據(jù)備份能力、自我修復(fù)能力等。建立在安全的網(wǎng)絡(luò)系統(tǒng)環(huán)境之下，數(shù)據(jù)的安全性才能被很好的實(shí)現(xiàn)，尤其是數(shù)據(jù)傳輸、分享過(guò)程的安全。數(shù)據(jù)備份能夠保證存儲(chǔ)在系統(tǒng)數(shù)據(jù)庫(kù)中數(shù)據(jù)的安全，配合用戶權(quán)限管理，對(duì)不同權(quán)限用戶的操作范圍進(jìn)行限制，進(jìn)一步提升數(shù)據(jù)安全性。電子商務(wù)安全防護(hù)系統(tǒng)并不能百分之百的保證數(shù)據(jù)安全，防護(hù)系統(tǒng)處于完全被動(dòng)的位置，因此數(shù)據(jù)安全性驗(yàn)證需要從邏輯驗(yàn)證的角度人手，通過(guò)檢驗(yàn)數(shù)據(jù)是否正確、完整，以判斷惡意入侵、攻擊行為所帶來(lái)的數(shù)據(jù)資源損失。

1.2.2有效性驗(yàn)證

數(shù)據(jù)有效性的判別標(biāo)準(zhǔn)為具備某種特定屬性、屬于某一特定范圍、符合邏輯及規(guī)范要求等。數(shù)據(jù)有效性的限制一般在數(shù)據(jù)錄入的過(guò)程中即進(jìn)行，如對(duì)目標(biāo)客戶年齡數(shù)據(jù)的限制，僅允許使用正整數(shù)。電子商務(wù)系統(tǒng)的數(shù)據(jù)有效性還包括數(shù)據(jù)的確定性。例如，在網(wǎng)上支付的過(guò)程中，將整個(gè)過(guò)程分為支付及確認(rèn)支付，其中的支付過(guò)程屬于消費(fèi)者的預(yù)購(gòu)買(mǎi)行為，此時(shí)的交易并沒(méi)有完全達(dá)成，消費(fèi)者可根據(jù)自身意愿選擇終止。數(shù)據(jù)有效性驗(yàn)證參照邏輯事實(shí)，其同樣存在多樣化的驗(yàn)證規(guī)則。如正確性、確認(rèn)陛等。

2大數(shù)據(jù)時(shí)代電子商務(wù)數(shù)據(jù)分析平臺(tái)

2.1電子商務(wù)數(shù)據(jù)分析平臺(tái)框架結(jié)構(gòu)

大數(shù)據(jù)時(shí)代電子商務(wù)數(shù)據(jù)分析平臺(tái)以Hadoop YARN為框架，分為基礎(chǔ)層、架構(gòu)層和應(yīng)用層。其中，基礎(chǔ)層由虛擬機(jī)、Linux等構(gòu)成，框架層則為Hadoop YARN框架，應(yīng)用層包括數(shù)據(jù)采集模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)篩查模塊和數(shù)據(jù)分析模塊。

2.2電子商務(wù)數(shù)據(jù)分析平臺(tái)模塊設(shè)計(jì)

2.2.1數(shù)據(jù)采集模塊設(shè)計(jì)

電子商務(wù)數(shù)據(jù)分析平臺(tái)的數(shù)據(jù)采集模塊主要采集工具為網(wǎng)絡(luò)爬蟲(chóng)，從網(wǎng)絡(luò)中全面采集對(duì)電子商務(wù)活動(dòng)有價(jià)值的數(shù)據(jù)信息。常見(jiàn)的數(shù)據(jù)采集模塊分為動(dòng)態(tài)網(wǎng)頁(yè)和靜態(tài)網(wǎng)頁(yè)兩種模式。動(dòng)態(tài)網(wǎng)頁(yè)一般選用由JavaScript所編寫(xiě)的爬蟲(chóng)進(jìn)行數(shù)據(jù)采集，而靜態(tài)網(wǎng)頁(yè)則選用Python網(wǎng)絡(luò)爬蟲(chóng)。在采集網(wǎng)絡(luò)信息的過(guò)程中，兩種爬蟲(chóng)工具相互配合，以確保采集數(shù)據(jù)的完整性和全面性。

2.2.2數(shù)據(jù)存儲(chǔ)模塊設(shè)計(jì)

在大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)數(shù)據(jù)信息成為最有價(jià)值的資源之一，隨之而來(lái)的是爆炸式增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。因此數(shù)據(jù)存儲(chǔ)模塊必須備極高的存儲(chǔ)性能，能夠安全存儲(chǔ)海量電子商務(wù)數(shù)據(jù)。在以往的電子商務(wù)數(shù)據(jù)分析平臺(tái)當(dāng)中，常選用關(guān)系型數(shù)據(jù)庫(kù)，目前，該種數(shù)據(jù)庫(kù)的性能已經(jīng)很難再滿足上述數(shù)據(jù)存儲(chǔ)要求，分布式數(shù)據(jù)庫(kù)逐漸在電子商務(wù)數(shù)據(jù)分析模塊中普及。此次的數(shù)據(jù)存儲(chǔ)模塊設(shè)計(jì)選用NoSQL分布式數(shù)據(jù)庫(kù)，并將HBase作為數(shù)據(jù)存儲(chǔ)載體，為大數(shù)據(jù)分析、挖掘等活動(dòng)奠定基礎(chǔ)嘲。此外，該類(lèi)型的數(shù)據(jù)庫(kù)還具備橫向擴(kuò)展、內(nèi)存數(shù)據(jù)庫(kù)等特點(diǎn)，以滿足大數(shù)據(jù)背景下的多元化數(shù)據(jù)存儲(chǔ)需求。

2.2.3數(shù)據(jù)篩查模塊設(shè)計(jì)

網(wǎng)絡(luò)系統(tǒng)存在海量數(shù)據(jù)信息，這些信息并不完全能夠被電子商務(wù)所利用，網(wǎng)絡(luò)爬蟲(chóng)工具在采集信息時(shí)，會(huì)將一些錯(cuò)誤、異常、重復(fù)、不完整的信息納人數(shù)據(jù)庫(kù)當(dāng)中。此時(shí)就需要通過(guò)數(shù)據(jù)篩查模塊，對(duì)采集到的信息進(jìn)行過(guò)濾和篩選，以使數(shù)據(jù)庫(kù)得到高效的利用，并為后期的數(shù)據(jù)整理、分析工作提供便利。

依照現(xiàn)代電子商務(wù)數(shù)據(jù)分析的需求，將數(shù)據(jù)篩查模塊設(shè)計(jì)為5個(gè)子模塊，即方案制定模塊、數(shù)據(jù)檢測(cè)模塊、數(shù)據(jù)評(píng)估模塊、數(shù)據(jù)糾正模塊和數(shù)據(jù)輸出模塊。（1）方案制定模塊。該模塊主要負(fù)責(zé)數(shù)據(jù)篩查目標(biāo)的制定、方法的選擇，得出最佳的數(shù)據(jù)篩查方案。（2）數(shù)據(jù)檢測(cè)模塊。對(duì)采集到的數(shù)據(jù)進(jìn)行檢測(cè)和初步處理，將其中完整性不足、可靠性不夠、異常及其他無(wú)效數(shù)據(jù)篩出并清除，以獲得質(zhì)量更高的電子商務(wù)數(shù)據(jù)體系，為大數(shù)據(jù)挖掘做好準(zhǔn)備。（3）數(shù)據(jù)評(píng)估模塊。數(shù)據(jù)評(píng)估模塊負(fù)責(zé)對(duì)經(jīng)過(guò)檢測(cè)模塊篩查與處理的數(shù)據(jù)進(jìn)行質(zhì)量水平認(rèn)定，分析導(dǎo)致質(zhì)量問(wèn)題的原因。最終結(jié)合具體業(yè)務(wù)需求，對(duì)預(yù)先制定好的數(shù)據(jù)篩查方案進(jìn)行優(yōu)化和完善，得到數(shù)據(jù)糾正方案。（4）數(shù)據(jù)糾正模塊。對(duì)被標(biāo)記的數(shù)據(jù)進(jìn)行糾正處理，常用技術(shù)方法包括重新排序、融合、規(guī)則化處理等，確保數(shù)據(jù)信息完整、一致。將無(wú)效數(shù)據(jù)、冗余數(shù)據(jù)清除，并對(duì)重復(fù)數(shù)據(jù)進(jìn)行融合。（5）數(shù)據(jù)輸出模塊。在數(shù)據(jù)輸出之前，需要再次對(duì)經(jīng)過(guò)處理的數(shù)據(jù)信息的合理性、可靠性進(jìn)行驗(yàn)證，若達(dá)到大數(shù)據(jù)挖掘的要求，則可進(jìn)行輸出，若無(wú)法滿足挖掘要求，重復(fù)以上篩查步驟直到數(shù)據(jù)質(zhì)量達(dá)標(biāo)。

數(shù)據(jù)篩查是整個(gè)數(shù)據(jù)處理過(guò)程中最重要的部分，只有確保被挖掘數(shù)據(jù)的完整與可靠，才能據(jù)此得到更多有價(jià)值的電子商務(wù)信息。需要注意的是，數(shù)據(jù)篩查模塊設(shè)計(jì)必須具備靈活性、可擴(kuò)展性和交互性等優(yōu)點(diǎn)，提供高質(zhì)量的數(shù)據(jù)信息。

2.2.4數(shù)據(jù)分析模塊設(shè)計(jì)

數(shù)據(jù)分析模塊對(duì)經(jīng)過(guò)采集、存儲(chǔ)、篩查的網(wǎng)絡(luò)信息進(jìn)行分析和挖掘，以為電子商務(wù)經(jīng)營(yíng)決策、網(wǎng)絡(luò)營(yíng)銷(xiāo)等提供理論參考。本電子商務(wù)數(shù)據(jù)分析平臺(tái)的數(shù)據(jù)分析模塊基于Yarn，配合算法學(xué)習(xí)，可對(duì)大數(shù)據(jù)進(jìn)行離線計(jì)算和實(shí)時(shí)計(jì)算，并對(duì)計(jì)算結(jié)果進(jìn)行整理和總結(jié)，找到電子商務(wù)數(shù)據(jù)中的關(guān)系和規(guī)律。例如，不同消費(fèi)群體的消費(fèi)能力、消費(fèi)偏好、服務(wù)需求等，以此進(jìn)行定制服務(wù)的提供。其中離線計(jì)算的分析技術(shù)包括分類(lèi)算法、關(guān)聯(lián)分析、協(xié)同過(guò)濾等，實(shí)時(shí)計(jì)算分析則采用Spark框架中的Streaming及MLlib，以實(shí)現(xiàn)更高的數(shù)據(jù)計(jì)算速率。

3結(jié)論

大數(shù)據(jù)背景下，安全體系與數(shù)據(jù)分析平臺(tái)的搭建與完善是實(shí)現(xiàn)電子商務(wù)穩(wěn)定、長(zhǎng)期發(fā)展的基本性要求。電子商務(wù)領(lǐng)域，數(shù)據(jù)信息已成為最有價(jià)值的市場(chǎng)資源，為使其得到充分的開(kāi)發(fā)和利用，有必要通過(guò)安全體系與分析平臺(tái)的融合，打造完善、科學(xué)的數(shù)據(jù)信息管理系統(tǒng)。在確保數(shù)據(jù)信息安全性的同時(shí)對(duì)其進(jìn)行分析和整理，促進(jìn)大數(shù)據(jù)技術(shù)及電子商務(wù)地進(jìn)一步發(fā)展。