C2C電子商務(wù)網(wǎng)站反作弊系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

◆王娟

安全模型、算法與編程

C2C電子商務(wù)網(wǎng)站反作弊系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

◆王娟

（桂林理工大學(xué)商學(xué)院 廣西 541006）

隨著人們網(wǎng)購頻率日益增加，并且由于互聯(lián)網(wǎng)時(shí)代的到來，物流支付鏈接變得更加完善，在線購物者的數(shù)量也大大增加。越來越多的在線購物平臺，如淘寶、天貓、京東商城，對在線營銷反作弊系統(tǒng)的需求也越來越大。現(xiàn)如今購物平臺需要一個(gè)防欺詐系統(tǒng)，以過濾出欺詐性商家，為用戶提供干凈公平的在線購物平臺，創(chuàng)建更好的消費(fèi)通道。本文在對業(yè)務(wù)場景、常用作弊方法和作弊渠道進(jìn)行詳細(xì)分析后，提出了解決方案。該系統(tǒng)的總體設(shè)計(jì)主要分為四個(gè)模塊：日志收集，前端實(shí)時(shí)防控、后端離線過濾和處罰中心。使用Groovy作為用于收集日志的Flume，用于存儲和計(jì)算日志量的Hadoop平臺，用于實(shí)時(shí)反作弊計(jì)算的Esper復(fù)雜事件流處理引擎以及處罰規(guī)則引擎，分別描述了每個(gè)模塊的技術(shù)實(shí)現(xiàn)。我們通過應(yīng)用相關(guān)知識（例如云計(jì)算技術(shù)，Hadoop Map/Reduce編程框架、數(shù)據(jù)挖掘、在線分析和數(shù)據(jù)倉庫處理）提供C2C電子商務(wù)網(wǎng)站反作弊系統(tǒng)的示例。

C2C電子商務(wù)網(wǎng)站；反作弊系統(tǒng)；設(shè)計(jì)；實(shí)現(xiàn)

在過去的十年中，互聯(lián)網(wǎng)發(fā)展非常迅速，有關(guān)互聯(lián)網(wǎng)的信息也以爆炸性的速度增長。截至2013年6月，中國的互聯(lián)網(wǎng)用戶數(shù)量達(dá)到5.9億，僅上半年便新增了2.66億互聯(lián)網(wǎng)用戶?；ヂ?lián)網(wǎng)普及率為44.1％，比2012年底提高了2.0個(gè)百分點(diǎn)?；ヂ?lián)網(wǎng)已經(jīng)成為人們獲取信息的最重要渠道。此外，隨著人們網(wǎng)購頻率的發(fā)展和互聯(lián)網(wǎng)時(shí)代的到來，物流支付鏈接也變得越發(fā)完善，在線購物者的數(shù)量也大幅度增加。淘寶、天貓、逸迅和京東商城等越來越多的在線購物平臺也已經(jīng)出現(xiàn)。由于互聯(lián)網(wǎng)基礎(chǔ)結(jié)構(gòu)的這些改進(jìn)，越來越多的人正在使用互聯(lián)網(wǎng)進(jìn)行商業(yè)活動(dòng)，其中對在線商品銷售的需求最高。同時(shí)，為方便網(wǎng)上開店的用戶和在網(wǎng)上購物的用戶，專業(yè)便捷的C2C電子商務(wù)網(wǎng)站正在中國逐步出現(xiàn)。成千上萬的人在互聯(lián)網(wǎng)上購物，同時(shí)也有數(shù)以萬計(jì)的商家在網(wǎng)絡(luò)上進(jìn)行銷售，如何從成千上萬的買家那里獲得可觀的流量交易已成為賣家的主要問題。一般運(yùn)行時(shí)間較長的商家可以提高店鋪等級來逐漸增加流量，但是激烈的市場競爭和巨額利潤經(jīng)常使交易者承擔(dān)風(fēng)險(xiǎn)，這種環(huán)境對店鋪的營銷帶來很大挑戰(zhàn)。

1 C2C電子商務(wù)網(wǎng)站反作弊系統(tǒng)相關(guān)技術(shù)

本章主要介紹了系統(tǒng)開發(fā)中使用的主要技術(shù)，包括用于構(gòu)建云平臺的HDFS，分布式計(jì)算編程框架MAP/REDUCE，數(shù)據(jù)倉庫HIVE和事件流處理框架ESPER。

1.1 HDFS

HDFS是Apache Fund的分布式基礎(chǔ)架構(gòu)，具有高容錯(cuò)性，主要設(shè)計(jì)并應(yīng)用于許多低成本硬件，以處理軟件層的各種錯(cuò)誤?，F(xiàn)在，由于HDFS的高可用性已使其作為HDFS文件系統(tǒng)和Map/Reduce編程框架，被廣泛用于處理大量數(shù)據(jù)的各種應(yīng)用程序中。

1.1.1HDFS架構(gòu)

首先，管理網(wǎng)絡(luò)上多臺計(jì)算機(jī)的存儲的文件系統(tǒng)稱為分布式文件系統(tǒng)。HDFS（Hadoop分布式文件系統(tǒng)）就是其中之一，并且是專門為諸如MapReduce之類的分布式編程框架開發(fā)的文件系統(tǒng)，用于執(zhí)行大規(guī)模數(shù)據(jù)處理。HDFS使用服務(wù)器/客戶端架構(gòu)，每個(gè)HDFS群集主要由兩部分組成，一個(gè)是NameNode，另一個(gè)是DataNode?！懊Q”節(jié)點(diǎn)主要控制HDFS文件系統(tǒng)的名稱空間，并維護(hù)存儲在整個(gè)集群中的文件系統(tǒng)樹。與元數(shù)據(jù)有關(guān)的所有服務(wù)也由名稱節(jié)點(diǎn)進(jìn)程提供，因此它們也稱為元數(shù)據(jù)節(jié)點(diǎn)?！懊Q”節(jié)點(diǎn)記錄文件名和拆分文件的塊列表之間的映射關(guān)系，以及塊和實(shí)際系統(tǒng)之間的對應(yīng)關(guān)系?！懊Q”節(jié)點(diǎn)以快照的形式在本地文件系統(tǒng)中存儲映射關(guān)系，并在每次系統(tǒng)重新啟動(dòng)時(shí)在本地加載映像，并獲取文件的存儲地址。在大多數(shù)情況下，名稱節(jié)點(diǎn)僅被動(dòng)地接受來自數(shù)據(jù)節(jié)點(diǎn)的請求，執(zhí)行其任務(wù)并更新。數(shù)據(jù)節(jié)點(diǎn)是實(shí)際存儲文件的節(jié)點(diǎn)，通常一個(gè)物理系統(tǒng)對應(yīng)一個(gè)數(shù)據(jù)節(jié)點(diǎn)。通常，不執(zhí)行數(shù)據(jù)節(jié)點(diǎn)的磁盤陣列備份，因?yàn)槲募辉O(shè)計(jì)為備份到多個(gè)數(shù)據(jù)節(jié)點(diǎn)，而不是一個(gè)數(shù)據(jù)節(jié)點(diǎn)上的多個(gè)文件。

HDFS數(shù)據(jù)塊備份和分發(fā)策略存儲一系列數(shù)據(jù)塊，每個(gè)文件都在其中劃分。除最后一個(gè)分段數(shù)據(jù)塊外，分段成文件的所有其他數(shù)據(jù)塊大小相同。為了提高容錯(cuò)能力，通常以多份副本備份數(shù)據(jù)塊，同時(shí)用戶也可以自行配置數(shù)據(jù)塊的大小和備份副本的數(shù)量。

基于HDFS的應(yīng)用程序可以通過配置文件更改參數(shù)，創(chuàng)建數(shù)據(jù)備份時(shí)，用戶可以指定塊備份的數(shù)量或稍后對其進(jìn)行修改，但是在HDFS中，每個(gè)文件一次寫入。

名稱節(jié)點(diǎn)會(huì)定期在每個(gè)數(shù)據(jù)節(jié)點(diǎn)上執(zhí)行心跳檢查和數(shù)據(jù)庫快速狀態(tài)報(bào)告，以確定哪些數(shù)據(jù)節(jié)點(diǎn)當(dāng)前可用以及哪些數(shù)據(jù)文件已存儲。通常，如果很長時(shí)間未收到數(shù)據(jù)節(jié)點(diǎn)的心跳，則系統(tǒng)會(huì)使它無效并重新啟動(dòng)該節(jié)點(diǎn)以恢復(fù)數(shù)據(jù)從而重新加入系統(tǒng)。

1.1.2如何恢復(fù)可用空間

與傳統(tǒng)的文件系統(tǒng)刪除方法不同，在HDFS中刪除文件時(shí)，需要重命名文件而不是直接刪除文件，然后將文件首先移至回收站。用戶可以隨時(shí)從回收站中檢索文件，但是這并不意味著文件始終存在。系統(tǒng)會(huì)將文件保留一段時(shí)間，當(dāng)保留時(shí)間超過配置時(shí)間時(shí)，“名稱”節(jié)點(diǎn)將從名稱空間中刪除文件，并釋放與文件數(shù)據(jù)塊相對應(yīng)的空間，同時(shí)，這些數(shù)據(jù)塊可以在導(dǎo)入期間覆蓋。此外，修改文件備份的數(shù)量還會(huì)釋放其他數(shù)據(jù)塊，并且名稱節(jié)點(diǎn)在下一次檢測信號時(shí)將修改后的配置信息發(fā)送到數(shù)據(jù)節(jié)點(diǎn)，并在數(shù)據(jù)節(jié)點(diǎn)接收到它們后刪除其他本地文件。

2 反作弊系統(tǒng)的業(yè)務(wù)場景和需求分析

構(gòu)建反作弊系統(tǒng)，首先需要對業(yè)務(wù)背景和反作弊系統(tǒng)進(jìn)行分析，并從業(yè)務(wù)反作弊需求開始描述整個(gè)系統(tǒng)的體系結(jié)構(gòu)和過程。該系統(tǒng)的核心部分是兩個(gè)主要模塊，即快速實(shí)時(shí)處理和離線處理大量數(shù)據(jù)，該系統(tǒng)中的大部分內(nèi)容都是圍繞這兩個(gè)模塊展開的。系統(tǒng)處理數(shù)據(jù)的來源，主要是用戶的行為日志，系統(tǒng)具有用于收集和存儲WEB日志的模塊，同時(shí)需要預(yù)處理WEB日志并預(yù)先計(jì)算一些常用數(shù)據(jù)以進(jìn)行脫機(jī)工作。最后，系統(tǒng)需要處罰捕獲的作弊行為，此時(shí)需要一個(gè)可配置的靈活的處罰中心，該中心可以實(shí)時(shí)和脫機(jī)處理捕獲的作弊行為。

2.1 反作弊系統(tǒng)業(yè)務(wù)需求分析

簡而言之，反作弊系統(tǒng)的重點(diǎn)是識別、預(yù)防和監(jiān)控C2C電子商務(wù)平臺中的作弊行為，提高平臺的整體完整性，改善買家在網(wǎng)上的購物體驗(yàn)。

2.1.1C2C平臺反作弊的重要性

C2C代表個(gè)人與個(gè)人之間的電子商務(wù)，隨著電子商務(wù)的飛速發(fā)展，C2C扮演著越來越重要的角色。C2C平臺為買賣雙方提供了一個(gè)在線交易平臺，賣方在該平臺上展示和出售他們的產(chǎn)品，而買方則通過該平臺找到和購買他們需要的產(chǎn)品。而決定C2C平臺成功的關(guān)鍵則是為用戶提供在線購物體驗(yàn)，用戶訪問網(wǎng)站購物時(shí)，該平臺必須盡力推薦與客戶需求相關(guān)的產(chǎn)品。

2.1.2在C2C平臺上作弊的常見類型和原因

為實(shí)現(xiàn)有效識別，系統(tǒng)會(huì)對商家作弊的動(dòng)機(jī)進(jìn)行分析，縮小作弊分析范圍。隨著搜索應(yīng)用程序的增加，搜索已成為許多C2C平臺用戶找到所需產(chǎn)品的最重要手段。用戶在搜索欄中輸入所需商品的關(guān)鍵詞以查找要購買的商品，在平臺返回到搜索關(guān)鍵詞的排名頁面，關(guān)鍵詞搜索結(jié)果頁面匯總排名靠前的商家的產(chǎn)品并展示給用戶。通常，作弊類型有以下幾個(gè)方面：

（1）在平臺站內(nèi)搜索：通過短期技巧來改善搜索結(jié)果排名的常用方法是提高賣家商品與搜索關(guān)鍵詞的相關(guān)性。

（2）賣家評分：賣家評分也對搜索結(jié)果有很大的影響，通過大流量模擬真實(shí)用戶在線購物操作購買物品，增加交易量和評分。

（3）惡意攻擊競爭對手的方法：1）惡意評價(jià)，從而導(dǎo)致賣家降低搜索排名；2）惡意點(diǎn)擊競爭對手的廣告寶貝。

2.1.3作弊的方法

C2C電子商務(wù)平臺上目前存在兩種主要的作弊方法：機(jī)器作弊和人工作弊。機(jī)器作弊屬于低成本，可以多次生成大量事務(wù)，使用此方法，能夠模擬很多地理位置及購物賬號。當(dāng)然，引起虛假點(diǎn)擊的網(wǎng)絡(luò)機(jī)器人也是爬蟲，我們在不模擬交易的情況下爬網(wǎng)，某些機(jī)器人會(huì)這樣創(chuàng)建病毒并將其分發(fā)到各個(gè)計(jì)算機(jī)，然后竊取真實(shí)用戶的賬戶并進(jìn)行點(diǎn)擊，但此類交易都是模擬點(diǎn)擊，且由于它們是機(jī)器人，因此其份額非常有規(guī)律且可檢測。人工作弊是真實(shí)用戶手動(dòng)模擬購買記錄，僅查看交易數(shù)據(jù)沒什么問題，且行為正常，因此這類作弊給反作弊系統(tǒng)的識別帶來了巨大的挑戰(zhàn)。

2.1.4檢測作弊的方式

檢測作弊通常分為兩種方法：實(shí)時(shí)檢測和離線檢測。通過查找和分析操作日志中的異常數(shù)據(jù)，可以確定實(shí)時(shí)和離線檢測。實(shí)時(shí)檢測系統(tǒng)主要針對某些欺詐者作弊方式比較粗糙，作弊量較高，很容易在短時(shí)間內(nèi)引發(fā)大量異常。

離線反作弊系統(tǒng)通常針對更復(fù)雜的場景。例如，每天都有幾次作弊點(diǎn)擊，并且僅在特定日期沒有數(shù)據(jù)，需要分析和處理所有過去的流量日志以發(fā)現(xiàn)問題，在大多數(shù)情況下，需要在許多日志上進(jìn)行數(shù)據(jù)挖掘。為了檢測欺詐，離線系統(tǒng)主要提供算法代表，算法人員專注于提供算法優(yōu)秀的數(shù)據(jù)和工具收集，可訪問和處理數(shù)據(jù)。

2.2 店鋪等級

除了剛才提到的搜索排名之外，商家還需要真實(shí)的交易及買家評論來提高自己的店鋪等級，這是一個(gè)非常重要的因素。用戶更關(guān)心與購物經(jīng)驗(yàn)良好的賣家交易，以避免不必要的風(fēng)險(xiǎn)。同時(shí)店鋪等級也對搜索結(jié)果產(chǎn)生巨大影響。

3 結(jié)語

互聯(lián)網(wǎng)用戶的隱私問題：互聯(lián)網(wǎng)服務(wù)都是通過分析用戶行為來執(zhí)行的。收集網(wǎng)站的用戶訪問日志，并分析用戶行為以更好地為他們提供服務(wù)。目前，有多種技術(shù)可以監(jiān)視用戶的行為，例如IP地址，注冊信息，cookie，瀏覽器行為，服務(wù)器日志，互聯(lián)網(wǎng)使用記錄等。隨著“棱鏡門”事件在美國的曝光，個(gè)人的隱私和安全也被推到了互聯(lián)網(wǎng)發(fā)展的最前沿?，F(xiàn)如今，隨著《互聯(lián)網(wǎng)隱私法》的不斷完善，可用資源越來越少，反作弊工作也將面臨新的挑戰(zhàn)。

[1]許青. C2C電子商務(wù)中消費(fèi)者信任的影響因素研究 [D].長沙：湖南大學(xué)，2010.

[2]張釗.消費(fèi)者對C2C 網(wǎng)上店鋪初始信任影響因素研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2010

[3]吳明楊. 淘寶網(wǎng)營銷策略研究[D].長春：吉林大學(xué)，2013.