跨境電商信息化監(jiān)管系統(tǒng)中數(shù)據(jù)挖掘和清洗的運(yùn)用

唐雪濤

摘 要： 隨著當(dāng)前社會經(jīng)濟(jì)的發(fā)展，跨境電商已經(jīng)成為推動我國外貿(mào)產(chǎn)業(yè)發(fā)展的主要動力之一。相比于傳統(tǒng)對外貿(mào)易方式而言，在現(xiàn)有經(jīng)濟(jì)條件下，跨境電商具有極大的發(fā)展?jié)摿?。作者所在的檢驗(yàn)檢疫部門負(fù)有對出入境貨物進(jìn)行行政監(jiān)管的職責(zé)，近年來建立了一整套跨境電商信息化監(jiān)管系統(tǒng)，為了應(yīng)對跨境電商的海量數(shù)據(jù)，建立了大數(shù)據(jù)平臺，運(yùn)用了數(shù)據(jù)采集、挖掘、清洗等技術(shù)手段。本文主要就對跨境電商信息化監(jiān)管系統(tǒng)中數(shù)據(jù)挖掘和清洗的運(yùn)用進(jìn)行分析和探討。

關(guān)鍵詞：跨境電商 信息化 數(shù)據(jù)挖掘 清洗

中圖分類號：F713 文獻(xiàn)標(biāo)識碼：A 文章編號：1003-9082（2016）09-0088-01

一、跨境電商的定義及類型

跨境電商，根據(jù)其商業(yè)模式可以分為如下三種類型。跨境B2B是指分屬不同關(guān)境的商業(yè)企業(yè)之間，通過電子商務(wù)手段使商品展示、信息交流、業(yè)務(wù)洽談和交易環(huán)節(jié)信息化，以規(guī)模化現(xiàn)代跨境物流送達(dá)貨物給關(guān)境外的商戶，并通電子化方式支付和結(jié)算，完成商品交易活動的國際商業(yè)行為。這類交易模式在進(jìn)出口檢驗(yàn)檢疫可走傳統(tǒng)貿(mào)易模式，也可走保稅備貨模式。

跨境B2C是指分屬不同關(guān)境的企業(yè)直接面向消費(fèi)者個人開展在線商品展示、宣傳、銷售產(chǎn)品和服務(wù)，并采用快件、小包等行郵的方式通過跨境物流將商品送達(dá)消費(fèi)者手中的商品交易行為過程。在檢驗(yàn)檢疫監(jiān)管中，電商企業(yè)先在報(bào)稅園區(qū)備貨再轉(zhuǎn)郵包的形式屬于保稅備貨模式，直接從海外發(fā)郵包的，屬于直郵模式。

跨境C2C是指分屬不同關(guān)境的個人賣方對個人買方開展的在線銷售產(chǎn)品和服務(wù)，由賣家通過第三方電商服務(wù)平臺發(fā)布產(chǎn)品和服務(wù)價(jià)格等相關(guān)信息，個人買方進(jìn)行篩選，最終通過電商服務(wù)平臺達(dá)成商品在線交易，通過電子化手段進(jìn)行支付結(jié)算，并采用快件、小包等行郵的方式通過跨境物流將商品送達(dá)到消費(fèi)者手中的商品交易行為。在檢驗(yàn)檢疫監(jiān)管中，屬于直郵模式。

二、跨境電商對監(jiān)管帶來的挑戰(zhàn)

1.如何落實(shí)經(jīng)營主體責(zé)任。傳統(tǒng)國際貿(mào)易中貨物所有權(quán)轉(zhuǎn)移給國內(nèi)進(jìn)口商的過程規(guī)范合法，涉及的國外供貨商較少，在產(chǎn)品質(zhì)量、消費(fèi)維權(quán)等方面完全可以按照中國的法律來落實(shí)中間商的主體責(zé)任，而中間商也有能力肩負(fù)起主體責(zé)任的義務(wù)。跨境電商的經(jīng)營主體和傳統(tǒng)貿(mào)易企業(yè)相比，數(shù)量多規(guī)模小，一家跨境電商涉及的國外供貨商數(shù)量可以成千上萬，且有部分跨境貿(mào)易是由國外賣家直接到國內(nèi)消費(fèi)者，中間缺少經(jīng)營責(zé)任承載主體。因此在對國內(nèi)經(jīng)營主體追責(zé)上存在困難，在對國外賣家身份識別、產(chǎn)品溯源等方面也難以運(yùn)用中國法律進(jìn)行規(guī)范。

2.如何落實(shí)產(chǎn)品溯源管理。傳統(tǒng)國際貿(mào)易買賣雙方通過訂立合同方式對產(chǎn)品來源渠道、質(zhì)量要求予以明確，因此一旦發(fā)生質(zhì)量問題或被消費(fèi)者要求退貨，能夠快速有效地進(jìn)行溯源?？缇畴娚藤Q(mào)易由于批量小而多，供貨狀況復(fù)雜，難以使用傳統(tǒng)手段完成在溯源工作，必須依靠新技術(shù)，建立信息化的溯源體系。

三、數(shù)據(jù)挖掘的過程

1.數(shù)據(jù)清洗

數(shù)據(jù)清洗是糾正數(shù)據(jù)紕漏的步驟，通常情況下大數(shù)據(jù)包的質(zhì)量都不高，存在數(shù)據(jù)缺失、噪聲數(shù)據(jù)、重復(fù)數(shù)據(jù)，甚至離群點(diǎn)數(shù)據(jù)的情況，數(shù)據(jù)清洗的工作就是刪除重復(fù)冗雜數(shù)據(jù)、補(bǔ)充缺失的數(shù)據(jù)，并對數(shù)據(jù)的一致性進(jìn)行核查和篩選，采用不同的處理方法可能對分析結(jié)果產(chǎn)生影響，尤其是當(dāng)缺失值的出現(xiàn)并非隨機(jī)且變量之間明顯相關(guān)時(shí)。因此，在調(diào)查中，應(yīng)盡量避免出現(xiàn)無效值和缺失值，保證數(shù)據(jù)的完整性。只有通過了數(shù)據(jù)清洗，才能為數(shù)據(jù)挖掘的結(jié)果提供優(yōu)質(zhì)而堅(jiān)實(shí)的基礎(chǔ)。

2.數(shù)據(jù)集成

數(shù)據(jù)集成是把不同來源、不同格式、不同特點(diǎn)性質(zhì)的數(shù)據(jù)在邏輯上或物理上進(jìn)行有機(jī)的結(jié)合，數(shù)據(jù)集成可以有效地為需求方提供全面的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)集成步驟可以有效解決在數(shù)據(jù)庫管理工作中，因?yàn)閿?shù)據(jù)來源問題造成的數(shù)據(jù)不一致和冗余的問題，讓數(shù)據(jù)有一個良好的邏輯或物理結(jié)構(gòu)，并保持統(tǒng)一格式。在一些工作中不存在多個數(shù)據(jù)源時(shí)，本步驟可以省略。

3.數(shù)據(jù)歸約

數(shù)據(jù)歸約是一個關(guān)鍵的過程，能夠大量減少海量數(shù)據(jù)在運(yùn)算時(shí)候的時(shí)間。通過數(shù)據(jù)歸約，數(shù)據(jù)可以得到一定的壓縮，由于數(shù)據(jù)歸約基本保持了數(shù)據(jù)的完整性，歸約處理后的數(shù)據(jù)挖掘結(jié)果與不歸約的結(jié)果相差無幾，但工作效率則有明顯的提升。

4.數(shù)據(jù)轉(zhuǎn)化

數(shù)據(jù)轉(zhuǎn)化又稱為數(shù)據(jù)變換，通過平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式，將數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)挖掘所需要的形式，一般情況下，該形式為數(shù)據(jù)規(guī)范化技術(shù)。對于某些實(shí)數(shù)型數(shù)據(jù)，通過概念分層和數(shù)據(jù)的離散化來轉(zhuǎn)換數(shù)據(jù)是重要的一步。

5.數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是選擇適合的分析工具，按照統(tǒng)計(jì)學(xué)中的方法，事例推理、決策樹、規(guī)則推理等方法對信息進(jìn)行處理，得出有用的分析處理信息。

四、數(shù)據(jù)挖掘在跨境電商信息化系統(tǒng)中的應(yīng)用

1.數(shù)據(jù)挖掘在檢驗(yàn)監(jiān)管方面的應(yīng)用

杭州作為全國最早設(shè)立的跨境電子商務(wù)綜合試驗(yàn)園區(qū)之一，跨境電子商務(wù)的發(fā)展排在全國前列，早在2015年，作者所在的浙江出入境檢驗(yàn)檢疫局就建立了跨境電子商務(wù)監(jiān)管信息化平臺。

平臺通過電子口岸獲取數(shù)百家電商平臺的跨境電子商務(wù)交易信息，每天處理10萬左右的跨境訂單數(shù)據(jù)，在雙十一峰值時(shí)，平臺日處理單量為百萬級別。

每月都有300～400萬訂單數(shù)據(jù)沉淀到監(jiān)管平臺中，對這些數(shù)據(jù)進(jìn)行有效的挖掘分析，利用數(shù)據(jù)化手段實(shí)現(xiàn)監(jiān)管

2.數(shù)據(jù)挖掘在風(fēng)險(xiǎn)監(jiān)測方面的應(yīng)用

目前浙江受國家質(zhì)檢總局委托，在杭州建立全國跨境電子商務(wù)風(fēng)險(xiǎn)監(jiān)測中心，作為中心的信息化支撐，同步建設(shè)跨境電子商務(wù)風(fēng)險(xiǎn)監(jiān)測平臺。風(fēng)險(xiǎn)監(jiān)測平臺的數(shù)據(jù)來源多種多樣，有天貓國際等電商平臺傳輸給我局的風(fēng)險(xiǎn)信息，有我局自建網(wǎng)絡(luò)爬蟲在各大電商網(wǎng)站上抓取的信息，也有國外監(jiān)管部門通報(bào)退運(yùn)的信息。運(yùn)用數(shù)據(jù)清洗技術(shù)手段，從這些數(shù)據(jù)中找出真正的風(fēng)險(xiǎn)點(diǎn)，形成能夠切實(shí)指導(dǎo)一線業(yè)務(wù)人員對貨物進(jìn)行抽查檢驗(yàn)的警示通報(bào)。

結(jié)語

跨境電商作為新鮮事物，新的交易模式，新的經(jīng)濟(jì)增長點(diǎn)，有著巨大的市場潛力和生命力。同時(shí)，跨境電商的業(yè)態(tài)和傳統(tǒng)模式不同，從其誕生開始就和信息化系統(tǒng)緊密結(jié)合，其數(shù)據(jù)有著全面、海量、實(shí)時(shí)性高等諸多的特點(diǎn)。作為檢驗(yàn)檢疫部門，就必須在信息化系統(tǒng)建設(shè)上緊跟時(shí)代，建立大數(shù)據(jù)平臺、運(yùn)用數(shù)據(jù)采集、挖掘、清洗等先進(jìn)手段，依托檢驗(yàn)監(jiān)管系統(tǒng)、風(fēng)險(xiǎn)監(jiān)測預(yù)警系統(tǒng)，從而合理有效的履行對跨境電子商務(wù)行業(yè)的監(jiān)管職責(zé)。

參考文獻(xiàn)

[1]穆承剛.我國小額跨境電子商務(wù)模式研究[D].上海社會科學(xué)院，2014.

[2]金虹，林曉偉.我國跨境電子商務(wù)的發(fā)展模式與策略建議[J].宏觀經(jīng)濟(jì)研究，2015，09：40-49.