大數(shù)據(jù)背景下數(shù)據(jù)分析服務(wù)的市場(chǎng)分析

邱敏 梁婷婷 梁天友

摘? 要： 對(duì)提供大數(shù)據(jù)技術(shù)服務(wù)的電商，分析其現(xiàn)狀和商業(yè)需求，并通過爬蟲技術(shù)爬取大型電商網(wǎng)站關(guān)于大數(shù)據(jù)分析服務(wù)的真實(shí)信息。研究當(dāng)前小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的銷售價(jià)格、月銷數(shù)量、顧客評(píng)分等。結(jié)合詞頻分析和統(tǒng)計(jì)技術(shù)，分析大型電商網(wǎng)站的大數(shù)據(jù)分析服務(wù)質(zhì)量、價(jià)格、服務(wù)種類。研究發(fā)現(xiàn)，現(xiàn)有的基于大數(shù)據(jù)技術(shù)的電商服務(wù)存在定價(jià)不清、質(zhì)量難以保證、客戶評(píng)價(jià)真實(shí)性存疑等問題。針對(duì)問題提出標(biāo)準(zhǔn)化數(shù)據(jù)市場(chǎng)、引入第三方監(jiān)管、建立成熟的收益機(jī)制的建議。

關(guān)鍵詞： 數(shù)據(jù)分析; 大數(shù)據(jù); 可視化; 電商服務(wù); 大數(shù)據(jù)技術(shù)

中圖分類號(hào)：TP30? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ?文章編號(hào)：1006-8228（2021）07-10-04

Market analysis of the data analysis service in the context of big data

Qiu Min， Liang Tingting， Liang Tianyou

（School of Information Engineering， Nanning University， Nanning， Guangxi 530000， China）

Abstract： This paper analyzes the current situation and business needs of e-commerce company which provides big data technology services， and crawls the real information about big data analysis services on large e-commerce websites through crawler technology. The current sales price， monthly sales volume and customer ratings of small data analysis service and personal data analysis service are researched. Combining with word frequency analysis and statistical technology， the quality， price and service type of big data analysis service of large-scale e-commerce websites are analyzed. Through the research， it is found that the existing e-commerce services based on big data technology have some problems， such as unclear pricing， difficult quality assurance， and doubt about the authenticity of customer evaluation. In view of the problems， the suggestions of standardizing the data market， introducing the third-party supervision， and establishing a mature revenue mechanism are put forward.

Key words： data analysis; big data; visualization; e-commerce service; big data technology

0 引言

近年來，隨著移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能的迅猛發(fā)展，全球大數(shù)據(jù)存儲(chǔ)量持續(xù)快速增長(zhǎng)，其中中國(guó)數(shù)據(jù)量的增長(zhǎng)最為迅速。根據(jù)國(guó)際數(shù)據(jù)公司（IDC）的監(jiān)測(cè)數(shù)據(jù)顯示，2013年至2018年全球大數(shù)據(jù)儲(chǔ)量分別為4.3ZB、 6.6ZB、8.6ZB、16.1ZB、21.6ZB、33.0ZB，近年全球大數(shù)據(jù)儲(chǔ)量的增速每年都保持在40%左右。根據(jù)IDC最新發(fā)布的統(tǒng)計(jì)數(shù)據(jù)，中國(guó)的數(shù)據(jù)產(chǎn)生量約占全球數(shù)據(jù)產(chǎn)生量的23%[1]。

IDC最新發(fā)布的《全球半年度大數(shù)據(jù)支出指南，2018H2》預(yù)測(cè)在2019年度，大數(shù)據(jù)與商業(yè)分析解決方案全球市場(chǎng)的整體收益將達(dá)到1896.6億美元，相比2018年增長(zhǎng)12.1%。IDC預(yù)測(cè)，2019年中國(guó)大數(shù)據(jù)市場(chǎng)總體收益將達(dá)到96.0億美元，2019-2023年預(yù)測(cè)期內(nèi)的年CAGR（復(fù)合年均增長(zhǎng)率）為23.5%，增速高于全球平均水平。到2023年，市場(chǎng)規(guī)模則將增長(zhǎng)至224.9億美元[2]。

在這樣的背景下，數(shù)據(jù)在全球市場(chǎng)經(jīng)濟(jì)運(yùn)轉(zhuǎn)中的價(jià)值日趨顯著，所以數(shù)據(jù)分析服務(wù)應(yīng)當(dāng)順應(yīng)當(dāng)前國(guó)家政策以及未來市場(chǎng)，收集大型電商網(wǎng)站的數(shù)百條關(guān)于大數(shù)據(jù)分析服務(wù)的真實(shí)信息和數(shù)據(jù)相關(guān)的門戶網(wǎng)站，研究當(dāng)前小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的銷售情況與大型門戶網(wǎng)站的定價(jià)、服務(wù)，從小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的需求程度、服務(wù)反饋，來分析小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的發(fā)展趨勢(shì)，并分析兩者之間的優(yōu)缺點(diǎn)。

1 電商服務(wù)現(xiàn)狀分析

1.1 淘寶

淘寶網(wǎng)是中國(guó)現(xiàn)下最受歡迎的專業(yè)網(wǎng)購(gòu)零售平臺(tái)之一，注冊(cè)用戶數(shù)量高達(dá)5億，日均瀏覽量超過1.3億。在淘寶出售數(shù)據(jù)分析等相關(guān)服務(wù)，在沒有知名度的情況下，前期不需要投入大量宣傳投入，靠著淘寶自帶的流量，也不會(huì)擔(dān)憂沒有人流量。但淘寶的數(shù)據(jù)分析服務(wù)也存在如下問題。

⑴ 數(shù)據(jù)和人工成本估算，以及數(shù)據(jù)收益機(jī)制還不成熟，導(dǎo)致商品的定價(jià)沒有統(tǒng)一標(biāo)準(zhǔn)，也沒有可參考的依據(jù)，價(jià)格相差過大，客戶無法判斷商家所給的定價(jià)是否與自己的需求相匹配。

⑵ 交易雙方信任機(jī)制難以建立，把握數(shù)據(jù)使用流向問題難以解決[3]。淘寶商家在淘寶注冊(cè)商鋪資質(zhì)最低費(fèi)用為1000元，若是發(fā)生糾紛，商家跑路所需承擔(dān)的風(fēng)險(xiǎn)很小，個(gè)人的權(quán)益難以保障。

⑶ 交易評(píng)價(jià)真實(shí)性不可查，涉及電商銷售，難免會(huì)存在刷單行為，客戶也很難辨別商品評(píng)論的真實(shí)性，存在被誤導(dǎo)以及引誘消費(fèi)的風(fēng)險(xiǎn)。

1.2 大型門戶網(wǎng)站

本研究以數(shù)據(jù)為關(guān)鍵詞，找尋了四個(gè)大型門戶，分別對(duì)它們的框架、定價(jià)、服務(wù)對(duì)象進(jìn)行研究分析。

火車采集器主打數(shù)據(jù)采集，有較為清晰的定價(jià)，有免費(fèi)版供需求不多、不需要太深入處理數(shù)據(jù)的人群使用，更多的版本選擇讓用戶可以自由的根據(jù)自己的需求做選擇。除此之外，還有在線客服可進(jìn)行咨詢、指導(dǎo)。

八爪魚采集器主打數(shù)據(jù)采集，操作簡(jiǎn)單，是人人可用的數(shù)據(jù)采集器。采集教程有圖文版和視頻教程，讓客戶更容易上手。采集軟件也有不同的定價(jià)，方便客戶選擇。問題的解決方案也有細(xì)分，涵蓋了新聞采集、電商采集、金融采集數(shù)據(jù)服務(wù)、市場(chǎng)洞察等十幾種，可為不同領(lǐng)域的客戶提供有針對(duì)性的方案。

前嗅主打數(shù)據(jù)采集和大數(shù)據(jù)可視化。比起前兩個(gè)按軟件的版本來定價(jià)，前嗅的定價(jià)更為詳細(xì)些。前兩者的數(shù)據(jù)采集需要自己動(dòng)手完成，而前嗅有ForeSpider數(shù)據(jù)采集引擎可自己爬取數(shù)據(jù)，也可以選擇數(shù)據(jù)代采。在數(shù)據(jù)采集這個(gè)模塊，前嗅就分出了6種服務(wù)及定價(jià)，對(duì)客戶來說更詳細(xì)也更好理解?？梢暬瘓?bào)告分出了3種不同的需求，預(yù)存云數(shù)據(jù)系統(tǒng)，研究報(bào)告和定制報(bào)告。還可根據(jù)客戶數(shù)據(jù)進(jìn)行情感分析、用戶畫像分析、語義識(shí)別等。

集搜客主打網(wǎng)頁抓取和內(nèi)容分析，主要是對(duì)文本的處理和情感分析。集搜客有專門的爬蟲軟件，分為4個(gè)版本，每個(gè)版本都有自己的定價(jià)。除此之外，也有定制服務(wù)的價(jià)格，劃分出了6個(gè)定制項(xiàng)目，并顯示每個(gè)服務(wù)最低的價(jià)格。

火車采集器、八爪魚采集器、前嗅、集搜客在頁面下方都放了合作的企業(yè)，其中有中國(guó)人民銀行、中國(guó)電信、可口可樂、鳳凰網(wǎng)、中國(guó)平安等知名大型企業(yè)，對(duì)它們是一種能力的認(rèn)證，也是交易的認(rèn)可。

2 數(shù)據(jù)分析服務(wù)的商業(yè)需求

2.1 淘寶：小型數(shù)據(jù)服務(wù)方

本研究以“數(shù)據(jù)分析”為關(guān)鍵詞，于2020年8月通過爬蟲技術(shù)爬取淘寶電商網(wǎng)站的529條信息。其中包括9個(gè)字段：商品名、鏈接、圖片、價(jià)格、郵費(fèi)、店鋪名、月銷數(shù)量、店鋪評(píng)分、發(fā)貨地等。去除重復(fù)、不符主題的噪聲數(shù)據(jù)，留取了202條有效數(shù)據(jù)。去除對(duì)本次研究沒有研究意義的字段，本研究將對(duì)這202條有效數(shù)據(jù)的價(jià)格、月銷數(shù)量、高頻關(guān)聯(lián)詞、發(fā)貨地這四個(gè)字段進(jìn)行分析。

2.2 門戶網(wǎng)站：大型數(shù)據(jù)服務(wù)方

2.2.1火車采集器

火車采集器是目前互聯(lián)網(wǎng)上應(yīng)用最廣泛的數(shù)據(jù)處理、分析和挖掘軟件。軟件憑借其靈活的配置與強(qiáng)大的性能領(lǐng)先國(guó)內(nèi)其他數(shù)據(jù)采集類產(chǎn)品，并贏得眾多企業(yè)和用戶認(rèn)可。目前共客戶使用的有五個(gè)版本，可以免費(fèi)使用，有需要更強(qiáng)大功能的付費(fèi)版本，價(jià)格在960元至8600元，購(gòu)買后的版本均可終身使用。

2.2.2 八爪魚采集器

八爪魚采集器是一款擁有百萬用戶的數(shù)據(jù)采集軟件，其使用方法簡(jiǎn)單易懂，不懂網(wǎng)絡(luò)爬蟲技術(shù)，也能輕松采集想要的數(shù)據(jù)。目前共客戶使用的有七個(gè)版本，有免費(fèi)的版本，付費(fèi)版本價(jià)格在49元至69800元以及根據(jù)顧客要求制定節(jié)點(diǎn)再定價(jià)格。私有部署版、數(shù)據(jù)服務(wù)都沒有明確的價(jià)格，需要根據(jù)客戶需求來制定方案，再根據(jù)方案制定價(jià)格。

2.2.3 前嗅智能大數(shù)據(jù)專家

前嗅是可提供數(shù)據(jù)采集、定制和研究可視化報(bào)告、自然語言處理以及大數(shù)據(jù)周邊配套產(chǎn)品等且擁有國(guó)內(nèi)唯一自主知識(shí)產(chǎn)權(quán)Web服務(wù)器系統(tǒng)的大型門戶網(wǎng)站。在價(jià)格的制定上，比前兩者分的更細(xì)，許多服務(wù)的起步價(jià)多為200元至400元。劃分板塊多，衍生的服務(wù)更為多樣。

2.2.4 集搜客GooSeeker

集搜客GooSeeker是一款網(wǎng)頁抓取和內(nèi)容分析，把互聯(lián)網(wǎng)裝進(jìn)表格和數(shù)據(jù)庫(kù)的軟件。網(wǎng)絡(luò)爬蟲軟件目前有四個(gè)版本，除了免費(fèi)版本外，其他三個(gè)版本的價(jià)格在49元至20000元之間，還有根據(jù)需求的定制服務(wù)。

通過對(duì)以上四個(gè)大型門戶網(wǎng)站的調(diào)研，發(fā)現(xiàn)每個(gè)服務(wù)方所服務(wù)的人顧客群體有所區(qū)別，需求存在著明顯的差異?；疖嚥杉骱桶俗︳~采集器都是主打數(shù)據(jù)采集的軟件，但價(jià)格上卻有所差別，火車采集器的價(jià)格明顯比八爪魚便宜，可見針對(duì)的目標(biāo)客戶是不一樣的。前嗅智能大數(shù)據(jù)專家針對(duì)的是有大數(shù)據(jù)技術(shù)需求方面的人群，大數(shù)據(jù)的衍生服務(wù)也包括在內(nèi)，多樣且全能。集搜客是針對(duì)有網(wǎng)頁抓取和內(nèi)容分析，主要是對(duì)文本的處理和情感分析的需求的顧客群體。以上四個(gè)大型門戶網(wǎng)站都有自己明確的市場(chǎng)定位，針對(duì)不同的需求，發(fā)展自己的特點(diǎn)。

3 數(shù)據(jù)調(diào)查與分析的方法及過程

利用爬蟲技術(shù)爬取了2020年8月大型電商網(wǎng)站的數(shù)百條關(guān)于大數(shù)據(jù)分析服務(wù)的真實(shí)信息，研究當(dāng)前小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的銷售價(jià)格、月銷數(shù)量、顧客評(píng)分等，結(jié)合詞頻分析和統(tǒng)計(jì)技術(shù)，以及分析大型電商網(wǎng)站的大數(shù)據(jù)分析服務(wù)質(zhì)量、價(jià)格、服務(wù)種類。

3.1 價(jià)格分析

在本次爬取的信息中，價(jià)格較為多樣化，單價(jià)從1元到500元不等，數(shù)字較為隨機(jī)，可見淘寶的數(shù)據(jù)分析標(biāo)準(zhǔn)沒有統(tǒng)一，差異性較大。大多標(biāo)價(jià)也非實(shí)際交易價(jià)格，實(shí)際交易價(jià)格往往是在雙方交流后才確定的價(jià)格。沒有統(tǒng)一的定價(jià)標(biāo)準(zhǔn)，會(huì)導(dǎo)致顧客在購(gòu)買服務(wù)之前難以了解實(shí)際交易價(jià)格與自己心理預(yù)期價(jià)格的差距，從而難以選擇與自己心理預(yù)期相符的服務(wù)。

3.2 月銷數(shù)量

在本次爬取的信息中，單項(xiàng)付款最多人數(shù)為717人，最少為0人，月銷數(shù)量大于100的占總收集信息的10%。但僅看付款數(shù)量無法判斷實(shí)際交易人數(shù)，因?yàn)橐蝗丝膳南聰?shù)量不可知（如：?jiǎn)蝺r(jià)100元，在交流后，所需服務(wù)實(shí)際需要為400元，可以單價(jià)*4拍下）。如圖1所示。

3.3 高頻次關(guān)聯(lián)詞

在本次爬取的信息中，標(biāo)題中除了數(shù)據(jù)分析出現(xiàn)的高頻詞匯有：spss、可視化、爬蟲、python、stata、統(tǒng)計(jì)。出現(xiàn)的頻次分別為：可視化出現(xiàn)61次、spss出現(xiàn)59次、stata出現(xiàn)30次、python出現(xiàn)31次、爬蟲出現(xiàn)23次、統(tǒng)計(jì)出現(xiàn)19次。其中spss、stata、python都是數(shù)據(jù)分析工具，不同的行業(yè)與需求對(duì)數(shù)據(jù)分析工具有不同的要求，可視化的高頻次出現(xiàn)體現(xiàn)著客戶對(duì)數(shù)據(jù)可視化的需求強(qiáng)烈。如圖2所示。

3.4 發(fā)貨地分析

在本次爬取的信息中，發(fā)貨地有北京、上海、杭州、深圳、南京、成都和武漢等地址。其中出現(xiàn)次數(shù)較多的為北京、上海、南京，分別為44次、29次、16次。這三大城市的占比為44%，可見這三大城市的數(shù)字經(jīng)濟(jì)發(fā)展明顯優(yōu)于其他城市。如圖3所示。

從價(jià)格、月銷量、高頻次關(guān)聯(lián)詞、發(fā)貨地址的分析結(jié)果看，以淘寶網(wǎng)為代表的小型數(shù)據(jù)服務(wù)方的定價(jià)模糊，沒有清晰、明確的定價(jià)標(biāo)準(zhǔn)，月銷量有高有低，但由于定價(jià)模糊的關(guān)系，并不能判斷它的真實(shí)銷量。從高頻關(guān)聯(lián)詞數(shù)據(jù)分析與可視化關(guān)系緊密這一點(diǎn)看，數(shù)據(jù)可視化是數(shù)據(jù)分析中的一大需求點(diǎn)，發(fā)貨地點(diǎn)多為一線城市，可見經(jīng)濟(jì)與數(shù)據(jù)經(jīng)濟(jì)關(guān)系成正比關(guān)系。

4 結(jié)論與建議

經(jīng)過研究和分析電商數(shù)據(jù)分析服務(wù)的多方面數(shù)據(jù)，獲知了以淘寶電商為主體的小型數(shù)據(jù)分析服務(wù)在體系上的不完善，多數(shù)是在商品標(biāo)題添加相關(guān)詞，但商品詳情頁面沒有詳細(xì)的服務(wù)名稱、服務(wù)范圍、服務(wù)價(jià)格，大多需要咨詢客服才能了解;以大型門戶網(wǎng)站為主題的數(shù)據(jù)分析服務(wù)為主體的數(shù)據(jù)分析服務(wù)都有著自己明確且清晰的體系，有詳細(xì)的產(chǎn)品分類，可提供服務(wù)的范圍，有標(biāo)準(zhǔn)的定價(jià)，以及自己的主打的特色產(chǎn)品，火車采集器、八爪魚采集器、集搜客也提供有免費(fèi)的服務(wù)，供客戶體驗(yàn)產(chǎn)品、了解產(chǎn)品。當(dāng)前我國(guó)數(shù)據(jù)資源流通存在諸多瓶頸問題，尚不具備作為一種生產(chǎn)要素的商品化、資產(chǎn)化機(jī)制，無法界定權(quán)屬、無法評(píng)估質(zhì)量、無法有效定價(jià)、無法可信流通等問題較為突出[3]。在此提出以下建議供參考。

⑴ 推進(jìn)建立商品化、資產(chǎn)化和規(guī)范化的數(shù)據(jù)商品體系。

⑵ 建立第三方數(shù)據(jù)監(jiān)督機(jī)構(gòu)。市場(chǎng)的數(shù)據(jù)質(zhì)量難以保障，已過期數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、沒有意義的數(shù)據(jù)俯拾皆是，第三方機(jī)構(gòu)可監(jiān)督數(shù)據(jù)的來源，評(píng)判數(shù)據(jù)的可用性。

⑶ 小型數(shù)據(jù)分析服務(wù)應(yīng)確立自己的基本框架，將所能提供的服務(wù)、服務(wù)范圍、服務(wù)價(jià)格，進(jìn)行清晰的劃分并標(biāo)明，讓顧客能更加簡(jiǎn)單便捷、有對(duì)比性的了解所提供的服務(wù)。

⑷ 建立成熟的數(shù)據(jù)和人工成本估算以及數(shù)據(jù)收益機(jī)制?？v觀淘寶和大型門戶網(wǎng)站對(duì)同類服務(wù)的定價(jià)，價(jià)格相差懸殊。建立成熟的數(shù)據(jù)和人工成本估算以及數(shù)據(jù)收益機(jī)制可以為客戶避免“貴的就是對(duì)的”的心理;也可以避免客戶一味的貪圖便宜買到假數(shù)據(jù)。

5 結(jié)束語

伴隨著“數(shù)據(jù)創(chuàng)造價(jià)值，智慧引領(lǐng)經(jīng)濟(jì)”的潮流，越來越多的行業(yè)加入到數(shù)據(jù)經(jīng)濟(jì)的行列中來。本文分別對(duì)幾個(gè)不同類型的數(shù)據(jù)電商服務(wù)的框架、定價(jià)、服務(wù)對(duì)象進(jìn)行了研究，從目前的數(shù)據(jù)看來，數(shù)據(jù)電商服務(wù)的在定價(jià)和數(shù)據(jù)來源方面存在一定的模糊地帶，但隨著國(guó)家層面推進(jìn)大數(shù)據(jù)政策，數(shù)據(jù)電商服務(wù)也會(huì)進(jìn)一步完善，最終形成一個(gè)成熟的體系。

參考文獻(xiàn)（References）：

[1] 從全球大數(shù)據(jù)市場(chǎng)看未來發(fā)展趨勢(shì)[EB/OL].（2019-08-16）[2020-01-12].http：//bigdata.idcquan.com/news/168822.shtml.

[2] IDC發(fā)布最新版全球大數(shù)據(jù)市場(chǎng)規(guī)模預(yù)測(cè)，中國(guó)持續(xù)穩(wěn)定增長(zhǎng)[EB/OL].（2019-09-12）[2019-12-06].http：//www.elecfans.com/d/1070471.html.

[3] 于施洋，王建冬，郭巧敏.我國(guó)構(gòu)建數(shù)據(jù)新型要素市場(chǎng)體系面臨的挑戰(zhàn)與對(duì)策[J].電子政務(wù)，2020.3：2-12

[4] 徐鑫.大數(shù)據(jù)環(huán)境下競(jìng)爭(zhēng)情報(bào)分析的變化與方法創(chuàng)新[J].科技情報(bào)研究，2020.2：25