基于Hadoop平臺的準大學生網(wǎng)購手機消費行為分析

徐俊梅 陳濱

摘要：智能手機改變了幾代人的生活方式，引領(lǐng)著新技術(shù)潮流，準大學生市場成為手機廠家的必爭之地。筆者通過Chrome瀏覽器開發(fā)者工具采集某電商網(wǎng)站上高考后三個月互聯(lián)網(wǎng)中手機銷售數(shù)據(jù)，利用Hadoop技術(shù)生態(tài)組件對數(shù)據(jù)進行清洗過濾、分析存儲、可視化呈現(xiàn)，分析準大學生購買手機的傾向，通過品牌、顏色、屏幕尺寸三個方面分析其購買行為，預測目標群體網(wǎng)購趨勢，引導手機廠家提升產(chǎn)品技術(shù)水平，從而更好促進手機市場更好發(fā)展。

關(guān)鍵詞：大學生;手機網(wǎng)購;hadoop平臺;Python;數(shù)據(jù)可視化

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2019）35-0235-03

伴隨著我國居民收入水平的穩(wěn)定增長，同時互聯(lián)網(wǎng)+、智能化技術(shù)滲透到生活中，平臺應用和虛擬貨幣概念已經(jīng)深入人心，特別是告別高中緊張的學習生活即將踏入象牙塔的準大學生們，他們對于移動通訊設(shè)備的需求量占據(jù)當年電子產(chǎn)品消費市場很大比例，其中智能手機的消費需求最甚。從著名的市場調(diào)研機構(gòu)組織Gartner公布的2019年第一季度全球智能手機銷量就近達40億臺，各大手機制造銷售廠商更是推出了不同類型、不同外觀和功能的手機。那么目前手機市場上到底哪些手機品牌更受關(guān)注？哪種手機顏色更受廣大消費者歡迎？是否手機屏幕尺寸越大就越受消費群體青睞？本文研究的目光投放在當代準大學生身上，通過對全國在校大學生手機使用情況開展分析調(diào)查，從而預測準大學生們的需求和使用趨勢。

1 大學生手機使用情況概括分析

1.1全國大學生手機使用基本情況

經(jīng)調(diào)查，從全國大學生收取的8000份調(diào)查樣本顯示，2018年手機消費價格在1000-2000元之間的大學生占43.99%;手機消費價格在2000-3000元之間的大學生占22.34%;使用3000元以上手機的大學生占據(jù)18.76%，其中85.34%大學生購買手機的費用來源于家庭，另外有60%以上大學生更換手機周期在兩年或以上，調(diào)查樣本收回數(shù)據(jù)顯示本科院校與高職院校大學生手機配置參數(shù)無異，并且生活費用高低與手機支付價格高低成正比[1][2]。

1.2全國大學生對手機的使用習慣

大學生一般會根據(jù)自身需求或喜好選擇不同手機，其中待機時長、手機功能、屏幕尺寸、外觀、品牌、攝像頭像素、價格等考慮的主要因素;超過50%的大學生使用每日使用手機時間超過5個小時，而使用頻率高峰期發(fā)生在20：00至24點之間。

1.3大學生選擇不同品牌手機的影響因素

1.3.1手機消費心理影響因素

大學生群體處于心理發(fā)展敏感期，容易受到外界因素影響或干擾;媒體多樣化宣傳手段和求異個性、攀比虛榮的消費心理極易喚起大學生的購買手機的欲望。

1.3.2原生家庭環(huán)境因素

大學生在校生活學習費用主要來源于家庭，而家庭經(jīng)濟支持與消費習慣局限著大學生購買空間，如何分配好生活必需品、學習耗品、移動設(shè)備、娛樂休閑消費比例成為其群體當下要考慮的重要問題。

1.3.3個人購買傾向因素

時尚靚麗外觀與科技功能配置是吸引年輕群體蜂擁圍觀手機市場的重要原因，從眾心理、品牌效應、提前消費等外來因素無不影響大學生消費傾向，如何取舍和理性消費這就需要大學生們自己去斟酌[2]。

1.4大學生使用手機的用途和建議

社交平臺、網(wǎng)購、手機游戲使大學生成為網(wǎng)絡(luò)平臺消費的主力軍，但是過度使用手機不但會影響視力、阻礙社交能力發(fā)展，更會影響學業(yè)，據(jù)調(diào)查數(shù)據(jù)顯示已有35.12%的大學生對手機產(chǎn)生依賴，工作學習生活中幾乎所有的業(yè)務辦理都在手機應用平臺上發(fā)生[3]。

2 準大學生網(wǎng)購手機數(shù)據(jù)分析

本文采用脫敏方式，使用Chrome瀏覽器訪問目標網(wǎng)站，通過開發(fā)者工具收集某電商網(wǎng)站2018年8月手機銷售數(shù)據(jù)，利用Hadoop技術(shù)生態(tài)組件對數(shù)據(jù)進行解析及關(guān)鍵數(shù)據(jù)提取，使用Python語言完成無關(guān)數(shù)據(jù)清洗和有效數(shù)據(jù)存儲，最后運用Echarts數(shù)據(jù)可視化組件，呈現(xiàn)數(shù)據(jù)的可視化，分析出最受準大學生追捧的手機品牌、手機顏色和手機屏幕尺寸，預測準大學生的手機消費水平和需求趨勢，有的放矢地更好調(diào)控手機消費市場。

2.1電商網(wǎng)站手機銷售網(wǎng)頁數(shù)據(jù)采集

利用爬蟲工具萃取某電商網(wǎng)站的在線手機銷售數(shù)據(jù)，但采集到的JSON數(shù)據(jù)文件中包含部分臟數(shù)據(jù)，這就需要對目標數(shù)據(jù)集進行特征參數(shù)提取，構(gòu)建文本向量。數(shù)據(jù)集描述如下：

2.1.1數(shù)據(jù)范圍

Chrome瀏覽器爬蟲到2018年6月電商網(wǎng)站用戶購買手機數(shù)據(jù)交易數(shù)據(jù)集合。

2.1.2數(shù)據(jù)格式

Phone_brand：***//手機品牌名稱

Phont_name：***//手機型號

parameters：[//手機特征參數(shù)

{//parameter_1

”namel”：”value1”，

”name2”：”value2”，

……

}]

{//parameter_n

”name1”：”valuel”，

”name2”：”value2”，

……}]

2.1.3數(shù)據(jù)樣例

{”phone_brand”：”華為”，

”phone_name”：”華為P10”，

”parameter”：[

{”品牌”：”華為”，

”型號”：”華為P10”， ”制作商名稱”：”華為技術(shù)有限公司”，

”出廠年份”：”2018年”，

”出廠月份”：”6月”}

{”機身顏色”：”曜石黑”，

”手機類型”：”智能手機拍照手機4G手機時尚手機”，

”操作系統(tǒng)”：”華為EMUI 5.1（兼容Android 7.0）”，

”CPU品牌”：”麒麟960”，

”核心數(shù)”：”八核+微智核i6”，

”電池類型”：”不可拆卸式電池”，}

{”分辨率”：”1920x1080”，

”觸摸屏類型”：”多點觸控”，

”屏幕尺寸”：”5.1英寸”，}

{”運行內(nèi)存RAM”：”4GB”，

”存儲容量”：”64GB 128GB”，}

{”鍵盤類型”：”虛擬觸屏鍵盤”，

”款式”：”直板”}

{”后置攝像頭”：”2000萬像素（黑白）+1200萬像素（彩色）”，

”攝像頭類型”：”三攝像頭（后雙）”，

”視頻顯示格式”：”*.3gp，*.mp4，*.wmv，*.rm，*，rmvb，*.asf”}]}

利用python語言來構(gòu)建數(shù)據(jù)采集請求功能函數(shù)，利用Re-sponse JSON數(shù)據(jù)解析，并在本地完成手機銷售數(shù)據(jù)文件的創(chuàng)建和書寫[4][5]。具體功能語句如下：

def response_handler（self，url，data）：//使用目標網(wǎng)頁Url或接口構(gòu)造Response對象

response=requests.post（url=url，data=data， headers=self.head-ers）

def parse（self，response）：//對Response對象進行解析;形成結(jié)構(gòu)化數(shù)據(jù)

items=[]

datas=json.loads（response.text）.get（'data '，[]）

def save_data（self，item）：//將解析到的數(shù)據(jù)存儲到指定目錄下的Json文件中去

data=json.dumps（item， ensure_ascii=False）

self.fp.write（data+'，＼n'）

2.2手機銷售數(shù)據(jù)清洗與過濾

在搭建好的Hadoop集群的偽分布環(huán)境中讀取采集到的HDFS數(shù)據(jù)文件，經(jīng)數(shù)據(jù)解析后，進行過濾和分區(qū)，利用MapRe-duce程序完成編譯、打包，發(fā)布與執(zhí)行，從而完成手機銷售數(shù)據(jù)的清洗。下面從數(shù)據(jù)文件中解析JSON格式數(shù)據(jù)，從數(shù)據(jù)中獲取需要的字段[6]：

String phoneBrand=GetStringByName（rawValue，"phone_brand"）;//提取手機品牌名稱

String phoneSize=GetPhoneSize（rawValue）;//提取手機屏幕尺寸

String buyColor=GetPhoneColor（rawValue）;//提取用戶購買手機顏色

2.3手機銷售數(shù)據(jù)分析與可視化

在Linux Shell基礎(chǔ)上完成Hive數(shù)據(jù)庫和數(shù)據(jù)表的創(chuàng)建，利用HQL語言完成數(shù)據(jù)統(tǒng)計，并實現(xiàn)Sqoop數(shù)據(jù)推送，因手機網(wǎng)購數(shù)據(jù)集包含三種手機特征參數(shù)，分別是手機品牌、手機顏色、手機屏幕尺寸，故最后在Flask網(wǎng)頁后臺利用可視化前端開發(fā)工具Echarts組件調(diào)用HTTP API接口實現(xiàn)數(shù)據(jù)可視化渲染，從而呈現(xiàn)手機銷售與三組參數(shù)的數(shù)據(jù)分析結(jié)果，需要特別說明的是這三個手機特征參數(shù)均排除了其他的聚類項的影響，獨立獲取的對應手機銷售量。運行Chrome瀏覽器，輸入URL地址后即可查看數(shù)據(jù)可視化成果[7][8]。

利用上傳工具（如SFTP）將清洗后的手機銷售網(wǎng)頁數(shù)據(jù)傳至分布式服務器中，并利用Hive創(chuàng)建數(shù)據(jù)庫和數(shù)據(jù)表，加載清洗后數(shù)據(jù)至數(shù)據(jù)表中，進而完成手機銷售數(shù)據(jù)的查詢分析[9]。具體功能語句如下：

Hadoop fs—mkdir/data//Hadoopshell命令創(chuàng)建目錄

hadoop fs—put/home/清洗后的數(shù)據(jù)目錄/data//上傳數(shù)據(jù)至HDFS目錄下

Create database db_phone;//Hive創(chuàng)建數(shù)據(jù)庫

Create table tb_phone_data（Phone_Brand string， Phone_colorstring， Phone_size string） row format delimited fields terminated by'|';//原始數(shù)據(jù)表

Create table Phone_brand_count（Phone_Brand string，Phone_sale_count int）;//手機品牌銷量查詢暫存表

Create table Phone_color_count（phone_color string，Phone_sale_count int）;//手機顏色銷量查詢暫存表

Create table Phone_size_count（phone_size string，Phone_sale_count int）;//手機屏幕尺寸銷量查詢暫存表

Load data inpath '/data/*' into table phone_data;//數(shù)據(jù)加載

Insert overwrite table Phone_brand_count selectPhone_Brand_Name，count（1） as Phone_sale_count from phone_da-to group by Phone_bBrand_Name;//手機品牌銷量查詢insertoverwrite table Phone_color_count select phone_color， count（1） asPhone_sale_count from phone_data group by phone_color;

//手機顏色銷量查詢

insert overwrite table Phone_size_count select phone_size，count（1） as Phone_sale_count from Phone_phone_data group byphone_size;//手機屏幕尺寸銷量查詢

在python創(chuàng)建項目的根目錄下使用python manager.py run-server命令，在chrome瀏覽器中輸入URL地址顯示可視化結(jié)果，具體呈現(xiàn)如下面三張圖所示。

第一組：差異手機品牌對手機銷售量的影響結(jié)果圖。

用二維柱狀圖呈現(xiàn)的是不同手機品牌的銷售數(shù)據(jù)，X軸表示抓取電商網(wǎng)站中在售品牌，Y軸表示不同品牌手機的銷售數(shù)量，數(shù)量是臺。

從圖1中數(shù)據(jù)分布整體結(jié)構(gòu)上看，國產(chǎn)手機品牌銷售量在手機銷售中占有較大優(yōu)勢，手機銷售量排名前十的手機品牌中，國產(chǎn)手機品牌共有7個，認可度較高的手機在售品牌的排名次序依次為華為、小米、Apple、OPPO、VIVO、魅族、諾基亞、三星、飛利浦、錘子、努比亞。其中華為、小米的手機銷量占有比較明顯的優(yōu)勢，排行第三名的蘋果手機銷售量與前兩名銷量更是有較大差距。隨著大學生愛國意識的不斷增強，國產(chǎn)手機不管是外觀設(shè)計、人體工程學理念還是核心技術(shù)支撐已經(jīng)有了巨大的發(fā)展，更符合中國人的使用喜好和習慣。

第二組：差異手機顏色對手機銷售量的影響結(jié)果圖。

此二維餅圖輸出的是不同顏色手機銷售數(shù)據(jù)分布，從電商網(wǎng)站獲取到的手機數(shù)據(jù)量顯示每種顏色手機銷售比例，不同色塊大小代表指定手機顏色的銷售數(shù)據(jù)量。

從圖2中手機銷售數(shù)據(jù)比例分析結(jié)果看，排名前三的手機顏色是黑色、藍色和金色，其中黑色是最受消費者歡迎的顏色，更得到對象群體的青睞。

第三組：差異手機尺寸對手機銷售量的影響結(jié)果圖。

此折線圖呈現(xiàn)的是不同屏幕尺寸手機銷售數(shù)據(jù)，X軸表示的是手機屏幕尺寸，Y軸表示的是手機銷售數(shù)據(jù)，數(shù)量是臺。

從圖3中數(shù)據(jù)分析結(jié)果上看，5.99英寸是最受群體歡迎的手機屏幕尺寸，5.5英寸次之，5.84英寸手機銷售數(shù)據(jù)排名第三，而更大尺寸的手機屏幕并沒有出現(xiàn)在銷量較高的手機范圍內(nèi)，因現(xiàn)在移動終端設(shè)備種類和用途的多樣性，所以并不是手機屏幕越大越受目標群體的青睞。

3 小結(jié)

依據(jù)小概率事件不發(fā)生原理，本文從某電商網(wǎng)站中采集到的2018年8月手機銷售數(shù)據(jù)經(jīng)數(shù)據(jù)清洗和可視化處理后，得到的三種特征參數(shù)：手機品牌、手機顏色和手機屏幕尺寸與手機銷售數(shù)據(jù)的比例分布圖，可以預測出準大學生們的手機網(wǎng)購傾向，幫助手機制造廠商掌握市場消費動向，有針對性地開展主動營銷方案，精準投放產(chǎn)品，提升企業(yè)服務質(zhì)量。

參考文獻：

[1]李文韜.從手機品牌選擇看大學生消費觀——基于對南充市某高校大學生手機品牌使用情況調(diào)查[J].山西青年，2017（9）：266.

[2]虞雀.大學生手機消費影響因素實證研究[J].江蘇科技信息，2015（20）：75-77.

[3]牟瀟，侯玲.大學生網(wǎng)購手機消費行為分析[J].文化與探索，2018（16）：146-147.

[4]趙科軍，葛連升，劉洋，等.基于Hadoop和Spark構(gòu)建可擴展的網(wǎng)絡(luò)安全分析平臺[J].華中科技大學學報：自然科學版，2016（S1）：11-13.

[5]Yeonhee Lee，Youngseok Lee.Toward scalable internet traffcmeasurement and analysis with Hadop[J].ACM SIGCOMMComputer Communication Review，2012（1）：117—119.

[6]Hingave H，Ingle R.An appmach for MapReduce based loganalysis using Hadoop[C].Electronics and Communication Sys—tems（ICECS），2015 2nd Intemational Conference，2015：201—204.

[7]劉萍.基于Hadop與Spark的大數(shù)據(jù)處理平臺的構(gòu)建研究[J].通化師范學院學報，2018（6）：59—62.

[8]于金良，朱志祥，李聰穎.Hadoop平臺的自動化部署與監(jiān)控研究[J].計算機與數(shù)字工程，2016（12）：34—37.

[9]孟永偉，黃建強，曹騰飛，等.Hadoop集群部署實驗的設(shè)計與實現(xiàn)[J].實驗技術(shù)與管理，2015（1）：21—23.

【通聯(lián)編輯：唐一東】

收稿日期：2019-08-15

基金項目：安徽省教育廳（相助省級重點項目）質(zhì)量工程（2017zhkt358）

作者簡介：徐俊梅（1983-），女，安徽合肥人，講師，碩士，主要研究方向為計算機網(wǎng)絡(luò)技術(shù)及大數(shù)據(jù)技術(shù);陳濱（1981-），男，安徽合肥人，學士，講師，研究方向為軟件工程。