基于Spark的大學(xué)生校園信用大數(shù)據(jù)評(píng)價(jià)系統(tǒng)構(gòu)建研究

王啟源 谷瑞軍 王聰 林聰 李林鵬 李偉

摘要：校園內(nèi)共享單車被破壞和揮霍助學(xué)金的情況屢見不鮮，既不利于大學(xué)生自身的健康成長(zhǎng)，也給社會(huì)造成了負(fù)面影響。基于大數(shù)據(jù)技術(shù)構(gòu)建大學(xué)生信用檔案具有十分重要的意義。另外，隨著高校中一卡通的廣泛使用以及各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合，形成了包括消費(fèi)數(shù)據(jù)、宿舍進(jìn)出數(shù)據(jù)、圖書借閱數(shù)據(jù)、考試成績(jī)的大數(shù)據(jù)環(huán)境，也為開發(fā)設(shè)計(jì)大數(shù)據(jù)信用評(píng)價(jià)系統(tǒng)創(chuàng)造了條件。通過(guò)整合大學(xué)生生活中的各方面的數(shù)據(jù)，基于HDFS和大數(shù)據(jù)計(jì)算框架spark，采用B/S架構(gòu)，構(gòu)建了信用評(píng)價(jià)系統(tǒng)。通過(guò)在真實(shí)環(huán)境下仿真測(cè)試，驗(yàn)證了評(píng)價(jià)模型的有效性，為有關(guān)部門提供了決策參考。

關(guān)鍵詞：Spark框架;信用評(píng)價(jià);Docker容器;大數(shù)據(jù)系統(tǒng)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）30-0066-03

隨著互聯(lián)網(wǎng)的快速發(fā)展和電子支付的興起，誠(chéng)信已逐漸成為社會(huì)關(guān)注的焦點(diǎn)。發(fā)達(dá)國(guó)家自20世紀(jì)80年代就興起了信用管理的研究，其中的絕大多數(shù)都已經(jīng)建立起了比較完善的社會(huì)信用管理體系，出現(xiàn)了提供征信數(shù)據(jù)庫(kù)服務(wù)的專業(yè)公司。國(guó)內(nèi)的很多高校在很多年前也開展了相關(guān)的研究工作，利用信息化技術(shù)開發(fā)了相應(yīng)的大學(xué)生信用管理系統(tǒng)和信用評(píng)價(jià)系統(tǒng)。

本項(xiàng)目主要研究基于校園一卡通的學(xué)生信用管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，系統(tǒng)包括信用數(shù)據(jù)采集與管理、學(xué)生信用綜合評(píng)價(jià)等模塊。在實(shí)現(xiàn)過(guò)程中以校園網(wǎng)為支撐，以校園一卡通數(shù)據(jù)庫(kù)為核心，通過(guò)整合教務(wù)處、學(xué)工處、財(cái)務(wù)處、后勤處、圖書館5個(gè)系統(tǒng)中與信用有關(guān)的數(shù)據(jù)，設(shè)計(jì)評(píng)價(jià)模型和開發(fā)評(píng)價(jià)系統(tǒng)，將計(jì)算出的信用向量值存儲(chǔ)在學(xué)生信用數(shù)據(jù)庫(kù)中。系統(tǒng)中的信用評(píng)價(jià)模塊調(diào)用學(xué)生信用數(shù)據(jù)庫(kù)中的數(shù)據(jù)完成對(duì)學(xué)生信用的綜合評(píng)價(jià)，從而得到學(xué)生最終的信用向量值，給出學(xué)生的信用等級(jí)。

1相關(guān)工作

1.1相關(guān)研究

在高校學(xué)生信用方面，國(guó)內(nèi)很多高校在多年前就已經(jīng)進(jìn)行了一系列研究，也開發(fā)了相應(yīng)的大學(xué)生信用評(píng)價(jià)系統(tǒng)。例如，通過(guò)智能校園應(yīng)用程序與學(xué)生一卡通系統(tǒng)進(jìn)行綁定，對(duì)學(xué)生的消費(fèi)情況進(jìn)行了探討，并提出無(wú)人超市、無(wú)人監(jiān)考考場(chǎng)、加強(qiáng)監(jiān)控系統(tǒng)和對(duì)學(xué)生進(jìn)行誠(chéng)信教育的設(shè)想。他們還提出建立以大數(shù)據(jù)為核心，以智能感知為聯(lián)系點(diǎn)，以智能應(yīng)用為基礎(chǔ)，構(gòu)建智能校園信息平臺(tái)。另外，還存在此種方式：基于大數(shù)據(jù)，根據(jù)學(xué)生身份證號(hào)碼創(chuàng)建唯一編號(hào)進(jìn)行信息采集。將這些龐大的數(shù)據(jù)導(dǎo)入到分布式數(shù)據(jù)庫(kù)的同時(shí)進(jìn)行分布式計(jì)算。建立統(tǒng)一的評(píng)定細(xì)則，最后錄入信用平臺(tái)。最后，要建立一個(gè)更具可操作性、更能反映大學(xué)生誠(chéng)信狀況的大學(xué)生誠(chéng)信評(píng)價(jià)體系，從而建立一個(gè)面向政府和社會(huì)的誠(chéng)信信息查詢系統(tǒng)。又如松江大學(xué)城學(xué)生信用管理系統(tǒng)，通過(guò)JAVA語(yǔ)言和MySQL數(shù)據(jù)庫(kù)實(shí)現(xiàn)了系統(tǒng)，其功能包括對(duì)信用進(jìn)行增刪改查，達(dá)成了系統(tǒng)的基本需求。但該系統(tǒng)較為簡(jiǎn)單，仍存在著一些不足的地方，比如系統(tǒng)無(wú)法定時(shí)收集數(shù)據(jù)并自動(dòng)分析，難以做到實(shí)時(shí)生成高校生的信用情況。

1.2相關(guān)技術(shù)

大數(shù)據(jù)集是無(wú)法在規(guī)定時(shí)間內(nèi)使用傳統(tǒng)軟件工具捕獲、管理和處理的數(shù)據(jù)集，是需要新的處理模式才能獲得價(jià)值的信息工具。大數(shù)據(jù)需要更高的決策能力、發(fā)現(xiàn)能力和過(guò)程優(yōu)化能力。大型數(shù)據(jù)具有四個(gè)主要特征：數(shù)據(jù)量大、速度快、數(shù)據(jù)類型多樣和低價(jià)值密度。大規(guī)模信息技術(shù)的戰(zhàn)略重要性不在于知道、保有超大規(guī)模的數(shù)據(jù)量，而在于對(duì)這些相關(guān)數(shù)據(jù)進(jìn)行專門處理。如果把大數(shù)據(jù)比作一個(gè)行業(yè)，該行業(yè)的獲利方式就在于提高數(shù)據(jù)的處理能力。通過(guò)一系列專業(yè)化的處理最終發(fā)掘出有價(jià)值的信息。如果利用技術(shù)的角度來(lái)看，大數(shù)據(jù)和云計(jì)算是緊密聯(lián)系、相互協(xié)作的。大數(shù)據(jù)必須采用分布式的方法來(lái)處理海量數(shù)據(jù)，他能夠時(shí)時(shí)收集信息，但數(shù)據(jù)的計(jì)算處理則依靠云計(jì)算等。

Apache Spark是一個(gè)開源類Hadoop MapReduce的計(jì)算框架，特用于處理海量規(guī)模數(shù)據(jù)集，計(jì)算能力強(qiáng)且速度快。Spark具有MapReduce的優(yōu)點(diǎn)，但與MapReduce的相異點(diǎn)在于，Spark的中間輸出結(jié)果可以存儲(chǔ)在存儲(chǔ)器中，因此不需要重復(fù)讀寫HDFS，因此sDark在機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘方面的表現(xiàn)能力更加突出。Spark采用分布式數(shù)據(jù)集，除了可以優(yōu)化迭代工作量外，它還可以提供交互式請(qǐng)求。通過(guò)在HDFS上保存收集到的數(shù)據(jù)，之后放入Spark中，進(jìn)行數(shù)據(jù)分析。

Spark結(jié)構(gòu)在分布式計(jì)算中使用Master-Slave模型。Master作為管理節(jié)點(diǎn)，為集群中那些包含Master進(jìn)程的節(jié)點(diǎn)，負(fù)責(zé)任務(wù)調(diào)度，并保證工作的正常執(zhí)行。如果節(jié)點(diǎn)中包含Worker進(jìn)程，則為Slave節(jié)點(diǎn)。Slave節(jié)點(diǎn)對(duì)得到的任務(wù)進(jìn)行計(jì)算，并實(shí)時(shí)向管理節(jié)點(diǎn)反饋?zhàn)陨砉ぷ鳡顟B(tài)。Driver和Worker是Spark應(yīng)用程序執(zhí)行時(shí)極其重要、不可或缺的角色。Driver不斷將Task分配下去后，會(huì)創(chuàng)建Executor來(lái)執(zhí)行任務(wù)。在執(zhí)行時(shí)，Task及其所需要的依賴文件和序列化后的jar被發(fā)送給Worker進(jìn)程，同時(shí)Executor處理相應(yīng)數(shù)據(jù)分區(qū)的任務(wù)。

2平臺(tái)架構(gòu)和設(shè)計(jì)

2.1平臺(tái)架構(gòu)

基于Java EE技術(shù)，以抽象工廠設(shè)計(jì)模式和MVC設(shè)計(jì)模式為指導(dǎo)思想，采用SSM框架進(jìn)行設(shè)計(jì)?；贖DFS和大數(shù)據(jù)計(jì)算框架spark對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行分析?？蛻魴C(jī)配置要求低，PC機(jī)或瘦客戶機(jī)均可。因?yàn)椴捎玫氖荁/S架構(gòu)，在任何網(wǎng)絡(luò)連通的條件下，都可通過(guò)客戶機(jī)以瀏覽器的形式進(jìn)行信用系統(tǒng)的訪問(wèn)。方便用戶隨時(shí)隨地進(jìn)行信用查詢，了解自己的信用情況。其架構(gòu)如圖2所示。

2.2主要模塊

基于Spark的大學(xué)生校園信用大數(shù)據(jù)評(píng)價(jià)系統(tǒng)主要包括數(shù)據(jù)采集模塊、數(shù)據(jù)分析模塊以及信用展示與可視化模塊。

1）數(shù)據(jù)采集：將保存在數(shù)據(jù)庫(kù)中的數(shù)據(jù)運(yùn)用sqoop上傳到docker容器中的HDFS集群上。

2）數(shù)據(jù)分析：容器中自動(dòng)調(diào)用spark對(duì)采集到的數(shù)據(jù)進(jìn)行分析。

3）信用展示與可視化：分析完的數(shù)據(jù)會(huì)被再度保存到數(shù)據(jù)庫(kù)中，并在前端頁(yè)面展示并生成折線圖、柱狀圖、餅圖等可視化信息。

下面介紹spark分析與可視化流程的設(shè)計(jì)，如圖3所示。

用戶登錄web應(yīng)用后，對(duì)用戶的角色信息進(jìn)行驗(yàn)證，之后進(jìn)人對(duì)應(yīng)的功能界面。管理員用戶可以查看詳細(xì)數(shù)據(jù)，并且可以進(jìn)行數(shù)據(jù)采集與分析。后臺(tái)自動(dòng)進(jìn)行，等待運(yùn)行完畢后可以查看最終評(píng)分結(jié)果，包括各個(gè)單項(xiàng)的分?jǐn)?shù)與最后的總評(píng)。

3系統(tǒng)部署與運(yùn)行

下面以一個(gè)學(xué)院、20個(gè)班的規(guī)模為例，選取相應(yīng)的軟硬件資源來(lái)搭建環(huán)境，并作了測(cè)試和最終評(píng)價(jià)。

3.1平臺(tái)部署

3.1.1基礎(chǔ)環(huán)境

首先選擇兩臺(tái)19英寸2U機(jī)架服務(wù)器，一臺(tái)為應(yīng)用服務(wù)器，一臺(tái)為支撐服務(wù)器。應(yīng)用服務(wù)器配置為：12核心CPU、64G內(nèi)存、2塊2T硬盤;支撐服務(wù)器配置為：24核CPU、256G內(nèi)存、4塊4T硬盤，兩臺(tái)服務(wù)器間通過(guò)萬(wàn)兆網(wǎng)卡互聯(lián)。然后分別安裝cen-tos7系統(tǒng)。

3.1.2安裝D0cker環(huán)境

1）安裝Docker

sudo yum install docker

21開啟Docker，并設(shè)置開機(jī)自啟

sudo systemctl start docker

sudo systemctl enable docker

3）測(cè)試安裝是否成功，如果打印出的Hello等字樣時(shí)，表示Docker已正確安裝。

docker rtln hello-world

3.1.3容器內(nèi)應(yīng)用部署

為保證數(shù)據(jù)采集與分析的自動(dòng)運(yùn)行，須在容器內(nèi)安裝Ha-doop，Sqoop以及Spark，并編寫相應(yīng)的腳本文件確保能夠自動(dòng)調(diào)用并執(zhí)行。

3.1.4應(yīng)用部署

分別安裝mysq15.7數(shù)據(jù)庫(kù)、JDK8、和tomcat7服務(wù)器，將ja_vaweb應(yīng)用打成War包后部署到服務(wù)器上，并啟動(dòng)服務(wù)器，測(cè)試能否正常訪問(wèn)。

3.2平臺(tái)測(cè)試

圖4為平臺(tái)管理員端主界面。

進(jìn)人數(shù)據(jù)查看項(xiàng)，可查看學(xué)生具體數(shù)據(jù)，可對(duì)其進(jìn)行修改，如圖5所示。

進(jìn)人信用查看菜單下，點(diǎn)擊信用匯總中的采集分析，可自動(dòng)對(duì)本地?cái)?shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行采集，并利用Spark進(jìn)行分析，一鍵匯總會(huì)將得到的分?jǐn)?shù)保存到本地，如圖6所示。

信用可視化菜單下可以根據(jù)需求生成餅圖、柱狀圖或折線圖查看學(xué)生的信用分布情況，如圖7。

學(xué)生用戶進(jìn)入系統(tǒng)界面，可查看自己的總信用評(píng)價(jià)，以及入學(xué)以來(lái)各個(gè)時(shí)期的折線圖，如圖8所示。

4結(jié)束語(yǔ)

在當(dāng)今社會(huì)，信用信息對(duì)個(gè)人的生活、工作都有著重大影響，需要加強(qiáng)對(duì)學(xué)生的信用管理，建立完備的信用監(jiān)督體系，從而提高學(xué)生的誠(chéng)信意識(shí)。通過(guò)在Linux系統(tǒng)上安裝Docker軟件，并在容器內(nèi)部署Hadoop、Spark，可以快速、省時(shí)地將傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)上傳其中并快速分析，最終將結(jié)果保存至本地以供查詢。另外，采用Javaweb技術(shù)使最終結(jié)果呈現(xiàn)在瀏覽器頁(yè)面上，方便了高校學(xué)生隨時(shí)隨地查閱自己的信用情況。