基于spark的招生數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

章家寶 彭梅 粱東海 李勝林

摘要：近年來隨著互聯(lián)網(wǎng)行業(yè)的快速發(fā)展，大數(shù)據(jù)技術(shù)已被應(yīng)用到各行各業(yè)，在高校招生這一領(lǐng)域也不例外。通過分析復(fù)雜的投檔分?jǐn)?shù)，錄取分?jǐn)?shù)，同類學(xué)校之間的競(jìng)爭(zhēng)力對(duì)比數(shù)據(jù)，可以提高學(xué)校的教學(xué)質(zhì)量，社會(huì)影響力，以及社會(huì)競(jìng)爭(zhēng)力。根據(jù)筆者團(tuán)隊(duì)的研究，發(fā)現(xiàn)社會(huì)上僅有一款基于web的“高校招生決策平臺(tái)”，沒有采用大數(shù)據(jù)技術(shù)對(duì)于高校招生數(shù)據(jù)進(jìn)行智能分析。目前許多的高校都還停留在人工分析階段。人工分析是最原始的分析，第一人工精力有限，容易分析漏項(xiàng)。第二人工分析還受個(gè)人因素影響。因此，做一個(gè)基于大數(shù)據(jù)的招生平臺(tái)的想法應(yīng)運(yùn)而生。旨在幫助高校招生部門簡(jiǎn)化學(xué)習(xí)信息分析過程，讓煩瑣的招生工作變得得心應(yīng)手。

關(guān)鍵詞：高校招生;大數(shù)據(jù)技術(shù);智能分析

中圖分類號(hào)：TP311 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）31-0102-03

1項(xiàng)目背景與簡(jiǎn)介

1.1 項(xiàng)目背景

目前許多的高校在招生數(shù)據(jù)管理方面還處于人工處理階段，招生數(shù)據(jù)管理者需要管理一個(gè)學(xué)校歷年來的龐大的招生數(shù)據(jù)。本項(xiàng)目主要是對(duì)于招生數(shù)據(jù)進(jìn)行管理分析。運(yùn)用前沿的Hadoop生態(tài)大數(shù)據(jù)技術(shù)以及spark大數(shù)據(jù)技術(shù)對(duì)于招生的數(shù)據(jù)進(jìn)行智能分析。有效減少招生工作部門的工作量，讓學(xué)校的招生數(shù)據(jù)更加規(guī)范化、自動(dòng)化。

1.2 目的和意義

本項(xiàng)目立足于全國(guó)高校招生部門，主要針對(duì)高校的招生部門，采用高可用的輕量級(jí)架構(gòu)為招生工作中多而雜的數(shù)據(jù)提供以一個(gè)平臺(tái)化、界面化的操作管理系統(tǒng)。大大簡(jiǎn)化了高校招生部門工作人員的工作量，讓高校招生部門工作人員可以簡(jiǎn)便快捷地在復(fù)雜的招生信息數(shù)據(jù)中提取到有價(jià)值的數(shù)據(jù)信息。在保證數(shù)據(jù)的精確分析以及平臺(tái)的高可用的同時(shí)，我們還設(shè)置了數(shù)據(jù)加密，以及過濾敏感數(shù)據(jù)，讓數(shù)據(jù)更加安全。同時(shí)，本項(xiàng)目還包含了一個(gè)招生網(wǎng)盤，有效地防止數(shù)據(jù)丟失。另外本系統(tǒng)還包含一套完整的權(quán)限控制平臺(tái)，可以有效抵御未知入侵，進(jìn)行靈活分配角色以及人員，保證了數(shù)據(jù)信息和用戶安全。除此之外，本項(xiàng)目還配套開發(fā)公眾號(hào)的微網(wǎng)頁(yè)，讓系統(tǒng)人員通過手機(jī)移動(dòng)端進(jìn)行數(shù)據(jù)信息采集和查看數(shù)據(jù)分析圖。

1.3 擬解決的問題

1）各學(xué)校數(shù)據(jù)來源相同，數(shù)據(jù)庫(kù)的表結(jié)構(gòu)也沒有特別大的差異，但是由于新生老生的信息的數(shù)據(jù)量大，導(dǎo)致人工數(shù)據(jù)處理不方便，需要耗費(fèi)大量的時(shí)間。

2）傳統(tǒng)的招生平臺(tái)功能單一，雜亂。致使很多新生對(duì)功能的查找和使用費(fèi)時(shí)費(fèi)力，用戶體驗(yàn)效果差，會(huì)增加用戶使用心理負(fù)擔(dān)，對(duì)所報(bào)讀的學(xué)校印象減分，并且沒有加入如spark的新興大數(shù)據(jù)的高可用框架，在執(zhí)行海量數(shù)據(jù)處理時(shí)嚴(yán)重影響系統(tǒng)的性能。

3）傳統(tǒng)的招生數(shù)據(jù)管理后臺(tái)信息可視化單一、部分剛需的對(duì)比缺乏，不利于招生工作的老師對(duì)頁(yè)面進(jìn)行充分解讀，造成數(shù)據(jù)資源無法得到合理的利用和開發(fā)。

4）在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的安全性儼然成為一個(gè)熱門的話題，傳統(tǒng)的平臺(tái)對(duì)于數(shù)據(jù)的保護(hù)不足，容易造成數(shù)據(jù)的泄露，嚴(yán)重威脅到了學(xué)生的隱私。

2項(xiàng)目可行性分析

2.1 可行性

1）技術(shù)方面：技術(shù)上筆者團(tuán)隊(duì)對(duì)于Java的spring，springdata，springboot，springmvc框架相對(duì)熟悉，并且前端知識(shí)（layui，JavaScript，vue，node.js，html和css3）也有一年的開發(fā)經(jīng)驗(yàn)。對(duì)于大數(shù)據(jù)框架hadoop， spark也有一定的基礎(chǔ)。

2）市場(chǎng)需求：市場(chǎng)需求量大，據(jù)筆者團(tuán)隊(duì)的歸納統(tǒng)計(jì)，廣東省內(nèi)大部分高校還是在采用傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)，從實(shí)用性以及創(chuàng)新性本項(xiàng)目較傳統(tǒng)的系統(tǒng)有較大優(yōu)勢(shì)，因而市場(chǎng)空間較大。

2.2 功能模塊需求分析

系統(tǒng)的功能模塊圖如圖1所示。

本系統(tǒng)主要分為三大模塊：數(shù)據(jù)分析、控制臺(tái)、微信微網(wǎng)頁(yè)。數(shù)據(jù)分析又劃分為：招生數(shù)據(jù)、數(shù)據(jù)錄入、錄取數(shù)據(jù)管理、計(jì)劃數(shù)管理、數(shù)據(jù)報(bào)表統(tǒng)計(jì)、院校間數(shù)據(jù)對(duì)比、問卷調(diào)查生成?？刂婆_(tái)進(jìn)一步劃分為：系統(tǒng)設(shè)置、代辦事件、微網(wǎng)頁(yè)后臺(tái)、日志管理。微信微網(wǎng)頁(yè)模塊主要?jiǎng)澐譃椋簳?huì)議報(bào)名、招生章程、資助政策、報(bào)餐、招生信息登記、預(yù)報(bào)到、專升本、保留學(xué)籍。

2.3 系統(tǒng)創(chuàng)新

1）在技術(shù)上，本平臺(tái)采用了與傳統(tǒng)的web開發(fā)不一樣的大數(shù)據(jù)開發(fā)，保證了處理海量數(shù)據(jù)的時(shí)效性。采用熱門的開源數(shù)據(jù)可視化框架，為系統(tǒng)的使用者提供更加直觀的數(shù)據(jù)處理結(jié)果。以及以圖表對(duì)照的方式保證了傳統(tǒng)功能與創(chuàng)新性并存。

2）平臺(tái)按照功能分為前臺(tái)和后臺(tái)，前臺(tái)利用靜態(tài)和動(dòng)態(tài)頁(yè)面相結(jié)合的方式展示各系及各專業(yè)招生情況、對(duì)全景校園進(jìn)行展現(xiàn)，為新生導(dǎo)航和交通指引情況，方便新生順利報(bào)到，后臺(tái)利用html加layui框架配合Java輕量級(jí)框架搭載高可用的分布式集群。

3）后臺(tái)面向招生老師及系統(tǒng)管理員，管理員通過后臺(tái)及時(shí)更新和維護(hù)前臺(tái)的信息，保證前臺(tái)信息的實(shí)時(shí)性、有效性。

4）平臺(tái)更是融合報(bào)名系統(tǒng)、智慧校園查詢功能、升學(xué)考證、辦事指南、問卷調(diào)查、專升本錄取名冊(cè)、成績(jī)打印、在讀證明畢業(yè)證遺失補(bǔ)辦為一體，全方位生源服務(wù)。

5）優(yōu)化客服中心功能，用戶可以通過地址、郵箱、傳真、電話號(hào)碼聯(lián)系的同時(shí)，還可以填寫個(gè)人信息，后臺(tái)客服聯(lián)系或線上面對(duì)面交流。

6）系統(tǒng)搭載了一個(gè)方便高校招生數(shù)據(jù)存放的數(shù)據(jù)網(wǎng)盤，高?？梢詫?shù)據(jù)存放到該系統(tǒng)中，并且設(shè)置高校自己的密碼，即使是系統(tǒng)開發(fā)人員也無法獲取到數(shù)據(jù)，文件將以md5加密以及base64加密。使數(shù)據(jù)更加安全。

3系統(tǒng)分析與設(shè)計(jì)

3.1 系統(tǒng)分析

本系統(tǒng)主要采用MVC模式進(jìn)行開發(fā)，技術(shù)采用的是spring5、spring boot、springdata。前端框架主要采用的是layui以及jquery和html5、css3等主流的前端技術(shù)。大數(shù)據(jù)采用的是spark，采用大數(shù)據(jù)技術(shù)主要是對(duì)于數(shù)據(jù)的并發(fā)處理進(jìn)行優(yōu)化，并且有效提高數(shù)據(jù)的吞吐量以及執(zhí)行效率。系統(tǒng)的開發(fā)架構(gòu)圖如圖2所示。

3.2 數(shù)據(jù)庫(kù)設(shè)計(jì)

本系統(tǒng)在數(shù)據(jù)庫(kù)設(shè)計(jì)上主要分為以下階段，首先需要先了解學(xué)校老師在招生數(shù)據(jù)上面需要什么信息，然后根據(jù)信息進(jìn)行數(shù)據(jù)庫(kù)設(shè)計(jì)，然后在對(duì)于收集到的信息進(jìn)行抽象，畫出概念模型，也就是我們經(jīng)常說的（E-R圖），根據(jù)我們畫出來的E-R圖我們可以在spring boot Data jpa上面建立我們的實(shí)體類，并且需要加上@Entity注解建立邏輯數(shù)據(jù)庫(kù)。再運(yùn)行程序的時(shí)候spring data jpa會(huì)自動(dòng)為我們創(chuàng)建出數(shù)據(jù)庫(kù)表。并且加上相對(duì)應(yīng)的表結(jié)構(gòu)。此外，本系統(tǒng)還需要額外的數(shù)據(jù)庫(kù)函數(shù)，最后建立出數(shù)據(jù)庫(kù)模型。然后對(duì)于系統(tǒng)進(jìn)行功能測(cè)試，線上運(yùn)行，線上維護(hù)等。

3.3 系統(tǒng)詳細(xì)設(shè)計(jì)

3.3.1招生工作信息歸納流程描述

1）用戶登錄該合作高校的微信公眾號(hào)微信網(wǎng)頁(yè)，在下方導(dǎo)航欄中找到首頁(yè)，然后在微網(wǎng)頁(yè)中查找自己需要向招生部門提交的信息，如（需要保留學(xué)籍者，在保留學(xué)籍處填寫表單，需要報(bào)餐人員在報(bào)餐處填寫表單）。

2）填寫完成之后，數(shù)據(jù)會(huì)進(jìn)入mysql數(shù)據(jù)庫(kù)進(jìn)行持久化處理。

3）統(tǒng)管理員如果需要采集微信微網(wǎng)頁(yè)中的信息，那么可以通過登錄后臺(tái)，然后進(jìn)行微網(wǎng)頁(yè)驗(yàn)證。如果驗(yàn)證有權(quán)限，就可以登錄微網(wǎng)頁(yè)中進(jìn)行數(shù)據(jù)采集處理。

4）系統(tǒng)管理員處理對(duì)應(yīng)的數(shù)據(jù)信息之后，會(huì)通過電話或者短信告知對(duì)應(yīng)的解決方案。

3.3.2招生數(shù)據(jù)處理流程

招生數(shù)據(jù)處理流程如圖3。

流程圖描述：

1）系統(tǒng)管理員登錄系統(tǒng)，進(jìn)行權(quán)限認(rèn)證，如果該系統(tǒng)管理員擁有多個(gè)權(quán)限，那么必須選擇一個(gè)權(quán)限以登錄該系統(tǒng)。

2）系統(tǒng)管理員可以將招生數(shù)據(jù)導(dǎo)入到該系統(tǒng)中，然后系統(tǒng)會(huì)通過算法識(shí)別是什么類型的文件，如果是xls或者是xlsx，那么就改用poi的方式讀寫數(shù)據(jù)，如果是采用dbf的數(shù)據(jù)，那么就采用團(tuán)隊(duì)自己研發(fā)的dbf框架。如果是壓縮包的話，那么就先解壓縮，然后再進(jìn)行分析。

3）然后分析完成的文件會(huì)放在hdfs文件系統(tǒng)中，存入之后，再用mapreduce算法進(jìn)行分析，分析完成之后的中間數(shù)據(jù)存入于hbase中，分析之后的結(jié)果放在mysql關(guān)系型數(shù)據(jù)庫(kù)中。

4）系統(tǒng)管理員可以在系統(tǒng)中的數(shù)據(jù)分析處，查出近幾年的數(shù)據(jù)對(duì)比以及可視化圖和表。

4系統(tǒng)測(cè)試

系統(tǒng)測(cè)試主要分為斷點(diǎn)測(cè)試和上線測(cè)試。斷電測(cè)試主要是在編寫程序的時(shí)候，用于測(cè)試程序出現(xiàn)的問題的根本原因，上線測(cè)試主要是發(fā)現(xiàn)一些上線協(xié)作之間進(jìn)程與線程問題，以及用戶體驗(yàn)問題。通過斷電測(cè)試以及上線測(cè)試，可以讓用戶的體驗(yàn)更佳。大大添加了系統(tǒng)的可行性。以招生數(shù)據(jù)分析為例子：首先我們需要先把以dbf結(jié)尾、以zip結(jié)尾、以xls結(jié)尾或者以xlsx結(jié)尾的文件加載到系統(tǒng)指定的地方，然后系統(tǒng)讀取數(shù)據(jù)，然后如果數(shù)據(jù)校驗(yàn)正確的話，將對(duì)于分析從來的數(shù)據(jù)進(jìn)行持久化，之后上線測(cè)試。形成一份相應(yīng)的測(cè)試報(bào)告。直到問題全部解決、系統(tǒng)達(dá)到指定預(yù)想狀態(tài)為止。部分系統(tǒng)圖如圖4所示。

5結(jié)論

本項(xiàng)目對(duì)于普通高校對(duì)于全國(guó)統(tǒng)一高考報(bào)名的高校招生數(shù)據(jù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，運(yùn)用了spring boot、spring jpa以及spring5的知識(shí)來進(jìn)行數(shù)據(jù)庫(kù)以及Java web系統(tǒng)的編寫、運(yùn)用jquery以及l(fā)ayui來對(duì)于系統(tǒng)前端進(jìn)行編寫，并且運(yùn)用了大數(shù)據(jù)技術(shù)來對(duì)于系統(tǒng)數(shù)據(jù)分析的優(yōu)化。前沿的技術(shù)可以幫助高校招生部門更好、更方便地管理高校招生數(shù)據(jù)。當(dāng)時(shí)因?yàn)闀r(shí)間和技術(shù)的約束，我們還有許多的地方?jīng)]有好好完善。因此。筆者會(huì)更加努力地完善此系統(tǒng)。

參考文獻(xiàn)：

[1] 張澤，李良，李曉峰.大數(shù)據(jù)時(shí)代下高校決策支持系統(tǒng)籌劃與探索[J].邢臺(tái)職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2014，31（6）：42-46.

[2] 許燕青.民辦高校招生數(shù)據(jù)分析與預(yù)測(cè)[D].泉州：華僑大學(xué)，2019.

[3] 王炳堃.基于OLAP民辦高校招生數(shù)據(jù)智能分析系統(tǒng)的設(shè)計(jì)[J].信息技術(shù)與信息化，2019（8）：108-110.

[4] 職曉曉.數(shù)據(jù)挖掘在高校招生中的應(yīng)用研究[D].天津：天津工業(yè)大學(xué)，2018.

[5] 蔡中興.大數(shù)據(jù)時(shí)代下高職新型招生管理系統(tǒng)的研發(fā)[J].廣東技術(shù)師范學(xué)院學(xué)報(bào)，2016，37（8）：112-115，129.

[6] 劉進(jìn)，陳建.中國(guó)高校自主招生地方保護(hù)主義的大數(shù)據(jù)分析[J].上海教育科研，2016（5）：5-10.

【通聯(lián)編輯：代影】