基于智慧校園生態(tài)體系的歷年普通本科錄取分數(shù)數(shù)據(jù)分析系統(tǒng)的設計與實現(xiàn)

劉海 石悅 薛奕飛 張鵬陽 王立新

關(guān)鍵詞： 高考錄取分數(shù)分析；Hadoop偽分布式集群；PySpark；PyEcharts

0 引言

近年來，大學轉(zhuǎn)專業(yè)的現(xiàn)象愈發(fā)普遍，大學生因?qū)I(yè)問題導致的學習困擾也時有發(fā)生，專業(yè)與學生之間的匹配度逐漸受到關(guān)注[1]。我國高考目前普遍采取的高考錄取政策是個人志愿與專業(yè)調(diào)劑相結(jié)合的方式。在此過程中，常存在兩方面問題：一是部分考生在報考時，由于對大學專業(yè)缺乏足夠了解，受到就業(yè)、親友推薦等主客觀因素影響，忽略個人特長和興趣，盲目選擇所謂“適合”的專業(yè)；二是考生在填報志愿時，往往更看重院校知名度而非專業(yè)喜好，更傾向于選擇熱門專業(yè)而非真正喜愛的專業(yè)。這導致一些分數(shù)達到目標學校但未達到所報專業(yè)的考生，為求錄取而接受調(diào)劑到其他專業(yè)。

興趣是最好的老師。進入大學后，部分學生發(fā)現(xiàn)所學專業(yè)與個人興趣或特長存在較大差異。能轉(zhuǎn)專業(yè)的學生尚可重拾興趣，但無法轉(zhuǎn)專業(yè)的學生往往會在學習過程中遭遇負面問題。為解決此類問題，須使學生在高考選專業(yè)前對大學專業(yè)有科學、正確的認識。近年來，隨著大數(shù)據(jù)技術(shù)的飛速發(fā)展，我國高校正積極推進數(shù)字化轉(zhuǎn)型，通過引入先進技術(shù)，提升教育管理效率和質(zhì)量[2]。作為高考錄取方，高?？衫弥腔坌@生態(tài)體系的大數(shù)據(jù)技術(shù)，解決錄取數(shù)據(jù)繁雜的問題，為考生提供直觀、簡潔的高考數(shù)據(jù)參考，從而科學指導考生精準報考。

1 系統(tǒng)需求分析

在進行系統(tǒng)設計之前，需首先進行需求分析，即根據(jù)現(xiàn)有研究背景與現(xiàn)狀，確定系統(tǒng)所需滿足的功能需求[3]。一方面，考生在填報志愿時，對院校了解不足，希望深入了解目標院校的招生情況，如特色專業(yè)、歷年錄取數(shù)據(jù)、專業(yè)變動及錄取趨勢等。然而，院校提供的錄取數(shù)據(jù)往往原始且繁雜，考生難以從中獲取有效信息。另一方面，作為智慧校園建設的一環(huán)，院校也希望通過分析往年錄取信息，制定更合理的招生計劃，并更好地展示自身專業(yè)特色。本系統(tǒng)以安陽師范學院歷年普通本科錄取數(shù)據(jù)為例，進行大數(shù)據(jù)處理、分析及可視化呈現(xiàn)，旨在幫助考生快速了解院校往年錄取情況，并為院校制定招生計劃提供數(shù)據(jù)支持。

2 系統(tǒng)可行性分析

本系統(tǒng)計劃用的開發(fā)環(huán)境對計算機硬件要求并不高，都可以在普通電腦上部署。系統(tǒng)計劃使用Py?thon語言進行開發(fā)，Python語言開源免費，并且也提供了可以直接在開發(fā)工具上下載就可以滿足系統(tǒng)依賴的豐富開源庫。因此，本系統(tǒng)在經(jīng)濟方面是可行的，無須花費太多資金，但需要付出一定的時間成本。

Linux操作系統(tǒng)安全可靠，穩(wěn)定性強，操作簡單，是本系統(tǒng)首選的開發(fā)環(huán)境和集成環(huán)境。在Linux操作系統(tǒng)中安裝Hadoop提供的HDFS偽分布式文件存儲系統(tǒng)用來存儲數(shù)據(jù)，安全可靠。Spark部署簡單，穩(wěn)定可靠，Python版本PySpark支持Python語言。綜上所示，本項目在技術(shù)層面實現(xiàn)難度不大，可行性很強。

從操作方面來看，本平臺前端采用了交互性較強的Web界面，操作簡單、直觀，對使用者的技術(shù)要求不高[4]。后端Ubuntu 16.04作為一個以桌面應用為主的Linux操作系統(tǒng)，界面簡單，在支持shell命令的同時，圖形化的界面使用起來也更加方便快捷。在Ubuntu16.04上安裝PyCharm-2021.3.2開發(fā)工具供系統(tǒng)開發(fā)使用。PyCharm作為流行的Python開發(fā)工具，界面簡潔，操作簡單易上手。Hadoop分布式系統(tǒng)安裝方便，提供HDFS分布式存儲組件，只用了解常規(guī)的命令即可完成海量數(shù)據(jù)的存取，而無須了解其構(gòu)造原理，不僅操作簡單，而且安全可靠。

3 系統(tǒng)設計與實現(xiàn)

3.1 系統(tǒng)數(shù)據(jù)處理流程設計

對于一個完整的大數(shù)據(jù)系統(tǒng)開發(fā)而言，按照數(shù)據(jù)的流向來劃分，本系統(tǒng)主要涉及數(shù)據(jù)采集，數(shù)據(jù)存儲和預處理、數(shù)據(jù)分析、數(shù)據(jù)可視化4個部分。本系統(tǒng)首先通過Python爬蟲技術(shù)從安陽師范學院招生官網(wǎng)獲取源數(shù)據(jù)，然后將爬取到的源數(shù)據(jù)通過Pandas進行預處理。接著將清洗好的干凈數(shù)據(jù)以CSV文件的形式上傳到HDFS分布式文件存儲系統(tǒng)中，以免文件丟失或損壞。數(shù)據(jù)分析階段可以使用PySpark工具直接讀取HDFS內(nèi)的干凈數(shù)據(jù)進行RDD編程分析。在大數(shù)據(jù)數(shù)據(jù)處理方面，目前的大數(shù)據(jù)處理框架較多，之所以選擇Spark，是因為Spark的設計遵循“一個軟件棧滿足不同應用場景”的概念，并逐漸形成一個完整的生態(tài)系統(tǒng)[5]，并且Spark框架與分布式文件存儲系統(tǒng)HDFS具有良好的兼容性，因此可以使用大數(shù)據(jù)處理框架技術(shù)Spark完成錄取分數(shù)數(shù)據(jù)的處理與分析。同樣，我們也將分析結(jié)果導出到CSV文件后存入HDFS 內(nèi)，安全可靠。最后將分析后的數(shù)據(jù)從HDFS中讀取后，使用PyEcharts工具進行可視化展現(xiàn)。為了更清楚本系統(tǒng)架構(gòu)，本系統(tǒng)架構(gòu)設計圖如圖1所示。

3.2 系統(tǒng)功能設計

錄取數(shù)據(jù)分析系統(tǒng)主要分為5塊，分別為數(shù)據(jù)采集、數(shù)據(jù)預處理、數(shù)據(jù)分析、數(shù)據(jù)存儲和數(shù)據(jù)可視化。圖2為系統(tǒng)功能模塊圖。

3.2.1 數(shù)據(jù)采集模塊

在數(shù)據(jù)采集模塊，系統(tǒng)使用的方法是比較流行的網(wǎng)絡爬蟲技術(shù)。使用Python 的Requests 庫中的re?quests方法模擬瀏覽器向目標網(wǎng)頁發(fā)送請求以獲取網(wǎng)頁源代碼。然后在瀏覽器中進入開發(fā)者模式分析網(wǎng)頁結(jié)構(gòu)，確定數(shù)據(jù)位置，最后利用Beautifulsoup庫中方法創(chuàng)建Beautifulsoup對象用來解析網(wǎng)頁源代碼。由于系統(tǒng)需要爬取多個網(wǎng)頁信息，所以將用到的Requests 方法和Beautifulsoup中的方法封裝在Spider類中以方便使用。接著創(chuàng)建data鏈表作為容器，將爬取到的學院歷年專業(yè)名稱、科類、年份、最高分、最低分、平均分以及部分年份的招生計劃人數(shù)和實錄人數(shù)等信息存入data鏈表。最后將data鏈表傳入數(shù)據(jù)預處理模塊進行加工。

3.2.2 數(shù)據(jù)預處理模塊

數(shù)據(jù)預處理模塊是將數(shù)據(jù)采集來的數(shù)據(jù)進行規(guī)范化、格式化、整齊化的模塊。接收到數(shù)據(jù)采集模塊傳來的data鏈表后，將多余的數(shù)據(jù)過濾掉，只保留專業(yè)名稱、科類、年份、最高分、最低分、平均分6個屬性。將每行數(shù)據(jù)重新整合為以這6個屬性為Key，以實際數(shù)據(jù)為Value的鍵值對的鏈表存入事先創(chuàng)建好的cleandata鏈表中，最后利用CSV庫中的writerows（） 方法將cleandata鏈表寫入CSV文件中。處理完成后系統(tǒng)要將得到的全部數(shù)據(jù)的CSV文件存入HDFS分布式文件系統(tǒng)以防丟失或者損壞。

3.2.3 數(shù)據(jù)分析模塊

本系統(tǒng)的數(shù)據(jù)分析模塊主要依靠PySpark第三方庫來完成，通過RDD編程能夠更加高效，快速地計算分析。數(shù)據(jù)分析時候，需要先將已經(jīng)預處理后的數(shù)據(jù)從分布式文件系統(tǒng)中讀取后，創(chuàng)建一個最初的RDD，然后再利用這個RDD進行一系列包含行動和轉(zhuǎn)化操作的RDD編程來分析本校熱門專業(yè)歷年平均分變化趨勢、近年新開大數(shù)據(jù)專業(yè)的各項錄取分數(shù)詳細數(shù)據(jù)、錄取平均分數(shù)最高的專業(yè)數(shù)據(jù)等。利用createOr?ReplaceTempView（）方法來創(chuàng)建臨時表，然后利用spark.sql（）方法編寫SQL語句完成同專業(yè)文理錄取分數(shù)對比數(shù)據(jù)，單招文科考生或者理科考生的專業(yè)數(shù)據(jù)分析，錄取最高分與最低分差值較大的專業(yè)數(shù)據(jù)分析等。最后利用Pandas庫中的方法將結(jié)果導出到CSV 文件后存入HDFS。

3.2.4 數(shù)據(jù)存儲

本系統(tǒng)的數(shù)據(jù)以CSV 的格式存儲。Python 的CSV模塊提供了一系列針對CSV文件的方法，為系統(tǒng)進行數(shù)據(jù)轉(zhuǎn)化提供了便利，這種存儲方式可以大大提升開發(fā)速度和效率。在完成數(shù)據(jù)預處理后，系統(tǒng)將干凈的所有數(shù)據(jù)存儲為CSV文件以供數(shù)據(jù)分析使用。在數(shù)據(jù)分析之前，系統(tǒng)會將數(shù)據(jù)存入HDFS，以保證數(shù)據(jù)的安全。HDFS具有高容錯性、高可靠性、部署廉價等特性。系統(tǒng)的數(shù)據(jù)及衍生數(shù)據(jù)都會存儲到里面，以保證數(shù)據(jù)的安全，防止數(shù)據(jù)丟失。

3.2.5 數(shù)據(jù)可視化

最后的數(shù)據(jù)可視化模塊系統(tǒng)主要使用PyEcharts 庫。這是非常重要的模塊，也是用戶會直接接觸看到的模塊，系統(tǒng)在這個模塊會將數(shù)據(jù)分析得到的數(shù)據(jù)以圖形化的方式展現(xiàn)給用戶，這就考驗我們對數(shù)據(jù)格式的了解及可視化手段的運用。PyEcharts官方網(wǎng)站提供了多樣的圖表類型以及修改方法，可以對比其中合適的圖表示例來可視化系統(tǒng)的結(jié)果數(shù)據(jù)。比如本校熱門專業(yè)歷年平均分變化趨勢可以用折線圖的方式呈現(xiàn)，凸顯變化趨勢，大數(shù)據(jù)專業(yè)的各項錄取分數(shù)詳細數(shù)據(jù)以柱狀圖的方式呈現(xiàn)能使數(shù)據(jù)更加清晰，錄取平均分數(shù)最高的專業(yè)數(shù)據(jù)以柱狀圖的方式呈現(xiàn)更能展現(xiàn)分數(shù)差距。錄取最高分與最低分差值較大的專業(yè)數(shù)據(jù)以漏斗圖的方式展現(xiàn)能使用戶更直觀地了解專業(yè)錄取情況等。無論是柱狀圖、折線圖還是餅圖，我們要根據(jù)數(shù)據(jù)來選擇可視化方式才能凸顯數(shù)據(jù)重點以及數(shù)據(jù)特性。另外，不同顏色以及形狀也是可視化的重要手段。

3.3 系統(tǒng)數(shù)據(jù)可視化

數(shù)據(jù)可視化的作用在于提升人們對數(shù)據(jù)的分析利用程度，通過改變數(shù)據(jù)的表現(xiàn)形式，提高數(shù)據(jù)的利用率[6]。通過數(shù)據(jù)可視化中的柱狀圖、散點圖、雷達圖和熱力圖等圖形化表達方式，可以更直觀和清晰地把數(shù)據(jù)分析結(jié)果展示在人們眼前，給人們以更加直觀和規(guī)律化的展示。目前各大高校不同專業(yè)招生都有文理學科限制，有的專業(yè)只有文科生或者理科生才能報考。我們這里也利用詞云圖為考生展示了只招文科或者理科考生的專業(yè)名稱以及其對應的平均分詞云圖，如圖3所示。從圖3可以看出，安陽師范學院只招收文科或者理科的專業(yè)詞云圖中，詞條前一部分為專業(yè)名稱，后一部分為學科。其中，詞號越大，代表專業(yè)對應的平均分越高。

4 結(jié)束語

通過對大量冗余數(shù)據(jù)進行快速、準確和多樣化的分析與展示，大數(shù)據(jù)技術(shù)為各行各業(yè)提供了豐富的洞察和決策支持。作為智慧校園生態(tài)體系建設的一部分，本系統(tǒng)通過使用大數(shù)據(jù)技術(shù)中的Spark框架對安陽師范學院歷年普通本科錄取數(shù)據(jù)進行了系統(tǒng)分析，深入地挖掘了數(shù)據(jù)潛在的應用和研究價值。系統(tǒng)的實現(xiàn)可以幫助很多高考考生在填報志愿之前了解更多安陽師范學院的錄取信息，作為高校方面的安陽師范學院也可以展現(xiàn)院校招生特點和專業(yè)特色以吸引生源。系統(tǒng)在其他高校進行推廣后，也可以幫助考生了解其他院校的相關(guān)錄取信息和展現(xiàn)其他高校的專業(yè)特色，真正實現(xiàn)學生興趣、高考分數(shù)和錄取專業(yè)相匹配的目的。