大數(shù)據(jù)技術(shù)在高校信息化建設(shè)中的應(yīng)用

鄧偉

（陜西師范大學(xué)，陜西 西安 710062）

0 引 言

隨著信息化建設(shè)的快速發(fā)展，高校各業(yè)務(wù)部門的應(yīng)用系統(tǒng)積累了大量的數(shù)據(jù)，為大數(shù)據(jù)技術(shù)的應(yīng)用奠定了基礎(chǔ)。大數(shù)據(jù)不僅是指海量數(shù)據(jù)本身，更為重要的是包含了對(duì)數(shù)據(jù)的存儲(chǔ)、處理、分析、可視化一系列的技術(shù)方法，是從數(shù)據(jù)自身發(fā)掘其隱含價(jià)值的有效手段。

1 建設(shè)現(xiàn)狀

陜西師范大學(xué)的信息化建設(shè)歷程歸納起來，包含了基礎(chǔ)設(shè)施建設(shè)、數(shù)字化校園建設(shè)、智慧校園建設(shè)三個(gè)階段。在基礎(chǔ)設(shè)施建設(shè)階段，以硬件為主要建設(shè)內(nèi)容，包括各類網(wǎng)絡(luò)設(shè)備、校園卡、門禁系統(tǒng)，積累了大量的學(xué)生的上網(wǎng)認(rèn)證數(shù)據(jù)、校園卡消費(fèi)數(shù)據(jù)、門禁刷卡數(shù)據(jù)。在數(shù)字化校園建設(shè)階段，以軟件為主要建設(shè)內(nèi)容，包括科研、教務(wù)、資產(chǎn)、人事等業(yè)務(wù)管理系統(tǒng)，目的是支撐學(xué)校各項(xiàng)核心業(yè)務(wù)的正常運(yùn)行，將線下工作轉(zhuǎn)變?yōu)榫€上服務(wù)，提高工作效率，改善用戶的使用體驗(yàn)。智慧校園則是現(xiàn)階段的建設(shè)目標(biāo)，融合了物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等前沿技術(shù)，加強(qiáng)數(shù)據(jù)綜合治理能力，用于提升服務(wù)質(zhì)量，豐富教學(xué)手段，改進(jìn)決策方法。

陜西師范大學(xué)網(wǎng)絡(luò)信息中心從2014年至2022年進(jìn)行了長期的大數(shù)據(jù)建設(shè)的探索工作，主要圍繞著對(duì)全校各類業(yè)務(wù)系統(tǒng)和硬件設(shè)備產(chǎn)生的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的采集、存儲(chǔ)、分析和可視化展示四方面，目的是為學(xué)校的科研、教學(xué)、管理、服務(wù)等各項(xiàng)工作提供客觀的數(shù)據(jù)支撐。完成建設(shè)的內(nèi)容包括大數(shù)據(jù)平臺(tái)和業(yè)務(wù)數(shù)據(jù)分析建模系統(tǒng)兩部分，整體規(guī)劃如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

大數(shù)據(jù)平臺(tái)建設(shè)方面，在20 臺(tái)物理服務(wù)器上用開源系統(tǒng)Cloudera 搭建了一套Hadoop 管理平臺(tái)，總存儲(chǔ)300 TB，在此基礎(chǔ)上利用Sqoop 和Python 腳本進(jìn)行數(shù)據(jù)的采集，HDFS 和Hbase 進(jìn)行數(shù)據(jù)的存儲(chǔ)，Mpp 分布式數(shù)據(jù)庫集群和Redis 集群進(jìn)行實(shí)時(shí)數(shù)據(jù)和熱點(diǎn)數(shù)據(jù)的存儲(chǔ)，MapReduce 和Spark 進(jìn)行數(shù)據(jù)的計(jì)算分析，Echarts 和OpenLayers 進(jìn)行數(shù)據(jù)的可視化展示。

大數(shù)據(jù)平臺(tái)已經(jīng)接入了人事系統(tǒng)、科研系統(tǒng)，教務(wù)系統(tǒng)，研究生管理系統(tǒng)、就業(yè)系統(tǒng)、校園卡系統(tǒng)，圖書借閱系統(tǒng)、圖書館門禁系統(tǒng)、宿舍門禁系統(tǒng)、無線網(wǎng)絡(luò)管理系統(tǒng)、網(wǎng)絡(luò)認(rèn)證系統(tǒng)、上網(wǎng)行為管理系統(tǒng)共計(jì)12 個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)。平臺(tái)支持按系統(tǒng)管理員、校級(jí)管理人員、部門/學(xué)院管理人員、輔導(dǎo)員、師生個(gè)人等5 種角色來分配不同的操作權(quán)限。平臺(tái)中存儲(chǔ)的數(shù)據(jù)明細(xì)和統(tǒng)計(jì)分析結(jié)果以REST API 的形式對(duì)外部系統(tǒng)提供了數(shù)據(jù)共享服務(wù)。

2 典型應(yīng)用

業(yè)務(wù)數(shù)據(jù)分析建模系統(tǒng)實(shí)現(xiàn)了用于學(xué)校管理的決策支撐模塊，面向全校師生的個(gè)人數(shù)據(jù)中心，用于人才引進(jìn)工作的校園智庫，用于學(xué)生管理的綜合預(yù)警模塊，以及用于網(wǎng)絡(luò)管理工作的校園無線網(wǎng)絡(luò)熱圖。

2.1 建立模型

用于學(xué)校管理的決策支撐模塊通過對(duì)不同的業(yè)務(wù)系統(tǒng)設(shè)定分析指標(biāo)建立模型，使用各種統(tǒng)計(jì)報(bào)表來進(jìn)行分析結(jié)果的可視化呈現(xiàn)。使用較多的報(bào)表組件是柱狀圖和折線圖、散點(diǎn)圖，柱狀圖主要用作模型中的指標(biāo)在不同主體之間的橫向比較，折線圖主要用作模型中的指標(biāo)在不同時(shí)間點(diǎn)的縱向比較，用以呈現(xiàn)發(fā)展變化趨勢(shì)，散點(diǎn)圖主要用作跨業(yè)務(wù)系統(tǒng)建模的兩類指標(biāo)間的相關(guān)性的分析。目前建立的模型主要包括：全校及各學(xué)院科研成果發(fā)展趨勢(shì)分析，不同學(xué)院間科研成果數(shù)量對(duì)比，全校及各學(xué)院生源質(zhì)量發(fā)展趨勢(shì)分析，不同學(xué)院間生源質(zhì)量數(shù)量對(duì)比，學(xué)生吃早餐頻次-考試成績的相關(guān)性分析，學(xué)生圖書借閱次數(shù)-考試成績的相關(guān)性分析，教師項(xiàng)目數(shù)量-論文數(shù)量相關(guān)性分析，教師教學(xué)能力-論文數(shù)量相關(guān)性分析，校內(nèi)訪問熱門網(wǎng)站分析，校內(nèi)用戶移動(dòng)終端品牌分布，教師基本信息不同屬性間的組合統(tǒng)計(jì)分析（教師基本信息屬性包括：籍貫、學(xué)院、性別、職稱、學(xué)歷、年齡、類別、進(jìn)校時(shí)間），學(xué)生基本信息不同屬性間的組合統(tǒng)計(jì)分析（學(xué)生基本信息屬性包括：籍貫、學(xué)院、性別、民族、入校時(shí)間）。

2.2 提供畫像

個(gè)人數(shù)據(jù)中心是在一個(gè)頁面中將教師或?qū)W生的個(gè)人基本信息和各類校內(nèi)數(shù)據(jù)聚合展示，并進(jìn)行關(guān)聯(lián)分析，提供不同個(gè)體的精準(zhǔn)畫像。

教師登錄系統(tǒng)后能夠看到自己的個(gè)人基本信息、課程安排、科研成果、校園卡消費(fèi)、設(shè)備上網(wǎng)行為等數(shù)據(jù)，以及按照教學(xué)能力、科研能力、消費(fèi)能力、獲獎(jiǎng)情況進(jìn)行的人物畫像。

學(xué)生登錄系統(tǒng)后能夠看到自己的個(gè)人基本信息、課程安排、考試成績、校園卡消費(fèi)、設(shè)備上網(wǎng)行為、圖書借閱等數(shù)據(jù)，以及按照學(xué)習(xí)能力、消費(fèi)能力、上網(wǎng)時(shí)長、社會(huì)活動(dòng)能力、獲獎(jiǎng)情況呈現(xiàn)的整體畫像。

針對(duì)學(xué)生還開發(fā)了就業(yè)分析和推薦模塊，通過分布式爬蟲技術(shù)從互聯(lián)網(wǎng)上51Job、智聯(lián)招聘、百度百聘等網(wǎng)站獲取最新的崗位資訊和人才需求，通過大數(shù)據(jù)技術(shù)分析熱點(diǎn)崗位、專業(yè)需求、薪資待遇。同時(shí)通過校內(nèi)數(shù)據(jù)對(duì)應(yīng)屆生進(jìn)行畫像，針對(duì)學(xué)生個(gè)體的不同特點(diǎn)進(jìn)行就業(yè)招聘信息的個(gè)性化推薦。

2.3 提供數(shù)據(jù)

校園智庫通過爬蟲技術(shù)從互聯(lián)網(wǎng)公開數(shù)據(jù)源爬取了截至2021年12月底全國2 353 所高校和科研院所160 多萬位學(xué)者的5 千多萬條論文、著作等科研成果數(shù)據(jù)。能夠檢索到學(xué)者的研究領(lǐng)域、學(xué)術(shù)影響力排名、學(xué)術(shù)圈（合作學(xué)者）、科研成果摘要、歷年科研成果數(shù)量的對(duì)比，能夠?yàn)閷W(xué)校引進(jìn)人才提供客觀的數(shù)據(jù)依據(jù)。

2.4 綜合預(yù)警

學(xué)生綜合預(yù)警是在學(xué)生管理方面進(jìn)行的一些嘗試，目前通過對(duì)校內(nèi)與學(xué)生相關(guān)的各類數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，已經(jīng)實(shí)現(xiàn)了疑似貧困預(yù)警和疑似未歸預(yù)警，能夠給學(xué)生補(bǔ)助的發(fā)放和學(xué)生安全管理提供依據(jù)。

疑似貧困預(yù)警：通過采集學(xué)生校園卡消費(fèi)的數(shù)據(jù)，根據(jù)學(xué)生最近三個(gè)月內(nèi)每日三餐在學(xué)校食堂消費(fèi)的頻次和每餐的支出金額，分析學(xué)生是否有在校就餐的習(xí)慣，對(duì)于長期在校就餐的學(xué)生，如果平均每餐的消費(fèi)金額低于管理人員設(shè)定的閾值，判定該學(xué)生屬于疑似貧困情況，將學(xué)生個(gè)人信息推送給資助中心的老師，作為助學(xué)金和各類補(bǔ)助發(fā)放的依據(jù)。

疑似失聯(lián)預(yù)警：通過關(guān)聯(lián)分析校園卡的消費(fèi)記錄、圖書館門禁，宿舍樓門禁、移動(dòng)設(shè)備聯(lián)網(wǎng)、校內(nèi)上網(wǎng)流量等多方面的數(shù)據(jù)，對(duì)于非節(jié)假日期間5 天以上未產(chǎn)生相關(guān)數(shù)據(jù)的學(xué)生，且在學(xué)工系統(tǒng)里無請(qǐng)假記錄，判定為疑似失聯(lián)狀態(tài)，通過發(fā)送郵件和微信推送及時(shí)通知到對(duì)應(yīng)學(xué)院的輔導(dǎo)員，以便采取措施確保學(xué)生的人身安全。

2.5 校園無線網(wǎng)絡(luò)熱圖

校園無線網(wǎng)絡(luò)熱圖實(shí)現(xiàn)了校園各類移動(dòng)終端當(dāng)前所處地點(diǎn)的實(shí)時(shí)展示，如圖2所示，能夠直觀呈現(xiàn)校內(nèi)人員分布的密集程度，查看每個(gè)建筑物、每個(gè)樓層、每個(gè)房間當(dāng)前有哪些設(shè)備在上網(wǎng)，同時(shí)能夠掌握每個(gè)設(shè)備的活動(dòng)軌跡，如圖3所示。常去地點(diǎn)，基于設(shè)備信息進(jìn)一步可分析人員之間的親密關(guān)系。

圖2 無線網(wǎng)絡(luò)移動(dòng)設(shè)備熱力圖

圖3 設(shè)備活動(dòng)軌跡圖

2.6 算法實(shí)現(xiàn)原理

下面進(jìn)一步闡述相關(guān)模塊的算法實(shí)現(xiàn)原理。

算法實(shí)現(xiàn)依賴的數(shù)據(jù)源主要包括學(xué)校上網(wǎng)認(rèn)證系統(tǒng)和無線網(wǎng)絡(luò)管理系統(tǒng)。從上網(wǎng)認(rèn)證系統(tǒng)數(shù)據(jù)庫提供的視圖中每十分鐘導(dǎo)入一次最近的認(rèn)證信息。無線網(wǎng)絡(luò)管理系統(tǒng)則是通過SNMP 協(xié)議從全校4 臺(tái)無線網(wǎng)絡(luò)控制器（以下簡稱AC）上每5 分鐘采集一次。

認(rèn)證系統(tǒng)視圖的數(shù)據(jù)結(jié)構(gòu)為（上網(wǎng)帳號(hào)（以下簡稱NETID）、上線時(shí)間、下線時(shí)間、移動(dòng)終端（以下簡稱MU）的MAC 地址、分配的IP 地址）五元組（以下簡稱AUTH_LIST）。

無線網(wǎng)絡(luò)管理系統(tǒng)采集的數(shù)據(jù)結(jié)構(gòu)為（MU 的MAC地址、MU 的IP 地址、AC 名稱、無線接入點(diǎn)（以下簡稱AP）名稱、連接起始時(shí)間、接收數(shù)據(jù)字節(jié)數(shù)、發(fā)送數(shù)據(jù)字節(jié)數(shù)、采集時(shí)間）八元組（以下簡稱MU_LIST）。

無線網(wǎng)絡(luò)熱圖的生成方法如下：

（1）以AUTH_LIST 作為輸入，編寫MapReduce 任務(wù)分析MU 最近一次上網(wǎng)時(shí)使用的NETID，建立MU--NETID關(guān)聯(lián)信息。

（2）根據(jù)MU 當(dāng)前連接的AP 名稱，分析其當(dāng)前位置。無線網(wǎng)絡(luò)系統(tǒng)在命名AP 時(shí)遵循約定的規(guī)范：校區(qū)-建筑物名稱全拼--樓層--房間號(hào)。例如ca-tushuguan-01-01，表示該AP 處于長安校區(qū)圖書館1 層的1 號(hào)房間內(nèi)。通過拆分名稱可進(jìn)一步統(tǒng)計(jì)每個(gè)建筑物、每個(gè)樓層、每個(gè)房間的MU 連接數(shù)、AP 的收發(fā)字節(jié)數(shù)。

（3）基于OpenLayers 的GIS 地圖背景圖的生成和MU的定位：

兩個(gè)校區(qū)的衛(wèi)星圖是由Google 地圖中陜西師范大學(xué)的瓦片地圖拼接而成。兩個(gè)校區(qū)的平面圖以及建筑物各個(gè)樓層的平面圖則是根據(jù)無線網(wǎng)絡(luò)系統(tǒng)工程施工方提供的CAD 圖紙文件，編寫程序解析墻體每個(gè)線條的起止坐標(biāo)，自動(dòng)繪制生成JPG 格式的背景圖。建筑物在校區(qū)的坐標(biāo)和AP 在房間的坐標(biāo)位置也是通過對(duì)CAD 的解析獲取的。程序中獲取的CAD 中的坐標(biāo)以視圖左下角為原點(diǎn)，單位為像素。為處理方便，OpenLayers 中采用自定義坐標(biāo)系，中心點(diǎn)作為原點(diǎn)，單位為經(jīng)緯度，因此注意需進(jìn)行坐標(biāo)系的轉(zhuǎn)換和比例縮放。

（4）MU 當(dāng)前所連接的AP 的坐標(biāo)位置作為MU 當(dāng)前所處的活動(dòng)位置。

MU 動(dòng)態(tài)軌跡圖的生成算法如下：

（1）首先要計(jì)算各個(gè)建筑物之間的最短路徑。方法如下：

為地圖中的每條道路編號(hào)，記錄道路交叉點(diǎn)和建筑物入口的經(jīng)緯度坐標(biāo)。

用Floyd 算法計(jì)算建筑物兩兩之間的最短距離和經(jīng)過道路的編號(hào)序列，保存在數(shù)據(jù)庫中。

（2）根據(jù)無線網(wǎng)絡(luò)管理系統(tǒng)中SNMP 采集的數(shù)據(jù)選取指定MU 當(dāng)天的MU_LIST，按連接起始時(shí)間正序?qū)υ揗U_LIST 進(jìn)行排序。以建筑物為單位對(duì)序列進(jìn)行合并操作（時(shí)間正序排列后的序列，若相鄰兩個(gè)元組的AP 屬于同一建筑物，合并為1 條）。

（3）對(duì)合并后的新序列進(jìn)行如下操作：對(duì)相鄰兩個(gè)元組，以連接起始時(shí)間小的元組中的建筑物作為起點(diǎn)，連接起始時(shí)間大的元組中的建筑物作為終點(diǎn)，從數(shù)據(jù)庫中查找兩者間最短路徑對(duì)應(yīng)的道路編號(hào)序列，在OpenLayers 中依次繪制對(duì)應(yīng)的線段，形成動(dòng)態(tài)繪制軌跡的效果。

人員親密關(guān)系的分析算法如下：

（1）以AUTH_LIST 作為輸入，編寫MapReduce 任務(wù)查找每個(gè)MU 最近使用的上網(wǎng)帳號(hào)。輸出為OUT1。

（2）以MU_LIST 作為輸入，編寫MapReduce 統(tǒng)計(jì)每兩個(gè)MU 在同一AP 共同出現(xiàn)的頻次，輸出為OUT2。

（3）以O(shè)UT1、OUT2 作為輸入，編寫MapReduce 統(tǒng)計(jì)每兩個(gè)NETID 在同一AP 共同出現(xiàn)的頻次，輸出為OUT3。

（4）以O(shè)UT3 作為輸入，對(duì)每個(gè)NETID，統(tǒng)計(jì)與該NETID 同時(shí)出現(xiàn)頻次最多的前十個(gè)NETID（Top10），輸出保存在HBase 中。

（5）對(duì)于選定的師生，根據(jù)其NETID，在HBase 中檢索出步驟（4）中的Top10 及對(duì)應(yīng)的人員信息，作為與選定師生關(guān)系最密切的人群，用Canvas 繪制出對(duì)應(yīng)的人物關(guān)系。

3 結(jié) 論

陜西師范大學(xué)大數(shù)據(jù)應(yīng)用系統(tǒng)建設(shè)的成果表明，大數(shù)據(jù)技術(shù)能夠?qū)⒏咝，F(xiàn)有各業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行全校范疇內(nèi)的有效整合，通過數(shù)據(jù)關(guān)聯(lián)分析，挖掘數(shù)據(jù)的核心價(jià)值，對(duì)高校師生提供深層次的信息增值服務(wù)，為高?？茖W(xué)化管理與決策提供數(shù)據(jù)支持，實(shí)現(xiàn)將數(shù)據(jù)轉(zhuǎn)變?yōu)閷W(xué)校效益，提升管理效率，促進(jìn)科研、教學(xué)與服務(wù)質(zhì)量，增強(qiáng)學(xué)校的綜合競(jìng)爭(zhēng)力。