大數(shù)據(jù)視野下高校創(chuàng)新分析系統(tǒng)開發(fā)與設(shè)計

王彤宇

摘? 要：當前各類高校的創(chuàng)新創(chuàng)業(yè)教育呈燎原之勢，此教育改革產(chǎn)生海量的教師教學創(chuàng)新、學生創(chuàng)新活動等數(shù)據(jù)，以及頻繁檔案更新任務(wù)，需要有高效數(shù)據(jù)存儲與處理能力的系統(tǒng)與之相匹配。本文重點探討以大數(shù)據(jù)技術(shù)為核心的高校創(chuàng)新分析系統(tǒng)開發(fā)設(shè)計理念，提出了解決信息處理速度和系統(tǒng)評價機制的軟件設(shè)計方向，并運用Succinct、Spark、Mesos、SQL和Operator等技術(shù)實現(xiàn)設(shè)計，還給出了海量異構(gòu)數(shù)據(jù)存儲硬件資源方案，為專業(yè)教育與創(chuàng)新創(chuàng)業(yè)教育融合質(zhì)量評價、人才培養(yǎng)模式創(chuàng)新評價構(gòu)建了高效分析環(huán)境。

關(guān)鍵詞：大數(shù)據(jù)分析;高校管理;創(chuàng)新分析系統(tǒng)

中圖分類號：TP309? ? ?文獻標識碼：A

Development and Design of the University Innovation Analysis

System from the Perspective of Big Data

WANG Tongyu

（Dapartment of Computer Science，Jinan Vocational College，Jinan 250103，China）

Abstract：The development and design of the innovative analysis system in universities from the perspective of big data needs to reflect the high efficiency of information processing.The paper explores the development and design thoughts of the innovation analysis system with the big data technology as the core，proposes and conducts the software design to improve information processing efficiency and system evaluation mechanism with the application of Succinct，Spark，Mesos，SQL，Operator and other technologies.Additionally，some schemes are also proposed for the massive heterogeneous data storage hardware resource，constructing the efficient analysis platform for the quality assessment of the integration of professional education and innovation education，and for the innovation evaluation of the talent cultivation mode as well.

Keywords：big data analysis;university management;innovation analysis system

1? ?引言（Introduction）

信息化時代發(fā)展背景下，高校創(chuàng)新分析系統(tǒng)開發(fā)主要從提升信息處理速度方面進行[1]。在高校信息化管理系統(tǒng)中，能夠應(yīng)用大數(shù)據(jù)分析技術(shù)中的多種計算方式，對當前所確定的系統(tǒng)開發(fā)方向做出控制，并通過創(chuàng)新分析系統(tǒng)的開發(fā)管理，形成高校信息化管理之間的相互結(jié)合[2]。信息處理速度提升，直接關(guān)系到高校信息系統(tǒng)運行是否切實有效，面對海量的教學改革、學生創(chuàng)新活動等數(shù)據(jù)，以及頻繁檔案更新任務(wù)，不僅信息處理速度要保證達到預(yù)期標準，除此之外還需要在信息處理中，引入數(shù)據(jù)自動更新功能[3]。

2? 高校創(chuàng)新分析系統(tǒng)開發(fā)設(shè)計的主要方向（The

main development and design direction of the

university innovation analysis system）

2.1? ?加快信息處理速度

發(fā)現(xiàn)數(shù)據(jù)之間彼此干擾，能夠通過有效信息分析處理技術(shù)做出隔離，保障信息處理過程中各個模塊處于獨立狀態(tài)[4]。同時在信息管理中也能根據(jù)請求有效聯(lián)系，對信息處理范圍進行放大，大數(shù)據(jù)分析中的信息整合能力，以及海量信息提取處理能力，均是構(gòu)建高校創(chuàng)新管理信息系統(tǒng)所需要的[5]。目前所應(yīng)用的主流技術(shù)包括Succinct、SparkSQL等。

2.2? ?優(yōu)化系統(tǒng)的評價機制

高校構(gòu)建創(chuàng)新分析系統(tǒng)開發(fā)機制過程中，需要對系統(tǒng)運行可行性，以及其中所存在的問題做出評價。因此未來創(chuàng)新分析系統(tǒng)開發(fā)設(shè)計主流方向之一是對于系統(tǒng)評價機制的優(yōu)化與完善[6]。能夠根據(jù)使用一段時間的數(shù)據(jù)反饋，對接下來的數(shù)據(jù)信息處理方向做出調(diào)整。優(yōu)化系統(tǒng)評價機制，這需要應(yīng)用高效計算技術(shù)來完成，在抽象數(shù)據(jù)集合中，能夠快速確定信息提取方向，并通過信息技術(shù)之間的整合，對數(shù)據(jù)分析整體速度做出提升。完善系統(tǒng)評價機制，需要建立在網(wǎng)絡(luò)數(shù)據(jù)提取基礎(chǔ)上，尤其是針對當前的主流新技術(shù)，更應(yīng)該考慮其運行環(huán)境對自身數(shù)據(jù)安全性的威脅。系統(tǒng)構(gòu)建中會有平臺內(nèi)部的調(diào)節(jié)器來實時反應(yīng)信息變化，在不斷評價過程中尋求新的數(shù)據(jù)信息接口，避免接口選擇錯誤而影響到存儲速度與安全性。在這一新型設(shè)計開發(fā)方向背景下，大數(shù)據(jù)分析成為主流技術(shù)支撐，主要應(yīng)用在基礎(chǔ)框架構(gòu)建與內(nèi)部程序匯編完善方面。大數(shù)據(jù)分析基本框架構(gòu)建見圖1。

3? 高校創(chuàng)新分析系統(tǒng)開發(fā)設(shè)計思路（Development?and design thoughts of the university innovative?analysis system）

3.1? ?構(gòu)建多元評價體系

基于大數(shù)據(jù)分析基礎(chǔ)所構(gòu)建的創(chuàng)新分析系統(tǒng)，首先是對多元化評價體系的構(gòu)建，可以利用資源管理Mesos技術(shù)，構(gòu)建出用戶訪問的等級框架任務(wù)。這樣當用戶需要對大數(shù)據(jù)分析系統(tǒng)進行訪問時，在系統(tǒng)內(nèi)部能夠通過分析運算來自動分類，對所接收到的信息請求自動分層，能夠形成初步的多元評價體系。評價體系還需具備大數(shù)據(jù)查詢功能，在所構(gòu)建功能層的最基層利用Spark技術(shù)作為搜索功能實現(xiàn)引擎，啟動SQL與Operator技術(shù)，形成評價搜索中的高速度類型劃分。Spark Streaming技術(shù)能夠?qū)崿F(xiàn)評價時間的整合與區(qū)分，當請求之間存在彼此聯(lián)系時，能夠通過這一技術(shù)方法進行更為高效的內(nèi)部控制。多元評價體系構(gòu)建還需要形成類似樹狀結(jié)構(gòu)的分析基礎(chǔ)，這便要求在系統(tǒng)分析過程中，啟動近似查詢引擎，通過賬戶查詢請求，能夠?qū)?shù)據(jù)的精密程度控制在允許誤差內(nèi)，通過GraphX基于BSP建立基本模型。常用技術(shù)方法對最終平臺評價系統(tǒng)構(gòu)建也發(fā)揮著基礎(chǔ)控制的功能。

3.2? ?建立評價互動機制

利用算法公式建立評價互動機制，基于大數(shù)據(jù)分析基礎(chǔ)上評價互動機制的形成，需要在程序匯編中設(shè)置反饋系統(tǒng)。在創(chuàng)新分析系統(tǒng)投入使用后，所構(gòu)建的多元評價機制能夠根據(jù)最終數(shù)據(jù)運算結(jié)果做出反饋，這樣便能夠形成完善的評價互動機制。評價互動不僅需要了解并獲取信息，還需要根據(jù)分析結(jié)果做出自動調(diào)整，發(fā)出相應(yīng)的功能請求，在系統(tǒng)程序匯編中構(gòu)建出如下的運算程序公式：

Var X=load（“some_data”.2 to 10）

Var Y=load（“some_data”.1）

Xar（fn-model，summary）=doClassify（X，Y）

公式中形成了評價互動反饋機制，并在系統(tǒng)基本框架構(gòu)建出以xy為軸點的位置區(qū)域，這樣進入到系統(tǒng)評價活動中，對于數(shù)據(jù)信息獲取最終位置的確定也更加合理。評價互動機制的形成，主要體現(xiàn)在功能層面之間的相互配合，互動評價中的功能測試數(shù)據(jù)規(guī)模結(jié)構(gòu)如圖2所示。

3.3? ?完善配套維護制度

高校創(chuàng)新分析系統(tǒng)開發(fā)構(gòu)建過程中，需要對所應(yīng)用的配套設(shè)施進行完善，建立起完善的配套管理制度，并對所構(gòu)建的數(shù)據(jù)信息庫定期更新審核。觀察在數(shù)據(jù)系統(tǒng)中，是否受外界網(wǎng)絡(luò)接入點環(huán)境影響，存在影響數(shù)據(jù)信息安全性的隱患，定期對軟件程序部分自動化檢測。檢測任務(wù)同樣可以建立在信息系統(tǒng)中，由信息系統(tǒng)在數(shù)據(jù)后臺內(nèi)部完成。預(yù)留給操作者的界面十分簡潔，大部分分析計算任務(wù)都是在后臺系統(tǒng)中自動完成的，這樣既保證了速度但不會造成數(shù)據(jù)信息丟失問題。使用Mahout/Spark完成維護過程中的程序分布查找，了解不同類型信息所處的具體位置，這樣在運行使用過程中，可以最大程度確保信息化技術(shù)的高效實現(xiàn)，并通過彼此之間的交互轉(zhuǎn)換來完成更高層次的功能任務(wù)。維護制度中還要體現(xiàn)信息技術(shù)之間的整合要求，高校創(chuàng)新分析系統(tǒng)設(shè)計構(gòu)建中，軟件程序匯編達到預(yù)期標準后，便需要進入到程序內(nèi)部控制中，通過幾種控制方法之間的相互融合，達到更為高效的控制效果。

3.4? ?開展指標適用性分析

指標適用性分析建立在數(shù)據(jù)獲取基礎(chǔ)上，高校創(chuàng)新分析系統(tǒng)構(gòu)建后，隨著創(chuàng)新項目計劃開展會產(chǎn)生大批數(shù)據(jù)，將這些數(shù)據(jù)整合在統(tǒng)一的框架結(jié)構(gòu)內(nèi)，并根據(jù)分析運算結(jié)果判斷軟件控制程序是否符合當前的信息化管理需求。根據(jù)數(shù)據(jù)信息指標反饋結(jié)果，對系統(tǒng)的適用性做出判斷。適用性也具有統(tǒng)一的衡量標準，如果能夠達到標準值上，便表示所確定的軟件匯編程序是正確的，反之則存在安全隱患。需要通過數(shù)據(jù)庫強化更新，保證穩(wěn)定性。系統(tǒng)內(nèi)部的各項控制管理計劃開展，同樣需要通過各項管理功能之間整合聯(lián)系。高校創(chuàng)新分析系統(tǒng)開發(fā)模塊劃分如圖3所示。

4? 大數(shù)據(jù)分析技術(shù)在創(chuàng)新分析系統(tǒng)開發(fā)設(shè)計中的具體應(yīng)用（The application of big data analysistechnology in the development and design of the?innovation analysis system）

4.1? ?數(shù)據(jù)分布排列運算

大數(shù)據(jù)分析中的分布排列運算，是高校創(chuàng)新分析系統(tǒng)開發(fā)設(shè)計中常用的功能部分，通過對數(shù)據(jù)排列方式進行設(shè)計，實現(xiàn)類似數(shù)據(jù)庫的整合。這樣系統(tǒng)運算過程中，便能夠減少數(shù)據(jù)庫內(nèi)部審核所浪費的時間，大數(shù)據(jù)分析需要建立在數(shù)據(jù)庫監(jiān)控基礎(chǔ)上，使用數(shù)據(jù)挖掘技術(shù)創(chuàng)建不同開放接口，通過內(nèi)部控制流程開放，營造出分布式排列中的內(nèi)部控制核心系統(tǒng)，Open API作為主要的大數(shù)據(jù)挖掘技術(shù)，進入到系統(tǒng)內(nèi)部控制核心部分，更需要體現(xiàn)出系統(tǒng)的核心功能穩(wěn)定性。尤其是在系統(tǒng)挖掘設(shè)計中，各個數(shù)據(jù)庫之間的相互整合聯(lián)系情況。區(qū)域智能數(shù)據(jù)中心提供基于云計算的大規(guī)模數(shù)據(jù)存儲及數(shù)據(jù)挖掘平臺，通過平臺服務(wù)器對外接口提供數(shù)據(jù)存儲、分析與挖掘服務(wù)。用戶使用Web瀏覽器或智能終端應(yīng)用程序提出數(shù)據(jù)存儲和分析的服務(wù)請求，經(jīng)Web服務(wù)器通過互聯(lián)網(wǎng)將服務(wù)請求發(fā)送給數(shù)據(jù)中心平臺服務(wù)器，平臺服務(wù)器對服務(wù)請求進行解析，發(fā)送給工作流引擎調(diào)度執(zhí)行，執(zhí)行結(jié)果通過互聯(lián)網(wǎng)發(fā)送給用戶終端。對于數(shù)據(jù)排列與運算分析控制，系統(tǒng)內(nèi)部重點體現(xiàn)在管理功能層方面。數(shù)據(jù)分布排列運算，通過不同排列方式整合來達到功能突破的效果，高校創(chuàng)新分析系統(tǒng)設(shè)計應(yīng)用中應(yīng)該考慮多種客戶端的開發(fā)構(gòu)建，包括移動手機客戶端。教師與學生使用移動手機設(shè)備訪問網(wǎng)絡(luò)的請求不斷增多，通過數(shù)據(jù)分布排列形式變化，實現(xiàn)多種功能之間的融合，移動手機客戶端功能開發(fā)，可增進使用中的客戶體驗感。

4.2? ?基于誤差補償?shù)脑紨?shù)據(jù)恢復(fù)

程序匯編可以使用函數(shù)式遞增方法來進行，這樣更能夠區(qū)分出不同功能層之間的獨立性，所配備的核心硬件資源在大數(shù)據(jù)分析過程中要注重平臺的拓展性，尤其是針對當前比較常見的原始數(shù)據(jù)缺失問題，更應(yīng)該從缺失數(shù)據(jù)值的發(fā)現(xiàn)時間段開始記錄，對誤差進行有效補償，避免誤差繼續(xù)嚴重影響到最終的使用。數(shù)據(jù)缺失值發(fā)現(xiàn)如圖4所示。

原始數(shù)據(jù)一旦缺失在記錄中會有明顯異常，觀察異常情況便能夠了解到原始數(shù)據(jù)的變化問題，將其標錄在系統(tǒng)中，能夠構(gòu)建出的系統(tǒng)應(yīng)用功能，與常規(guī)數(shù)據(jù)之間的結(jié)合效果十分突出，在分析運算中也要重點注意這一標識。針對傳統(tǒng)分析方法交互性和可理解性不足的問題，研究啟發(fā)式、人機交互、可視化數(shù)據(jù)挖掘新技術(shù)，實現(xiàn)大數(shù)據(jù)挖掘的高度人機交互功能。針對大數(shù)據(jù)挖掘分布式調(diào)度的挑戰(zhàn)，研究基于云計算的分布式工作流調(diào)度、負載均衡技術(shù)，構(gòu)建高效分布式工作流執(zhí)行引擎。通過這些技術(shù)方法來減少系統(tǒng)運行中的原始數(shù)據(jù)缺失。

4.3? ?海量異構(gòu)數(shù)據(jù)存儲

海量異構(gòu)數(shù)據(jù)存儲能夠幫助擴大信息化系統(tǒng)的分析能力，首先計算資源要達到標準，高校在創(chuàng)新分析系統(tǒng)優(yōu)化設(shè)計中配備的計算硬件資源參考如下：30臺RH2288運算處理服務(wù)器，CPU核心處理器的內(nèi)核共應(yīng)該達到860核，總共內(nèi)核達到存儲量8TB。硬件部分的核心總存儲量達到600TB。這樣的硬件存儲，在運行過程中可以達到預(yù)期的控制效果，能夠與軟件部分充分配合，從而達到核心處理效果。進入到核心運算處理環(huán)節(jié)中，海量異構(gòu)數(shù)據(jù)存儲數(shù)量十分大，能夠在存儲中達到數(shù)據(jù)中心點的整合，確定中心點后，即使通過數(shù)據(jù)配合，也能避免數(shù)據(jù)基礎(chǔ)中出現(xiàn)相互干擾。海量異構(gòu)數(shù)據(jù)的整合與控制能力，是當前大部分數(shù)據(jù)分析功能不能達到的。高校創(chuàng)新分析系統(tǒng)中，側(cè)重于創(chuàng)新創(chuàng)業(yè)信息匯編整合，幫助學生在校學習期間能夠更深入的了解市場需求變化，市場競爭信息變化速度十分快，要求將變化中的信息特征體現(xiàn)在分析系統(tǒng)中，大數(shù)據(jù)分析中的海量異構(gòu)數(shù)據(jù)處理，重點體現(xiàn)在這一方面，對于數(shù)據(jù)信息的構(gòu)建，以及相互處理十分重要。

4.4? ?多源異構(gòu)數(shù)據(jù)融合

構(gòu)建異構(gòu)處理控制功能層，通過系統(tǒng)之間的相互交換來提升穩(wěn)定性，并避免系統(tǒng)感染，尤其是針對當前的異構(gòu)數(shù)據(jù)源問題，處于功能相互控制系統(tǒng)中，兩者之間相互交換共同控制干擾，提升管理效率。數(shù)據(jù)之間的融合，與數(shù)據(jù)庫構(gòu)建有直接聯(lián)系，通常情況下是將數(shù)據(jù)庫作為基礎(chǔ)來進行深層次的構(gòu)建，體現(xiàn)出數(shù)據(jù)之間的融合性，并與管理計劃相互結(jié)合，共同實現(xiàn)管理效率的提升進步。多源異構(gòu)數(shù)據(jù)的來源不同，通過大數(shù)據(jù)分析技術(shù)應(yīng)用，將其結(jié)合在有效的網(wǎng)絡(luò)平臺中，進而實現(xiàn)更加高效的控制與內(nèi)部整合，數(shù)據(jù)庫之間的聯(lián)系性是變化的，同時也能在完整的結(jié)構(gòu)系統(tǒng)中進行相互轉(zhuǎn)換，達到更理想的控制效果。將大數(shù)據(jù)分析技術(shù)應(yīng)用在高校創(chuàng)新分析系統(tǒng)設(shè)計應(yīng)用中，設(shè)計理念創(chuàng)新同時還需要考察實際情況，評估是否具有可行性。

5? ?結(jié)論（Conclusion）

大數(shù)據(jù)已經(jīng)成為全社會的共識，大數(shù)據(jù)所蘊含的經(jīng)濟價值和創(chuàng)新價值已經(jīng)引起社會各界的高度關(guān)注。我國擁有海量豐富的數(shù)據(jù)資源，廣闊多樣的應(yīng)用場景，潛力巨大的消費市場，當務(wù)之急是如何快速有效突破數(shù)據(jù)價值挖掘的瓶頸。大數(shù)據(jù)分析與應(yīng)用平臺，是大數(shù)據(jù)時代必備的基礎(chǔ)設(shè)施，也是突破當前技術(shù)瓶頸的有效突破口。開發(fā)和建設(shè)大數(shù)據(jù)分析與應(yīng)用平臺將帶來三個方面的價值：第一，有助于不斷匯集大數(shù)據(jù)技術(shù)創(chuàng)新成果，并用最先進的技術(shù)為用戶提供一站式的應(yīng)用服務(wù);第二，有助于降低用戶技術(shù)門檻，為應(yīng)用開發(fā)提供共性基礎(chǔ)設(shè)施與服務(wù)，從而加快應(yīng)用創(chuàng)新;第三，有助于形成大數(shù)據(jù)技術(shù)產(chǎn)品和行業(yè)解決方案，促進我國大數(shù)據(jù)產(chǎn)業(yè)加快形成。將大數(shù)據(jù)分析技術(shù)應(yīng)用在高校創(chuàng)新分析系統(tǒng)設(shè)計中，具有廣闊的開發(fā)前景。

參考文獻（References）

[1] 孫艷.基于互聯(lián)網(wǎng)大數(shù)據(jù)的高校網(wǎng)絡(luò)關(guān)注度分析——以無錫地區(qū)為例[J].三門峽職業(yè)技術(shù)學院學報，2016（4）：52-56.

[2] 牛雨.基于大數(shù)據(jù)背景的高校學生管理信息化分析[J].中國新通信，2017，19（5）：27.

[3] 楊居義.基于高校教學督導(dǎo)共享平臺大數(shù)據(jù)分析研究[J].課程教育研究，2016（10）：33-36.

[4] 沈蕾.大數(shù)據(jù)分析平臺支持下高校智慧校園建設(shè)研究[J].教育現(xiàn)代化，2018（7）：035-036.

[5] 劉攀，王倩.大數(shù)據(jù)背景下的高?！禛NSS定位測量》的教學設(shè)計研究[J].中國包裝，2018（3）：045-046.

[6] 劉震.基于大數(shù)據(jù)分析的高校教學工作創(chuàng)新研究[J].晉城職業(yè)技術(shù)學院學報，2017，10（4）：45-47.