高校數(shù)據(jù)資源池建設(shè)的模型設(shè)計(jì)與運(yùn)行機(jī)制研究

黃傳峰，尚渡新，陳銘軒

(南京工程學(xué)院 經(jīng)濟(jì)管理學(xué)院，南京 211167)

0 引言

大數(shù)據(jù)時(shí)代下，信息與數(shù)據(jù)的利用服務(wù)于各行各業(yè)，深刻影響著人們的工作、生活，并推動(dòng)了高校信息化建設(shè)2.0時(shí)代的變革與發(fā)展。與此同時(shí)，非一線行業(yè)如高校也暴露出了脫產(chǎn)的弊端，即高校所使用到的信息數(shù)據(jù)資源價(jià)值遠(yuǎn)遠(yuǎn)小于其實(shí)際蘊(yùn)含的價(jià)值，因此我們不僅可以將硬件資源信息化，同時(shí)考慮將高校內(nèi)的數(shù)據(jù)也整合為虛擬化資源池供數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行過(guò)濾提煉，并用于數(shù)據(jù)挖掘和決策分析。而數(shù)據(jù)資源池技術(shù)作為一種將數(shù)據(jù)、服務(wù)器，存儲(chǔ)、網(wǎng)絡(luò)、都整合成一個(gè)虛擬的資源池(如圖1)，這樣應(yīng)用軟件需要的資源可以在資源池里抓取，不僅能夠提升高校的服務(wù)器資源的利用率、數(shù)據(jù)可用性，同時(shí)也可以指導(dǎo)高校管理做出科學(xué)決策。

圖1 高校內(nèi)虛擬資源池整合

虛擬資源池作為實(shí)現(xiàn)融合基礎(chǔ)設(shè)施結(jié)構(gòu)與數(shù)據(jù)的關(guān)鍵要素，是共享服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)的集合，能夠根據(jù)應(yīng)用程序的要求更快地進(jìn)行重新配置，從而使管理員能夠比以往更容易、更快捷地支持業(yè)務(wù)需求的變化。在云計(jì)算環(huán)境下，資源不再是分散的硬件，而是將物理服務(wù)器經(jīng)過(guò)整合之后，形成一個(gè)或多個(gè)邏輯上的虛擬資源池，共享包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源。資源池可以委派對(duì)集群資源的控制權(quán)，在使用資源池劃分集群內(nèi)的所有資源時(shí)，其優(yōu)勢(shì)非常明顯。首先可以創(chuàng)建多個(gè)資源池作為主機(jī)或集群的直接子級(jí)，并對(duì)它們進(jìn)行配置。然后可向其他個(gè)人或組織委派對(duì)資源池的控制權(quán)[1]。在高校信息化環(huán)境下的大數(shù)據(jù)統(tǒng)一(管理)資源池平臺(tái)是基于特定用戶大量的行為數(shù)據(jù)在統(tǒng)一管理資源池平臺(tái)中進(jìn)行數(shù)據(jù)分析、利用及可視化處理用于為學(xué)校的管理帶來(lái)智能化的改變和效率的提升。

1 相關(guān)研究

目前對(duì)資源池的應(yīng)用，眾多學(xué)者和業(yè)內(nèi)人士已經(jīng)在多方面展開(kāi)了研究。葛中澤[2]等提出對(duì)資源池?cái)?shù)據(jù)訪問(wèn)模式的探討，通過(guò)對(duì)傳統(tǒng)模式和資源池模式的測(cè)試對(duì)比，針對(duì)提高服務(wù)器端的資源利用率、提高系統(tǒng)的性能為目的，提出了基于資源池模式原件設(shè)計(jì)的一般方法，并作為引例詳細(xì)闡述了圖書管理信息系統(tǒng)中的資源和資源池的設(shè)計(jì)，以及資源池的管理策略和管理線程。該研究在資源池的運(yùn)行模式建設(shè)中有較高的利用價(jià)值，在物理層方面服務(wù)器的資源利用率確實(shí)是一個(gè)瓶頸，對(duì)于高校來(lái)講，服務(wù)器的高利用率意味著可以減少硬件的堆疊，降低資金投入，減少運(yùn)維成本同時(shí)帶來(lái)更好的用戶體驗(yàn)。在資源池的建設(shè)方面，劉波等[3]分析了基于私有云的資源池建設(shè)要點(diǎn)。針對(duì)數(shù)據(jù)流量的爆發(fā)式增長(zhǎng)，為提升用戶體驗(yàn)、業(yè)務(wù)效率引入IT支撐系統(tǒng)資源池部署以及云計(jì)算和大數(shù)據(jù)技術(shù)的應(yīng)用，提出需架構(gòu)需集中化、平臺(tái)化、安全又靈活的IT支撐私有云架構(gòu)。其中針對(duì)IT支撐系統(tǒng)分散，組網(wǎng)架構(gòu)技術(shù)標(biāo)準(zhǔn)不統(tǒng)一等現(xiàn)狀采用明確資源池對(duì)上層應(yīng)用提供通用接口的要求并不斷進(jìn)行優(yōu)化。在高校的資源池建設(shè)中也可采用同類方法處理不同業(yè)務(wù)系統(tǒng)提供的信息數(shù)據(jù)從而加以整合形成可利用的信息資源池，用以打破高校目前面臨的信息“孤島”問(wèn)題。沈銳[4]等提出基于資源池的資源聚合機(jī)制，由于系統(tǒng)的動(dòng)態(tài)性和自治性特點(diǎn)非常突出，系統(tǒng)服務(wù)質(zhì)量很難得到保證，而該應(yīng)用機(jī)制將所需資源合成資源池，并在運(yùn)行過(guò)程中即使部分節(jié)點(diǎn)由于系統(tǒng)故障、超載等原因中途退出任務(wù)處理，用戶的服務(wù)請(qǐng)求仍能得到處理和呼應(yīng)。該機(jī)制的應(yīng)用極大緩解了機(jī)器故障帶來(lái)的不確定性和緊張感，其將需求虛擬化和本文提出的數(shù)據(jù)虛擬化相類似，有效地提高了系統(tǒng)的服務(wù)質(zhì)量。劉振恒等[5]設(shè)計(jì)了基于開(kāi)源KVM虛擬胡資源池以及動(dòng)態(tài)的JBoss負(fù)載均衡技術(shù)的框架結(jié)構(gòu)，實(shí)現(xiàn)了一個(gè)能夠按需分配的資源池，提高了高校內(nèi)數(shù)字化資源動(dòng)態(tài)。崔嘉[6]探討了云計(jì)算的資源池管理，較詳細(xì)地針對(duì)數(shù)據(jù)資源、計(jì)算資源等進(jìn)行了分析，對(duì)私有云資源池管理具有一定借鑒作用。沈志豪、梅峰等[7]針對(duì)設(shè)備資源利用率不高，同時(shí)設(shè)備維護(hù)管理成本持續(xù)增加設(shè)研究了基于虛擬化的資源池技術(shù)。

高校內(nèi)部的信息系統(tǒng)建設(shè)本身對(duì)用戶體驗(yàn)、儲(chǔ)存能力、智能化有著較高要求。通過(guò)引入資源池建設(shè)與“數(shù)據(jù)閉環(huán)”的模型設(shè)計(jì)與運(yùn)行機(jī)制，以解決高校信息資源利用率低、用戶體驗(yàn)差、業(yè)務(wù)系統(tǒng)分散、信息孤島等問(wèn)題。

2 校園數(shù)據(jù)資源與虛擬化

數(shù)據(jù)資源虛擬化是資源池運(yùn)行的前提，也是智能化校園建設(shè)的主題和目標(biāo)，當(dāng)今大數(shù)據(jù)(智能)的浪潮已經(jīng)進(jìn)入各類行業(yè)，在大數(shù)據(jù)時(shí)代和高校信息化建設(shè)2.0時(shí)代的雙重發(fā)展下，資源池建設(shè)作為提升校園管理智能化、個(gè)性化的新途徑，也對(duì)高校的教育管理產(chǎn)生了深遠(yuǎn)的影響。高校作為高等教育的人才培養(yǎng)中心，在許多特定時(shí)期及日常工作中都會(huì)產(chǎn)生大量與學(xué)生相關(guān)的信息數(shù)據(jù)，這些數(shù)據(jù)也為高校帶來(lái)了重大機(jī)遇和艱巨的挑戰(zhàn)。高校數(shù)據(jù)呈現(xiàn)多樣化、異構(gòu)化、多源且跨行業(yè)整合的大規(guī)模數(shù)據(jù)，特別是半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，必須解決數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)管理、數(shù)據(jù)應(yīng)用等多方面的問(wèn)題[8-9]。

資源池的模型對(duì)處理大數(shù)據(jù)方面具有提高應(yīng)用性能等先天優(yōu)勢(shì)，帶來(lái)的高效率并行處理(massively parallel processing,MPP)逐漸成為高校治理體系和管理能力現(xiàn)代化水平的關(guān)鍵因素。因此將資源池技術(shù)積極納入校園管理中，使高校在校生進(jìn)行各種活動(dòng)時(shí)所產(chǎn)生的各種數(shù)據(jù)成為高校制定管理方案的“決策源”，從而進(jìn)行更為精確的信息決策有著更加深遠(yuǎn)的意義。然而許多高校的信息中心通常將重點(diǎn)放在已經(jīng)可視化的結(jié)構(gòu)化大數(shù)據(jù)中，對(duì)學(xué)生日?；顒?dòng)及特殊教學(xué)工作所產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)沒(méi)有引起足夠的重視。對(duì)管理者來(lái)說(shuō)全面了解學(xué)生在高校中的真實(shí)需求和學(xué)生的基本生活狀態(tài)，提升高校的教學(xué)質(zhì)量，全面素質(zhì)化教育和推動(dòng)高校信息化建設(shè)2.0時(shí)代的發(fā)展，將數(shù)據(jù)整合在資源池中加以應(yīng)用，在校園管理中就顯得尤為重要。

在數(shù)據(jù)虛擬化環(huán)節(jié)中，由于高校內(nèi)獲得教學(xué)信息的途徑多樣，且數(shù)據(jù)比較分散，存在數(shù)據(jù)重復(fù)收集，匯聚精確信息難，二級(jí)部門收集后保存時(shí)間短，同時(shí)由于信息基礎(chǔ)架構(gòu)模式?jīng)]有很好的規(guī)劃，很多系統(tǒng)數(shù)據(jù)僅僅為了解決某些特定的業(yè)務(wù)而存在，沒(méi)有針對(duì)性的做集中化及數(shù)據(jù)聚合，本應(yīng)有緊密聯(lián)系的相關(guān)管理系統(tǒng)，實(shí)際上卻沒(méi)有相應(yīng)的關(guān)聯(lián)，很大程度上影響了共享資源池的數(shù)據(jù)利用，造成難以對(duì)數(shù)據(jù)綜合利用。與此同時(shí)大多數(shù)在高校數(shù)據(jù)儲(chǔ)存部分未對(duì)數(shù)據(jù)進(jìn)行分類和虛擬化，而是直接在物理設(shè)備上存儲(chǔ)，也就必然存在成本高，應(yīng)用效率低，運(yùn)維難度大等問(wèn)題。

對(duì)師生而言，資源池的建設(shè)也可以為用戶提供更加個(gè)性化和智能化的服務(wù)，也為改善傳統(tǒng)教育管理模式的種種弊端提出了新的解決方法。由于高校大多數(shù)信息業(yè)務(wù)緊緊圍繞學(xué)生的學(xué)業(yè)活動(dòng)，具有較強(qiáng)的峰谷負(fù)載特征。但是目前多數(shù)高校的信息平臺(tái)通常是按照當(dāng)時(shí)峰值負(fù)載來(lái)設(shè)計(jì)的，這導(dǎo)致業(yè)務(wù)空閑期大量資源的浪費(fèi)，同時(shí)在業(yè)務(wù)高峰時(shí)無(wú)法滿足用戶需求，也給信息中心帶來(lái)不便。

在高校數(shù)據(jù)資源池模式建設(shè)與運(yùn)行機(jī)制方面，由于大部分高校對(duì)數(shù)據(jù)價(jià)值的認(rèn)識(shí)還停留在表面，重硬件堆疊，輕數(shù)據(jù)深度利用，從而缺乏對(duì)數(shù)據(jù)資源的統(tǒng)一規(guī)劃和深入分析，從而導(dǎo)致各部門在數(shù)據(jù)資源管理方面缺乏有效的管理機(jī)制，導(dǎo)致數(shù)據(jù)資源效能不高，因此在數(shù)據(jù)資源池建設(shè)方面需要考慮高校內(nèi)復(fù)雜的業(yè)務(wù)邏輯及流程、處理大量學(xué)生數(shù)據(jù)、相關(guān)子系統(tǒng)之間的業(yè)務(wù)系統(tǒng)融合等。

3 高校大數(shù)據(jù)資源池模型應(yīng)用

該模型基于高校的業(yè)務(wù)現(xiàn)狀，利用數(shù)據(jù)資源虛擬化，結(jié)合資源池技術(shù)和理念，提出了智能化的閉環(huán)數(shù)據(jù)資源池信息框架，如圖2所示。

圖2 高校數(shù)據(jù)資源池模型

高校資源池應(yīng)用模型由資源池和管理運(yùn)營(yíng)平臺(tái)組成，資源池主要由計(jì)算資源模塊、網(wǎng)絡(luò)資源模塊和存儲(chǔ)資源模塊，存儲(chǔ)資源模塊又分為云資源模塊和本地資源模塊。在該平臺(tái)模型中并不直接存儲(chǔ)數(shù)據(jù)，也不進(jìn)行數(shù)據(jù)挖掘和分析，正如物理硬件層面的虛擬化一樣，而是對(duì)數(shù)據(jù)資源進(jìn)行重新整理和抽象虛擬化，再結(jié)合外部提供的資源進(jìn)行業(yè)務(wù)需求處理。

3.1 計(jì)算資源模塊

計(jì)算資源(computing resource)模塊對(duì)資源池的支撐關(guān)鍵在于底層物理元件的異構(gòu)融合，將物理邏輯結(jié)構(gòu)上相對(duì)獨(dú)立的硬件實(shí)現(xiàn)虛擬邏輯上的整合，然后重新定義，不再受限于單臺(tái)物理服務(wù)器的計(jì)算界限，使如中央處理器(CPU)等硬件設(shè)備成為動(dòng)態(tài)管理的對(duì)象，實(shí)現(xiàn)1+1>2的效果，從而為資源池的運(yùn)行提供充沛的計(jì)算能力。計(jì)算資源模塊由高?，F(xiàn)有的服務(wù)器資源以及云服務(wù)器計(jì)算資源融合得到，通過(guò)多臺(tái)真是物理服務(wù)器和虛擬服務(wù)器組成服務(wù)器群，服務(wù)器虛擬技術(shù)對(duì)物理服務(wù)器進(jìn)行重新整合，實(shí)現(xiàn)了已有資源的高效利用，同時(shí)提升了整體計(jì)算性能和系統(tǒng)管理能力[10]。隨著信息化的不斷發(fā)展，高校內(nèi)的辦公教學(xué)系統(tǒng)不斷增多，功能需求不斷提高，各教學(xué)管理中心和二級(jí)學(xué)院之間的數(shù)據(jù)中心造成極大的計(jì)算資源浪費(fèi)。與此同時(shí)，當(dāng)高校有新功能和業(yè)務(wù)并發(fā)增加時(shí)，物理資源的增加能力和成本額度也十分受限，但虛擬化的計(jì)算資源模塊具有動(dòng)態(tài)自增長(zhǎng)和收縮的特點(diǎn)，很容易滿足新業(yè)務(wù)和高并發(fā)的計(jì)算資源需求。

3.2 網(wǎng)絡(luò)資源模塊

網(wǎng)絡(luò)資源(network resource)模塊是數(shù)據(jù)資源池抽象后完成數(shù)據(jù)處理和資源虛擬的匹配，網(wǎng)絡(luò)虛擬資源模塊包括了網(wǎng)絡(luò)節(jié)點(diǎn)、鏈路、接口等基本要素，校園網(wǎng)內(nèi)包含兩套網(wǎng)絡(luò)系統(tǒng)，包括局域網(wǎng)和廣域網(wǎng)，通過(guò)NAT接入外網(wǎng)。校園局域網(wǎng)并存著教務(wù)系統(tǒng)、科研服務(wù)、財(cái)務(wù)系統(tǒng)，在這之間又包含對(duì)學(xué)生和教師開(kāi)放的與你專用網(wǎng)絡(luò)(VPN)服務(wù)。高校內(nèi)多種網(wǎng)絡(luò)應(yīng)用服務(wù)并存于相同的網(wǎng)絡(luò)環(huán)境里，因此網(wǎng)絡(luò)的高可用性、擴(kuò)展性和高速傳輸就顯得尤為重要。對(duì)應(yīng)資源池的網(wǎng)絡(luò)結(jié)構(gòu)采用網(wǎng)絡(luò)控制和應(yīng)用控制，通過(guò)優(yōu)先級(jí)策略分配貸款，結(jié)合身份驗(yàn)證和安全隔離技術(shù)實(shí)現(xiàn)高效的網(wǎng)絡(luò)服務(wù)資源分配。

3.3 數(shù)據(jù)資源模塊

數(shù)據(jù)資源(data resources)模塊是資源池虛擬化的核心模塊，在該模塊中實(shí)現(xiàn)虛擬數(shù)據(jù)對(duì)象的控制，進(jìn)行對(duì)數(shù)據(jù)重新整合、確立權(quán)威數(shù)據(jù)、進(jìn)行抽象和提取等一系列操作，并為上層提供統(tǒng)一數(shù)據(jù)接口。數(shù)據(jù)虛擬對(duì)象是儲(chǔ)存資源模塊的數(shù)據(jù)進(jìn)行融合，抽象出新的數(shù)據(jù)對(duì)象[11]，提供給資源池平臺(tái)統(tǒng)一使用。通過(guò)儲(chǔ)存資源控制器達(dá)到屏蔽底層硬件的物理異構(gòu)，對(duì)資源池而言儲(chǔ)存資源模塊的數(shù)據(jù)是一片“水”，具有透明性、一致性強(qiáng)且集中，對(duì)計(jì)算機(jī)系統(tǒng)而言，“資源池化”后的數(shù)據(jù)相當(dāng)于一個(gè)高可塑性的“電資源”，相對(duì)的同構(gòu)化且具有高度的可用性，通過(guò)資源池模型的處理直接產(chǎn)出“數(shù)據(jù)產(chǎn)品”。對(duì)用戶而言，可以只關(guān)心處理后的數(shù)據(jù)結(jié)果，在終端完成不同院系間、不同系統(tǒng)間的高效產(chǎn)出工作。實(shí)現(xiàn)了數(shù)據(jù)便捷、一致、集中的結(jié)果，進(jìn)而可以完全不用理會(huì)數(shù)據(jù)異構(gòu)型帶來(lái)的不兼容問(wèn)題，不同院系間的信息孤島、各個(gè)系統(tǒng)間數(shù)據(jù)壁壘高引發(fā)數(shù)據(jù)不通用的問(wèn)題。

同時(shí)該層不會(huì)開(kāi)放數(shù)據(jù)庫(kù)的存儲(chǔ)和提取權(quán)限，也無(wú)法通過(guò)如結(jié)構(gòu)化查詢語(yǔ)言(SQL)等進(jìn)行系統(tǒng)操作或事先格式化的操作，而是通過(guò)模型化的算法、數(shù)據(jù)接口函數(shù)、認(rèn)為定義等方式進(jìn)行匯聚處理和虛擬化。該模塊通過(guò)在軟件維度上的數(shù)據(jù)虛擬化也就意味著完全擺脫了傳統(tǒng)意義上的數(shù)據(jù)分析、數(shù)據(jù)管理和數(shù)據(jù)應(yīng)用，不再受限于人工+管理系統(tǒng)的形式，而是引入人工智能模型，通過(guò)算法對(duì)數(shù)據(jù)進(jìn)行加工和處理。在數(shù)據(jù)分析方面由于全部數(shù)據(jù)基于全部統(tǒng)一標(biāo)準(zhǔn)，因此可以為數(shù)據(jù)倉(cāng)庫(kù)提供更為快速和準(zhǔn)確的數(shù)據(jù)，而不用再考慮數(shù)據(jù)源的底層異構(gòu)和融合問(wèn)題。數(shù)據(jù)虛擬化是對(duì)數(shù)據(jù)表象的一種升華，其背后的真實(shí)數(shù)據(jù)控制器決定了融合后數(shù)據(jù)的可用性和便利性。每一種虛擬數(shù)據(jù)對(duì)象都配備有相應(yīng)的虛擬數(shù)據(jù)對(duì)象控制器，負(fù)責(zé)提取數(shù)據(jù)匯聚層下方的真實(shí)數(shù)據(jù)格式，然后封裝為對(duì)象的虛擬數(shù)據(jù)對(duì)象進(jìn)入數(shù)據(jù)匯聚層，提供給上層統(tǒng)一規(guī)范后的數(shù)據(jù)進(jìn)行使用，與此同時(shí)上層傳遞過(guò)來(lái)的數(shù)據(jù)再通過(guò)數(shù)據(jù)控制器解封裝傳給數(shù)據(jù)匯聚層進(jìn)行真實(shí)的數(shù)據(jù)存儲(chǔ)和傳輸。例如學(xué)生對(duì)象(student)包含基本信息(student_ID、student_num)等多個(gè)主鍵和外鍵，而通過(guò)數(shù)據(jù)控制器會(huì)提供具體方法產(chǎn)生一個(gè)查詢多個(gè)數(shù)據(jù)庫(kù)后集成的表單，這樣就避免了因高校內(nèi)多個(gè)業(yè)務(wù)系統(tǒng)存在交集的數(shù)據(jù)而缺乏權(quán)威標(biāo)準(zhǔn)，同時(shí)又彌補(bǔ)了單一數(shù)據(jù)庫(kù)信息不全的缺點(diǎn)。如遇到數(shù)據(jù)產(chǎn)生交集且不一致時(shí)，權(quán)威數(shù)據(jù)可以通過(guò)分析業(yè)務(wù)流的數(shù)據(jù)流來(lái)確定。如學(xué)生基本信息來(lái)源于學(xué)生入學(xué)時(shí)在教務(wù)系統(tǒng)錄入產(chǎn)生，而后分發(fā)給其他系統(tǒng)，因此從業(yè)務(wù)流上分析學(xué)生的基本信息如遇到自其他系統(tǒng)中或者產(chǎn)生變動(dòng)應(yīng)以教務(wù)系統(tǒng)的數(shù)據(jù)為權(quán)威。同樣的交集數(shù)據(jù)情況也可以通過(guò)這種方法來(lái)確定權(quán)威數(shù)據(jù)。

3.4 儲(chǔ)存資源模塊

儲(chǔ)存資源(storage resources)模塊是虛擬資源池模型真實(shí)數(shù)據(jù)存儲(chǔ)的核心，該模塊圍繞真實(shí)數(shù)據(jù)信息提供存儲(chǔ)系統(tǒng)，對(duì)數(shù)據(jù)進(jìn)行備份和容災(zāi)，包含本地物理存儲(chǔ)和云服務(wù)器存儲(chǔ)，該模塊為資源池提供原始數(shù)據(jù)，這些數(shù)據(jù)可以是結(jié)構(gòu)化、半結(jié)構(gòu)化或者非結(jié)構(gòu)化的，可以來(lái)自關(guān)系數(shù)據(jù)庫(kù)也可以來(lái)自非關(guān)系數(shù)據(jù)庫(kù)。通過(guò)儲(chǔ)存資源控制器達(dá)到屏蔽底層硬件的物理異構(gòu)，對(duì)服務(wù)器而言處理的是同構(gòu)的統(tǒng)一數(shù)據(jù)，會(huì)大大增加儲(chǔ)存器的儲(chǔ)存能力，提高利用效率。

4 基于高校數(shù)據(jù)資源池的運(yùn)行機(jī)制

高效資源池的應(yīng)用改變了傳統(tǒng)IT系統(tǒng)的資源配置模式，使得IT系統(tǒng)的資源配置更靈活、高效。資源池在高校多子系統(tǒng)的環(huán)境下實(shí)現(xiàn)資源、管理、服務(wù)方面的協(xié)同演進(jìn)構(gòu)建智能化、高效化、動(dòng)態(tài)化的資源服務(wù)平臺(tái)。

圖3 高校數(shù)據(jù)資源池平臺(tái)的運(yùn)行架構(gòu)

資源池管理運(yùn)營(yíng)體系與實(shí)際生產(chǎn)環(huán)境的結(jié)合應(yīng)用機(jī)制受到更為廣泛的關(guān)注和重視。通常高校內(nèi)系統(tǒng)建設(shè)方式導(dǎo)致系統(tǒng)資源無(wú)法共享、響應(yīng)業(yè)務(wù)需求慢的現(xiàn)狀，資源池通過(guò)主機(jī)、存儲(chǔ)等虛擬化技術(shù)建立跨系統(tǒng)的共享資源池，提供資源的動(dòng)態(tài)分配，具有高可用性的處理能力。上述文章針對(duì)資源池的建設(shè)和運(yùn)營(yíng)體系進(jìn)行了深度研究，其中設(shè)計(jì)研究方法為高校資源池的建設(shè)提供了較好的借鑒。但高校內(nèi)數(shù)據(jù)往往錯(cuò)綜復(fù)雜，各業(yè)務(wù)部門系統(tǒng)之間的數(shù)據(jù)冗余度高、無(wú)統(tǒng)一規(guī)范，需要更具針對(duì)性的數(shù)據(jù)資源池應(yīng)用。

在該資源池模型應(yīng)用機(jī)制下，把高校內(nèi)所有子系統(tǒng)和業(yè)務(wù)系統(tǒng)和學(xué)生端軟件(如選課系統(tǒng)、教務(wù)系統(tǒng)、圖書館系統(tǒng)、信息辦業(yè)務(wù)軟件)部署在該資源池上，所有的應(yīng)用均在該資源池客戶端上運(yùn)行，實(shí)現(xiàn)C端的融合，后端的運(yùn)行區(qū)分。高校的學(xué)生數(shù)據(jù)資源由“分散”到“集中”，有效地避免了信息的孤島化，模塊化，管理費(fèi)用和建設(shè)費(fèi)用也勢(shì)必減少，高校管理的過(guò)程中為了更加智能化人性化的管理學(xué)生，以學(xué)生的需求為出發(fā)點(diǎn)，大數(shù)據(jù)時(shí)代下了解學(xué)生需求的最有效的途徑就是通過(guò)學(xué)校的管理系統(tǒng)手機(jī)與學(xué)生相關(guān)的數(shù)據(jù)，提取和分析其中的潛在價(jià)值，進(jìn)而分析學(xué)生的真實(shí)訴求?；谔摂M化軟件簡(jiǎn)歷資源池統(tǒng)一管理平臺(tái)，實(shí)現(xiàn)資源的智能調(diào)配、資源池?cái)?shù)據(jù)安全、子系統(tǒng)接入等應(yīng)用。該應(yīng)用機(jī)制實(shí)現(xiàn)對(duì)服務(wù)器集群、計(jì)算資源模塊，儲(chǔ)存模塊、數(shù)據(jù)模塊等基礎(chǔ)資源環(huán)境的統(tǒng)一管理、實(shí)現(xiàn)基于用戶優(yōu)先級(jí)差別化性能管理和性能分配，提升對(duì)用戶行為控制的效率，通過(guò)智能化的流程提供服務(wù)。

5 業(yè)務(wù)運(yùn)行結(jié)果分析

通過(guò)分析高校內(nèi)的業(yè)務(wù)現(xiàn)狀，以高校選課系統(tǒng)為試點(diǎn)，結(jié)合業(yè)務(wù)環(huán)境遇到的問(wèn)題利用資源池技術(shù)加持對(duì)比得出一些實(shí)驗(yàn)結(jié)論。引入資源池模型后，使選課系統(tǒng)的后端結(jié)構(gòu)由后端程序+冷數(shù)據(jù)庫(kù)轉(zhuǎn)變?yōu)楹蠖顺绦?Redis+虛擬資源池，由于資源池是使用虛擬同構(gòu)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)在虛擬資源池中，所以比一般存儲(chǔ)在硬盤中的數(shù)據(jù)庫(kù)有IO的先天優(yōu)勢(shì)，同時(shí)由于Redis是使用Hash表的內(nèi)存數(shù)據(jù)庫(kù)，所以查詢效率在最優(yōu)情況下為O(1)，極少情況到達(dá)最壞情況O(n)，可以在高并發(fā)量下顯示出優(yōu)勢(shì)。

表1 Jemter測(cè)試數(shù)據(jù)

后端程序在選課前使教務(wù)系統(tǒng)中與學(xué)工系統(tǒng)冷數(shù)據(jù)庫(kù)中的異構(gòu)數(shù)據(jù)載入資源池，通過(guò)資源池的數(shù)據(jù)虛擬化模塊整合選課所需關(guān)鍵數(shù)據(jù)，并且通過(guò)讀取前端返回?cái)?shù)據(jù)進(jìn)行選課(如圖4)，在訪問(wèn)量減少時(shí)和結(jié)束時(shí)，將Redis數(shù)據(jù)遷移到資源池中，從而完成選課數(shù)據(jù)的虛擬同構(gòu)化。

圖4 選課系統(tǒng)前端界面

在傳統(tǒng)的服務(wù)器上進(jìn)行擴(kuò)展，將服務(wù)器分為后端程序服務(wù)器與資源池服務(wù)器，并且對(duì)這兩塊服務(wù)器進(jìn)行集群處理，用以提升查詢效率。對(duì)于資源池應(yīng)用，設(shè)置協(xié)調(diào)服務(wù)器，動(dòng)態(tài)監(jiān)測(cè)服務(wù)器的狀態(tài)，對(duì)CPU設(shè)置閥值，將數(shù)據(jù)處理盡可能平均地分配給多個(gè)資源池服務(wù)器，并且在資源不足時(shí)申請(qǐng)新的云服務(wù)器，將新申請(qǐng)的服務(wù)器使用虛擬資源池服務(wù)器的鏡像，同時(shí)加入集群。對(duì)于虛擬資源池，將需要同步的數(shù)據(jù)(比如選課的課程余量)設(shè)置在單一服務(wù)器，將不相干數(shù)據(jù)設(shè)置在多個(gè)服務(wù)器(比如學(xué)生學(xué)號(hào)與密碼，學(xué)生所對(duì)應(yīng)的空閑時(shí)間段，課程)，將部分可分割數(shù)據(jù)設(shè)置在多個(gè)服務(wù)器(學(xué)生學(xué)號(hào)對(duì)應(yīng)的空閑時(shí)間段，課程，將各個(gè)不同的學(xué)院布置在多個(gè)服務(wù)器上)。數(shù)據(jù)資源池對(duì)于后端程序和數(shù)據(jù)庫(kù)，相當(dāng)于私有云數(shù)據(jù)庫(kù)，由于有專門的數(shù)據(jù)和程序服務(wù)器，使得查詢和傳輸后端數(shù)據(jù)的資源分?jǐn)傇诙鄠€(gè)設(shè)備上，同時(shí)得益于資源池?cái)?shù)據(jù)的統(tǒng)一性和隨時(shí)動(dòng)態(tài)擴(kuò)展的優(yōu)勢(shì)，可以在數(shù)據(jù)量再次擴(kuò)大時(shí)對(duì)資源池進(jìn)行升級(jí)或添加新的數(shù)據(jù)服務(wù)器，以適應(yīng)更大的并發(fā)。本項(xiàng)目使用vmware server進(jìn)行服務(wù)器的虛擬化，便捷地將服務(wù)器虛擬出宿主操作系統(tǒng)，以最大程度凸顯資源池的虛擬環(huán)境。對(duì)于后端程序服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行單獨(dú)測(cè)試，使用C#或其他本地化的語(yǔ)言寫測(cè)試程序，利用jemter測(cè)試Web API的承載并發(fā)能力(如表1)，可以減少瀏覽器對(duì)于網(wǎng)頁(yè)渲染對(duì)測(cè)試后端程序服務(wù)器與數(shù)據(jù)資源池的服務(wù)器的影響，以更真實(shí)地請(qǐng)求完成資源池效能測(cè)試。

6 結(jié)語(yǔ)

高校數(shù)據(jù)資源池的建設(shè)利用數(shù)據(jù)資源池技術(shù)、虛擬化技術(shù)，在原有硬件虛擬化的基礎(chǔ)之上實(shí)現(xiàn)了高校內(nèi)異構(gòu)數(shù)據(jù)的高度集成，為信息中心對(duì)大數(shù)據(jù)的應(yīng)用提供了統(tǒng)一的源數(shù)據(jù)環(huán)境。資源池平臺(tái)的搭建為高校提供了一個(gè)信息統(tǒng)一管理的平臺(tái)，實(shí)現(xiàn)了對(duì)數(shù)據(jù)動(dòng)態(tài)、高效地靈活調(diào)度，同時(shí)和物力資源進(jìn)行智能彈性組合，很好地解決了數(shù)據(jù)差異大帶來(lái)的數(shù)據(jù)資源利用率低的問(wèn)題，必將為學(xué)生、老師帶來(lái)更大的便利，也為高校的信息化發(fā)展提供了良好的數(shù)據(jù)發(fā)展空間。