基于大數(shù)據(jù)技術(shù)的實(shí)驗(yàn)室建設(shè)與管理探討

張君君

摘 要：在大數(shù)據(jù)時代，數(shù)據(jù)應(yīng)用的價(jià)值逐漸受到了人們的重視，通過大數(shù)據(jù)技術(shù)的發(fā)展，在高校教學(xué)資源中應(yīng)發(fā)揮了重要的作用。建設(shè)大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室可以實(shí)現(xiàn)更多的功能，使教學(xué)需求得到滿足，同時提升了實(shí)驗(yàn)室的水平。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);實(shí)驗(yàn)室;建設(shè);管理

引言

隨著科技的快速發(fā)展，數(shù)據(jù)量也大幅度增長，在這種趨勢下，大數(shù)據(jù)技術(shù)得到了進(jìn)一步發(fā)展，各個高校在開展教學(xué)的同時，也對大數(shù)據(jù)技術(shù)人才培養(yǎng)采取了有效的措施，通過大數(shù)據(jù)技術(shù)的有效應(yīng)用，可以為教學(xué)提供更多的資源。但是由于高校中缺少完善的實(shí)驗(yàn)基地，難以滿足實(shí)際的需求，應(yīng)通過大數(shù)據(jù)技術(shù)對實(shí)驗(yàn)室進(jìn)行改善，提升實(shí)驗(yàn)室的建設(shè)水平，使實(shí)驗(yàn)室能夠在高校中發(fā)揮出更好的作用。

1大數(shù)據(jù)技術(shù)概述

1.1 大數(shù)據(jù)技術(shù)的基本含義

大數(shù)據(jù)作為一種信息化特點(diǎn)的資源，具有較多的應(yīng)用價(jià)值，數(shù)據(jù)的獲得有著真實(shí)性特點(diǎn)，難以通過其他的方式模擬出來，需要使用設(shè)備來獲取。大數(shù)據(jù)技術(shù)能夠?qū)?shù)據(jù)進(jìn)行收集和處理，使數(shù)據(jù)得到全面的分析，并且能夠進(jìn)行大量的數(shù)據(jù)處理。大數(shù)據(jù)本身具有復(fù)雜性的特點(diǎn)，在處理的過程中對技術(shù)有著較高的要求。大數(shù)據(jù)技術(shù)的內(nèi)涵是通過對數(shù)據(jù)中包含的特點(diǎn)進(jìn)行分析來建立相應(yīng)的模型，并且通過模型的分析和預(yù)測來實(shí)現(xiàn)數(shù)據(jù)的應(yīng)用。在這個階段之中，對不同行業(yè)進(jìn)行預(yù)測評價(jià)，結(jié)合情況提出建議，使行業(yè)能夠順利的發(fā)展。目前的大數(shù)據(jù)技術(shù)在發(fā)展中包括計(jì)算分析以及數(shù)據(jù)存儲兩方面內(nèi)容，同時在應(yīng)用中也體現(xiàn)了良好的效果。

1.2高校大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室建設(shè)的重要性

大數(shù)據(jù)技術(shù)在現(xiàn)代社會中屬于一種的新技術(shù)，高校發(fā)展過程中對這項(xiàng)技術(shù)非常重視，在技術(shù)應(yīng)用中通過建立實(shí)驗(yàn)室來創(chuàng)造更好的科研發(fā)展平臺，使高校的資源更加的完善，進(jìn)一步的提升了高校的技術(shù)設(shè)施水平。建立實(shí)驗(yàn)室可以為教師和學(xué)生帶來更多的資源，幫助他們完成教學(xué)和學(xué)習(xí)任務(wù)，并且提升實(shí)踐能力，使大數(shù)據(jù)技術(shù)的發(fā)展中有更加完整的基礎(chǔ)條件，同時促進(jìn)了我國高校的人才培養(yǎng)發(fā)展，為大數(shù)據(jù)技術(shù)的改善帶來有效的幫助，對技術(shù)的整體發(fā)展有著重要的作用。

2大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室建設(shè)和管理

2.1大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室硬件設(shè)施和軟件設(shè)施的建設(shè)

大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室的建設(shè)應(yīng)符合實(shí)際的需要，在建設(shè)中按照相關(guān)的規(guī)定進(jìn)行，結(jié)合大數(shù)據(jù)技術(shù)的支持，采油有效的方式對大數(shù)據(jù)實(shí)驗(yàn)室進(jìn)行完善，使其能夠在應(yīng)用中發(fā)揮出有效的作用。在當(dāng)前的發(fā)展趨勢下，大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室中的設(shè)施中有存儲和數(shù)據(jù)計(jì)算中心、終端、可視化模塊。大數(shù)據(jù)技術(shù)的數(shù)據(jù)處理計(jì)算功能作為重要的內(nèi)容，其中包括了計(jì)算資源、虛擬技術(shù)和存儲等功能，一般使用的設(shè)施包括IBM和HP等。在大數(shù)據(jù)技術(shù)應(yīng)用中需要通過軟件部署的支持，其中的軟件設(shè)施有存儲模型管理系統(tǒng)，在建設(shè)實(shí)驗(yàn)室的時候，應(yīng)結(jié)合其他國家的大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室建設(shè)內(nèi)容進(jìn)行參考，使實(shí)驗(yàn)室的建設(shè)能夠更加的有效，同時也能夠發(fā)揮出大數(shù)據(jù)技術(shù)的有效作用，為高校的資源帶來更加豐富的內(nèi)容，這樣可以全面的提升高校的發(fā)展水平和技術(shù)設(shè)施質(zhì)量。

2.2大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室的框架建設(shè)

大數(shù)據(jù)實(shí)驗(yàn)室需要配套設(shè)施包括：HADOOP 平臺、數(shù)據(jù)庫 MENDB、分布式數(shù)據(jù)倉庫 MPP、分布式文件系統(tǒng) HDFS、分布式計(jì)算引擎 MAPREDUCE、LINUX 集群、分布式數(shù)據(jù)庫HBASE。具體目標(biāo)是建設(shè)基于云計(jì)算、分布式計(jì)算、融合計(jì)算，配備高性能計(jì)算設(shè)備、高速網(wǎng)絡(luò)、大容量存儲設(shè)備、滿足大數(shù)據(jù)應(yīng)用軟件性能的需求大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室由硬件與軟件設(shè)施整合而成的，其中包括應(yīng)用層、云平臺和虛擬資源層、基礎(chǔ)設(shè)施層。在應(yīng)用層中為教學(xué)實(shí)驗(yàn)的實(shí)訓(xùn)管理，云平臺中為提供服務(wù)和維護(hù)管理的內(nèi)容，虛擬資源層中為計(jì)算資源管理，針對使用者進(jìn)行管理，有使用者的申請以及生產(chǎn)環(huán)境等方面的管理，還可以為使用者帶來相應(yīng)的系統(tǒng)鏡像服務(wù)，將計(jì)算資源進(jìn)行有效的分配。基礎(chǔ)設(shè)施層為服務(wù)器和其他設(shè)備內(nèi)容，能夠?yàn)橛脩舻腣M管理提供相應(yīng)的條件，在基礎(chǔ)設(shè)施中對服務(wù)器進(jìn)行維護(hù)處理，使整體能夠協(xié)調(diào)的運(yùn)行，滿足使用者的實(shí)際需求，達(dá)到相應(yīng)的水平。

2.3大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室管理結(jié)構(gòu)的建設(shè)

大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室的建設(shè)平臺中應(yīng)具備知識資源庫平臺以及協(xié)同開發(fā)服務(wù)平臺、協(xié)同開發(fā)桌面云平臺。應(yīng)建立知識資源庫平臺，將源碼庫完善好，使平臺具有相應(yīng)的構(gòu)件，能夠發(fā)揮出有效的作用，還需要建設(shè)開發(fā)計(jì)劃和素材等，使平臺的結(jié)構(gòu)更加完善，同時保證了項(xiàng)目的效率。此外，在高校中，為了實(shí)現(xiàn)更好的教學(xué)目標(biāo)，應(yīng)建設(shè)所需要的知識資源案例，使項(xiàng)目的案例內(nèi)容更加的詳細(xì)，還包括文檔撰寫的示范等內(nèi)容的案例。在協(xié)同開發(fā)服務(wù)平臺中，應(yīng)將項(xiàng)目的設(shè)計(jì)以及軟件說明內(nèi)容等都導(dǎo)入到平臺，使平臺能夠具有相應(yīng)的數(shù)據(jù)信息，在其中說明內(nèi)容應(yīng)以注冊初始化的文檔形式進(jìn)行導(dǎo)入，保證說明書的有效信號。開發(fā)桌面平臺建設(shè)中需要將桌面計(jì)算機(jī)中的CPU和硬盤、計(jì)算資源等進(jìn)行部署，再將物理資源信息進(jìn)行虛擬轉(zhuǎn)化處理，結(jié)合使用者的要求，對使用者提供相應(yīng)的虛擬桌面服務(wù)，使用者能夠在實(shí)際的應(yīng)用中得到更加全面高效的服務(wù)。

2.4 Spark技術(shù)大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)

Spark大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)作為其中一種內(nèi)容，這種實(shí)驗(yàn)室在實(shí)際的產(chǎn)生中將Open Stack平臺作為基礎(chǔ)，這種技術(shù)能夠起到虛擬機(jī)管理的功能，在應(yīng)用中可以建立虛擬機(jī)，將其掛起或者重啟等，通過對虛擬機(jī)的控制發(fā)揮作用。在這種實(shí)驗(yàn)室中，一般為集群平臺，包括至少六臺的虛擬機(jī)，其中工作節(jié)點(diǎn)中包括4臺虛擬機(jī)裝置，其與還有一臺為主節(jié)點(diǎn)、一臺為主備份節(jié)點(diǎn)，這些虛擬機(jī)裝置在其中形成了服務(wù)器集群，使實(shí)驗(yàn)室的服務(wù)器集群能夠達(dá)到要求。可以適當(dāng)?shù)奶砑觝adoop2.X配置，使部署的結(jié)構(gòu)和Spark中的結(jié)構(gòu)達(dá)到相同的要求，同時作為Spark on yarn模式環(huán)境，使集群能夠在運(yùn)行中提供不同的模式，發(fā)揮了有效的作用，提供了相應(yīng)的功能。在這種基礎(chǔ)上，Spark大數(shù)據(jù)實(shí)驗(yàn)室中包含了輕配置的特點(diǎn)同時易于進(jìn)行擴(kuò)展，還可以實(shí)現(xiàn)資源需求，使實(shí)驗(yàn)室整體能夠符合高校教學(xué)的要求，在實(shí)際使用中帶來良好的條件，并且使教學(xué)中的實(shí)踐活動順利的實(shí)現(xiàn)。

2.5大數(shù)據(jù)教學(xué)資源平臺建設(shè)

在大數(shù)據(jù)實(shí)驗(yàn)室中，為了使實(shí)驗(yàn)人員能夠更好的掌握運(yùn)用大數(shù)據(jù)專業(yè)技術(shù)，具有相應(yīng)的時間能力，對大數(shù)據(jù)分析和應(yīng)用有更加全面的了解，使人員對數(shù)據(jù)的分析以及收集、使用等相關(guān)原理進(jìn)一步明確，并且能夠?qū)ο到y(tǒng)進(jìn)行研究開發(fā)。需要具有相應(yīng)的知識基礎(chǔ)，包括數(shù)據(jù)分析。挖掘、編程、機(jī)器學(xué)習(xí)等內(nèi)容，將自身的能力提升，對大數(shù)據(jù)技術(shù)有更多的認(rèn)識，并且在實(shí)驗(yàn)室的模擬環(huán)境中，對實(shí)際的問題進(jìn)行解決，采用自己所掌握的知識將技術(shù)完善，提升技術(shù)市場的競爭力水平。

結(jié)語

大數(shù)據(jù)技術(shù)作為社會發(fā)展的重要內(nèi)容，在社會各個行業(yè)發(fā)展中具有重要的意義，通過大數(shù)據(jù)技術(shù)的應(yīng)用，可以為行業(yè)帶來更好的技術(shù)條件。在高校的教學(xué)中，使用大數(shù)據(jù)技術(shù)建立實(shí)驗(yàn)室，使教學(xué)中的資源更加的豐富，并且滿足當(dāng)前教學(xué)的發(fā)展要求。在大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)管理中，應(yīng)合理的完善技術(shù)內(nèi)容，使實(shí)驗(yàn)室的建設(shè)能夠發(fā)揮良好的作用。

參考文獻(xiàn)：

[1]都娟，李納.基于應(yīng)用型高校的大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)探究[J].時代農(nóng)機(jī)，2018，（10）：158.

[2]哈里白.淺談大數(shù)據(jù)技術(shù)在高職實(shí)驗(yàn)室的應(yīng)用[J].科教導(dǎo)刊-電子版（下旬），2018，（9）：134.

[3]秦樂樂，黃濤，劉暢.基于物聯(lián)網(wǎng)技術(shù)的高校智慧實(shí)驗(yàn)室架構(gòu)[J].河北工業(yè)科技，2018，35（6）：400-405.

[4]蔡宇.基于應(yīng)用型高校的大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)研究[J].電腦知識與技術(shù)，2018，14（17）：1-2.