信息管理專業(yè)建立大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)的思考

胡敏

摘要：隨著大數(shù)據(jù)、商務(wù)智能技術(shù)的快速發(fā)展與廣泛應(yīng)用，作為綜合型應(yīng)用型人才的信息管理專業(yè)的本科生必須在掌握理論知識(shí)的前提下了解和熟悉大數(shù)據(jù)存儲(chǔ)、處理、分析與可視化的實(shí)踐操作，這就對(duì)建立大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)提出了要求。本文探討大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)建立的必要性與可行性，并通過大數(shù)據(jù)系統(tǒng)的調(diào)研情況，給出大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)建立的初步構(gòu)想。

關(guān)鍵詞：信息管理專業(yè)；云存儲(chǔ)；大數(shù)據(jù)平臺(tái)

中圖分類號(hào)：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1674-9324（2015）01-0240-02

一、引言

隨著大數(shù)據(jù)應(yīng)用范圍的擴(kuò)大，相應(yīng)的人才需求也存在很大缺口，此時(shí)在信息管理學(xué)院建立大數(shù)據(jù)開發(fā)實(shí)驗(yàn)室，包括云存儲(chǔ)平臺(tái)建設(shè)、基于云存儲(chǔ)平臺(tái)的教育資源建設(shè)、大數(shù)據(jù)開發(fā)平臺(tái)建設(shè)、大數(shù)據(jù)分析工具與資源建設(shè)，能應(yīng)用云存儲(chǔ)技術(shù)實(shí)現(xiàn)教育資源的有效應(yīng)用；能促進(jìn)學(xué)生了解大數(shù)據(jù)開發(fā)的Hadoops環(huán)境，以及該環(huán)境下的平臺(tái)建設(shè)；并能在該平臺(tái)下進(jìn)行大數(shù)據(jù)分析實(shí)踐。本校信息管理學(xué)院包括信息管理與信息系統(tǒng)、電子商務(wù)、信息安全等專業(yè)，在此實(shí)驗(yàn)平臺(tái)上，根據(jù)不同的教學(xué)目標(biāo)開發(fā)針對(duì)不同專業(yè)的學(xué)生的開放性實(shí)驗(yàn)課程尤為重要。

二、必要性與可行性

當(dāng)前“大數(shù)據(jù)技術(shù)”充滿了新的機(jī)遇和挑戰(zhàn)，其在企業(yè)IT基礎(chǔ)架構(gòu)、數(shù)據(jù)管理、分析和服務(wù)這些關(guān)鍵規(guī)劃領(lǐng)域的應(yīng)用，將會(huì)對(duì)社會(huì)經(jīng)濟(jì)發(fā)展帶來長遠(yuǎn)深刻的影響。大數(shù)據(jù)指的是從各種各樣的數(shù)據(jù)中快速獲得有價(jià)值信息的能力，具有數(shù)據(jù)量大、種類繁多、價(jià)值稀疏、處理速度快的特征，這些特征對(duì)目前社會(huì)各個(gè)行業(yè)的信息架構(gòu)、系統(tǒng)的沖擊非常大。大數(shù)據(jù)技術(shù)對(duì)整個(gè)社會(huì)經(jīng)濟(jì)發(fā)展來說既是機(jī)遇也是挑戰(zhàn)。

（一）必要性

根據(jù)IDC在2011年6月發(fā)布的《數(shù)字宇宙》（Digital Universe）研究報(bào)告，2011年全球新建和復(fù)制的信息量超過1.9 ZB（1.8萬億GB），五年時(shí)間增加了近九倍。隨著數(shù)據(jù)量的指數(shù)級(jí)增長、數(shù)據(jù)源種類（包括結(jié)構(gòu)化數(shù)據(jù)源和非結(jié)構(gòu)化數(shù)據(jù)源，如社交媒體、富媒體文件以及地理空間信息）的飛速增加，以及數(shù)據(jù)產(chǎn)生速度的加快（如實(shí)時(shí)傳感器數(shù)據(jù)），傳統(tǒng)的數(shù)據(jù)庫和架構(gòu)無法處理、管理和分析如此龐大的數(shù)據(jù)集。政府、金融、電信、互聯(lián)網(wǎng)等大數(shù)據(jù)應(yīng)用的行業(yè)先鋒目前均面臨大數(shù)據(jù)的問題。不僅如此，隨著物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、智能手機(jī)、平板電腦的飛速發(fā)展，大數(shù)據(jù)技術(shù)擁有了更為廣泛的數(shù)據(jù)資源。因此，IT產(chǎn)業(yè)界及行業(yè)用戶都亟需針對(duì)大數(shù)據(jù)設(shè)計(jì)和優(yōu)化大數(shù)據(jù)存儲(chǔ)、管理和查詢平臺(tái)，來替代傳統(tǒng)關(guān)系型數(shù)據(jù)庫平臺(tái)。在技術(shù)發(fā)展的前沿階段進(jìn)行實(shí)驗(yàn)平臺(tái)建設(shè)對(duì)我學(xué)院師生具有重要意義。

該實(shí)驗(yàn)平臺(tái)能夠?yàn)閷W(xué)生提供一個(gè)了解最前沿技術(shù)的機(jī)會(huì)，不僅能夠提高學(xué)生學(xué)習(xí)興趣、自學(xué)能力，還為學(xué)生就業(yè)、更好地規(guī)劃未來的職業(yè)發(fā)展提供了機(jī)會(huì)。大數(shù)據(jù)技術(shù)的機(jī)遇與挑戰(zhàn)帶來了很大的人才缺口，目前大數(shù)據(jù)技術(shù)平臺(tái)開發(fā)、方案實(shí)施人才緊缺；由于云存儲(chǔ)、大數(shù)據(jù)技術(shù)帶來的信息安全問題，也亟需大量信息安全領(lǐng)域的人才；由于大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)、電子商務(wù)、移動(dòng)互聯(lián)方面的應(yīng)用，對(duì)了解大數(shù)據(jù)技術(shù)的電子商務(wù)專業(yè)人才也更青睞。通過本實(shí)驗(yàn)平臺(tái)的培養(yǎng)，感興趣的優(yōu)秀學(xué)生還可以嘗試考取與大數(shù)據(jù)技術(shù)密切相關(guān)的Hadoop專業(yè)認(rèn)證——Cloudera Certified Developer/Administrator for Apache Hadoop，為學(xué)校、學(xué)院在該領(lǐng)域帶來正面影響，增加更多合作和就業(yè)的機(jī)會(huì)。

該實(shí)驗(yàn)平臺(tái)能夠?yàn)樾畔⑾到y(tǒng)專業(yè)試點(diǎn)班培養(yǎng)計(jì)劃的很多核心課程（包括管理統(tǒng)計(jì)學(xué)中的業(yè)務(wù)報(bào)表與分析、商務(wù)智能方法與應(yīng)用、商務(wù)智能實(shí)踐、數(shù)據(jù)挖掘和BA綜合實(shí)訓(xùn)等）形成較好的前后銜接關(guān)系，能夠豐富實(shí)踐教學(xué)環(huán)節(jié)，深化教學(xué)大綱的內(nèi)容，從建設(shè)更合理的課程建設(shè)體系來說具有很大的必要性。

近幾年學(xué)生就業(yè)壓力越來越大，迫切需要對(duì)教學(xué)內(nèi)容和實(shí)踐環(huán)節(jié)不斷突破創(chuàng)新，才能具備持續(xù)發(fā)展能力。因此在原有課程體系和實(shí)踐教學(xué)環(huán)境的基礎(chǔ)上增設(shè)本實(shí)驗(yàn)平臺(tái)非常必要。

（二）可行性

教學(xué)計(jì)劃中的相關(guān)程序設(shè)計(jì)課程為學(xué)生學(xué)習(xí)云存儲(chǔ)技術(shù)、熟悉大數(shù)據(jù)開發(fā)平臺(tái)、了解最新大數(shù)據(jù)技術(shù)的發(fā)展、進(jìn)行大數(shù)據(jù)平臺(tái)基礎(chǔ)上的開發(fā)、實(shí)現(xiàn)對(duì)大數(shù)據(jù)的分析、可視化演示打好了基礎(chǔ)。

英特爾Apache Hadoop平臺(tái)是目前大多數(shù)大數(shù)據(jù)處理的技術(shù)基礎(chǔ)，目前該技術(shù)已經(jīng)發(fā)展成熟，并隨之產(chǎn)生很多基于該平臺(tái)的大數(shù)據(jù)處理工具，可供實(shí)驗(yàn)室建設(shè)實(shí)驗(yàn)平臺(tái)使用。

三、建立大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)的基本構(gòu)想

（一）實(shí)驗(yàn)平臺(tái)人員

實(shí)驗(yàn)平臺(tái)人員負(fù)責(zé)實(shí)驗(yàn)平臺(tái)的建設(shè)、維護(hù)，實(shí)驗(yàn)設(shè)計(jì)與指導(dǎo)人員由在大數(shù)據(jù)相關(guān)領(lǐng)域、課程建設(shè)以及實(shí)踐教學(xué)方面都有著豐富的經(jīng)驗(yàn)的教師與實(shí)驗(yàn)室工作人員構(gòu)成，同時(shí)與大數(shù)據(jù)企業(yè)進(jìn)行合作，獲得其核心技術(shù)人員的支持、培訓(xùn)和大力配合，可以共同組成一個(gè)經(jīng)驗(yàn)豐富、精煉實(shí)干的建設(shè)團(tuán)隊(duì)。

（二）軟件調(diào)研

大數(shù)據(jù)的特點(diǎn)為4個(gè)“V”：第一，“Volume”，指的數(shù)據(jù)量大，包括大的數(shù)據(jù)塊，或數(shù)據(jù)總量巨大，從TB躍升到PB；第二，“Variety”，指的是數(shù)據(jù)種類繁多，包含大量非結(jié)構(gòu)化數(shù)據(jù)，例如網(wǎng)絡(luò)日志、音頻、視頻、地理信息等；第三，“Value”，價(jià)值稀疏性，大量數(shù)據(jù)中有價(jià)值數(shù)據(jù)很少；第四，“Velocity”，指的是處理速度快，這與傳統(tǒng)數(shù)據(jù)挖掘有很大區(qū)別。選擇有數(shù)據(jù)分析基礎(chǔ)、在業(yè)內(nèi)發(fā)展領(lǐng)先的企業(yè)進(jìn)行調(diào)研并選擇適合高校規(guī)模的合作企業(yè)是建立實(shí)驗(yàn)平臺(tái)的重要工作。

很多公司給出了可供使用的大數(shù)據(jù)平臺(tái)：IBM？誖 InfoSphere？誖BigInsightsTMBasic Edition是一款基于開放源碼Apache Hadoop的分析平臺(tái)，用于分析大量本機(jī)格式的非常規(guī)數(shù)據(jù)，支持結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化內(nèi)容，以實(shí)現(xiàn)最大程度的靈活性；IBM？誖InfoSphere？誖 Streams是一個(gè)高級(jí)計(jì)算平臺(tái)，幫助用戶開發(fā)的應(yīng)用程序快速攝取、分析和關(guān)聯(lián)來自數(shù)千個(gè)實(shí)時(shí)源的信息；惠普公司Vertica分析平臺(tái)6.1，能夠通過Hadoop分布式文件系統(tǒng)連接器來優(yōu)化大數(shù)據(jù)；ClearStory Data大數(shù)據(jù)分析新創(chuàng)公司，通過Clearstory，公司客戶可以將自身的數(shù)據(jù)與行業(yè)的公共數(shù)據(jù)融合，尋找統(tǒng)計(jì)上的新視角，目標(biāo)是取代目前市場(chǎng)上的主流數(shù)據(jù)可視化工具，包括QlikView和Tableau等老牌工具；Informatica 9.1提供首款Hadoop編譯器Hparse，這是一種針對(duì)Hadoop而優(yōu)化的數(shù)據(jù)轉(zhuǎn)換環(huán)境，該軟件支持靈活高效地處理Hadoop里面的任何文件格式，為Hadoop開發(fā)人員提供了即開即用的解析功能，以便處理復(fù)雜而多樣的數(shù)據(jù)源；Datameer：Hadoop海量數(shù)據(jù)分析平臺(tái)允許用戶在缺乏技術(shù)知識(shí)的情況下能夠分析大量數(shù)據(jù)；Infochimps平臺(tái)以其完備的基礎(chǔ)設(shè)施和專業(yè)知識(shí)，為客戶提供端到端的大數(shù)據(jù)解決方案，Infochimps是一家位于美國德克薩斯州奧斯丁的創(chuàng)業(yè)公司，2012年2月從數(shù)據(jù)市場(chǎng)轉(zhuǎn)型為大數(shù)據(jù)平臺(tái)提供商后獲得谷歌投資；甲骨文大數(shù)據(jù)機(jī)——Oracle Big Data Appliance集成系統(tǒng)融入了Cloudera的Distribution Including Apache Hadoop、Cloudera Manager和一個(gè)開源R；微軟SQL Server新增PDW功能，可以幫助客戶擴(kuò)展部屬數(shù)百TB級(jí)別數(shù)據(jù)的分析解決方案；亞馬遜將MapReduce作為一項(xiàng)服務(wù)，其彈性MapReduce編程是一項(xiàng)能夠迅速擴(kuò)展的Web服務(wù)，運(yùn)行在aws的亞馬遜彈性計(jì)算云和亞馬遜簡單存儲(chǔ)服務(wù)上；Teradata是企業(yè)級(jí)數(shù)據(jù)倉庫（EDW）的領(lǐng)導(dǎo)者，在結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和大部分非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域幾乎沒有很大成果，因此收購了Aster Data——一家提供SQL-MapReduce框架的公司。Aster Data是高級(jí)分析和管理各種非結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域的市場(chǎng)領(lǐng)導(dǎo)者和開拓者，為Teradata帶來了大數(shù)據(jù)分析市場(chǎng)商機(jī)。

（三）方案實(shí)施

實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)同時(shí)立足于大數(shù)據(jù)技術(shù)的發(fā)展的前沿性與本學(xué)院學(xué)生專業(yè)特點(diǎn)，與學(xué)生前序的理論、實(shí)踐課程均有良好的銜接，符合人才培養(yǎng)計(jì)劃，深化了教學(xué)大綱的內(nèi)容，并針對(duì)不同專業(yè)學(xué)生設(shè)計(jì)實(shí)踐學(xué)時(shí)、內(nèi)容和難度。

本實(shí)驗(yàn)平臺(tái)可以同大數(shù)據(jù)行業(yè)中的公司科研部門共同合作建設(shè)，雙方確定在人才培養(yǎng)、師資培訓(xùn)、共建實(shí)驗(yàn)室和實(shí)訓(xùn)基地、推動(dòng)大學(xué)生校外實(shí)習(xí)和社會(huì)實(shí)踐活動(dòng)的開展等方面開展全面、廣泛、長期、深入的合作。該實(shí)驗(yàn)室建設(shè)將豐富實(shí)踐教學(xué)體系，也可推動(dòng)學(xué)院科研項(xiàng)目立項(xiàng)、新課題研究、專項(xiàng)基金申請(qǐng)和聯(lián)合開展商用項(xiàng)目開發(fā)等；該實(shí)驗(yàn)室使師生能接觸高新大數(shù)據(jù)開發(fā)平臺(tái)，了解最新大數(shù)據(jù)技術(shù)的發(fā)展，進(jìn)行大數(shù)據(jù)平臺(tái)的開發(fā)，實(shí)現(xiàn)對(duì)大數(shù)據(jù)的分析、可視化演示，增強(qiáng)學(xué)生的動(dòng)手能力并提升就業(yè)質(zhì)量；與此同時(shí)，提升了教師的項(xiàng)目管理能力和教學(xué)能力。

四、結(jié)論

實(shí)踐教學(xué)平臺(tái)建設(shè)是一項(xiàng)可以推動(dòng)課程建設(shè)和專業(yè)建設(shè)的可行工作，在轉(zhuǎn)變觀念、定位于應(yīng)用型人才培養(yǎng)的今天，實(shí)踐教學(xué)平臺(tái)的建設(shè)更是一項(xiàng)必須的工作，而一個(gè)高水平的實(shí)驗(yàn)平臺(tái)可以為教師們的教學(xué)和科研活動(dòng)提供良好的物質(zhì)保證，經(jīng)過大數(shù)據(jù)平臺(tái)建設(shè)可以使課程建設(shè)工作再上一個(gè)臺(tái)階，同時(shí)也會(huì)使教師們的研究水平更上一個(gè)臺(tái)階。

參考文獻(xiàn)：

[1]李鴻健.大數(shù)據(jù)時(shí)代計(jì)算機(jī)專業(yè)實(shí)驗(yàn)教學(xué)改革研究[J].現(xiàn)代計(jì)算機(jī)，2013，（19）.

[2]黃熙岱.高校實(shí)驗(yàn)教學(xué)存在問題與對(duì)策[J].廣東科技，2010，（12）.