大數據的發(fā)展及應用

文/駱彬

大數據的發(fā)展及應用

文/駱彬

大數據時代已經正式到來，相應地，大數據管理人才的培養(yǎng)的問題也已經擺在我們面前。本文結合企業(yè)對大數據人才需求的實際情況，分析了不同類型大數據管理人才應該具備的專業(yè)知識和專業(yè)能力，并針對本科層次大數據專業(yè)的建設情況，提出了一些有建設性的意見和建議。

大數據發(fā)展 大數據管理 應用

1 引言

大數據浪潮已經席卷全球，勢不可擋。大數據已經不再是一個簡單的概念，它已經滲透到普通人的日常生活，同樣的，大數據也已經改變了企業(yè)的行為，為企業(yè)帶來了巨大的挑戰(zhàn)和無限的商機。為了更好地開發(fā)和利用大數據的價值，不僅需要大量的數據支持，同樣還需要擁有對應技術的、熟悉公司業(yè)務的專業(yè)人員。

為了滿足市場對大數據管理專業(yè)人才的需求，我國一些高等院校已經開設了本科層次的大數據管理專業(yè)，本文結合我國對大數據人才需求的實際情況，針對本科層次大數據專業(yè)的建設情況，提出一些意見和建議，以期為我國高校建設大數據管理本科專業(yè)提供參考。

2 大數據的發(fā)展現狀

現有的大數據解決方案基本上都是基于Hadoop的。Hadoop是由Apache開源軟件基金會開發(fā)的運行于大規(guī)模普通服務器上的用于大數據存儲、計算和分析的分布式系統(tǒng)基礎架構，它由兩個部分組成：分布式文件系統(tǒng)HDFS(Hadoop Distributed File System)和分布式運算框架（MapReduce）。由于Hadoop項目本身是開源免費的，因此Hadoop是部署在Linux環(huán)境下的，同時基于Hadoop開發(fā)的其他項目也都是開源免費的，這不但為企業(yè)節(jié)約了成本，同時也為學校的教學活動提供了方便。

3 大數據特點

Hadoop從誕生至今已經發(fā)展成為一個大數據相關的龐大的軟件生態(tài)系統(tǒng)。為了能夠維持這個龐大的軟件生態(tài)系統(tǒng)順利運轉，并基于這個生態(tài)系統(tǒng)開發(fā)出符合特定企業(yè)需求的各種應用，需要許多相關的專業(yè)人才。根據不同專業(yè)人員所需知識結構的特點，可以將其分為三類：大數據運維，大數據應用開發(fā)，大數據信息分析與數據挖掘。

3.1 大數據運維

大數據運維人員不但要熟悉Hadoop本身的所有系統(tǒng)及軟件知識，還要熟悉網絡設備的軟硬件知識和服務器設備的軟硬件知識，對于人才的綜合能力要求較高，本科層次一般很難培養(yǎng)出符合要求的專門人才。

3.2 大數據應用開發(fā)

大數據應用開發(fā)人員需要熟悉相關的軟件編程語言，熟練使用相關的開發(fā)工具，同時還應該熟悉公司的業(yè)務，清楚公司的需求，掌握相關的算法和數據模型。

3.3 大數據信息分析與數據挖掘

從事大數據信息分析或數據挖掘工作的人員應該具備較強的信息分析能力，熟悉數據挖掘技術和算法，擁有用戶建模、業(yè)務建模、數據建模能力，最好還具備一定的軟件開發(fā)能力，以便能夠更好地與大數據應用開發(fā)人員合作。

4 數據管理專業(yè)建設的幾點建議

通過上面的分析可以看出，與大數據相關的工作內容有很多，對應的具體工作崗位也有很多，不同的崗位又有不同的具體要求，大數據管理專業(yè)就是要培養(yǎng)能夠從事與大數據相關的管理人才。為了實現這一培養(yǎng)目標，下面給出關于大數據管理專業(yè)建設的幾點建議。

4.1 明確專業(yè)培養(yǎng)方向

就本科層次的學生而言，一般情況下通過四年的學習無法掌握全部大數據管理所需的知識，因此必須明確本專業(yè)希望培養(yǎng)的具體方向。

（1）大數據運維方向應該重點培養(yǎng)學生對計算機、網絡軟硬件知識的綜合掌握，尤其是要對網絡設備的軟硬件十分熟悉，并且需要有足夠豐富的實踐經驗。綜合來看，大數據運維方向與傳統(tǒng)的網絡工程專業(yè)相關度較高，需要在傳統(tǒng)網絡工程專業(yè)基礎上增加分布式集群計算、Hadoop相關軟件部署等方面的內容。

（2）大數據應用開發(fā)方向應重視軟件開發(fā)能力，與傳統(tǒng)的軟件工程專業(yè)相比，大數據應用開發(fā)需要熟練掌握Java、Python等語言，同時還應該對信息分析、數據挖掘等方面的數據建模有所了解。當然，對熟悉Hadoop的要求是必不可少的，因為在開發(fā)過程中，必須隨時考慮到分布式計算的特點，避免因為算法等出現錯誤而導致整個集群崩潰的情況。

（3）大數據信息分析與數據挖掘方向則應該培養(yǎng)學生對數據價值的敏感性，與傳統(tǒng)的信息管理專業(yè)相關度較高。從名稱上來看，信息分析與數據挖據的概念早已有之，但由于量變而引發(fā)的質變，大數據環(huán)境下的信息分析與數據挖掘已經與我們所熟悉的概念有了本質的區(qū)別，相應的一些理論、方法也發(fā)生了改變，這些都是大數據管理與傳統(tǒng)信息管理的不同之處。

大數據管理專業(yè)相關的崗位較多，不同崗位的需求也不盡相同，不同學?？梢愿鶕髯缘膶I(yè)基礎和專業(yè)特色選擇不同的專業(yè)培養(yǎng)方向，以滿足人才市場對不同專業(yè)人才的需求。

4.2 合理設置專業(yè)課程

在設計專業(yè)課程體系時，一定要充分考慮專業(yè)培養(yǎng)目標和企業(yè)相關崗位需求，體現專業(yè)方向的培養(yǎng)特色，突出專業(yè)方向的核心能力。

不同學校的學生有較大的差異，例如文理科背景的差異，自主學習能力的差異，邏輯思維能力的差異等，同時不同的學校在設置大數據管理專業(yè)時的專業(yè)背景也有所不同，所以在專業(yè)課程設置上肯定會有所不同。

4.3 厚基礎，寬口徑，因材施教

大數據相關技術是當前較為前沿的技術，相關的應用也在探索當中，其真正的價值還沒有體現出來，所以在現階段的大數據專業(yè)建設過程中，不應該拘泥于某一專業(yè)領域，而應該使學生在掌握扎實的專業(yè)理論基礎的同時，根據自己的興趣愛好和專長，寬口徑培養(yǎng)學生的多項不同技能，從而使的同一專業(yè)的學生也可以具有并不完全相同的專業(yè)能力。

5 結論

大數據管理專業(yè)是一個比較新的本科專業(yè)，開設這一專業(yè)的學校還很少，其專業(yè)建設也才剛剛開始，相關的理論和實踐都在構建和探索中，但大數據管理領域的發(fā)展?jié)摿薮?，前景十分廣闊，相應的人才需求量也非常大，因此開展相關專業(yè)的建設工作是一項非常緊迫的工作。本文針對本科層次大數據專業(yè)的建設情況，提出了自己的一些意見和建議，希望能給大家提供一定的參考。

[1]孟小峰,慈祥.大數據管理：概念、技術與挑戰(zhàn)[J].計算機研究與發(fā)展,2013:146-169.

[2]蘇玉召.大數據時代信息管理專業(yè)課程建設[J].大學教育2013:5-6.

[3]閆娜.大數據視角下信息管理與信息系統(tǒng)專業(yè)建設研究[J].圖書館學研究,2013(11):9-12.

作者單位北京城市學院 北京市 100000

駱彬（1973-），男，蒙古族，河北省邯鄲市人。碩士學歷。研究方向為信息管理，電子商務，大數據。