應(yīng)用技術(shù)型高校Hadoop 課程建設(shè)研究

肖薇，李建敦，任菊慧

（上海電機學(xué)院 電子信息學(xué)院，上海）

一 引言

中國特色社會主義進(jìn)入快速發(fā)展的新時代，國家在“十四五”開局之年提出了大數(shù)據(jù)的發(fā)展戰(zhàn)略，加快了我國數(shù)字經(jīng)濟(jì)建設(shè)，為我國協(xié)同推進(jìn)數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型創(chuàng)造了良好的環(huán)境，同時，為我國加快數(shù)字社會建設(shè)步伐，營造良好數(shù)字生態(tài)奠定了堅實的基礎(chǔ)。豐富的數(shù)據(jù)資源是我國加快建設(shè)數(shù)字經(jīng)濟(jì)的重大優(yōu)勢。經(jīng)過長期的數(shù)字基礎(chǔ)設(shè)施建設(shè)，我國目前互聯(lián)網(wǎng)用戶規(guī)模已超過10 億，互聯(lián)網(wǎng)普及率達(dá)71.6%，成為全球最大規(guī)模網(wǎng)絡(luò)通信國家。此外，海量用戶數(shù)據(jù)極大推進(jìn)了我國零售業(yè)的創(chuàng)新，成為全球規(guī)模最大、最具活力的網(wǎng)絡(luò)零售市場。在十九屆中共中央政治局第二次集體學(xué)習(xí)中，習(xí)近平總書記重點指出：“大數(shù)據(jù)是信息化發(fā)展的新階段”，并做出了“推動大數(shù)據(jù)技術(shù)產(chǎn)業(yè)創(chuàng)新發(fā)展、構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)、運用大數(shù)據(jù)提升國家治理現(xiàn)代化水平、運用大數(shù)據(jù)促進(jìn)保障和改善民生、切實保障國家數(shù)據(jù)安全”的戰(zhàn)略部署。這說明我國數(shù)字經(jīng)濟(jì)發(fā)展具有廣闊而光明的前景，以數(shù)據(jù)為關(guān)鍵要素的經(jīng)濟(jì)發(fā)展將為我國構(gòu)建大數(shù)據(jù)時代國家綜合競爭新優(yōu)勢指明了方向[1]，也將成為推動全球經(jīng)濟(jì)快速穩(wěn)步發(fā)展的新動能。

新工科建設(shè)是應(yīng)對新經(jīng)濟(jì)發(fā)展的一項持續(xù)深化工程教育改革的重大行動計劃。目前，已具備新技術(shù)、新產(chǎn)業(yè)、新業(yè)態(tài)和新模式的多種特征。各高校正在加速改造升級傳統(tǒng)工科專業(yè)，加快培養(yǎng)新興領(lǐng)域工程科技人才[2]。大數(shù)據(jù)技術(shù)人才培養(yǎng)對應(yīng)用技術(shù)型高等院校而言充滿了挑戰(zhàn)與機遇。為了建設(shè)合理的大數(shù)據(jù)專業(yè)課程體系，使學(xué)生充分掌握大數(shù)據(jù)專業(yè)核心技術(shù)，通過吸取計算機相關(guān)課程建設(shè)經(jīng)驗，以大數(shù)據(jù)行業(yè)需求為指導(dǎo)方向，及時調(diào)整大數(shù)據(jù)課程教學(xué)內(nèi)容，以培養(yǎng)學(xué)生對大數(shù)據(jù)分析與處理的能力[3-9]。隨著大數(shù)據(jù)爆發(fā)式的增長態(tài)勢，我國對大數(shù)據(jù)專業(yè)人才的需求也非常巨大。然而，我國大數(shù)據(jù)開放共享還處于初級探索階段，并且存在總體數(shù)量少、地域差異大、資源建設(shè)與利用情況差、數(shù)據(jù)管理薄弱、服務(wù)不完善等多種問題。此外，大多企事業(yè)單位為了保護(hù)數(shù)據(jù)資源的隱私，從而導(dǎo)致數(shù)據(jù)資源共享程度低，甚至出現(xiàn)數(shù)據(jù)孤島現(xiàn)象。同時，大量涌現(xiàn)的數(shù)據(jù)也可能導(dǎo)致其質(zhì)量低、資源流通不暢、管理能力弱等現(xiàn)象，從而難以從海量數(shù)據(jù)資源中挖掘有用的價值。因此，加速新一代信息技術(shù)人才培養(yǎng)以滿足我國大數(shù)據(jù)行業(yè)的人才需求迫在眉睫[2]。

二 培養(yǎng)目標(biāo)

Hadoop 課程作為數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的一門核心技術(shù)課程，以培養(yǎng)大數(shù)據(jù)分析與處理、數(shù)據(jù)存儲與計算能力為目標(biāo)，將業(yè)界主流大數(shù)據(jù)處理語言Python 基礎(chǔ)與實踐應(yīng)用相結(jié)合，旨在讓學(xué)生了解大數(shù)據(jù)的基本概念，掌握Hadoop 集群的搭建及基礎(chǔ)操作，以及MapReduce 編程等，并能將其應(yīng)用于智能制造等行業(yè)數(shù)據(jù)處理中。課程具有較強的模塊性與邏輯性，強調(diào)理論聯(lián)系實際，對培養(yǎng)學(xué)生分析處理能力、編程能力及可視化展示等基礎(chǔ)能力有重要作用，同時對激發(fā)學(xué)生發(fā)現(xiàn)問題與解決問題、邏輯思維與創(chuàng)新意識有重要意義。課程依照人才培養(yǎng)方案與大綱要求，以培養(yǎng)大數(shù)據(jù)分析與處理、數(shù)據(jù)存儲與計算能力為目標(biāo)，將業(yè)界主流大數(shù)據(jù)處理語言python 基礎(chǔ)與實踐應(yīng)用相結(jié)合，全面覆蓋基礎(chǔ)，并結(jié)合線上與線下教學(xué)模式，全面提升學(xué)生的數(shù)據(jù)思維與處理能力，力求使學(xué)生獲得扎實的編程功底，為面向大數(shù)據(jù)的綜合處理與決策支持等提供有力支撐。

在專業(yè)人才培養(yǎng)方案中，Hadoop 基礎(chǔ)應(yīng)用旨在加強本科及高本貫通學(xué)生對大數(shù)據(jù)處理的認(rèn)識，提升在大數(shù)據(jù)存儲與計算方面的應(yīng)用能力。該課程建設(shè)的有序?qū)嵤?，能使學(xué)生對大數(shù)據(jù)處理的基本概念與方法有較深入的理解，同時培養(yǎng)一定的實踐操作能力，從而為面向智能制造行業(yè)的大數(shù)據(jù)處理與決策支持提供有力支撐。本課程建設(shè)有望從整體上提升課程體系的質(zhì)量，包括教學(xué)大綱、授課計劃、課程實驗、題庫等，進(jìn)而更好地服務(wù)課程定位與專業(yè)人才培養(yǎng)方案，提升畢業(yè)要求與職業(yè)能力的完成質(zhì)量。此外，本課程建設(shè)有望更加貼近學(xué)生實際情況，激發(fā)學(xué)生的學(xué)習(xí)熱情，為未來平滑就業(yè)提供有力保障。

三 大數(shù)據(jù)知識體系

大數(shù)據(jù)技術(shù)目前已經(jīng)形成了較龐大的知識體系，主要分為五大模塊，如圖 1 所示。

圖1 大數(shù)據(jù)的生態(tài)圈[10]

（1）數(shù)據(jù)收集。數(shù)據(jù)類型有歷史數(shù)據(jù)/ 文件、點擊流、數(shù)據(jù)市場、實時日志和數(shù)據(jù)流等。目前主流的大數(shù)據(jù)日志數(shù)據(jù)采集系統(tǒng)平臺有Flume、Kafka、Scribe 和S-qoop 等。

（2）數(shù)據(jù)存儲。數(shù)據(jù)存儲主要采用抽取方式對數(shù)據(jù)進(jìn)行管理，主要包括云存儲、云數(shù)據(jù)庫、Hadoop 集群、系統(tǒng)管理和自動部署等。

（3）數(shù)據(jù)分析。數(shù)據(jù)分析主要分為離線計算和實時計算兩大類。實時數(shù)據(jù)分析為當(dāng)業(yè)務(wù)系統(tǒng)產(chǎn)生數(shù)據(jù)，大數(shù)據(jù)平臺能夠立刻采集、存儲并進(jìn)行計算處理。離線數(shù)據(jù)分析即系統(tǒng)每時每刻產(chǎn)生的歷史數(shù)據(jù)等。數(shù)據(jù)分析過程主要包括數(shù)據(jù)清洗、數(shù)據(jù)建模、多維分析、作業(yè)跟蹤和即席查詢等。

（4）數(shù)據(jù)集成。在大數(shù)據(jù)處理中，數(shù)據(jù)集成通常是指將計算任務(wù)在內(nèi)部分解成為若干個子任務(wù)，將這些子任務(wù)之間的邏輯關(guān)系或順序構(gòu)建成圖結(jié)構(gòu)。數(shù)據(jù)經(jīng)過分析處理后會得到不同的結(jié)果，將這些結(jié)果集根據(jù)業(yè)務(wù)需求進(jìn)行組裝集成，形成數(shù)據(jù)網(wǎng)關(guān)、開發(fā)套件、BI 組件、可視化第三方工具等。

（5）數(shù)據(jù)交易萬象。數(shù)據(jù)集成結(jié)果為數(shù)據(jù)交易萬象提供服務(wù)，形成數(shù)據(jù)集市層，包括API、數(shù)據(jù)報告、塊數(shù)據(jù)、第三方數(shù)據(jù)等。

用戶根據(jù)需求對大數(shù)據(jù)項目進(jìn)行檢索或使用，如環(huán)境數(shù)據(jù)、運營商數(shù)據(jù)、征信數(shù)據(jù)、金融數(shù)據(jù)、電商數(shù)據(jù)等。同時，大數(shù)據(jù)也需要咨詢顧問、數(shù)據(jù)專家或數(shù)據(jù)地圖等對數(shù)據(jù)進(jìn)行管理和維護(hù)，從而優(yōu)化出合理有效的運維運營支持、同意標(biāo)準(zhǔn)規(guī)范、權(quán)限賬戶控制和項目組織協(xié)調(diào)方案。

四 課程建設(shè)內(nèi)容

以行業(yè)需求為導(dǎo)向，Hadoop 課程建設(shè)擬從以下幾方面來深化課程建設(shè)。

（一） 設(shè)計貼近行業(yè)的課程教學(xué)內(nèi)容

傳統(tǒng)課程教學(xué)中采用理論教學(xué)和純粹驗證教學(xué)，在本課程改革中，教學(xué)方法上擬定由驗證型、提高型向綜合型、設(shè)計開發(fā)型和創(chuàng)新型轉(zhuǎn)變。課程教學(xué)內(nèi)容劃分上按教學(xué)規(guī)律分階段遞級展開，按照由認(rèn)識到理解、由理解到掌握、由具體到抽象、由微觀到宏觀的學(xué)習(xí)規(guī)律遞進(jìn)，以漸進(jìn)的形式達(dá)到對學(xué)生動手能力和創(chuàng)新能力的培養(yǎng)。目標(biāo)由以往單純的教學(xué)型向產(chǎn)學(xué)研相結(jié)合的方向轉(zhuǎn)變，采用案例化教學(xué)，以項目驅(qū)動法和案例為新元素，廣泛收集Hadoop 基礎(chǔ)應(yīng)用的最新應(yīng)用案例。通過以實際案例為導(dǎo)向組織教學(xué)內(nèi)容，從而強化各知識點的運用，更加貼近行業(yè)需求。

（二） 提升實踐環(huán)節(jié)的前沿性

在強化理論知識的基礎(chǔ)上，通過校企合作平臺等途徑，積極了解企業(yè)的前沿方向與技術(shù)，進(jìn)一步豐富與優(yōu)化本課程中實際案例的導(dǎo)入。此外，在實驗課中，還可以增加以小組為單位的創(chuàng)新大作業(yè)。學(xué)生可以結(jié)合臨港周邊企業(yè)的大數(shù)據(jù)處理技術(shù)與方案，實現(xiàn)與Hadoop 基礎(chǔ)應(yīng)用相關(guān)的課題，這樣可以進(jìn)一步提高實踐動手能力和團(tuán)隊合作能力。此外，課題的不斷改進(jìn)和完善也能給學(xué)生帶來成就感，從心理上對專業(yè)前景充滿信心，提高大數(shù)據(jù)專業(yè)學(xué)生的專業(yè)技能和就業(yè)核心競爭力，幫助學(xué)生提前熟悉畢業(yè)設(shè)計制作過程，培養(yǎng)學(xué)生的職業(yè)能力。

（三） 改善考核方式

在課程建設(shè)中新課程考核突出實踐教學(xué)，注重學(xué)生在實踐過程中應(yīng)用能力和過程的考核。對于應(yīng)用技術(shù)型高校學(xué)生，以能力考核為核心的課程考核體系是提升學(xué)生培養(yǎng)質(zhì)量的重要基礎(chǔ)和有力保障。在課程考核中要重點突出考核內(nèi)容設(shè)計的科學(xué)性，并采用多樣化的方式，以激勵學(xué)生主動學(xué)習(xí)。對于綜合成績評定，增強過程考核的比例，減少期末考試所占比例，也即增大考核實踐教學(xué)中學(xué)生實驗應(yīng)用能力、大作業(yè)完成能力、主題討論理解能力等多項分?jǐn)?shù)所占的比例，并且降低期末考試?yán)碚撝R的考查力度。擬通過實驗應(yīng)用、實踐創(chuàng)新項目大作業(yè)等動手環(huán)節(jié)，進(jìn)一步鍛煉學(xué)生運用基本理論與技術(shù)解決實際工程問題的能力，尤其考查實驗過程中學(xué)生的創(chuàng)新性和系統(tǒng)考慮周密性等。

（四） 提升課程在線性

依托專業(yè)教學(xué)平臺，以面向產(chǎn)出的教學(xué)思維為指導(dǎo)，開展在線翻轉(zhuǎn)課的教學(xué)實踐。首先在課程體系的基礎(chǔ)，通過直播、錄播、借鑒示范課程等途徑，為學(xué)生提供全天候?qū)W習(xí)環(huán)境，以保證學(xué)生可以做到提前預(yù)習(xí)、課后復(fù)習(xí)、反復(fù)鞏固的效果。其次，豐富習(xí)題庫，根據(jù)大數(shù)據(jù)時代發(fā)展的趨勢，將大數(shù)據(jù)前沿知識的新技術(shù)融入已有的題庫中，以不斷充實和更新專業(yè)基礎(chǔ)知識。同時，加強知識點與畢業(yè)能力的鏈接強度，通過階段性、自主性測試等手段讓學(xué)生明晰能力達(dá)成度，讓課程考核真正做到產(chǎn)出為導(dǎo)向。最后，完善小組協(xié)作與實時答疑，提升學(xué)生的團(tuán)隊溝通能力與解決問題能力。大數(shù)據(jù)的分析處理平臺和分布式框架搭建涉及的組件眾多，如何將多種技術(shù)有機結(jié)合，以完成海量數(shù)據(jù)挖掘和處理是一項復(fù)雜的工作。因此，小組中的每個成員需要明確場景業(yè)務(wù)需求，充分發(fā)揮團(tuán)隊優(yōu)勢。

五 校企合作平臺

Hadoop 課程對應(yīng)用型本科院校學(xué)生的實踐能力有較高要求。通過課堂學(xué)習(xí)，讓學(xué)生對理論基礎(chǔ)知識有直觀的理解和掌握，同時結(jié)合實驗課，將理論知識和實驗緊密結(jié)合，從而達(dá)到對大數(shù)據(jù)技術(shù)的全面掌握。近年來，針對本課程實行的教學(xué)改革與基本措施如下：

（1）進(jìn)一步明確培養(yǎng)目標(biāo)，完善課程建設(shè)方案。結(jié)合大數(shù)據(jù)發(fā)展的需要，堅持以社會需求為導(dǎo)向，進(jìn)一步明確“技術(shù)應(yīng)用”培養(yǎng)目標(biāo)并完善課程建設(shè)方案。大數(shù)據(jù)順應(yīng)了信息時代的發(fā)展趨勢，培養(yǎng)大數(shù)據(jù)分析與處理相關(guān)的人才也是社會發(fā)展的需求。目前，大數(shù)據(jù)的研究還處于初級階段，隨著應(yīng)用領(lǐng)域的擴展、技術(shù)的提升、數(shù)據(jù)共享開發(fā)機制的健全，以及產(chǎn)業(yè)鏈的不斷成熟，大數(shù)據(jù)處理與挖掘?qū)⑹菚r代發(fā)展的重點。

（2）加強隊伍和課程體系建設(shè)。自大數(shù)據(jù)本科專業(yè)招生以來，通過專業(yè)建設(shè)使課程體系更加完整，課程師資隊伍建設(shè)也成為專業(yè)建設(shè)中的核心部分。大數(shù)據(jù)技術(shù)是計算機方向的一門新技術(shù)和新知識，專業(yè)教師不僅要加強基礎(chǔ)理論知識的學(xué)習(xí)，同時，還要不斷融入新技術(shù)，并且加強實踐能力的訓(xùn)練。因此，在專業(yè)授課之余，還需要積極參加相關(guān)企業(yè)實踐課題或培訓(xùn)，緊跟大數(shù)據(jù)前沿知識，提升自身專業(yè)修養(yǎng)。

（3）建立了有效的校企合作機制。學(xué)校培養(yǎng)人才的最終目的是為社會服務(wù)，因此傳統(tǒng)教育離不開社會的發(fā)展。而校企合作教學(xué)團(tuán)隊建設(shè)是一種有效途徑。通過將“企業(yè)成功應(yīng)用案例引入課題教學(xué)和實踐教學(xué)”的可行辦法，探索出傳統(tǒng)教學(xué)中融入企業(yè)真實實踐項目的有效途徑，從而為后續(xù)的相關(guān)課程建設(shè)提供了成功的經(jīng)驗。

本課程通過以實踐操作項目為引導(dǎo)的教學(xué)指導(dǎo)思想，引入了公司大數(shù)據(jù)開發(fā)平臺。教學(xué)過程中有配套的實驗視頻教學(xué)，詳細(xì)地講述了每個實驗的操作步驟，同學(xué)們可以多次學(xué)習(xí)大數(shù)據(jù)經(jīng)驗方面的專家給出的實際指導(dǎo)。在該開發(fā)平臺上，教師和同學(xué)可以自己搭建和部署實驗環(huán)境，或直接導(dǎo)入公司已搭建好的實驗環(huán)境。同時，該開發(fā)平臺還提供了實驗參考報告，對于實驗過程中的操作命令和代碼也給出了詳細(xì)指導(dǎo)。通過視頻和報告結(jié)合的學(xué)習(xí)手段，能夠更加有目標(biāo)性和方向性地讓學(xué)生更好地掌握實驗開發(fā)過程，激發(fā)學(xué)生的學(xué)習(xí)興趣。此外，學(xué)生可以在校園內(nèi)隨時登錄開發(fā)平臺進(jìn)行相關(guān)的實驗操作，從而有效避免了實驗課的時間約束。采用這種新型教學(xué)方式可以為應(yīng)用技術(shù)型高校的大數(shù)據(jù)專業(yè)教學(xué)引入新的教學(xué)模式和方法。同時，通過與企業(yè)真實項目結(jié)合，激發(fā)學(xué)生的學(xué)習(xí)興趣，不斷增強他們的動手實踐能力，為大數(shù)據(jù)時代培養(yǎng)真正有用的專業(yè)人才。

六 結(jié)語

根據(jù)院校自身的辦學(xué)特色和管理目標(biāo)，將現(xiàn)代化的技術(shù)融入應(yīng)用技術(shù)型院校教學(xué)中，是高校與時俱進(jìn)的發(fā)展理念。Hadoop 課程作為大數(shù)據(jù)技術(shù)中的核心專業(yè)課程，以行業(yè)需求為導(dǎo)向，從課程教學(xué)內(nèi)容、實踐環(huán)節(jié)、考核方式、課程在線性等方面來深化課程建設(shè)。同時，結(jié)合校企合作平臺，從而全面提升應(yīng)用技術(shù)型院校學(xué)生的理論知識和實踐能力，為學(xué)生未來平滑就業(yè)提供有力保障。