《大數(shù)據(jù)處理技術(shù)》課程規(guī)劃

嚴(yán)馳

摘 要 大數(shù)據(jù)時(shí)代已經(jīng)到來，為適應(yīng)這場大數(shù)據(jù)變革，各高校都紛紛開設(shè)相關(guān)的大數(shù)據(jù)專業(yè)?！洞髷?shù)據(jù)處理技術(shù)》是該專業(yè)的一門重要專業(yè)課，但相關(guān)的課程建設(shè)還處于起步階段，因此本文主要從教學(xué)內(nèi)容、教學(xué)條件、考核方式方面對(duì)本門課程進(jìn)行課程規(guī)劃。

關(guān)鍵詞 大數(shù)據(jù)處理技術(shù) 課程規(guī)劃 教學(xué)內(nèi)容

中圖分類號(hào)：G434 文獻(xiàn)標(biāo)識(shí)碼：A

0引言

大數(shù)據(jù)被譽(yù)為“21世紀(jì)的新石油”，已經(jīng)滲透到社會(huì)的方方面面。大數(shù)據(jù)時(shí)代的到來，給數(shù)據(jù)訪問、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理和利用都帶來了極大的挑戰(zhàn)。為適應(yīng)大數(shù)據(jù)領(lǐng)域的發(fā)展，國外相當(dāng)一部分大學(xué)都開設(shè)大數(shù)據(jù)專業(yè)。而國內(nèi)開設(shè)大數(shù)據(jù)相關(guān)專業(yè)的高校卻不多，當(dāng)前大數(shù)據(jù)專業(yè)的相關(guān)課程仍然屬于一個(gè)新興事物，還未形成一個(gè)成熟的體系。

《大數(shù)據(jù)處理技術(shù)》課程是大數(shù)據(jù)相關(guān)專業(yè)的一門專業(yè)必修課。由于當(dāng)前國內(nèi)開設(shè)大數(shù)據(jù)方向?qū)I(yè)的高校較少，因此對(duì)大數(shù)據(jù)方向相關(guān)課程的建設(shè)還未形成一個(gè)成熟的體系，仍然處于摸索階段。業(yè)內(nèi)先驅(qū)當(dāng)屬北航軟件學(xué)院大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)，該專業(yè)的大數(shù)據(jù)處理技術(shù)與實(shí)踐課程主要整合企業(yè)資源，聘請企業(yè)專家授課，讓學(xué)生能在真實(shí)的大數(shù)據(jù)環(huán)境中直接參與項(xiàng)目實(shí)踐，取得了一定的成效。

本文主要研究對(duì)于《大數(shù)據(jù)處理技術(shù)》這門課程的課程建設(shè)，主要從教學(xué)內(nèi)容，教學(xué)方法，教學(xué)條件這幾個(gè)方面進(jìn)行設(shè)計(jì)。

1課程規(guī)劃

1.1培養(yǎng)對(duì)象

大數(shù)據(jù)分析涉及到眾多學(xué)科內(nèi)容。本課程可以作為計(jì)算機(jī)科學(xué)與技術(shù)方向高年級(jí)學(xué)生的專業(yè)選修課和研究生的專業(yè)課。在這個(gè)階段的學(xué)生有了一定的知識(shí)儲(chǔ)備，對(duì)學(xué)科方向也有了一定的認(rèn)識(shí)，有更多學(xué)習(xí)上的主動(dòng)性和進(jìn)取心。

1.2教學(xué)內(nèi)容

本課程將系統(tǒng)講授大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBASE、Nosql數(shù)據(jù)庫、分布式并行編程模型及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個(gè)領(lǐng)域的應(yīng)用。本課程主要分為四大部分。第一部分大數(shù)據(jù)基礎(chǔ)，主要介紹大數(shù)據(jù)的基本概念和應(yīng)用領(lǐng)域，簡要介紹大數(shù)據(jù)處理相關(guān)技術(shù)和大數(shù)據(jù)處理架構(gòu)Hadoop的安裝和操作管理。第二部分大數(shù)據(jù)存儲(chǔ)，主要講解分布式數(shù)據(jù)存儲(chǔ)的概念、原理和技術(shù)，主要介紹HDFS、HBASE。從而熟練使用HDFS、HBASE的使用方法。第三部分大數(shù)據(jù)處理與分析，主要講解Hadoop MapReduce并行編程框架，介紹并行編程模型、框架、基本構(gòu)架和工作過程以及MapReduce編程接口。第四部分大數(shù)據(jù)應(yīng)用，主要介紹大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等各個(gè)領(lǐng)域的典型應(yīng)用，掌握大數(shù)據(jù)的典型應(yīng)用場合。

1.3教學(xué)條件

大數(shù)據(jù)處理的核心技術(shù)是分布存儲(chǔ)和并行計(jì)算，大數(shù)據(jù)的教學(xué)實(shí)踐需要一個(gè)良好的專業(yè)環(huán)境。

硬件上，進(jìn)行大數(shù)據(jù)集分析需要使用分布式計(jì)算框架來向數(shù)十、數(shù)百甚至數(shù)千的計(jì)算機(jī)集群分派工作，由此對(duì)服務(wù)器平臺(tái)有很高的要求。但本門課程屬于大數(shù)據(jù)方向的初級(jí)課程，沒有必要建立如此龐大的硬件集群，可以先建立一個(gè)統(tǒng)一的專業(yè)實(shí)訓(xùn)室，輔助學(xué)員的學(xué)習(xí)。

軟件上，大數(shù)據(jù)實(shí)踐平臺(tái)需要搭建開發(fā)和處理大規(guī)模數(shù)據(jù)的Hadoop系統(tǒng)平臺(tái)，實(shí)現(xiàn)海量數(shù)據(jù)的計(jì)算與處理，進(jìn)而為大數(shù)據(jù)的挖掘、存儲(chǔ)和分析提供支撐。

本課程屬于本科生階段開設(shè)的入門級(jí)大數(shù)據(jù)課程，因此沒有必要建立一個(gè)專業(yè)的大數(shù)據(jù)實(shí)訓(xùn)室，但是為了更好的讓學(xué)生理解理論內(nèi)容，現(xiàn)場指導(dǎo)學(xué)員實(shí)驗(yàn)，一個(gè)統(tǒng)一的機(jī)房是必須的。根據(jù)本課程的教學(xué)內(nèi)容，上機(jī)實(shí)踐環(huán)境主要需要Linux操作系統(tǒng)，Java環(huán)境，Hadoop軟件。

該門課程的實(shí)踐教學(xué)，完全有條件建立一個(gè)統(tǒng)一的機(jī)房，指導(dǎo)學(xué)員進(jìn)行相應(yīng)的上機(jī)實(shí)踐。

1.4教學(xué)方法

如果按照常規(guī)的教學(xué)過程，教員直接通過課堂講授，按照教材編排逐一講解基本概念、基本理論和相關(guān)的處理方法。這種教學(xué)方法在一定程度上讓學(xué)員可以很好的掌握相關(guān)概念和理論。但是，這種方法容易造成學(xué)生對(duì)數(shù)據(jù)處理的整體工作流程缺乏了解而造成“不識(shí)廬山真面目，只緣身在此山中”現(xiàn)象，學(xué)生對(duì)相關(guān)的概念和理論理解不深，掌握不透，遇到實(shí)際問題和科研課題時(shí)感覺無從下手。因此通過調(diào)研大量相關(guān)教學(xué)方法，結(jié)合本門課程的特點(diǎn)，本門課程最后采用任務(wù)驅(qū)動(dòng)的教學(xué)方法。

任務(wù)驅(qū)動(dòng)教學(xué)法的具體運(yùn)用步驟可以分為以下幾個(gè)方面：任務(wù)設(shè)計(jì)，任務(wù)執(zhí)行，任務(wù)完成。任務(wù)驅(qū)動(dòng)教學(xué)法最重要的就是教學(xué)任務(wù)的設(shè)計(jì)，這是該教學(xué)方法的關(guān)鍵。教員在任務(wù)的設(shè)計(jì)過程中應(yīng)用充分考慮學(xué)員的心理發(fā)展水平，對(duì)相關(guān)知識(shí)的了解與熟識(shí)程度及學(xué)習(xí)過程中的心理情感需要。任務(wù)的設(shè)置應(yīng)當(dāng)與學(xué)員的整體水平相契合，不能太難，這樣容易打擊學(xué)員學(xué)習(xí)的積極性，認(rèn)為自己再努力也不能完成任務(wù)；同樣任務(wù)也不能設(shè)置的太簡單，使得學(xué)生輕易就完成任務(wù)，這樣導(dǎo)致學(xué)員驕傲自滿、固步自封。因此最關(guān)鍵的一步就是教員精心設(shè)計(jì)相關(guān)任務(wù)。

本課程結(jié)合教學(xué)標(biāo)準(zhǔn)，建議制定兩級(jí)任務(wù)：各種初級(jí)任務(wù)和一個(gè)高級(jí)任務(wù)。初級(jí)任務(wù)主要是將各章節(jié)課程內(nèi)容分為各種任務(wù)，具體每章節(jié)的任務(wù)內(nèi)容可參考教學(xué)標(biāo)準(zhǔn)中的實(shí)踐教學(xué)內(nèi)容；高級(jí)任務(wù)是一個(gè)綜合性的任務(wù)：網(wǎng)站用戶購物行為分析。這種以綜合任務(wù)為整個(gè)教學(xué)用例，將教學(xué)內(nèi)容融合進(jìn)逐步細(xì)化的各小任務(wù)中，可以讓學(xué)員從整體的角度來考慮問題，從而會(huì)當(dāng)臨絕頂一覽眾山小的教學(xué)效果。

1.5考核方法

考核評(píng)定方式的改革也是課程改革的一個(gè)重要環(huán)節(jié)。傳統(tǒng)的期末卷面考試由于考核形式單一、考核內(nèi)容片面、考核重結(jié)果輕過程，因此不能建立起對(duì)學(xué)生的綜合評(píng)價(jià)，也可能導(dǎo)致學(xué)生的實(shí)踐動(dòng)手能力弱。因此，結(jié)合本門課程的性質(zhì)和特點(diǎn)，采取平時(shí)成績+實(shí)驗(yàn)成績+期末考試的考核方式，將重點(diǎn)放在過程性考核上。每完成一個(gè)知識(shí)點(diǎn)，即組織一次針對(duì)該知識(shí)點(diǎn)的應(yīng)用和編程演練，以此激發(fā)學(xué)生學(xué)習(xí)的主動(dòng)性和積極性，加強(qiáng)學(xué)生的實(shí)踐應(yīng)用能力和團(tuán)隊(duì)合作能力。

2結(jié)論

大數(shù)據(jù)的浪潮正在沖擊著我們的生活、學(xué)習(xí)和工作，身處這個(gè)時(shí)代的人都會(huì)受到大數(shù)據(jù)思維的影響。在大數(shù)據(jù)的背景之下，精通大數(shù)據(jù)分析處理的專業(yè)人才會(huì)眾多企業(yè)爭搶的對(duì)象。《大數(shù)據(jù)處理技術(shù)》課程及相關(guān)課程的設(shè)立就是讓學(xué)生在學(xué)校內(nèi)就可以在大數(shù)據(jù)環(huán)境中參與企業(yè)項(xiàng)目實(shí)踐，把握未來企業(yè)需求，掌握好大數(shù)據(jù)的管理、分析及應(yīng)用等方面的核心技能，從而為以后在此方向工作打下堅(jiān)實(shí)的基礎(chǔ)。endprint