馮小潔
(青島濱海學(xué)院 信息工程學(xué)院,山東 青島 266555)
當(dāng)前,大數(shù)據(jù)的應(yīng)用已廣泛深入到人類社會各個方面,涵蓋醫(yī)療健康、交通運輸、金融、保險、教育、科研、電子商務(wù)、旅游等行業(yè)領(lǐng)域。大數(shù)據(jù)對科學(xué)研究、思維方式和人類社會發(fā)展都產(chǎn)生了深遠的影響。大數(shù)據(jù)具有“全樣而非抽樣、效率而非精確、相關(guān)而非因果”的顯著特征,完全顛覆了傳統(tǒng)的思維方式[1]。大數(shù)據(jù)思維是指一種意識,公開的數(shù)據(jù)一旦處理得當(dāng)就能為千百萬人急需解決的問題提供答案[2]。文獻[3]中從內(nèi)涵和構(gòu)成上給出了大數(shù)據(jù)思維的定義:大數(shù)據(jù)思維就是在大數(shù)據(jù)應(yīng)用過程中,以大數(shù)據(jù)為視角分析問題、解決問題而形成的思維,它由大數(shù)據(jù)思維觀念和大數(shù)據(jù)思維方式構(gòu)成。
從2016 年開始我國一些高校相繼開設(shè)了數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、大數(shù)據(jù)技術(shù)應(yīng)用、大數(shù)據(jù)管理等大數(shù)據(jù)類本、??茖哟蔚膶I(yè),用于培養(yǎng)大數(shù)據(jù)數(shù)據(jù)管理、大數(shù)據(jù)系統(tǒng)開發(fā)、數(shù)據(jù)分析與挖掘等應(yīng)用領(lǐng)域的研究、開發(fā)、管理高級專業(yè)技術(shù)人才。由于這些專業(yè)是新設(shè)專業(yè),人才培養(yǎng)標(biāo)準(zhǔn)尚未確立、教學(xué)體系尚在探索中、課程教學(xué)必然遇到一些問題,如教學(xué)思路不清晰、教學(xué)內(nèi)容不系統(tǒng)、教學(xué)模式與課程不匹配、教學(xué)方法落后、教學(xué)實驗環(huán)境不達標(biāo)等。作為大數(shù)據(jù)類專業(yè)的核心專業(yè)基礎(chǔ)課程,大數(shù)據(jù)技術(shù)原理與應(yīng)用課程也必然存在此類問題。因此,必須在持續(xù)不斷的教學(xué)改革實踐中探索,打造大數(shù)據(jù)技術(shù)原理與應(yīng)用精品課程。
大數(shù)據(jù)技術(shù)原理與應(yīng)用課程在大數(shù)據(jù)類專業(yè)的課程中處于核心和基礎(chǔ)地位,具有理論性強、涉及知識面廣、實踐能力要求高等特點。課程涉及大數(shù)據(jù)基本概念和應(yīng)用領(lǐng)域、大數(shù)據(jù)存儲與管理、大數(shù)據(jù)處理與分析、大數(shù)據(jù)應(yīng)用等理論知識和技術(shù);先修課程有數(shù)學(xué)、操作系統(tǒng)、計算機網(wǎng)絡(luò)、數(shù)據(jù)庫、程序設(shè)計、數(shù)據(jù)結(jié)構(gòu)與算法、Web設(shè)計等;實踐技能涉及大數(shù)據(jù)環(huán)境搭建能力、Linux 操作系統(tǒng)Shell 命令操作能力、java/Python語言分布式編程能力、流計算和圖計算編程能力、數(shù)據(jù)可視化編程能力、HBase 等分布式數(shù)據(jù)庫設(shè)計能力等。
課程教學(xué)目標(biāo)是使學(xué)生掌握大數(shù)據(jù)的基本概念、原理,存儲和管理、構(gòu)建起大數(shù)據(jù)技術(shù)知識體系,掌握初步的大數(shù)據(jù)分析、挖掘和可視化技術(shù),培養(yǎng)學(xué)生工程實踐能力和利用大數(shù)據(jù)思維思考問題、分析問題和解決問題的能力。
大數(shù)據(jù)技術(shù)作為新一代信息技術(shù)的代表,對于大數(shù)據(jù)技術(shù)課程的教學(xué),利用傳統(tǒng)的以課程教材為中心的知識傳輸式的教學(xué)模式難以達到教學(xué)目標(biāo),必須根據(jù)課程的特點,以大數(shù)據(jù)技術(shù)體系結(jié)構(gòu)的建立和大數(shù)據(jù)思維的培養(yǎng)為課程改革的方向進行教學(xué)改革。按照這個思路,課程組從教學(xué)內(nèi)容、教學(xué)方法和實踐教學(xué)3 個方面開展課程教學(xué)改革。具體的教學(xué)改革實施方案包括:①充分理解課程中的核心概念和原理、典型案例在教學(xué)內(nèi)容中的特殊地位,依據(jù)教學(xué)目標(biāo),按照大數(shù)據(jù)思維形成和發(fā)展的規(guī)律組織教學(xué)內(nèi)容;②采用項目驅(qū)動式為主的教學(xué)方法,輔以多媒體與網(wǎng)絡(luò)教學(xué)平臺等多種教學(xué)手段增強教學(xué)效果;③重視實踐教學(xué)在提高教學(xué)質(zhì)量中的重要作用,在項目實踐中培養(yǎng)學(xué)生掌握大數(shù)據(jù)技術(shù)管理、分析和挖掘、大數(shù)據(jù)系統(tǒng)開發(fā)的工程實踐技能和大數(shù)據(jù)思維能力。
按照信息論的觀點,思維是對新輸入信息與腦內(nèi)儲存知識經(jīng)驗進行一系列復(fù)雜的心智操作過程[4]。思維的形成和發(fā)展經(jīng)歷了概括到抽象、感性到理性、表象到本質(zhì)、掌握到應(yīng)用的過程。從前邊論述知道,大數(shù)據(jù)思維是在大數(shù)據(jù)應(yīng)用過程中,以大數(shù)據(jù)為視角分析問題、解決問題而形成的思維[3]。作為一種思維類型,大數(shù)據(jù)思維也必然遵循思維的形成和發(fā)展的一般規(guī)律。因此按照大數(shù)據(jù)思維形成和發(fā)展的規(guī)律,開展大數(shù)據(jù)技術(shù)原理和應(yīng)用教學(xué),培養(yǎng)學(xué)生大數(shù)據(jù)思維能力是一種有效的途徑。依據(jù)這一思路,大數(shù)據(jù)技術(shù)原理與應(yīng)用課程教學(xué)內(nèi)容組織如下。
第1 部分:大數(shù)據(jù)技術(shù)基礎(chǔ)。這部分內(nèi)容包括大數(shù)據(jù)產(chǎn)生的時代背景、概念、大數(shù)據(jù)思維、大數(shù)據(jù)影響、大數(shù)據(jù)產(chǎn)業(yè)等內(nèi)容。通過這些大數(shù)據(jù)基礎(chǔ)知識引導(dǎo)學(xué)生形成對大數(shù)據(jù)的初步的認(rèn)識,培養(yǎng)學(xué)生初步的大數(shù)據(jù)思維觀念。
第2 部分:大數(shù)據(jù)存儲和管理。這部分內(nèi)容包括使用大數(shù)據(jù)解決大數(shù)據(jù)存儲的分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、NOSQL 數(shù)據(jù)庫、云數(shù)據(jù)庫等。通過對大數(shù)據(jù)存儲概念、原理、讀寫過程的講解,使學(xué)生理解大數(shù)據(jù)的存儲體系架構(gòu)、存儲原理等,大數(shù)據(jù)思維觀念得到強化。
第3 部分:大數(shù)據(jù)處理與分析。這部分內(nèi)容包括解決大數(shù)據(jù)的高效處理問題的分布式并行編程框架MapReduce、大數(shù)據(jù)計算平臺Spark 和Storm 以及大數(shù)據(jù)可視化技術(shù)。通過這部分內(nèi)容的學(xué)習(xí),學(xué)生可以初步掌握大數(shù)據(jù)處理和分析技術(shù),并能夠做一些簡單的數(shù)據(jù)處理分析,形成解決實際問題的大數(shù)據(jù)思維方式。
第4 部分:大數(shù)據(jù)技術(shù)應(yīng)用。這部分內(nèi)容精選了大數(shù)據(jù)在電子商務(wù)領(lǐng)域的應(yīng)用——京東商城商品推薦,大數(shù)據(jù)在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用——Google 流感趨勢預(yù)測,大數(shù)據(jù)在交通領(lǐng)域的應(yīng)用——百度遷徙,大數(shù)據(jù)在娛樂領(lǐng)域的應(yīng)用——電影紙牌屋的成功,大數(shù)據(jù)在政府領(lǐng)域的應(yīng)用——網(wǎng)上辦事大廳等。通過講解大數(shù)據(jù)在社會生產(chǎn)和生活中的典型應(yīng)用案例,使學(xué)生深刻領(lǐng)會到大數(shù)據(jù)對社會的影響及其重要作用。學(xué)生通過對應(yīng)用案例的分析和理解,在這一過程中感悟大數(shù)據(jù)思維的內(nèi)涵,訓(xùn)練大數(shù)據(jù)思維,將大數(shù)據(jù)思維能力轉(zhuǎn)化為解決實際問題的具體方法。
項目驅(qū)動式為主,輔以多媒體教學(xué)與網(wǎng)絡(luò)教學(xué)平臺等多種教學(xué)手段和方法的教學(xué)方法滿足了學(xué)生學(xué)習(xí)的個性化、多樣化需求,更好地幫助學(xué)生掌握大數(shù)據(jù)技術(shù)知識體系,培養(yǎng)工程實踐能力和訓(xùn)練大數(shù)據(jù)思維能力。
按照項目驅(qū)動式教學(xué)法,大數(shù)據(jù)技術(shù)原理與應(yīng)用課程教學(xué)目標(biāo)被分解為多個具體教學(xué)項目分目標(biāo),在完成各個項目教學(xué)的分目標(biāo)基礎(chǔ)上使學(xué)生理解和掌握大數(shù)據(jù)技術(shù)基礎(chǔ)知識,逐步培養(yǎng)起大數(shù)據(jù)思維觀念和大數(shù)據(jù)思維方式。這種教學(xué)方法強調(diào)學(xué)生按照項目管理學(xué)的要求自主完成項目,而教師只做必要的指導(dǎo),學(xué)習(xí)的主動權(quán)交給了學(xué)生,便于學(xué)生發(fā)揮主觀能動性,便于因材施教。課程采用項目驅(qū)動教學(xué)法,關(guān)注的是學(xué)生在不同教學(xué)階段的自主學(xué)習(xí)和解決問題的能動性,關(guān)注學(xué)生理解和應(yīng)用大數(shù)據(jù)技術(shù)原理知識的過程,關(guān)注學(xué)生工程實踐能力的訓(xùn)練,重點在于對學(xué)生思維方式的引導(dǎo),特別是在學(xué)生大數(shù)據(jù)思維觀念和大數(shù)據(jù)思維方式的養(yǎng)成上下工夫。依據(jù)課程目標(biāo)和項目驅(qū)動式教學(xué)法可以設(shè)計如下幾個典型教學(xué)項目。
1)教育大數(shù)據(jù)項目。
新生大數(shù)據(jù)項目是典型的教育大數(shù)據(jù)應(yīng)用項目。它以某高校2019 年新生數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)源,分別從生源質(zhì)量、生源地分布、中學(xué)母校、民族、政治面貌、男女生比例、新生年齡、院系/專業(yè)人數(shù)、姓氏姓名、身高體重、興趣愛好和飲食習(xí)慣等維度對新生大數(shù)據(jù)進行分析比較。這個項目涉及的就是大學(xué)生群體自身的事情,很容易引起學(xué)生產(chǎn)生對大數(shù)據(jù)技術(shù)原理與應(yīng)用課程的學(xué)習(xí)興趣,而數(shù)據(jù)分析和挖掘出的許多有趣的結(jié)果和豐富的可視化圖表畫面更是激發(fā)了學(xué)生探索大數(shù)據(jù)技術(shù)的熱情。另一個教育大數(shù)據(jù)項目學(xué)生生活消費大數(shù)據(jù)分析項目則通過“一卡通”設(shè)備采集的學(xué)生消費數(shù)據(jù)進行分析可以為學(xué)校助學(xué)金評選提供依據(jù)。
2)大數(shù)據(jù)智能思維項目。
大數(shù)據(jù)智能思維的典型應(yīng)用是“亞馬遜雨林監(jiān)測”項目:某雨林保護組織利用華為手機收集電鋸、汽車和動物的聲音,在華為云端通過大數(shù)據(jù)分析和AI 處理,實時監(jiān)聽亞馬遜雨林,保護龐大的雨林不被濫砍濫伐[5]。在大數(shù)據(jù)時代,大數(shù)據(jù)智能系統(tǒng)也能夠自動地搜索相關(guān)的數(shù)據(jù)信息,類似“人腦”一樣主動、邏輯地分析數(shù)據(jù)、做出判斷,無疑也就具有了類似人類的智能思維能力。亞馬遜雨林監(jiān)測項目正是這樣的大數(shù)據(jù)智能系統(tǒng)。通過該項目的教學(xué),學(xué)生了解到大數(shù)據(jù)思維轉(zhuǎn)變的核心內(nèi)容是大數(shù)據(jù)將有效推進機器思維方式由自然思維轉(zhuǎn)向智能思維[6]。
3)大數(shù)據(jù)應(yīng)用促進信息技術(shù)與行業(yè)融合項目。
物聯(lián)網(wǎng)的飛速發(fā)展使得人類社會每時每刻產(chǎn)生大量的數(shù)據(jù),持續(xù)積累的大數(shù)據(jù)促進了信息技術(shù)與其他行業(yè)的深度融合?!鞍俣冗w徙(春運出行儀表盤)”項目是由百度公司利用百度地圖LBS(基于地理位置的服務(wù))開放平臺、百度天眼,對其擁有的LBS 大數(shù)據(jù)進行計算分析的平臺,是以“人群遷徙”為主題,進行交通路線預(yù)測的大數(shù)據(jù)熱點檢測可視化項目。在講授大數(shù)據(jù)可視化技術(shù)時,教師充分利用互聯(lián)網(wǎng)這一巨大的共享資源庫,詳細分析百度遷徙大數(shù)據(jù),通過人群流動和路況堵塞趨勢狀況大數(shù)據(jù)展示了大數(shù)據(jù)熱點檢測、可視化等技術(shù)應(yīng)用于交通等行業(yè)。
4)“數(shù)據(jù)驅(qū)動”決策項目。
數(shù)據(jù)驅(qū)動決策的思想是將業(yè)務(wù)系統(tǒng)應(yīng)用中產(chǎn)生的數(shù)據(jù),通過匯聚、分析挖掘,可以對業(yè)務(wù)進行診斷、預(yù)警、改進跟蹤,提高決策水平?!按髷?shù)據(jù)與紙牌屋”項目就是大數(shù)據(jù)應(yīng)用于影視產(chǎn)品開發(fā)的典型例子。項目通過一家在線視頻播放網(wǎng)站奈飛在其網(wǎng)站上收集3 000 多萬用戶每天產(chǎn)生的點擊、收藏、推薦、播放回放、暫停、快進、搜索請求等數(shù)據(jù),進行分析挖掘,得出最受用戶歡迎的劇本、著名導(dǎo)演和主要演員并適時修改劇情,最終推出電影紙牌屋,創(chuàng)造出數(shù)十億票房收入的成功的故事說明大數(shù)據(jù)應(yīng)用[7]。這是利用大數(shù)據(jù)進行投資決策的項目,真正做到了以數(shù)據(jù)為中心,“用數(shù)據(jù)說話”,從數(shù)據(jù)中發(fā)現(xiàn)問題、解決問題,使得決策方式從“目標(biāo)驅(qū)動”或“業(yè)務(wù)驅(qū)動”向“數(shù)據(jù)驅(qū)動”轉(zhuǎn)變,由數(shù)據(jù)創(chuàng)造價值,在這里,大數(shù)據(jù)成了商業(yè)創(chuàng)新的利器。
5)算法思維與大數(shù)據(jù)思維應(yīng)用比較項目。
計算思維是運用計算機科學(xué)的基礎(chǔ)概念進行問題求解、系統(tǒng)設(shè)計以及人類行為理解的涵蓋計算機科學(xué)廣度的一系列思維活動[8]。算法思維是計算思維的核心,強調(diào)解決問題的方法和步驟,而大數(shù)據(jù)思維是大數(shù)據(jù)時代計算思維的重要組成部分,它強調(diào)用“數(shù)據(jù)說話”,用數(shù)據(jù)分析和挖掘的結(jié)果得出問題的答案。為了使學(xué)生思維方式從算法思維向大數(shù)據(jù)思維轉(zhuǎn)變,課程組設(shè)計了旅行路線推薦項目。旅行路線推薦項目提出這樣的問題:給出旅客出行的起點城市和終點城市,推薦一條最佳出行方案,使得在距離、時間或交通費用等方面的權(quán)值最???按照算法思維的解決辦法,這是一個多起點多終點圖的最短路徑問題。起點和終點就是兩個城市的車站、機場、酒店、景點等節(jié)點,中間節(jié)點對應(yīng)兩個城市間經(jīng)過的車站、機場、酒店、景點等,節(jié)點之間的邊對應(yīng)距離、時間或交通費用等權(quán)值??梢岳肍loyd 算法來求解這個問題,但當(dāng)圖的節(jié)點數(shù)過多時,該算法復(fù)雜度O(n3)的值較大,不易算出。換一種思路,采用大數(shù)據(jù)思維解決問題的方法,可以通過收集人們旅行數(shù)據(jù),構(gòu)建旅客、城市以及旅客行程關(guān)系的數(shù)據(jù)模型,得到旅行大數(shù)據(jù)作為數(shù)據(jù)源。再根據(jù)旅行大數(shù)據(jù)統(tǒng)計得到某種權(quán)值最小的路線推薦給旅客,可能更能讓旅客滿意[9]。這種大數(shù)據(jù)思維解決問題的方法,專注點放在了數(shù)據(jù)模型的設(shè)計上,而不再是算法思維的精確算法設(shè)計上,這是一種“計算向數(shù)據(jù)靠攏”思想的應(yīng)用。與此相關(guān)的谷歌利用大數(shù)據(jù)實現(xiàn)機器翻譯的項目也說明了這一點。
項目驅(qū)動式教學(xué)離不開多媒體教學(xué)、互聯(lián)網(wǎng)與網(wǎng)絡(luò)教學(xué)平臺等多種教學(xué)手段的支撐。便于學(xué)生更好地進行自主探究式學(xué)習(xí)大數(shù)據(jù)技術(shù)原理與應(yīng)用課程,課程組利用課程網(wǎng)絡(luò)教學(xué)平臺提供給學(xué)生大數(shù)據(jù)技術(shù)的多種學(xué)習(xí)資源,包括教學(xué)課件、單元測驗、教學(xué)視頻、教學(xué)案例、大數(shù)據(jù)前沿技術(shù)資料等,供學(xué)生在線學(xué)習(xí)或下載后學(xué)習(xí)。此外,通過課程網(wǎng)絡(luò)教學(xué)平臺提供的博客和論壇等互動交流功能,教師能夠及時為學(xué)生答疑解惑。課程網(wǎng)絡(luò)教學(xué)平臺的應(yīng)用,為學(xué)生提供更有選擇性、拓展性和體驗性的學(xué)習(xí)資源,學(xué)生擺脫了時間和空間上的限制,真正做到了個性化自主學(xué)習(xí)和探究式學(xué)習(xí)。
大數(shù)據(jù)技術(shù)原理與應(yīng)用是一門實踐性很強的課程。為培養(yǎng)學(xué)生的實踐操作技能,課程組確立了課程理論知識與實踐技能相結(jié)合,以數(shù)據(jù)為基礎(chǔ),強化大數(shù)據(jù)實際操作能力以及編程、設(shè)計和分析能力,以實際問題為導(dǎo)向的實踐教學(xué)方案。
學(xué)校支持大數(shù)據(jù)專業(yè)建設(shè),建立了大數(shù)據(jù)實驗室,引進了一套專門用于大數(shù)據(jù)實踐教學(xué)的大數(shù)據(jù)技術(shù)實驗實訓(xùn)平臺。實驗實訓(xùn)平臺通過典型的大數(shù)據(jù)知識體系結(jié)合大數(shù)據(jù)分析和挖掘的應(yīng)用場景與案例對學(xué)生進行大數(shù)據(jù)技術(shù)方面的綜合訓(xùn)練,從而實現(xiàn)專業(yè)課程實驗實訓(xùn)教學(xué)由點到面、理論到應(yīng)用,涵蓋原理驗證、設(shè)計研究、綜合應(yīng)用的多層次實驗實訓(xùn)體系。該平臺基于OpenStack 及Docker 混合云平臺開發(fā)而成,采用B/S 架構(gòu),支持用戶通過瀏覽器訪問使用。該平臺提供的實驗實訓(xùn)項目有Linux 常用命令、分布式處理架構(gòu)Hadoop、Spark、java、R 語言、python、SAS、MapReduce、大數(shù)據(jù)案例實戰(zhàn)等。課程組根據(jù)課程教學(xué)目標(biāo)精選了其中的大部分項目作為課程實驗項目,并編寫了大數(shù)據(jù)技術(shù)原理實驗教程作為課程實驗實訓(xùn)教材,其中每個實驗都設(shè)計了實驗?zāi)繕?biāo)、實驗內(nèi)容、實驗步驟和實驗結(jié)果等模塊。為有效考核學(xué)生的實踐技能,課程組要求學(xué)生完成實驗后要獨立撰寫實驗報告。實驗報告不合格,要求必須重新做實驗、重新撰寫報告,直到合格為止。在課程綜合考核中加大了實驗設(shè)計的比重。
通過大量的實驗項目訓(xùn)練和嚴(yán)格考核,學(xué)生初步了解了大數(shù)據(jù)處理業(yè)務(wù)流程,初步掌握了大數(shù)據(jù)的存儲、管理的方法,有了一定的大數(shù)據(jù)分析和挖掘、可視化等基本技能,工程實踐技能得到提升,大數(shù)據(jù)思維能力得到了有效訓(xùn)練。
大數(shù)據(jù)思維應(yīng)大數(shù)據(jù)的產(chǎn)生而產(chǎn)生,伴隨人們對大數(shù)據(jù)的認(rèn)識和應(yīng)用的深化而發(fā)揮作用,進而對大數(shù)據(jù)技術(shù)產(chǎn)生影響。大數(shù)據(jù)技術(shù)原理與應(yīng)用課程以培養(yǎng)學(xué)生掌握大數(shù)據(jù)技術(shù)基本原理,培養(yǎng)學(xué)生的大數(shù)據(jù)思維能力,提高教學(xué)質(zhì)量為教學(xué)目標(biāo)。課程組根據(jù)課程的特點,以大數(shù)據(jù)技術(shù)體系結(jié)構(gòu)的建立、工程實踐能力的培養(yǎng)和大數(shù)據(jù)思維的訓(xùn)練和培養(yǎng),將大數(shù)據(jù)思維能力轉(zhuǎn)化成學(xué)生的解決復(fù)雜問題的方法利器作為改革的方向。具體在通過按照大數(shù)據(jù)思維形成和發(fā)展的規(guī)律組織教學(xué)內(nèi)容、項目驅(qū)動式為主的教學(xué)方法和強化實踐教學(xué)等3 個方面實施教學(xué)改革。經(jīng)過一個學(xué)期的教學(xué)改革實踐,大數(shù)據(jù)技術(shù)原理與應(yīng)用課程取得了良好的教學(xué)效果。學(xué)生對大數(shù)據(jù)的概念、處理流程有了深刻的認(rèn)識;初步掌握了大數(shù)據(jù)存儲和管理技術(shù),能夠進行簡單的大數(shù)據(jù)分析和可視化呈現(xiàn),具備了一定的工程實踐能力,能夠有意識地運用大數(shù)據(jù)思維思考、分析、創(chuàng)新研究和解決實際問題。大數(shù)據(jù)技術(shù)原理與應(yīng)用課程教學(xué)還需要不斷總結(jié)、借鑒和吸收國內(nèi)外同類課程教學(xué)成功經(jīng)驗,持續(xù)改進。