面向大數(shù)據(jù)平臺(tái)的數(shù)據(jù)庫技術(shù)創(chuàng)新創(chuàng)業(yè)教學(xué)改革

劉 莉 陶 強(qiáng) 張小峰

1.魯東大學(xué)信息與電氣工程學(xué)院 山東煙臺(tái) 264025

2.山東商務(wù)職業(yè)學(xué)院 學(xué)生工作處(團(tuán)委)山東煙臺(tái) 264003

從2011年大數(shù)據(jù)概念提出以來，大數(shù)據(jù)幾乎應(yīng)用到人們生活、工作的各個(gè)方面，無論是對社會(huì)、公司還是個(gè)人而言，都是一次世界觀的改變，而且數(shù)據(jù)和土地、勞動(dòng)力、資金一樣成為國家的重要經(jīng)濟(jì)資源[1]。作為一種商業(yè)資本和重要的經(jīng)濟(jì)投入，大數(shù)據(jù)可以創(chuàng)造出新的經(jīng)濟(jì)效益，激發(fā)新型產(chǎn)品和新型服務(wù)，同時(shí)影響著國家和社會(huì)經(jīng)濟(jì)的安全、穩(wěn)定與發(fā)展。大數(shù)據(jù)產(chǎn)業(yè)本身具有巨大的商業(yè)價(jià)值和社會(huì)價(jià)值，國際數(shù)據(jù)公司(International Data Corporation，IDC)將大數(shù)據(jù)作為4個(gè)支柱研究領(lǐng)域之一，預(yù)計(jì)2018年大數(shù)據(jù)技術(shù)和服務(wù)市場總額將達(dá)到415億美元，大數(shù)據(jù)將成為全球下一個(gè)促發(fā)創(chuàng)新、角力競爭和提高生產(chǎn)力的前沿領(lǐng)域[2]。根據(jù)2014年EMC公司公布的第七份數(shù)字宇宙(Digital Universe)報(bào)告，通過國際數(shù)據(jù)公司(IDC)的研究和分析，2013年全球大數(shù)據(jù)的總量為4.4 ZB(Zettabyte)，預(yù)計(jì)到2020年全球的數(shù)據(jù)將增長10倍，總量達(dá)到44 ZB。值得關(guān)注的是，大數(shù)據(jù)所獲取的信息包含大量非結(jié)構(gòu)化、半結(jié)構(gòu)化以及結(jié)構(gòu)化數(shù)據(jù)，而且常常以數(shù)據(jù)流的形式動(dòng)態(tài)、快速地產(chǎn)生，具有很強(qiáng)的時(shí)效性[3]。這就需要高等學(xué)校教育在構(gòu)建數(shù)據(jù)庫技術(shù)課程體系中時(shí)，針對不同應(yīng)用領(lǐng)域，面向大數(shù)據(jù)平臺(tái)，研究適應(yīng)新形勢下的創(chuàng)新創(chuàng)業(yè)教學(xué)改革模式。

1 大數(shù)據(jù)在不同領(lǐng)域的應(yīng)用現(xiàn)狀

隨著社會(huì)信息化和網(wǎng)絡(luò)化程度的不斷提高，以及云計(jì)算、物聯(lián)網(wǎng)等新興技術(shù)的發(fā)展和應(yīng)用，一個(gè)大規(guī)模生產(chǎn)、分享和應(yīng)用數(shù)據(jù)的時(shí)代已經(jīng)悄然而至。大數(shù)據(jù)及其分析技術(shù)在公共衛(wèi)生、商業(yè)、企業(yè)以及科學(xué)研究等領(lǐng)域應(yīng)用廣泛[4]，極大地改變了人們的生活。例如，互聯(lián)網(wǎng)領(lǐng)域中，一些電商發(fā)起了“雙11”“雙12”等購物狂歡節(jié)，其暴增的交易量帶給應(yīng)用服務(wù)系統(tǒng)非常大的運(yùn)行壓力。商家為了緩解供需關(guān)系，采用大數(shù)據(jù)分析技術(shù)對往年用戶的消費(fèi)情況，以及個(gè)體用戶購物節(jié)前所關(guān)注、收藏和瀏覽的商品等信息進(jìn)行分析，從而更有效地備貨[5]，應(yīng)對短時(shí)爆發(fā)的海量需求。以醫(yī)療服務(wù)大數(shù)據(jù)為例，IBM與同仁醫(yī)院合作，針對醫(yī)院現(xiàn)有的客戶病例信息，通過分析健康與患病人群的差異，搭建了基于臨床、運(yùn)營、科研、考核等信息的大數(shù)據(jù)分析系統(tǒng)，給患者和醫(yī)護(hù)人員以更好的參考和服務(wù)[6]。

在科學(xué)研究領(lǐng)域，大數(shù)據(jù)分析和應(yīng)用技術(shù)也取得了很好的成績，國內(nèi)外多個(gè)研究機(jī)構(gòu)建立了大數(shù)據(jù)知識(shí)庫，并在此基礎(chǔ)上構(gòu)建了多種應(yīng)用系統(tǒng)[7]。以知識(shí)庫為例，具有代表性的知識(shí)圖譜有WordNet，KnowItAll，F(xiàn)reebase，DBpedia，WikiTaxonomy，YAGO，ReadTheWeb，以及基于網(wǎng)絡(luò)大數(shù)據(jù)構(gòu)建的概率化知識(shí)庫Probase，Knowledge Vault等[8]。國際上著名的知識(shí)搜索和計(jì)算平臺(tái)，如Google公司的知識(shí)圖譜、Wolfram公司的知識(shí)在線自動(dòng)問答系統(tǒng)Wolfram Alpha和美國的官方政府搜索平臺(tái)Data.gov等[9]。我國科研機(jī)構(gòu)構(gòu)建的知識(shí)搜索平臺(tái)，具有代表性的工作有搜狗知立方、百度知心、陸汝鈐院士等人提出的知件、上海交通大學(xué)的zhishi.me和復(fù)旦大學(xué)的GDM中文知識(shí)圖譜展示平臺(tái)等[10]。綜合以上應(yīng)用現(xiàn)狀和科研成果，可以看出，大數(shù)據(jù)分析技術(shù)得到廣泛的應(yīng)用和推廣，同時(shí)，隨著新時(shí)代對數(shù)據(jù)的需求越來越依賴，它將成為一種不可或缺的巨大的經(jīng)濟(jì)資產(chǎn)。

2 大數(shù)據(jù)平臺(tái)基本模型

針對大數(shù)據(jù)人才的需求，結(jié)合數(shù)據(jù)庫技術(shù)課程建設(shè)和教學(xué)改革現(xiàn)狀，提出面向高等學(xué)校本科生及研究生的大數(shù)據(jù)平臺(tái)人才培養(yǎng)基本模型，其層次結(jié)構(gòu)如圖1所示。該基本模型包含了實(shí)施大數(shù)據(jù)技術(shù)和部署大數(shù)據(jù)平臺(tái)需要的6個(gè)層次，按照自下向上，逐層實(shí)施的原則，依次為基礎(chǔ)平臺(tái)→信息采集→信息融合與存儲(chǔ)→計(jì)算與分析→應(yīng)用層→可視化層。模型的每一層又按照“初級”“中級”和“高級”3個(gè)難度等級規(guī)劃學(xué)習(xí)路徑，循序漸進(jìn)。同時(shí)，基本模型面向每個(gè)層次和學(xué)習(xí)路徑設(shè)置了從簡到繁、從易到難的學(xué)習(xí)模塊，包括40個(gè)相關(guān)技術(shù)。具體層次劃分依據(jù)如下。

(1)基礎(chǔ)平臺(tái)層：用于訓(xùn)練大數(shù)據(jù)底層的軟硬件能力，主要包括操作系統(tǒng)技術(shù)(如Linux)、虛擬化技術(shù)、體系架構(gòu)技術(shù)以及硬件技術(shù)。

(2)信息采集層：訓(xùn)練大數(shù)據(jù)的主動(dòng)獲取能力，主要包括網(wǎng)絡(luò)爬蟲、中級以及高級內(nèi)容檢索技術(shù)。

(3)信息融合與存儲(chǔ)層：該層是信息處理的關(guān)鍵層，用于訓(xùn)練大數(shù)據(jù)預(yù)處理能力并部署融合能力，主要包括文件存儲(chǔ)技術(shù)、關(guān)系數(shù)據(jù)庫技術(shù)(如Oracle)、數(shù)據(jù)倉庫技術(shù)，進(jìn)而延伸出數(shù)據(jù)抽取、過濾、融合與壓縮等技術(shù)。

(4)計(jì)算與分析層：該層主要對數(shù)據(jù)進(jìn)行分析，用于訓(xùn)練大數(shù)據(jù)的分布式并行計(jì)算與分析模型構(gòu)建能力，主要包括數(shù)據(jù)批處理計(jì)算框架(數(shù)理統(tǒng)計(jì)知識(shí))、內(nèi)存計(jì)算框架、圖計(jì)算框架(機(jī)器學(xué)習(xí))、流式計(jì)算框架(數(shù)據(jù)挖掘技術(shù))等大數(shù)據(jù)分析技術(shù)。

(5)應(yīng)用層：針對基礎(chǔ)的大數(shù)據(jù)應(yīng)用技術(shù)，主要包括文本處理、圖像處理和語音識(shí)別等技術(shù)，能夠訓(xùn)練綜合運(yùn)用大數(shù)據(jù)技術(shù)的能力。

(6)可視化層：該層提供了數(shù)據(jù)與用戶交互式體驗(yàn)所采用的如Excel，Google ChartAPI，D3可視化庫等數(shù)據(jù)可視化技術(shù)和工具，提高大數(shù)據(jù)計(jì)算與分析結(jié)果的展示能力。

通過大數(shù)據(jù)平臺(tái)人才培養(yǎng)基本模型的搭建和實(shí)施，按照模型規(guī)劃的6個(gè)層次、3個(gè)路徑和40個(gè)技術(shù)模塊進(jìn)行創(chuàng)新創(chuàng)業(yè)教學(xué)改革，使學(xué)生掌握具有差異化學(xué)習(xí)難度的大數(shù)據(jù)技術(shù)，同時(shí)，循序漸進(jìn)地提高大數(shù)據(jù)技術(shù)的部署和實(shí)施能力。

3 大數(shù)據(jù)平臺(tái)擬解決的關(guān)鍵問題

圖1 大數(shù)據(jù)平臺(tái)人才培養(yǎng)基本模型

提出的創(chuàng)新創(chuàng)業(yè)教學(xué)改革思路，其平臺(tái)構(gòu)建過程按照圖2所示的開發(fā)與運(yùn)行機(jī)理展開?？傮w上分成4個(gè)部分：大數(shù)據(jù)構(gòu)件資源庫、集成設(shè)計(jì)開發(fā)環(huán)境、系統(tǒng)運(yùn)行分析工具、大數(shù)據(jù)平臺(tái)應(yīng)用系統(tǒng)。具體而言，“大數(shù)據(jù)構(gòu)件資源庫”是大數(shù)據(jù)平臺(tái)的元數(shù)據(jù)存儲(chǔ)引擎，用于存儲(chǔ)用戶狀態(tài)、資源狀態(tài)、集群狀態(tài)等元信息，同時(shí)為其他模塊提供查詢和更新接口?？紤]到資源庫是整個(gè)系統(tǒng)的核心，其與需求模塊、分析優(yōu)化模塊和自動(dòng)部署模塊相關(guān)聯(lián)，因此，“大數(shù)據(jù)構(gòu)件資源庫”的作用是負(fù)責(zé)系統(tǒng)的狀態(tài)存儲(chǔ)與消息傳遞。針對需求模塊，“大數(shù)據(jù)構(gòu)件資源庫”能夠根據(jù)用戶對大數(shù)據(jù)存儲(chǔ)、計(jì)算和分析需求，設(shè)計(jì)滿足用戶需求和構(gòu)件特點(diǎn)的自適應(yīng)方案，自動(dòng)選擇合適的大數(shù)據(jù)存儲(chǔ)系統(tǒng)、計(jì)算系統(tǒng)和分析系統(tǒng)。進(jìn)而對大數(shù)據(jù)平臺(tái)應(yīng)用系統(tǒng)進(jìn)行軟硬件參數(shù)自動(dòng)配置以及參數(shù)優(yōu)化。

該大數(shù)據(jù)平臺(tái)的主要運(yùn)行機(jī)制和特色如下。

(1)構(gòu)件自動(dòng)選型：依據(jù)用戶需求，自適應(yīng)地選擇大數(shù)據(jù)平臺(tái)應(yīng)用系統(tǒng)構(gòu)件。

(2)系統(tǒng)硬件容量規(guī)劃：考慮到用戶需求中的數(shù)據(jù)負(fù)載等情況，規(guī)劃大數(shù)據(jù)平臺(tái)應(yīng)用系統(tǒng)的硬件容量，并給出硬件容量建議。

(3)系統(tǒng)軟件參數(shù)配置與優(yōu)化：根據(jù)用戶需求和系統(tǒng)硬件容量規(guī)劃，對大數(shù)據(jù)平臺(tái)應(yīng)用系統(tǒng)的軟件參數(shù)初始化配置，并設(shè)計(jì)優(yōu)化方案。

(4)構(gòu)件資源庫實(shí)現(xiàn)動(dòng)態(tài)更新：配置“大數(shù)據(jù)構(gòu)建資源庫”的文件更新策略，實(shí)現(xiàn)其選型知識(shí)、參數(shù)配置知識(shí)，并根據(jù)用戶的反饋進(jìn)行自主更新。

圖2 大數(shù)據(jù)平臺(tái)應(yīng)用系統(tǒng)的開發(fā)與運(yùn)行支撐平臺(tái)

綜合以上大數(shù)據(jù)平臺(tái)人才培養(yǎng)基本模型和主要運(yùn)行機(jī)制，本文主要解決大數(shù)據(jù)構(gòu)件資源庫的運(yùn)行機(jī)制。整個(gè)運(yùn)行過程分為使用前，使用中和使用后，可以總結(jié)為3個(gè)主要階段：訓(xùn)練階段、應(yīng)用階段和動(dòng)態(tài)更新階段。訓(xùn)練階段用于訓(xùn)練選型決策樹和性能模型，以及訓(xùn)練軟件參數(shù)初始化配置規(guī)則庫；訓(xùn)練完成階段，依據(jù)訓(xùn)練結(jié)果，設(shè)計(jì)優(yōu)化方案，解決大數(shù)據(jù)平臺(tái)應(yīng)用系統(tǒng)的構(gòu)件選型和參數(shù)配置問題；動(dòng)態(tài)更新階段，用于系統(tǒng)的持續(xù)使用，所設(shè)置的選型決策樹、性能模型和軟/硬件參數(shù)配置規(guī)則庫在應(yīng)用過程中，根據(jù)用戶的反饋不斷進(jìn)行更新，自主調(diào)整，以適應(yīng)新的知識(shí)和方法。

4 改革方案設(shè)計(jì)

協(xié)同創(chuàng)新創(chuàng)業(yè)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)庫應(yīng)用課程結(jié)合當(dāng)前創(chuàng)新創(chuàng)業(yè)的時(shí)代要求，主要體現(xiàn)在校企合作大數(shù)據(jù)平臺(tái)的搭建，以及教學(xué)實(shí)踐案例的創(chuàng)新。其改革方案設(shè)計(jì)舉例如下。

案例：Oracle 12C 在鐵路運(yùn)輸行業(yè)中的應(yīng)用—零散貨物快運(yùn)服務(wù)平臺(tái)

模塊(一)：需求單管理

需求單管理模塊的模塊名稱及簡要功能見表1。

表1 需求單管理模塊匯總表

模塊(二)：車站作業(yè)

車站用戶完成需求單的計(jì)費(fèi)制票業(yè)務(wù)后，根據(jù)業(yè)務(wù)運(yùn)轉(zhuǎn)流程將需求單進(jìn)行集貨入庫確認(rèn)、出庫裝車確認(rèn)、卸車入庫確認(rèn)、出庫交付確認(rèn)等確認(rèn)作業(yè)操作。圖3描述車站作業(yè)流程：車站用戶對本站集貨的需求單進(jìn)行入庫操作，對需要裝車的需求單進(jìn)行出庫、裝車操作；對到達(dá)本站卸車的需求單進(jìn)行卸車、入庫操作；對本站交付的需求單進(jìn)行出庫、交付操作。表2匯總了車站作業(yè)模塊及其相應(yīng)功能。

圖3 車站作業(yè)處理流程圖

表2 車站作業(yè)模塊匯總表

表2(續(xù))

5 結(jié)語

新形勢下，社會(huì)對大數(shù)據(jù)的需求更加迫切。面向大數(shù)據(jù)平臺(tái)的創(chuàng)新創(chuàng)業(yè)教學(xué)改革，主要針對當(dāng)前“推崇創(chuàng)新、鼓勵(lì)創(chuàng)業(yè)”的熱潮，同時(shí)考慮到就業(yè)競爭加劇、技術(shù)變革加速，以及生產(chǎn)效率不斷提升的現(xiàn)狀。為了使大學(xué)生在大數(shù)據(jù)時(shí)代能夠從容應(yīng)對社會(huì)發(fā)展的需求，個(gè)人能力得以蓬勃發(fā)展，同時(shí)通過新時(shí)代大學(xué)生的努力，提升國家經(jīng)濟(jì)的戰(zhàn)略地位，高校開展創(chuàng)新創(chuàng)業(yè)教育勢在必行。面對大數(shù)據(jù)時(shí)代下的教育改革挑戰(zhàn)，結(jié)合高校實(shí)際情況，以大數(shù)據(jù)平臺(tái)人員培養(yǎng)模型為藍(lán)本，積極將數(shù)據(jù)庫技術(shù)課程體系融合到創(chuàng)新創(chuàng)業(yè)教學(xué)改革中，校企協(xié)同合作，能助推創(chuàng)新創(chuàng)業(yè)教學(xué)體系朝著健康的方向發(fā)展，為國家和人民培育出知識(shí)結(jié)構(gòu)完整、勇于貢獻(xiàn)自身的知識(shí)和能力、具有奉獻(xiàn)精神和創(chuàng)新精神的大數(shù)據(jù)平臺(tái)實(shí)施者和創(chuàng)業(yè)者，進(jìn)而實(shí)現(xiàn)我國經(jīng)濟(jì)的長遠(yuǎn)健康發(fā)展，以及社會(huì)的長期和諧穩(wěn)定。