高職大數(shù)據(jù)應(yīng)用技術(shù)專業(yè)實(shí)踐技能培養(yǎng)探究

沈洋

摘? 要：大數(shù)據(jù)技術(shù)對(duì)于國(guó)民經(jīng)濟(jì)生活的影響日趨明顯，數(shù)據(jù)的商業(yè)價(jià)值也越來(lái)越重要，企業(yè)對(duì)于大數(shù)據(jù)分析與應(yīng)用人才需求日益旺盛。通過(guò)對(duì)高職大數(shù)據(jù)應(yīng)用技術(shù)專業(yè)的人才定位、知識(shí)結(jié)構(gòu)與技能分析，以企業(yè)實(shí)際工作項(xiàng)目為載體設(shè)計(jì)實(shí)踐學(xué)習(xí)內(nèi)容，創(chuàng)新人才實(shí)踐技能的培養(yǎng)內(nèi)容和培養(yǎng)方式，使學(xué)生能夠從事大數(shù)據(jù)相關(guān)領(lǐng)域的開(kāi)發(fā)、運(yùn)維與管理工作。

關(guān)鍵詞：高職;大數(shù)據(jù)應(yīng)用技術(shù);實(shí)踐技能

中圖分類號(hào)：TP399? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Research on Practical Skills Training of Big Data Application

Technology Specialty in Higher Vocational Colleges

SHEN Yang

（Dalian Vocational Technology College，Dalian 116035，China）

Abstract：The influence of big data technology on national economic life is increasingly obvious and the commercial value of data is also increasingly important.As a result，enterprises' demand for talents in big data analysis and application is increasing.After the application of big data in higher vocational technology professionals positioning，knowledge structure and skill analysis，the practical learning content is designed with ongoing project as the carrier，innovating the contents and ways of cultivating talents' practical skills，and enabling students to engage in the development，operation，maintenance and management of big data related fields.

Keywords：higher vocational college;big data application technology;practical skills

1? ?引言（Introduction）

大數(shù)據(jù)是指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)及人工智能產(chǎn)業(yè)的發(fā)展對(duì)人才提出了新的需求，專業(yè)人才的培養(yǎng)是新一輪科技較量的基礎(chǔ)，大數(shù)據(jù)人工智能人才培養(yǎng)也納入各級(jí)各類的培養(yǎng)體系中。該專業(yè)是一個(gè)與行業(yè)契合度非常高的一個(gè)專業(yè)方向，不僅需要從業(yè)人員具有較強(qiáng)的邏輯思維能力，還需要計(jì)算機(jī)的編碼開(kāi)發(fā)能力以及對(duì)數(shù)據(jù)的分析處理能力，尤其對(duì)于高職院校的學(xué)生而言，數(shù)據(jù)的處理與分析能力是高職學(xué)生就業(yè)從事的主要崗位方向，因此在整個(gè)專業(yè)人才培養(yǎng)過(guò)程中，專業(yè)人才的培養(yǎng)一定要重視實(shí)踐與實(shí)訓(xùn)教學(xué)，培養(yǎng)學(xué)生分析問(wèn)題與解決問(wèn)題的實(shí)踐應(yīng)用能力[1]。

2? 專業(yè)人才定位及能力需求分析（Talent orientation and capability demand analysis）

2.1? ?專業(yè)人才定位

高職大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)人才培養(yǎng)一定要與本科院校培養(yǎng)的目標(biāo)不一致，所面向的職業(yè)崗位應(yīng)該是應(yīng)用型技術(shù)人才所能從事的崗位，包括大數(shù)據(jù)應(yīng)用開(kāi)發(fā)、大數(shù)據(jù)運(yùn)維管理、大數(shù)據(jù)處理三個(gè)層面為主。在現(xiàn)階段高職院校開(kāi)展的專業(yè)群建設(shè)中，大數(shù)據(jù)的相關(guān)課程也發(fā)揮著重要的作用，在計(jì)算機(jī)軟件技術(shù)、網(wǎng)絡(luò)技術(shù)以及電子商務(wù)技術(shù)等相關(guān)專業(yè)中，都涉及圍繞大數(shù)據(jù)進(jìn)行開(kāi)發(fā)和數(shù)據(jù)處理相關(guān)知識(shí)的運(yùn)用，因此培養(yǎng)大數(shù)據(jù)應(yīng)用技術(shù)相關(guān)人才是高職院校信息技術(shù)專業(yè)群建設(shè)的重點(diǎn)建設(shè)方向。

2.2? ?專業(yè)人才知識(shí)結(jié)構(gòu)與職業(yè)素養(yǎng)分析

在知識(shí)結(jié)構(gòu)方面，應(yīng)達(dá)到要求：（1）掌握數(shù)學(xué)方面的相關(guān)知識(shí)，具備抽象思維能力;（2）掌握至少一門程序設(shè)計(jì)語(yǔ)言，如Java、Python等，掌握數(shù)據(jù)庫(kù)知識(shí)和分布并行計(jì)算至少一種方法;（3）了解機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)算法;（4）懂得不同行業(yè)的工作業(yè)務(wù)流程，能夠挖掘數(shù)據(jù)的商業(yè)價(jià)值。

在職業(yè)素養(yǎng)方面，應(yīng)達(dá)到如下要求：（1）具有工程思維，溝通交流能力和團(tuán)隊(duì)協(xié)作能力;（2）具有較強(qiáng)欲望的創(chuàng)新精神;（3）對(duì)數(shù)據(jù)要有較強(qiáng)的敏感性，對(duì)待事物要有較強(qiáng)的好奇心，善于跨界思考;（4）一定要能夠嚴(yán)格保守?cái)?shù)據(jù)信息安全，不能夠損害企業(yè)和國(guó)家利益。

2.3? ?專業(yè)人才能力需求分析

隨著國(guó)內(nèi)多數(shù)高職院校大數(shù)據(jù)應(yīng)用技術(shù)專業(yè)的開(kāi)設(shè)，關(guān)于大數(shù)據(jù)應(yīng)用技術(shù)專業(yè)的人才能力培養(yǎng)的體系逐步成熟，總體而言，專業(yè)的發(fā)展一定要面向大數(shù)據(jù)行業(yè)，對(duì)接大數(shù)據(jù)應(yīng)用的不同產(chǎn)業(yè)，近幾年該專業(yè)的人才能力培養(yǎng)發(fā)生以下變化：其一，人才需求從中高端人才向應(yīng)用型人才過(guò)渡。大數(shù)據(jù)相關(guān)技術(shù)目前正處在落地應(yīng)用的重要階段，與大數(shù)據(jù)研發(fā)初期需要大量的中高端人才不同，在落地應(yīng)用階段則需要大量的應(yīng)用型人才，這些應(yīng)用型人才需要把大數(shù)據(jù)技術(shù)落地到廣大的傳統(tǒng)行業(yè)中。其二，大數(shù)據(jù)分析人才將是需求重點(diǎn)。在大數(shù)據(jù)落地應(yīng)用的過(guò)程中，大數(shù)據(jù)分析將是人才需求的重點(diǎn)，因?yàn)閿?shù)據(jù)分析是體現(xiàn)數(shù)據(jù)價(jià)值的重要途徑，所以廣大傳統(tǒng)行業(yè)將首先會(huì)關(guān)注大數(shù)據(jù)分析領(lǐng)域。大數(shù)據(jù)分析領(lǐng)域的人才需求也會(huì)帶動(dòng)大數(shù)據(jù)運(yùn)維和大數(shù)據(jù)開(kāi)發(fā)領(lǐng)域的人才需求，當(dāng)然大數(shù)據(jù)的發(fā)展也會(huì)帶動(dòng)物聯(lián)網(wǎng)的發(fā)展。其三，大數(shù)據(jù)教育將結(jié)合行業(yè)特征。早期的大數(shù)據(jù)教育主要以培養(yǎng)大數(shù)據(jù)技術(shù)為主，包括大數(shù)據(jù)平臺(tái)的搭建、大數(shù)據(jù)開(kāi)發(fā)、算法設(shè)計(jì)、結(jié)果呈現(xiàn)等內(nèi)容，未來(lái)隨著大數(shù)據(jù)與傳統(tǒng)行業(yè)的結(jié)合不斷深入，大數(shù)據(jù)教育將進(jìn)一步結(jié)合具體的行業(yè)特征。而具備行業(yè)背景知識(shí)的大數(shù)據(jù)人才將受到企業(yè)的歡迎，因?yàn)樾袠I(yè)知識(shí)將是大數(shù)據(jù)落地應(yīng)用的重要環(huán)節(jié)。其四，大數(shù)據(jù)與物聯(lián)網(wǎng)等技術(shù)將進(jìn)一步融合。隨著5G通信標(biāo)準(zhǔn)的落地，未來(lái)的物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、傳統(tǒng)行業(yè)將深度融合，這些技術(shù)將作為產(chǎn)業(yè)互聯(lián)網(wǎng)的重要組成部分共同服務(wù)于傳統(tǒng)行業(yè)，所以對(duì)于大數(shù)據(jù)行業(yè)的從業(yè)者來(lái)說(shuō)，應(yīng)豐富自身的知識(shí)結(jié)構(gòu)，了解物聯(lián)網(wǎng)等相關(guān)技術(shù)[2]。

基于以上分析，大數(shù)據(jù)應(yīng)用技術(shù)方向人才需要具備本領(lǐng)域的理論性能力、實(shí)踐性能力和應(yīng)用性能力三個(gè)方向，其中理論性能力需求中要求學(xué)生能夠掌握數(shù)據(jù)科學(xué)中的各種模型和算法的理解和運(yùn)用，而這部分是高職學(xué)生的短板，在專業(yè)教學(xué)中，教師只需要按照教學(xué)計(jì)劃中課程標(biāo)準(zhǔn)的要求完成理論內(nèi)容的介紹，使學(xué)生能夠掌握大數(shù)據(jù)的先進(jìn)技術(shù)和理論，掌握大數(shù)據(jù)平臺(tái)的理論技術(shù)基礎(chǔ)即可，具體如圖1所示。

在實(shí)踐性能力和應(yīng)用性能力需求方面，使學(xué)生能夠處理相關(guān)工作場(chǎng)景中的實(shí)際數(shù)據(jù)，能夠?qū)崿F(xiàn)數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘以及數(shù)據(jù)可視化的展示，能夠完成不同行業(yè)應(yīng)用的解決方案，并使得學(xué)生能夠掌握與大數(shù)據(jù)分析的相關(guān)工具和平臺(tái)。高職學(xué)生的普遍特點(diǎn)就是理論基礎(chǔ)薄弱，實(shí)踐動(dòng)手能力較強(qiáng)，因此在高職的大數(shù)據(jù)應(yīng)用技術(shù)人才培養(yǎng)中，應(yīng)該突出實(shí)踐技能和應(yīng)用操作處理能力的培養(yǎng)，重點(diǎn)培養(yǎng)學(xué)生的處理實(shí)際數(shù)據(jù)的能力和實(shí)際工作中解決不同行業(yè)應(yīng)用實(shí)際問(wèn)題的能力。

3? 專業(yè)人才的實(shí)踐技能培養(yǎng)探究（Research on the cultivation of practical skills of professional talents）

大數(shù)據(jù)應(yīng)用技術(shù)人才應(yīng)該屬于新型的復(fù)合型人才，通過(guò)分析可知本專業(yè)要求具有較強(qiáng)的邏輯思維能力，能夠掌握運(yùn)用計(jì)算機(jī)處理數(shù)據(jù)的綜合實(shí)踐能力。但是作為高等職業(yè)院校人才培養(yǎng)目標(biāo)而言，使本專業(yè)的學(xué)生應(yīng)該具備能夠完成實(shí)際工作中需求的各項(xiàng)技能是整個(gè)教學(xué)過(guò)程中的重要手段，大數(shù)據(jù)應(yīng)用技術(shù)領(lǐng)域本身就是要運(yùn)用計(jì)算機(jī)技術(shù)能夠?qū)?shù)據(jù)進(jìn)行綜合性的操作和分析，在專業(yè)能力需求分析中，實(shí)踐性能力也是聯(lián)系理論性能力和應(yīng)用性能力的重要紐帶。因此作為高職大數(shù)據(jù)應(yīng)用技術(shù)專業(yè)的人才能力培養(yǎng)的核心就應(yīng)該是在掌握基本理論知識(shí)的前提下，基于企業(yè)真實(shí)的項(xiàng)目和案例對(duì)學(xué)生進(jìn)行實(shí)踐性能力和應(yīng)用性能力的遞進(jìn)培養(yǎng)。

3.1? ?培養(yǎng)形式：校企合作共同培養(yǎng)

大數(shù)據(jù)應(yīng)用技術(shù)專業(yè)的知識(shí)與能力素質(zhì)培養(yǎng)前提一定要是校企合作共同培養(yǎng)，因?yàn)榇髷?shù)據(jù)專業(yè)如果脫離了行業(yè)背景就失去了數(shù)據(jù)的價(jià)值與意義，因此人才的知識(shí)和能力素質(zhì)培養(yǎng)要與行業(yè)內(nèi)的資深企業(yè)合作，雙方共同制定培養(yǎng)方案、師資培訓(xùn)計(jì)劃、教學(xué)資源建設(shè)以及實(shí)踐教學(xué)和實(shí)訓(xùn)。專業(yè)的產(chǎn)教融合應(yīng)該也要為企業(yè)輸送需求的技術(shù)人才，校內(nèi)教師應(yīng)該夯實(shí)學(xué)生的知識(shí)層面，完成專業(yè)基礎(chǔ)課程內(nèi)容的講授，當(dāng)然教師要在企業(yè)經(jīng)過(guò)企業(yè)實(shí)踐，受過(guò)專業(yè)培訓(xùn)和指導(dǎo)，在專業(yè)課階段，應(yīng)該是校內(nèi)外教師團(tuán)隊(duì)共同講授相關(guān)課程，給予學(xué)生指導(dǎo)，在實(shí)踐課和實(shí)訓(xùn)中，應(yīng)該由企業(yè)的老師以企業(yè)的實(shí)際案例進(jìn)行項(xiàng)目化教學(xué)，通過(guò)這種教學(xué)組織形式，才能培養(yǎng)出學(xué)生堅(jiān)實(shí)的基礎(chǔ)知識(shí)和符合行業(yè)、企業(yè)要求的專業(yè)技術(shù)技能[3]。

3.2? ?培養(yǎng)內(nèi)容：以企業(yè)實(shí)際工作項(xiàng)目為載體設(shè)計(jì)實(shí)踐學(xué)習(xí)內(nèi)容

大數(shù)據(jù)應(yīng)用技術(shù)專業(yè)的技能培養(yǎng)，一定要圍繞企業(yè)實(shí)際項(xiàng)目為載體來(lái)設(shè)計(jì)實(shí)踐教學(xué)內(nèi)容，大數(shù)據(jù)實(shí)踐項(xiàng)目需要來(lái)自工作一線的大量數(shù)據(jù)進(jìn)行分析與操作，因此實(shí)踐教學(xué)活動(dòng)一定要基于實(shí)際項(xiàng)目來(lái)進(jìn)行設(shè)計(jì)，只有這樣才能讓學(xué)生能夠在實(shí)戰(zhàn)中得到實(shí)踐技能的提升和應(yīng)用性能力的培養(yǎng)。

大數(shù)據(jù)應(yīng)用技術(shù)人才的培養(yǎng)重在培養(yǎng)學(xué)生利用這項(xiàng)技術(shù)完成相關(guān)的實(shí)際案例的操作，因此在專業(yè)實(shí)踐綜合類實(shí)訓(xùn)課程的設(shè)計(jì)中，一定要基于實(shí)際應(yīng)用的背景，圍繞專業(yè)中的實(shí)踐性能力需求和應(yīng)用性能力需求開(kāi)展實(shí)踐類課程的設(shè)計(jì)。實(shí)踐教學(xué)的項(xiàng)目選擇一定是一個(gè)完整的項(xiàng)目過(guò)程，這個(gè)過(guò)程一定是能夠覆蓋行業(yè)內(nèi)部整個(gè)工作流程，并且在整個(gè)實(shí)踐項(xiàng)目的講授過(guò)程中能夠培養(yǎng)學(xué)生行業(yè)所需的核心技能。因此根據(jù)以上原則，選取“基于Hadoop的電商網(wǎng)站用戶行為分析系統(tǒng)”這個(gè)綜合性的實(shí)踐項(xiàng)目可以作為大數(shù)據(jù)分析、處理與應(yīng)用的實(shí)踐項(xiàng)目，通過(guò)整個(gè)項(xiàng)目的教學(xué)與實(shí)訓(xùn)，使學(xué)生在實(shí)踐技能方面得到提升。

項(xiàng)目依托的硬件基礎(chǔ)設(shè)施為機(jī)房通用學(xué)生用機(jī)及相關(guān)網(wǎng)絡(luò)設(shè)備，軟件基礎(chǔ)層選用開(kāi)源的Linux操作系統(tǒng)。架構(gòu)層采用Hadoop為核心，應(yīng)用層分?jǐn)?shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析、數(shù)據(jù)可視化四個(gè)模塊[4]。

3.2.1? ?實(shí)踐教學(xué)目標(biāo)

本項(xiàng)目圍繞的電商交易進(jìn)行設(shè)計(jì)，生產(chǎn)消費(fèi)過(guò)程中通過(guò)平臺(tái)產(chǎn)生或記錄了大量數(shù)據(jù)。這些數(shù)據(jù)如何分析從而得到和用戶相關(guān)的有用信息。從大數(shù)據(jù)的實(shí)際應(yīng)用出發(fā)，針對(duì)目前存在很多的電商網(wǎng)站存在相互競(jìng)爭(zhēng)關(guān)系，解決如何精準(zhǔn)定位目標(biāo)客戶的問(wèn)題。為了提升網(wǎng)站的點(diǎn)擊率和訂閱量，采用行為分析和數(shù)據(jù)挖掘?qū)W(wǎng)站進(jìn)行分析，通多對(duì)網(wǎng)站操作的各種行為進(jìn)行業(yè)務(wù)分析，從而提升網(wǎng)站的用戶體驗(yàn)性，提高用戶的轉(zhuǎn)化率和廣告效率等。通過(guò)這個(gè)教學(xué)案例，可以使培養(yǎng)學(xué)生掌握大數(shù)據(jù)技術(shù)中的數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、數(shù)據(jù)分析與挖掘以及數(shù)據(jù)可視化的實(shí)踐技能。

3.2.2? ?實(shí)踐教學(xué)項(xiàng)目應(yīng)用價(jià)值

通過(guò)“基于Hadoop的電商網(wǎng)站用戶行為分析系統(tǒng)”，進(jìn)行用戶行為分析系統(tǒng)可以很好地收集到原始數(shù)據(jù)，并且處理這些收集來(lái)的這些原始數(shù)據(jù)，把這些數(shù)據(jù)中有用的部分我們清洗提取處理，做成需要的用戶行為的這種指標(biāo)信息，然后分析，也可以形成用戶畫像，廣告的精準(zhǔn)投放等一些項(xiàng)目做一些基礎(chǔ)的數(shù)據(jù)提供者，因此這個(gè)系統(tǒng)在培養(yǎng)學(xué)生實(shí)踐與應(yīng)用方面具有一定的研究?jī)r(jià)值[5]。

3.2.3? ?實(shí)踐平臺(tái)功能分析

實(shí)踐項(xiàng)目結(jié)構(gòu)組成如表1所示。

3.2.4? ?實(shí)踐內(nèi)容設(shè)計(jì)

（1）項(xiàng)目需求分析

①用戶需求分析

在用戶需求方面，需要針對(duì)用戶對(duì)象的行為進(jìn)行采集，完成一個(gè)用戶行為的日志收集系統(tǒng)，記錄用戶在電商網(wǎng)站上的行為動(dòng)作，這里可以用nginx服務(wù)器來(lái)做這個(gè)日志的收集系統(tǒng)。并將用戶行為信息存儲(chǔ)在平臺(tái)中，進(jìn)行數(shù)據(jù)的分析運(yùn)算，清洗得出需求的數(shù)據(jù)。將清洗過(guò)的數(shù)據(jù)進(jìn)行前端展示。

②系統(tǒng)需求分析

本系統(tǒng)下有四個(gè)模塊：數(shù)據(jù)收集模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)清洗處理模塊、數(shù)據(jù)展示模塊四大部分組成。

在數(shù)據(jù)收集模塊中，要盡可能多的收集用戶的行為信息，要有很多字段來(lái)解析這個(gè)人的點(diǎn)擊流的行為，所以我們需要改收集模塊的配置文件，然后收集很多我們需要的字段數(shù)據(jù)。

在數(shù)據(jù)存儲(chǔ)模塊中，我們收集來(lái)的數(shù)據(jù)肯定都是url的格式化的數(shù)據(jù)，那么我們的數(shù)據(jù)存儲(chǔ)模塊就要能很好存儲(chǔ)格式化數(shù)據(jù)的數(shù)據(jù)庫(kù)，收集每個(gè)用戶的每個(gè)瀏覽網(wǎng)頁(yè)的各種行為，因此收集的數(shù)據(jù)量非常大，需要能存儲(chǔ)很大量數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)，因此應(yīng)結(jié)合這幾點(diǎn)需求來(lái)設(shè)計(jì)我們的數(shù)據(jù)存儲(chǔ)模塊。

在數(shù)據(jù)清洗模塊中，基于hadoop的大數(shù)據(jù)平臺(tái)肯定要用到hadoop里面的自帶框架mapreduce，將原始數(shù)據(jù)清洗成能被數(shù)據(jù)廠庫(kù)存儲(chǔ)的表的格式。

在前端數(shù)據(jù)展示模塊中，首先用戶行為系統(tǒng)需要前端的展示，那么我們肯定需要這個(gè)系統(tǒng)來(lái)完成數(shù)據(jù)的可視化的展示。

（2）項(xiàng)目系統(tǒng)設(shè)計(jì)

本系統(tǒng)是一個(gè)Hadoop的離線數(shù)據(jù)分析的系統(tǒng)架構(gòu)，主要用到的技術(shù)是Java+Msyql+Javaweb+Linux+Hadoop/Hbase/Hive+Sqoop/Azkaban，然后通過(guò)數(shù)據(jù)的預(yù)處理，來(lái)實(shí)現(xiàn)數(shù)據(jù)的清洗。

在系統(tǒng)技術(shù)架構(gòu)中，首先我們底層的就是Nginx作為服務(wù)器來(lái)收集日志然后加上Flume收集信息，再就是存儲(chǔ)的設(shè)計(jì)就是用的hive的數(shù)據(jù)倉(cāng)庫(kù)加上Mysql數(shù)據(jù)庫(kù)來(lái)完成數(shù)據(jù)存儲(chǔ)模塊，之后就是數(shù)據(jù)清洗，這就用到了Hadopp的Mapreduce計(jì)算模型來(lái)編寫的一套數(shù)據(jù)清洗系統(tǒng)，最后就是前端可視化展示我們用的是ssm框架，加上大數(shù)據(jù)展示組件Echars總體結(jié)構(gòu)流程框圖。

（3）項(xiàng)目實(shí)現(xiàn)過(guò)程

①搭建服務(wù)器集群，規(guī)劃集群中服務(wù)器功能。

②配置日志收集模塊，實(shí)現(xiàn)日志文件的收集。

③應(yīng)用Hdfs的Hive數(shù)據(jù)倉(cāng)庫(kù)來(lái)存儲(chǔ)數(shù)據(jù)

④應(yīng)用Hadoop平臺(tái)下面的Mapreduce的計(jì)算模型來(lái)編寫的數(shù)據(jù)處理程序，然后數(shù)據(jù)來(lái)源是有Hdfs提供，清洗出來(lái)的數(shù)據(jù)也是存儲(chǔ)到hdfs，然后提交Maptask或Reducetask任務(wù)給集群計(jì)算。

⑤使用前端大數(shù)據(jù)可視化的圖展示清洗出來(lái)的數(shù)據(jù)

本項(xiàng)目通過(guò)對(duì)電商交易網(wǎng)站的數(shù)據(jù)采集，充分運(yùn)用Hadoop的Mapreduce集群分析模塊，Hive和Hbase的數(shù)據(jù)存儲(chǔ)模塊，java web的數(shù)據(jù)展示模塊，和Echars大數(shù)據(jù)展示表格模塊等大數(shù)據(jù)技術(shù)，挖掘出具有重要價(jià)值的數(shù)據(jù)信息，以此為企業(yè)提供有助于生產(chǎn)和營(yíng)銷的重要參考。

4? ?結(jié)論（Conclusion）

綜上所述，在實(shí)踐教學(xué)的方案設(shè)計(jì)中，應(yīng)該以行業(yè)企業(yè)需求為主，企業(yè)實(shí)際項(xiàng)目為載體，能夠通過(guò)學(xué)生的實(shí)踐操作掌握專業(yè)的核心實(shí)踐技能，本方案中采用的“于Hadoop的電商網(wǎng)站用戶行為分析系統(tǒng)”完全貫穿了大數(shù)據(jù)應(yīng)用技術(shù)的核心技能，能夠使學(xué)生將課堂上學(xué)到的理論知識(shí)與實(shí)踐技能運(yùn)用到解決實(shí)際問(wèn)題中去，因此，我們?cè)诖髷?shù)據(jù)相關(guān)專業(yè)的實(shí)踐教學(xué)項(xiàng)目的開(kāi)發(fā)和設(shè)計(jì)過(guò)程中也一定要結(jié)合這種思路，使學(xué)生能夠通過(guò)實(shí)踐項(xiàng)目提升自己的專業(yè)技能，進(jìn)而能夠迅速的適應(yīng)未來(lái)的工作崗位。

參考文獻(xiàn)（References）

[1] 羅恩韜，張少波，唐雅媛.新工科背景下產(chǎn)學(xué)研協(xié)同創(chuàng)新人才培養(yǎng)體系研究[J].山東工業(yè)技術(shù)，2018（10）：236-238.

[2] 田緒紅，鄺穎杰，肖磊，等.大數(shù)據(jù)應(yīng)用人才的知識(shí)、能力、素質(zhì)結(jié)構(gòu)及其培養(yǎng)[J].計(jì)算機(jī)教育，2017（8）：57-60.

[3] 王崇剛.高職院校大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)人才培養(yǎng)方案課程體系模塊化設(shè)計(jì)的探索[J].廣東蟬業(yè)，2017（12）：91.

[4] 傅偉，涂剛.高職院校大數(shù)據(jù)專業(yè)人才培養(yǎng)模式的構(gòu)建[J].職教通訊，2017（32）：13-15.

[5] 李文強(qiáng).基于Hadoop的電子商務(wù)大數(shù)據(jù)分析綜合實(shí)訓(xùn)平臺(tái)建設(shè)[J].現(xiàn)代工業(yè)經(jīng)濟(jì)和信息化，2018（6）：36-39.

作者簡(jiǎn)介：

沈? 洋（1980-），男，碩士，副教授.研究領(lǐng)域：大數(shù)據(jù)技術(shù)與應(yīng)用，信息安全.