數(shù)據(jù)清洗實(shí)訓(xùn)課程教學(xué)改革與實(shí)施

關(guān)鍵詞：數(shù)據(jù)清洗實(shí)訓(xùn)；教學(xué)改革；混合式教學(xué)

引言

數(shù)據(jù)清洗是高職院校大數(shù)據(jù)技術(shù)專業(yè)的一門必修課。該課程主要講授了數(shù)據(jù)清洗的相關(guān)理論知識(shí)，如何利用Kettle組件以及Python的Numpy.Pandas等庫完成數(shù)據(jù)抽取、清洗、集成、轉(zhuǎn)換工作。數(shù)據(jù)清洗實(shí)訓(xùn)是數(shù)據(jù)清洗課程的延伸，通過教師開發(fā)的一系列專業(yè)實(shí)操訓(xùn)練，把所學(xué)的數(shù)據(jù)清洗理論知識(shí)和方法應(yīng)用到具體項(xiàng)目實(shí)訓(xùn)中，是幫助學(xué)生掌握數(shù)據(jù)清洗技術(shù)、提高數(shù)據(jù)清洗項(xiàng)目的實(shí)踐能力的有效手段，是提高學(xué)生獨(dú)立操作能力、分析問題和解決問題能力的一個(gè)重要環(huán)節(jié)。

一、教學(xué)面臨問題

在之前的數(shù)據(jù)清洗實(shí)訓(xùn)課程中，Kettle工具的五個(gè)實(shí)訓(xùn)任務(wù)，主要集中在單純的拖動(dòng)組件、配置參數(shù)，學(xué)生覺得課程內(nèi)容略顯枯燥，興趣不高。

此外，Python工具的三個(gè)實(shí)訓(xùn)任務(wù)，本質(zhì)上都是先讀取數(shù)據(jù)，必要時(shí)合并數(shù)據(jù)，然后進(jìn)行缺失值、異常值、重復(fù)值的處理，最后保存清洗后的數(shù)據(jù)，并對數(shù)據(jù)進(jìn)行簡要的分析處理。由于整個(gè)過程都是使用Python語言進(jìn)行編程實(shí)現(xiàn)，學(xué)生反饋代碼思路過于單一，缺少趣味性。

在數(shù)據(jù)清洗實(shí)訓(xùn)課程中，關(guān)于Kettle的實(shí)訓(xùn)項(xiàng)目，只涉及了如何創(chuàng)建和使用轉(zhuǎn)換（Transformation），并未涉及對多個(gè)轉(zhuǎn)換構(gòu)建的整個(gè)工作流的抽象和控制（Job）。而在實(shí)際工作環(huán)境中，為了實(shí)現(xiàn)某些復(fù)雜場景下的數(shù)據(jù)清洗，需要先為子任務(wù)創(chuàng)建轉(zhuǎn)換，然后再創(chuàng)建Job，將子任務(wù)連接起來，完成一個(gè)完整的數(shù)據(jù)清洗過程。這使得學(xué)生在面對實(shí)際工作場景下的復(fù)雜任務(wù)時(shí)，沒有使用Job對多個(gè)轉(zhuǎn)換進(jìn)行構(gòu)建的意識(shí)，無法創(chuàng)建完整、清晰的數(shù)據(jù)清洗流程，缺少解決相應(yīng)問題的能力。

數(shù)據(jù)清洗實(shí)訓(xùn)課程對清洗后的數(shù)據(jù)，往往只涉及數(shù)據(jù)存儲(chǔ)的操作。由于我校大數(shù)據(jù)技術(shù)專業(yè)的學(xué)生目前未開設(shè)數(shù)據(jù)挖掘相關(guān)課程，學(xué)生不明確清洗之后的數(shù)據(jù)可以做什么，無法理解數(shù)據(jù)清洗對后續(xù)的數(shù)據(jù)處理究竟可以起到何種重要的作用，使得部分學(xué)生對課程的重要性缺少充分的認(rèn)識(shí)。

二、教學(xué)改進(jìn)創(chuàng)新

針對教學(xué)中存在的問題，結(jié)合我校大數(shù)據(jù)技術(shù)專業(yè)學(xué)生的特點(diǎn)，對教學(xué)方法、教學(xué)設(shè)計(jì)和教學(xué)內(nèi)容進(jìn)行了改進(jìn)，具體如下。

課前：在智慧職教云平臺(tái)上傳教學(xué)課件、發(fā)布需要預(yù)習(xí)的知識(shí)點(diǎn)和任務(wù)書，并進(jìn)行課前測驗(yàn)。學(xué)生可根據(jù)教師發(fā)布的學(xué)習(xí)任務(wù)，先預(yù)習(xí)相應(yīng)知識(shí)點(diǎn)，并通過課前測驗(yàn)查漏補(bǔ)缺。教師可通過課前測驗(yàn)了解學(xué)生對知識(shí)的掌握情況，及時(shí)調(diào)整備課，合理安排教學(xué)任務(wù)中的重難點(diǎn)。

課中：以學(xué)生為主體，讓學(xué)生帶著問題進(jìn)課堂。在教師“教”的過程中，對學(xué)生課前在智慧職教云平臺(tái)上提出的問題進(jìn)行解答。在學(xué)生“練”的過程中，教師做好輔導(dǎo)，及時(shí)解答學(xué)生的疑問；對于可以預(yù)見的易錯(cuò)問題或一些難題，提前錄制一些視頻上傳到智慧職教云平臺(tái)，供學(xué)生反復(fù)觀看、學(xué)習(xí)，幫助學(xué)生更好地掌握知識(shí)和技能。

課后：及時(shí)在智慧職教云平臺(tái)上批閱學(xué)生上傳的實(shí)訓(xùn)報(bào)告，對共性問題進(jìn)行統(tǒng)一講解，對個(gè)別學(xué)生的問題進(jìn)行單獨(dú)指導(dǎo)。此外，教師在智慧職教云平臺(tái)上布置并推送針對性、個(gè)性化的作業(yè)，進(jìn)行課后測試，幫助學(xué)生鞏固學(xué)習(xí)效果；對于知識(shí)和技能完全掌握的學(xué)生，推送知識(shí)拓展內(nèi)容。

編寫任務(wù)手冊式的實(shí)訓(xùn)指導(dǎo)書，闡明各個(gè)任務(wù)要完成的內(nèi)容、需要實(shí)現(xiàn)的目標(biāo)和效果、需要進(jìn)行的數(shù)據(jù)和環(huán)境準(zhǔn)備，提供任務(wù)實(shí)施的思維導(dǎo)圖以幫助學(xué)生更好地理清思路、理解任務(wù)，并詳細(xì)描述任務(wù)步驟及涉及的知識(shí)技能等。

對實(shí)訓(xùn)項(xiàng)目中的每一個(gè)實(shí)訓(xùn)任務(wù)，在授課過程中，首先講解任務(wù)要實(shí)現(xiàn)的功能、演示最后實(shí)現(xiàn)的效果，然后講解和演示任務(wù)實(shí)現(xiàn)的步驟。在此過程中，分析每一個(gè)步驟使用到了哪些知識(shí)點(diǎn)，幫助學(xué)生更好地理解這個(gè)任務(wù)，提高學(xué)生的參與度與成就感，激發(fā)學(xué)生的學(xué)習(xí)興趣。

新增實(shí)訓(xùn)項(xiàng)目，將教學(xué)內(nèi)容重構(gòu)為三大項(xiàng)目：Kettle數(shù)據(jù)清洗實(shí)踐、Python數(shù)據(jù)清洗實(shí)踐、圖像數(shù)據(jù)清洗實(shí)踐。

1.Kettle數(shù)據(jù)清洗實(shí)踐項(xiàng)目：

（l）多數(shù)據(jù)源合并。將多個(gè)文本文件和Excel文件中的數(shù)據(jù)合并到一個(gè)新的Excel工作表中。

（2）文件遍歷。遍歷文件夾下的文本文件和Excel文件，根據(jù)文件類型，使用不同的方式讀取文件，將數(shù)據(jù)導(dǎo)入到MySQL數(shù)據(jù)庫中。

（3）使用定時(shí)任務(wù)加載數(shù)據(jù)庫表。使用Kettle的定時(shí)任務(wù)，將數(shù)據(jù)庫1中的數(shù)據(jù)加載到數(shù)據(jù)庫2中。

（4）使用Job實(shí)現(xiàn)課程統(tǒng)計(jì)。創(chuàng)建一個(gè)Job來整合兩個(gè)轉(zhuǎn)換，用命令行和定時(shí)任務(wù)對課程數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，并輸出最終的統(tǒng)計(jì)文件。

2.Python數(shù)據(jù)清洗實(shí)踐項(xiàng)目：

（1）二手房數(shù)據(jù)清理。讀取某地區(qū)二手房數(shù)據(jù)文件，對缺失值、重復(fù)值、異常值進(jìn)行檢測和處理。

（2）中國籃球運(yùn)動(dòng)員的基本信息分析。在刪除重復(fù)值、填充缺失值、確認(rèn)刪除異常值之后，對數(shù)據(jù)進(jìn)行分組與聚合、軸向旋轉(zhuǎn)、降采樣等。

（3）數(shù)據(jù)分析師崗位分析。讀取有關(guān)數(shù)據(jù)分析師崗位的招聘數(shù)據(jù)，在對清洗后的數(shù)據(jù)進(jìn)行簡要分析的基礎(chǔ)上，引入Python的matplotlib庫，將分析結(jié)果通過折線圖、柱狀圖、環(huán)形圖等方式直觀地展示出來，與后續(xù)的數(shù)據(jù)可視化課程關(guān)聯(lián)起來，幫助學(xué)生更好地理解數(shù)據(jù)清洗在大數(shù)據(jù)處理過程中的角色和重要性。

3．圖像數(shù)據(jù)清洗實(shí)踐項(xiàng)目：

分別使用Python的scikit-image庫和openCV庫進(jìn)行圖像數(shù)據(jù)的預(yù)處理，實(shí)現(xiàn)圖像的讀取、保存、調(diào)整大小、重塑、旋轉(zhuǎn)等功能。通過圖像交互性提高課程的趣味性，激發(fā)學(xué)生的學(xué)習(xí)興趣。

三、教學(xué)評價(jià)反饋

將本屆實(shí)施了改革方案的班級（2022級），與往屆未實(shí)施該方案的班級（2021級）的實(shí)訓(xùn)成績進(jìn)行了對比，如表1所示。

可見，2022級實(shí)施該方案的班級的平均成績和優(yōu)秀率都高于2021級未實(shí)施該方案的班級，說明該方案有助于提高學(xué)生的知識(shí)掌握能力、實(shí)操能力和專業(yè)技能。

對2022級實(shí)施該方案的班級的學(xué)生進(jìn)行了問卷調(diào)查，主要涉及對課程內(nèi)容、教學(xué)方法、學(xué)習(xí)收獲等方面的滿意度和認(rèn)同度。結(jié)果顯示，超過85%學(xué)生對該方案表示滿意或非常滿意，認(rèn)為該方案能夠增加課程的趣味性、可理解性和實(shí)用性，幫助他們更好地理解數(shù)據(jù)清洗的方法和作用、掌握使用Kettle和Python進(jìn)行數(shù)據(jù)清洗的能力。

結(jié)語

做好教學(xué)工作是教師一生的追求，只有不斷對所教授的課程進(jìn)行反思、改革，才能有效提升教學(xué)效果。本文以四川郵電職業(yè)技術(shù)學(xué)院為例，針對數(shù)據(jù)清洗實(shí)訓(xùn)課程教學(xué)過程中遇到的問題，對教學(xué)方法、教學(xué)設(shè)計(jì)和教學(xué)內(nèi)容進(jìn)行了改革。通過實(shí)施線上線下混合式教學(xué)，將教學(xué)延伸到課堂內(nèi)外；通過改革教學(xué)設(shè)計(jì)，幫助學(xué)生更好地理解實(shí)訓(xùn)項(xiàng)目，提高學(xué)生的參與度與成就感，激發(fā)學(xué)生的學(xué)習(xí)興趣；通過重構(gòu)實(shí)訓(xùn)項(xiàng)目，增強(qiáng)課程與實(shí)際工作場景和后續(xù)課程的關(guān)聯(lián)度，增加課程的互動(dòng)和趣味性，提高學(xué)生主動(dòng)學(xué)習(xí)的動(dòng)力。根據(jù)教學(xué)評價(jià)反饋，本次改革方案能夠幫助學(xué)生更好地理解數(shù)據(jù)清洗、掌握使用Kettle和Python進(jìn)行數(shù)據(jù)清洗的能力，為將來從事大數(shù)據(jù)相關(guān)領(lǐng)域的工作打下了堅(jiān)實(shí)的基礎(chǔ)。