面向數(shù)據(jù)挖掘類課程的挑戰(zhàn)性綜合實(shí)驗(yàn)的設(shè)計(jì)與實(shí)踐

劉夢娟，曾貴川，劉 瑤，陸 慶

(電子科技大學(xué) 信息與軟件工程學(xué)院,四川 成都 610054)

隨著互聯(lián)網(wǎng)數(shù)據(jù)的爆炸式增長，數(shù)據(jù)分析與挖掘技術(shù)產(chǎn)生的學(xué)術(shù)和商業(yè)價(jià)值日益受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。作為目前計(jì)算機(jī)領(lǐng)域最為熱門的發(fā)展方向之一，已有許多學(xué)校開設(shè)了相關(guān)課程，如清華大學(xué)開設(shè)的“數(shù)據(jù)挖掘：理論與算法”，南京大學(xué)開設(shè)的“數(shù)據(jù)挖掘?qū)д摗?，上海交通大學(xué)開設(shè)的“數(shù)據(jù)挖掘”和“機(jī)器學(xué)習(xí)”等。然而遺憾的是，目前針對數(shù)據(jù)挖掘類課程配套的實(shí)驗(yàn)多是針對每種數(shù)據(jù)挖掘算法(模型)單獨(dú)設(shè)計(jì)的，缺少系統(tǒng)性的綜合實(shí)驗(yàn)，特別是與解決工業(yè)界實(shí)際問題密切相關(guān)的實(shí)驗(yàn)，使得學(xué)生在面對實(shí)際問題時(shí)，很難綜合利用所學(xué)的數(shù)據(jù)挖掘算法來解決問題。另一方面，挑戰(zhàn)性學(xué)習(xí)(challenge based learning,CBL)[1]作為一種新的教育理念正在國內(nèi)高校逐漸興起。例如，清華大學(xué)在2012年提出將在全校開展20門校級挑戰(zhàn)性學(xué)習(xí)課程[2]；電子科技大學(xué)在2017年也提出了挑戰(zhàn)性學(xué)習(xí)課程建設(shè)項(xiàng)目[3]。所謂挑戰(zhàn)性學(xué)習(xí)是指通過增大課程挑戰(zhàn)度，強(qiáng)調(diào)對學(xué)生實(shí)踐動手能力的培養(yǎng)，從而達(dá)到激發(fā)學(xué)生的學(xué)術(shù)志趣，建立學(xué)術(shù)自信，培養(yǎng)創(chuàng)新意識和團(tuán)隊(duì)協(xié)作精神的目的。

根據(jù)數(shù)據(jù)挖掘類課程對綜合實(shí)驗(yàn)的實(shí)際要求，以及將其定位為挑戰(zhàn)性實(shí)驗(yàn)的考慮，課程組對綜合實(shí)驗(yàn)的內(nèi)容、教學(xué)方式和評價(jià)方式進(jìn)行了全新的設(shè)計(jì)。首先，在應(yīng)用場景上，將實(shí)驗(yàn)題目設(shè)計(jì)為學(xué)生在實(shí)際互聯(lián)網(wǎng)中遇到的真實(shí)應(yīng)用——從評論中抽取用戶意見以及預(yù)測廣告投放點(diǎn)擊率；其次，在內(nèi)容深度和挑戰(zhàn)度上，將每個(gè)實(shí)驗(yàn)內(nèi)容設(shè)計(jì)為由淺入深的完成性和挑戰(zhàn)性兩部分，在完成性部分學(xué)生可利用課堂中學(xué)到的基本模型來完成實(shí)驗(yàn)，在挑戰(zhàn)性部分鼓勵(lì)學(xué)生探索最新的研究成果和解決方案來提升實(shí)驗(yàn)的性能指標(biāo)。在整個(gè)實(shí)驗(yàn)指導(dǎo)過程中，教師的作用從傳統(tǒng)的灌輸講授型轉(zhuǎn)變?yōu)閱l(fā)引導(dǎo)型，同時(shí)由于是探索性實(shí)驗(yàn)，實(shí)驗(yàn)方案的評價(jià)是可以通過性能指標(biāo)進(jìn)行量化的，因此實(shí)驗(yàn)成績的評判將由學(xué)生完成實(shí)驗(yàn)的性能指標(biāo)以及實(shí)驗(yàn)報(bào)告質(zhì)量來綜合決定。學(xué)生在實(shí)驗(yàn)過程中，將不會再有完整的實(shí)驗(yàn)指導(dǎo)書，實(shí)驗(yàn)方案由學(xué)生自行設(shè)計(jì)完成，學(xué)生需要完成一個(gè)涵蓋實(shí)驗(yàn)方案調(diào)研(文獻(xiàn)查閱)、數(shù)據(jù)集分析、難點(diǎn)分析、實(shí)驗(yàn)方案介紹、實(shí)驗(yàn)結(jié)果分析等方面內(nèi)容的挑戰(zhàn)性實(shí)驗(yàn)報(bào)告。

1 挑戰(zhàn)性課程的現(xiàn)狀

文獻(xiàn)[2]中指出，課程挑戰(zhàn)度不足是我國世界一流本科教育事業(yè)發(fā)展中的瓶頸問題之一。究其原因是因?yàn)閲鴥?nèi)高校的第一課堂很大部分都采用單向的知識傳授型授課模式，使得學(xué)生“學(xué)得容易，忘得也快”。為此2008年清華大學(xué)開始推動挑戰(zhàn)性課程的建設(shè)，希望以此為引領(lǐng)，提高第一課堂的學(xué)業(yè)挑戰(zhàn)度。這類課程期望通過有趣、有價(jià)值的挑戰(zhàn)性問題吸引學(xué)生，激發(fā)學(xué)生的好奇心和想象力，通過高強(qiáng)度師生互動、生生互動，使學(xué)生快速獲取新知識并綜合運(yùn)用相關(guān)知識，培養(yǎng)學(xué)生溝通、合作和創(chuàng)新能力，促進(jìn)學(xué)生敢于善于挑戰(zhàn)自我、主動學(xué)習(xí)，使學(xué)生在完成挑戰(zhàn)性任務(wù)的過程中獲得成就感。目前挑戰(zhàn)性課程已經(jīng)逐漸受到國內(nèi)其他一流大學(xué)的認(rèn)可和跟隨。如電子科技大學(xué)在2017年已經(jīng)啟動了“物聯(lián)網(wǎng)多元傳感探測芯片技術(shù)”“數(shù)據(jù)科學(xué)中的數(shù)學(xué)方法”“電子信息科學(xué)與技術(shù)導(dǎo)論”等多門挑戰(zhàn)性課程的建設(shè)[3]。

相對于國內(nèi)高校以單向知識傳授為主的授課模式，國外著名高校的授課則更強(qiáng)調(diào)內(nèi)容的難度和廣度，鼓勵(lì)學(xué)生對工程知識和前沿知識的探索。如MIT開設(shè)的“Introduction to Computational Thinking and Data Science”課程[4]，雖然是一門導(dǎo)論課，但是非常注重訓(xùn)練學(xué)生利用所學(xué)知識解決問題的能力，以及與教師(助教)的互動，為此課程設(shè)計(jì)了5個(gè)由淺入深的題目，要求學(xué)生自主完成，并且每個(gè)題目都嚴(yán)格限制了完成時(shí)間，課程為每個(gè)小組(1～2人)分配1位助教，展開1對1的研討。如其中一個(gè)題目是要求學(xué)生完成美國各地溫度變化的分析和可視化模型，同時(shí)要求學(xué)生利用回歸模型對各地未來的溫度進(jìn)行預(yù)測，以及分析各地的極限溫度。CMU開設(shè)的“Machine Learning”課程[5]，是由大師Tom Mitchell開設(shè)的，其課程的覆蓋內(nèi)容非常廣泛且具有一定難度，包括代數(shù)和概率論、機(jī)器學(xué)習(xí)的基礎(chǔ)工具、概率圖模型、AI、神經(jīng)網(wǎng)絡(luò)、主動學(xué)習(xí)、增強(qiáng)學(xué)習(xí)等。這門課程也包含一個(gè)課程設(shè)計(jì)，Mitchell沒有固定題目，但是給出了若干題目建議，這些題目的難度也是相當(dāng)具有挑戰(zhàn)性的，包括KDD 2010年挑戰(zhàn)賽的題目[6]、Netflix競賽的題目[7]等，這些課題的完成幫助學(xué)生在實(shí)踐過程中，強(qiáng)化對所學(xué)知識的理解和運(yùn)用。本綜合實(shí)驗(yàn)的題目正是借鑒了上述兩門課程的題目設(shè)計(jì)思路。

數(shù)據(jù)挖掘作為一門前沿性理論課程，由于其與現(xiàn)實(shí)互聯(lián)網(wǎng)應(yīng)用的密切關(guān)聯(lián)以及實(shí)證性研究的特點(diǎn)，具有較好的建設(shè)挑戰(zhàn)性課程的基礎(chǔ)，同時(shí)考慮到學(xué)生對課程的接受度問題，課程組嘗試從綜合實(shí)驗(yàn)開始改革，首先從實(shí)際應(yīng)用及學(xué)生興趣角度出發(fā)確定實(shí)驗(yàn)題目，其次按照由淺入深、循序漸進(jìn)的方式加大實(shí)驗(yàn)內(nèi)容和考核指標(biāo)的挑戰(zhàn)度，然后將教學(xué)方式從講授型改變?yōu)橐杂懻摻ㄗh為主，由學(xué)生自行查閱文獻(xiàn)完成實(shí)驗(yàn)的方式，最后將考核方式改變?yōu)橐孕阅苤笜?biāo)為主，輔以實(shí)驗(yàn)報(bào)告的評價(jià)方式。

2 實(shí)驗(yàn)內(nèi)容及教學(xué)手段設(shè)計(jì)

首先從互聯(lián)網(wǎng)實(shí)際應(yīng)用以及學(xué)生興趣出發(fā)設(shè)計(jì)綜合實(shí)驗(yàn)題目，考慮到每個(gè)題目都需要對應(yīng)完成性和挑戰(zhàn)性兩個(gè)部分，因此題目對應(yīng)的實(shí)驗(yàn)方案應(yīng)該具有可擴(kuò)展性，即題目可以基于由易到難的多種方案來解決，而不是基于一種確定性方案。為此，課程組設(shè)計(jì)的兩個(gè)實(shí)驗(yàn)題目分別如下：評論意見抽取[8]和廣告投放點(diǎn)擊率預(yù)測[9]。這兩個(gè)綜合實(shí)驗(yàn)題目的要求如表1所示。

表1 綜合實(shí)驗(yàn)的題目要求闡述

題目1的應(yīng)用場景是電子商城中面對商品的海量評論，如何自動從評論中快速抽取出評論者對這個(gè)商品的意見，以提供給潛在用戶作為參考。這里意見的形式以<特征詞,情感詞>詞對的形式體現(xiàn)，同時(shí)要求判斷評論者對這個(gè)特征詞表達(dá)的意見是褒義還是貶義。如一條關(guān)于手機(jī)的評論如下：“外觀漂亮，信號不錯(cuò)，性價(jià)比高”。要求提取的詞對為“外觀,漂亮”“信號,不錯(cuò)”“性價(jià)比,高”，判斷評論者對這三個(gè)特征的感情色彩都是褒義的。題目1的難點(diǎn)在于準(zhǔn)確提取詞對，以及準(zhǔn)確判斷詞對的情感色彩，這需要學(xué)生在設(shè)計(jì)實(shí)驗(yàn)方案時(shí)能夠掌握中文分詞、詞性標(biāo)注的自然語言處理工具，以及設(shè)計(jì)良好的詞對提取規(guī)則；對于情感分析需要學(xué)生掌握情感詞典的構(gòu)建和使用。題目1的內(nèi)容簡要總結(jié)如圖1所示。

圖1 題目1的實(shí)驗(yàn)內(nèi)容總結(jié)

題目2的應(yīng)用場景是網(wǎng)站上廣告的定向投放，當(dāng)一個(gè)用戶瀏覽網(wǎng)頁時(shí)，網(wǎng)站會根據(jù)網(wǎng)頁信息、用戶信息以及與廣告的匹配程度，將廣告定向投放到那些更有可能感興趣的用戶瀏覽的網(wǎng)頁嵌入的廣告位上，為了準(zhǔn)確評估用戶的感興趣程度，要求學(xué)生對將廣告投放到一個(gè)特定用戶瀏覽的網(wǎng)頁的廣告位后，用戶的點(diǎn)擊概率進(jìn)行預(yù)測。例如，一個(gè)運(yùn)動服廣告投放到一個(gè)正在瀏覽體育賽事網(wǎng)頁的男性用戶的預(yù)測點(diǎn)擊率應(yīng)該高于投放到一個(gè)正在瀏覽母嬰網(wǎng)頁的女性用戶的預(yù)測點(diǎn)擊率。題目2的難點(diǎn)在于建立準(zhǔn)確的點(diǎn)擊率預(yù)測模型，這需要學(xué)生靈活掌握各種預(yù)測模型(如邏輯回歸模型[10-11]、支持向量機(jī)模型[12]等)的學(xué)習(xí)算法，以及訓(xùn)練這些模型的工具。題目2的內(nèi)容簡要總結(jié)如圖2所示。

圖2 題目2的實(shí)驗(yàn)內(nèi)容總結(jié)

對于挑戰(zhàn)性綜合實(shí)驗(yàn)最重要的改革是教學(xué)方式的變化，將“聽中學(xué)”的模式改變?yōu)椤白鲋袑W(xué)”，即促使學(xué)生能夠通過查閱文獻(xiàn)、做實(shí)驗(yàn)、與同學(xué)討論等多種方式自主探索解決問題的方案，而不是依賴教師給出實(shí)驗(yàn)具體步驟。實(shí)驗(yàn)過程中采用的教學(xué)模式如圖3所示，首先拋出實(shí)驗(yàn)需要解決的問題，由教師對題目進(jìn)行闡述，使學(xué)生充分理解實(shí)驗(yàn)?zāi)繕?biāo)；然后教師講授兩個(gè)題目的完成性部分涉及的基本模型和算法，包括基于詞性搭配的詞對提取算法，邏輯回歸模型等，以及一些常用工具，如哈工大的自然語言處理平臺[13]，python的數(shù)據(jù)分析工具包numpy、scipy、pandas、sklearn等；在此基礎(chǔ)上，由學(xué)生給出完成性實(shí)驗(yàn)的初步方案，通過討論確定方案的可行性，最后完成實(shí)驗(yàn)并對實(shí)驗(yàn)結(jié)果進(jìn)行分析。與傳統(tǒng)教學(xué)模式不同的是，挑戰(zhàn)性綜合實(shí)驗(yàn)會要求學(xué)生進(jìn)一步分析實(shí)驗(yàn)結(jié)果，探討現(xiàn)有方案的不足和改進(jìn)措施，并通過查閱文獻(xiàn)，迭代形成新的實(shí)驗(yàn)方案，繼續(xù)挑戰(zhàn)性實(shí)驗(yàn)。特別說明的是，教師在指導(dǎo)過程中僅參與方案可行性討論和給出建議，不需要告訴學(xué)生正確的實(shí)驗(yàn)方案；此外，在挑戰(zhàn)性實(shí)驗(yàn)中會對實(shí)驗(yàn)的性能指標(biāo)給出最低要求，只有達(dá)到性能指標(biāo)的實(shí)驗(yàn)方案才能通過，否則會要求學(xué)生繼續(xù)迭代完善實(shí)驗(yàn)方案。對于已達(dá)到性能指標(biāo)最低要求的學(xué)生，通常會自愿進(jìn)一步完善實(shí)驗(yàn)，從而提升實(shí)驗(yàn)方案的性能。

圖3 啟發(fā)式教學(xué)模式示意圖

在挑戰(zhàn)性綜合實(shí)驗(yàn)中采用了一種全新的考核方式，由于實(shí)驗(yàn)的性能指標(biāo)均是可量化的，因此每組實(shí)驗(yàn)中，學(xué)生只需要將測試數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果提交到考評系統(tǒng)，考評系統(tǒng)根據(jù)測試數(shù)據(jù)集中的真實(shí)標(biāo)記，計(jì)算實(shí)驗(yàn)方案的性能指標(biāo)，反饋給學(xué)生，同時(shí)可以反饋給學(xué)生其實(shí)驗(yàn)方案的性能在班級所有提交方案中的排名情況，從而激勵(lì)學(xué)生進(jìn)一步探索更為完善的方案。在實(shí)驗(yàn)的性能指標(biāo)達(dá)到要求后，學(xué)生需要完成挑戰(zhàn)性實(shí)驗(yàn)報(bào)告，內(nèi)容包括對題目的理解、轉(zhuǎn)化為數(shù)學(xué)問題的描述，對解決該問題的現(xiàn)有方案的綜述，數(shù)據(jù)集分析，難點(diǎn)分析，本實(shí)驗(yàn)采用的方案和改進(jìn)方案，以及最終的性能指標(biāo)對比和分析。最終的實(shí)驗(yàn)成績將以達(dá)到的性能指標(biāo)作為主要參考，實(shí)驗(yàn)報(bào)告的質(zhì)量作為成績的補(bǔ)充參考。更多的介紹可參考課程設(shè)計(jì)在GitHub上的課程主頁[14]。

3 實(shí)踐中出現(xiàn)的問題總結(jié)

目前挑戰(zhàn)性綜合實(shí)驗(yàn)已經(jīng)在部分高年級本科生中開展，實(shí)踐結(jié)果顯示，通過挑戰(zhàn)性綜合實(shí)驗(yàn)，學(xué)生確實(shí)在理論學(xué)習(xí)深度、實(shí)踐動手能力、學(xué)術(shù)研究興趣以及團(tuán)隊(duì)協(xié)作方面有較大程度的提升。例如有學(xué)生在完成了題目1以后對自然語言處理中的情感分析特別感興趣，自主學(xué)習(xí)了斯坦福大學(xué)的自然語言處理公開課，并參與到相關(guān)課題的研究中[15]；例如有的學(xué)生在完成點(diǎn)擊率預(yù)測時(shí)接觸到深度學(xué)習(xí)模型，嘗試?yán)媚壳白顬榍把氐纳疃葘W(xué)習(xí)算法來處理點(diǎn)擊率預(yù)測建模中的特征篩選問題。但是在實(shí)踐過程中仍然發(fā)現(xiàn)存在以下問題：

1)選題問題。由于挑戰(zhàn)性實(shí)驗(yàn)要求實(shí)驗(yàn)內(nèi)容具有一定的難度和發(fā)散性，因此對指導(dǎo)教師的知識水平要求較高，目前課程組設(shè)計(jì)的實(shí)驗(yàn)題目只有兩個(gè)，也就是所有學(xué)生都必須完成這兩個(gè)實(shí)驗(yàn)，然而并不是所有學(xué)生都對這兩個(gè)題目感興趣，在實(shí)踐中不少學(xué)生也提出了一些有創(chuàng)意的題目，因此課程組考慮在后續(xù)增加更多的綜合性題目提供給學(xué)生選擇；

2)自由組隊(duì)問題。由于實(shí)驗(yàn)內(nèi)容和難度都比較大，因此實(shí)踐中是由學(xué)生每三人自由組隊(duì)進(jìn)行分組實(shí)驗(yàn)，這種方法的好處是可以促進(jìn)學(xué)生的團(tuán)隊(duì)協(xié)作能力，但是也可能導(dǎo)致“強(qiáng)-強(qiáng)聯(lián)合”的情況，即有的小組學(xué)生能力特別突出，完成的性能指標(biāo)非常好，而有的小組只以達(dá)到最低要求為目標(biāo)，從而造成實(shí)驗(yàn)成績的兩極分化；

3)實(shí)驗(yàn)評價(jià)問題。目前實(shí)驗(yàn)成績的構(gòu)成主要是70%的性能指標(biāo)成績+30%的實(shí)驗(yàn)報(bào)告成績，通常將性能指標(biāo)優(yōu)異的小組認(rèn)為采用的實(shí)驗(yàn)方案也更為優(yōu)異，但是在實(shí)踐中出現(xiàn)了這樣的例外情況，即盡管學(xué)生最終的實(shí)驗(yàn)性能指標(biāo)不是最優(yōu)的，但是在實(shí)驗(yàn)方案中提出了一些特別巧妙地解決思路和方法，這些方法不是借鑒其他文獻(xiàn)中已有的方法，而是學(xué)生自己思考提出的，非常具有創(chuàng)新性，但是目前的考評方法沒有考慮到這部分的貢獻(xiàn)，在后續(xù)的開展中將對于這類實(shí)驗(yàn)方案給出特別貢獻(xiàn)分。

4 結(jié)束語

綜上所述，通過挑戰(zhàn)性綜合實(shí)驗(yàn)?zāi)軌蚺囵B(yǎng)學(xué)生的以下4個(gè)方面的能力。1)對數(shù)據(jù)挖掘類課程中學(xué)到的各種算法和模型的靈活運(yùn)用能力，要求學(xué)生在遇到實(shí)際問題時(shí)，能夠?qū)栴}轉(zhuǎn)化為需要求解的數(shù)學(xué)問題，例如在構(gòu)建詞對的情感詞典時(shí)，明確這是一個(gè)二分類問題，將詞對劃分為褒義和貶義兩個(gè)類別，可以采用分類算法來完成實(shí)驗(yàn)，而在預(yù)測用戶對廣告的點(diǎn)擊率時(shí)，明確這是一個(gè)回歸(或分類)問題，可以采用回歸(或分類)算法來完成實(shí)驗(yàn)；2)能夠基于實(shí)驗(yàn)方案正確編寫實(shí)驗(yàn)代碼完成實(shí)驗(yàn)，這不僅要求學(xué)生具有較好的編程能力，而且要求學(xué)生對數(shù)據(jù)挖掘的相關(guān)工具包有一定程度的掌握，如numpy、scipy、pandas、sklearn等，此外有的能力突出的學(xué)生還嘗試對大數(shù)據(jù)實(shí)時(shí)處理方面進(jìn)行改進(jìn)，例如提高運(yùn)行速度，減少內(nèi)存占用等；3)能夠查閱科學(xué)文獻(xiàn)，完成解決同類問題的方案調(diào)研和綜述，通過學(xué)習(xí)其他文獻(xiàn)的實(shí)驗(yàn)分析方法，學(xué)會分析自己的實(shí)驗(yàn)結(jié)果，從而提出針對自己實(shí)驗(yàn)方案缺陷的改進(jìn)措施；4)在實(shí)驗(yàn)過程中學(xué)生需要通過與其他學(xué)生進(jìn)行分工合作，方案探討來完成實(shí)驗(yàn)，從而提升學(xué)生的團(tuán)隊(duì)協(xié)作能力以及與人交流的能力。