挖掘文本類數(shù)據(jù) 助力教育數(shù)據(jù)研究
——自然語(yǔ)言處理技術(shù)在課程與教學(xué)調(diào)研中的應(yīng)用

◎ 費(fèi)宗翔 田 鵬

課程與教學(xué)調(diào)研是上海市教育委員會(huì)教學(xué)教研室（以下簡(jiǎn)稱“市教研室”） 每年的一項(xiàng)常規(guī)工作。多年來(lái)在調(diào)研中積累了大量的課程與教學(xué)調(diào)研報(bào)告（以下簡(jiǎn)稱“調(diào)研報(bào)告”）。調(diào)研報(bào)告以文本的形式保存和印刷，內(nèi)容服務(wù)于調(diào)研對(duì)象。雖然市教研室在開(kāi)展調(diào)研工作前已經(jīng)對(duì)調(diào)研報(bào)告的內(nèi)容要素、調(diào)研工具格式進(jìn)行了詳細(xì)規(guī)定，但調(diào)研報(bào)告數(shù)量多、語(yǔ)義描述方式多樣、內(nèi)容表征意義存在模糊性。如何快速、直觀地把握調(diào)研報(bào)告的語(yǔ)義、歸納凝練報(bào)告主題、分析評(píng)估趨勢(shì)變化成為一個(gè)難題。

隨著信息技術(shù)的不斷發(fā)展、計(jì)算機(jī)算力和存儲(chǔ)能力的不斷增強(qiáng)，自然語(yǔ)言處理（Natural Language Processing，簡(jiǎn)稱NLP）技術(shù)讓這一問(wèn)題的解決成為可能。NLP是人工智能領(lǐng)域的重要組成部分，它可以使計(jì)算機(jī)理解人類自然語(yǔ)言內(nèi)容，實(shí)現(xiàn)機(jī)器語(yǔ)言和人類語(yǔ)言之間的互通。該技術(shù)已經(jīng)日趨成熟，開(kāi)始應(yīng)用在我們?nèi)粘Ｉ畹暮芏喾矫?，比如智能音箱、微博熱搜榜等。但NLP在教育領(lǐng)域少有應(yīng)用，本研究嘗試借助NLP技術(shù)，對(duì)市教研室積累的歷年調(diào)研報(bào)告進(jìn)行語(yǔ)義分析，提煉報(bào)告的核心內(nèi)容，形成報(bào)告的摘要和主題詞。為市教研室課程與教學(xué)調(diào)研專項(xiàng)數(shù)據(jù)的積累提供支持，為深度分析調(diào)研質(zhì)量提供數(shù)據(jù)參考。

一、結(jié)合調(diào)研報(bào)告特點(diǎn)，完善語(yǔ)義分析過(guò)程

結(jié)構(gòu)化的數(shù)據(jù)可以通過(guò)尋找實(shí)體與實(shí)體之間、實(shí)體各屬性間的關(guān)系，實(shí)現(xiàn)對(duì)數(shù)據(jù)的分析，常見(jiàn)的有學(xué)生考試成績(jī)分析等。但調(diào)研報(bào)告是單純的文本數(shù)據(jù)，沒(méi)有清晰的結(jié)構(gòu)關(guān)系，要讓計(jì)算機(jī)能讀懂報(bào)告文本、理解自然語(yǔ)言，通常離不開(kāi)語(yǔ)料預(yù)處理、特征工程、特征選擇、模型訓(xùn)練四個(gè)核心步驟。語(yǔ)料即語(yǔ)言材料，它首先要通過(guò)洗清、分詞、詞性標(biāo)注、去停用詞四個(gè)主要環(huán)節(jié)進(jìn)行預(yù)處理；其次通過(guò)數(shù)字化、向量化將其表示成計(jì)算機(jī)能夠計(jì)算的類型，并選擇合適的、表達(dá)能力強(qiáng)的特征，構(gòu)造特征向量；最后選擇適合的算法模型，并訓(xùn)練模型進(jìn)行文本分析。

調(diào)研報(bào)告與一般文本相比，語(yǔ)言比較專業(yè)、內(nèi)容格式豐富、體例相對(duì)統(tǒng)一?；谶@些特點(diǎn)，筆者選擇2015—2019年連續(xù)5年、10個(gè)區(qū)共計(jì)415份課程與教學(xué)調(diào)研報(bào)告文件作為語(yǔ)料，開(kāi)展語(yǔ)義分析。

（一）清洗無(wú)用信息，提升分析的速度與精度

調(diào)研報(bào)告的富文本格式特點(diǎn)，使得我們?cè)谡Z(yǔ)料預(yù)處理環(huán)節(jié)中要更多地關(guān)注文本中其他格式信息和無(wú)用信息的篩選和清洗，以提升計(jì)算機(jī)分析的速度和精度。

目前市教研室積累的調(diào)研報(bào)告大多為使用文字處理軟件撰寫的電子文檔，這些文檔包含了大量的圖片、表格等富文本格式，如果簡(jiǎn)單地全文件讀取作為學(xué)習(xí)算法的輸入，會(huì)影響計(jì)算機(jī)分析的速度，故需從中摘取單純的無(wú)格式文本。在具體實(shí)現(xiàn)過(guò)程中，嘗試通過(guò)調(diào)用原生Win32Api軟件接口，實(shí)現(xiàn)對(duì)文檔格式的統(tǒng)一處理和去格式轉(zhuǎn)換，再將無(wú)格式文本統(tǒng)一存入數(shù)據(jù)庫(kù)，以便后續(xù)處理。除此之外，調(diào)研報(bào)告中通常包含諸如附文、附錄、附表以及課堂實(shí)錄等內(nèi)容，其對(duì)報(bào)告的主旨只起到輔助說(shuō)明的作用。但這些文本的格式繁雜、內(nèi)容過(guò)長(zhǎng)，容易喧賓奪主，影響分析精度。因此，考慮將其直接刪除。得益于調(diào)研報(bào)告統(tǒng)一的格式規(guī)范，通常在主旨報(bào)告的開(kāi)始和結(jié)束處都會(huì)有一些標(biāo)識(shí)字樣，比如，主旨報(bào)告的正文結(jié)束后，通常有教研員的姓名信息、附錄本身也會(huì)以某些特殊字樣作為開(kāi)頭，故可用正則表達(dá)式定位到附錄起始位置，將其清理干凈。經(jīng)測(cè)試，在清除附錄后，主題詞和摘要計(jì)算的速度及精度都有所提升。

（二）切分調(diào)研報(bào)告，方便計(jì)算機(jī)識(shí)別

要對(duì)調(diào)研報(bào)告進(jìn)行數(shù)據(jù)挖掘與分析，可以先將非結(jié)構(gòu)化的文本數(shù)據(jù)轉(zhuǎn)為結(jié)構(gòu)化（或半結(jié)構(gòu)化）的數(shù)據(jù)。2015年之后的調(diào)研報(bào)告遵循著較為統(tǒng)一的分段規(guī)范，基本包括了調(diào)研概況、結(jié)論和建議等段落，且每個(gè)分段前都有清晰的標(biāo)題，所以考慮將調(diào)研報(bào)告按段落拆分，通過(guò)正則表達(dá)式匹配的方式，枚舉段落編號(hào)將之拆分。拆分后的段落文本，以條目為單位分開(kāi)存儲(chǔ)在數(shù)據(jù)庫(kù)中，同時(shí)又綁定到報(bào)告本身，既可以實(shí)現(xiàn)段落的單獨(dú)提取，也可以按報(bào)告重新聚合，為后續(xù)對(duì)主題模型的訓(xùn)練和調(diào)參提供了較大便利。具體如表1所示。

表1 調(diào)研報(bào)告的拆分表（部分）

調(diào)研報(bào)告由多個(gè)段落組成，段落由句子組成，而詞語(yǔ)是構(gòu)成句子的基本單位。在語(yǔ)義分析過(guò)程中，詞語(yǔ)是可以被計(jì)算機(jī)識(shí)別、學(xué)習(xí)的最小單位。因此，在語(yǔ)料處理過(guò)程中，必須對(duì)中文文本進(jìn)行專門的分詞處理，將報(bào)告切分成詞語(yǔ)。目前最常用的分詞組件是開(kāi)源的“Jieba”分詞，它的功能和易用性都很強(qiáng)。詞性在識(shí)別語(yǔ)義的過(guò)程中也有著重要的作用，故分詞后，詞語(yǔ)集中每個(gè)詞的詞性，都應(yīng)當(dāng)基于語(yǔ)境，給予判斷和標(biāo)注，以便在后續(xù)識(shí)別學(xué)習(xí)的過(guò)程中，可以有選擇性地抽取有意義的部分進(jìn)行訓(xùn)練，提高模型工作的準(zhǔn)確率。例如，停用詞的處理就是基于詞性標(biāo)注。中文文本中有很多助詞、代詞、語(yǔ)氣詞等詞語(yǔ)是不影響文本語(yǔ)句含義的，同時(shí)也有一些數(shù)字、字符在單個(gè)詞語(yǔ)層面無(wú)實(shí)意，可它們的存在又增加了文本數(shù)據(jù)的維度，沖淡了有意義詞語(yǔ)的比例。為了方便分析，將這些詞標(biāo)記為停用詞，并在分詞后去除這些停用詞，以提高文本數(shù)據(jù)的質(zhì)量，方便計(jì)算機(jī)識(shí)別。

（三）建設(shè)文本數(shù)據(jù)庫(kù)，提高文本處理的靈活性

經(jīng)過(guò)前面的語(yǔ)料處理，基于調(diào)研報(bào)告的詞庫(kù)原型已基本構(gòu)成，為了數(shù)據(jù)的持久化和后續(xù)處理的共享性，需要建設(shè)文本數(shù)據(jù)庫(kù)，將文本數(shù)據(jù)的所有有關(guān)信息錄入其中。

首先在字典表中，會(huì)記錄所有出現(xiàn)過(guò)的詞語(yǔ)（包括停用詞），并對(duì)它的詞性和是否為停用詞進(jìn)行標(biāo)記；在分詞表中，包含了每篇報(bào)告的完整分詞，每個(gè)詞映射到字典表中并標(biāo)記它在正文中的位置。此外，每篇調(diào)研報(bào)告的標(biāo)題、工作內(nèi)容、段落等信息也會(huì)錄入文本數(shù)據(jù)庫(kù)中。整個(gè)文本數(shù)據(jù)庫(kù)包含了原始調(diào)研報(bào)告中所有的可讀文字，既可以篩選有關(guān)文本，又可以聚合還原報(bào)告，大大提高了文本處理的靈活性，也為后續(xù)應(yīng)用功能的開(kāi)發(fā)奠定了良好基礎(chǔ)。

（四）選擇算法模型，實(shí)現(xiàn)報(bào)告的摘要提取

語(yǔ)義分析中用到的算法有很多，如何結(jié)合調(diào)研報(bào)告的特點(diǎn)，選擇適切的算法模型，需要不斷試錯(cuò)、調(diào)整、優(yōu)化。例如，特征詞提取算法，分詞庫(kù)形成后，通過(guò)計(jì)算報(bào)告中各詞組的詞頻，可以找到文章的高頻詞，但高頻詞是不是最能代表文章核心的詞呢？調(diào)研報(bào)告是在同一領(lǐng)域（教學(xué)調(diào)研）、有相似主題（每個(gè)學(xué)段有相同的調(diào)研主題）的文檔，最常出現(xiàn)的詞就是“教師”“學(xué)生”“教學(xué)”等，若這些詞被選為報(bào)告的核心詞并不合適。所以需要調(diào)整算法，選擇TF-IDF模型來(lái)標(biāo)記報(bào)告的特征詞組。TF-IDF是一種用于信息檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)，它將某篇報(bào)告中出現(xiàn)頻率高且在其他報(bào)告中出現(xiàn)頻率低的詞作為特征詞，并賦予高權(quán)重，這樣的詞更可能體現(xiàn)這篇報(bào)告的核心與特點(diǎn)。

再比如摘要提取算法，自動(dòng)的摘要提取可以加速人工檢查文本內(nèi)容的效率。若有一份合理的、有效涵蓋調(diào)研報(bào)告內(nèi)容的摘要，閱讀者就可以快速鎖定到需關(guān)注的內(nèi)容，詳細(xì)精讀，提取有價(jià)值的內(nèi)容。TextRank是常用的自動(dòng)摘要算法，它由Google的PageRank算法改造和演化而來(lái)，用于得到文檔中概括性較強(qiáng)的句子。TextRank算法將文本拆分成句子、將句子作為網(wǎng)絡(luò)圖中的節(jié)點(diǎn)，句子間的相似度用節(jié)點(diǎn)間的相似度來(lái)表示，從而構(gòu)建基于句子結(jié)構(gòu)關(guān)系的文本網(wǎng)絡(luò)圖。通過(guò)對(duì)文本網(wǎng)絡(luò)圖的迭代計(jì)算可以實(shí)現(xiàn)對(duì)文本中句子重要性的排序，從而篩選出最重要的句子作為本文的摘要。因此，自動(dòng)摘要提取的關(guān)鍵在于準(zhǔn)確計(jì)算句子間的相似度。每個(gè)句子是由一個(gè)個(gè)詞語(yǔ)組合而成的，故句子相似度又可以歸結(jié)為句中詞語(yǔ)相似度。筆者最終選擇適合長(zhǎng)度相同的向量間相互比較的海明距離度量方法，計(jì)算兩個(gè)句子的相似度。如果句中有重復(fù)的詞就加1，故數(shù)值越高兩個(gè)句子的相似度越高。根據(jù)此算法得到的摘要能較好地貼合報(bào)告的主旨。

二、解決語(yǔ)義分析過(guò)程中的難題，優(yōu)化技術(shù)方案

（一）擴(kuò)充分詞庫(kù)，達(dá)成更好的分詞效果

分詞是中文文本處理時(shí)的必要步驟，“Jieba”分詞模塊采用基于統(tǒng)計(jì)的分詞方法，在全切分所得的所有結(jié)果中求某個(gè)切分方案S，使得S方案的概率（P(S)）最大?！癑ieba”還自帶了一個(gè)叫作dict.txt的分詞庫(kù)，里面有2萬(wàn)多條詞，是基于人民日?qǐng)?bào)語(yǔ)料等資源訓(xùn)練得來(lái)的。

在實(shí)際操作過(guò)程中，筆者發(fā)現(xiàn)分詞的效果存在問(wèn)題。一些教育領(lǐng)域特有的名詞沒(méi)有被切分準(zhǔn)確。例如，“信息科技”是一門學(xué)科的名稱，是一個(gè)完整的詞，但實(shí)際分詞過(guò)程中，根據(jù)人民日?qǐng)?bào)語(yǔ)料資源，切分為“信息”和“科技”的概率更高。這樣的分詞集合就會(huì)與之前的語(yǔ)義相去甚遠(yuǎn)。因此，按教育領(lǐng)域的用詞特點(diǎn)去擴(kuò)充分詞庫(kù)，非常必要。通過(guò)分析閱讀相關(guān)政策文件，最終鎖定到提及教育類關(guān)鍵詞的重要文件，包括《教育部工作要點(diǎn)》《教育改革方案》《教育部主題詞表》《上海市教育工作要點(diǎn)》《教研室工作重點(diǎn)》等。我們將其內(nèi)容摘錄到擴(kuò)展詞庫(kù)中，并增加權(quán)重。當(dāng)然這樣還遠(yuǎn)遠(yuǎn)不夠，每年有關(guān)部門都會(huì)提出新的政策要求，新的詞組也應(yīng)當(dāng)以迭代的方式錄入擴(kuò)展詞庫(kù)中，保證詞庫(kù)緊跟每年的教育政策要點(diǎn)，以便達(dá)到更好的分詞效果。

（二）研究算法模型，完善自動(dòng)摘要結(jié)果

TextRank算法中，用海明距離計(jì)算兩個(gè)句子的相似度，得到的摘要雖貼合報(bào)告的主旨，但中規(guī)中矩，一些“特色”無(wú)法反映出來(lái)。因?yàn)楹Ｃ骶嚯x是平權(quán)計(jì)算，故獨(dú)特性高的句子沒(méi)能突顯。如果采用加權(quán)計(jì)算，摘要里就能看到“特色”補(bǔ)充。于是結(jié)合TF-IDF模型，嘗試給特征詞加權(quán)，句子中的特征詞越多則數(shù)值越高，成為摘要句子的可能性就越高，報(bào)告的“特色”也就能被突顯出來(lái)。

但在實(shí)際操作中發(fā)現(xiàn)，有時(shí)提取出的“特色”句子并不適合成為摘要。以寶山區(qū)歷史學(xué)科的調(diào)研報(bào)告為例，計(jì)算機(jī)自動(dòng)提取報(bào)告中排序前十的句子，經(jīng)教研員確認(rèn)，其中前七個(gè)句子有較好的代表性，確實(shí)是該報(bào)告的核心內(nèi)容。后三個(gè)句子，有較強(qiáng)的學(xué)科區(qū)分度，在其他學(xué)科出現(xiàn)的概率非常低，但不是核心內(nèi)容，不適合作為報(bào)告摘要。結(jié)合教研員的反饋，詞語(yǔ)向量化的過(guò)程還需進(jìn)一步優(yōu)化。傳統(tǒng)的獨(dú)熱映射模型和詞袋模型，直接按照詞庫(kù)容量定義空間維度，映射結(jié)果是稀疏的、不能反映詞在前后的語(yǔ)義。詞向量模型可以將稀疏的詞典空間壓縮至稠密的低維空間，一個(gè)詞對(duì)應(yīng)一個(gè)空間中的向量，增加信息表示的效率，提高運(yùn)算性能。同時(shí)，向量的坐標(biāo)有隱含的語(yǔ)義信息，海明距離較近的兩個(gè)向量，會(huì)有更相似的語(yǔ)義屬性，提高語(yǔ)義處理的精度。因此，嘗試將TextRank算法和詞向量、Word2Vec模型結(jié)合起來(lái)，建立詞與詞之間的關(guān)系，完善自動(dòng)摘要算法。

（三）借助人工檢驗(yàn)，評(píng)估算法模型

利用主題模型，可獲得調(diào)研報(bào)告的主題詞分布，從而直觀地確定報(bào)告的主要內(nèi)容和關(guān)注重點(diǎn)。 選擇LDA模型，將詞庫(kù)中的詞語(yǔ)聚成10類主題，再通過(guò)計(jì)算某篇調(diào)研報(bào)告的主題分布，選出排名前三的主題詞作為這篇報(bào)告的主題詞。但在人工校驗(yàn)時(shí)發(fā)現(xiàn)，部分報(bào)告的主題詞與報(bào)告內(nèi)容不符，比如某篇初中學(xué)段調(diào)研報(bào)告中排序第二的主題詞是“學(xué)校建設(shè)”，但查閱原文發(fā)現(xiàn)作者關(guān)注的是“課程建設(shè)”。繼續(xù)研究發(fā)現(xiàn)，主要原因一是聚類后主題詞的提煉不夠準(zhǔn)確；二是類別中的詞語(yǔ)相似度高、區(qū)分度不明顯、聚類效果不佳。根據(jù)校驗(yàn)結(jié)果，重新設(shè)定分詞的聚類數(shù)。最后發(fā)現(xiàn)基于現(xiàn)在的語(yǔ)料，聚成14類主題，效果最好。因此，在完成調(diào)研報(bào)告的語(yǔ)義分析后，我們研發(fā)了調(diào)研報(bào)告語(yǔ)義分析結(jié)果檢驗(yàn)小程序，通過(guò)接口接入課程與教學(xué)調(diào)研系統(tǒng)，接收調(diào)研系統(tǒng)提交的調(diào)研報(bào)告，自動(dòng)計(jì)算報(bào)告的主題分布和摘要，并將結(jié)果呈現(xiàn)給撰寫此報(bào)告的教研員，教研員對(duì)計(jì)算機(jī)分析的結(jié)果進(jìn)行打分和評(píng)價(jià)，這些反饋將助力后續(xù)的算法優(yōu)化研究。

三、思考與展望

這是市教研室第一次嘗試使用NLP技術(shù)對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析，對(duì)該項(xiàng)工作價(jià)值的認(rèn)識(shí)也是在不斷實(shí)踐探索中得以明確。

（一）語(yǔ)義分析結(jié)果的準(zhǔn)確率在不斷地?cái)?shù)據(jù)積累和方法調(diào)整中提升

語(yǔ)義分析的常用方法與算法模型如果直接套用在我們的調(diào)研報(bào)告上，所得結(jié)果準(zhǔn)確率很低。非結(jié)構(gòu)化的文本數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)不同，它有一定的獨(dú)特性和不確定性，需要在實(shí)踐的過(guò)程中不斷地累積數(shù)據(jù)、調(diào)整算法、優(yōu)化方案。在本次研究過(guò)程中，通過(guò)擴(kuò)充詞庫(kù)、調(diào)整算法模型、接入人工檢驗(yàn)程序等方法，不斷提升語(yǔ)義分析結(jié)構(gòu)的準(zhǔn)確率。從小程序獲得的用戶反饋數(shù)據(jù)來(lái)看，大家對(duì)分析結(jié)果還是比較肯定的。因此，本次研究的價(jià)值除了獲得從2015年至2019年，共計(jì)415份課程與教學(xué)調(diào)研報(bào)告文件的準(zhǔn)確率比較高的主題詞和摘要之外，還獲得了一份比較完整的、適用于教育教研領(lǐng)域的、獨(dú)一無(wú)二的專業(yè)詞庫(kù)，一個(gè)及時(shí)獲取用戶檢驗(yàn)結(jié)果的自動(dòng)化小程序和一套有助于教育領(lǐng)域文本數(shù)據(jù)挖掘的一般方法。依照這樣的方法，再加上調(diào)研報(bào)告的數(shù)量不斷積累，未來(lái)語(yǔ)義分析結(jié)果的準(zhǔn)確率會(huì)不斷提升。

（二）研究中的過(guò)程性數(shù)據(jù)對(duì)業(yè)務(wù)部門工作有參考意義

調(diào)研報(bào)告文本分析的目標(biāo)是提煉出報(bào)告的主題詞和摘要，但過(guò)程中形成的文本數(shù)據(jù)庫(kù)可為業(yè)務(wù)部門的研究或改進(jìn)工作提供參考。例如，從筆者統(tǒng)計(jì)了415篇報(bào)告的詞頻統(tǒng)計(jì)和在文章中出現(xiàn)的次數(shù)可見(jiàn)，調(diào)研過(guò)程中對(duì)上海各區(qū)的教學(xué)、教研、作業(yè)、教研組、評(píng)價(jià)等高度關(guān)注，符合市教研室對(duì)調(diào)研工作的總體要求。但是“考試測(cè)驗(yàn)”等不是高頻詞，可能與其關(guān)注度不夠有關(guān)，也可能與部分學(xué)科和學(xué)段沒(méi)有考試測(cè)驗(yàn)有關(guān)。數(shù)據(jù)只是呈現(xiàn)事實(shí)性，但是數(shù)據(jù)如何解讀，需要業(yè)務(wù)部門的專家進(jìn)行分析，因此，研究中的過(guò)程性數(shù)據(jù)，可以為業(yè)務(wù)部門改進(jìn)工作，或者規(guī)范工作提供參考。

后續(xù)筆者計(jì)劃進(jìn)一步積累更多的教育領(lǐng)域詞匯，提高文本分析的精度；進(jìn)一步區(qū)分詞性，增加對(duì)報(bào)告情感的分析；進(jìn)一步解讀數(shù)據(jù)背后的意義，形成某次調(diào)研的質(zhì)量評(píng)估和分析報(bào)告，供決策者參考。