數(shù)據(jù)分析報(bào)告自動(dòng)評(píng)分研究＊

夏穩(wěn)，宋捷

（首都經(jīng)濟(jì)貿(mào)易大學(xué)統(tǒng)計(jì)學(xué)院，北京 100070）

1 研究背景

隨著信息時(shí)代的快速發(fā)展，數(shù)據(jù)正呈爆炸式增長(zhǎng)，大數(shù)據(jù)時(shí)代已經(jīng)來臨，越來越多的數(shù)據(jù)被儲(chǔ)存。如何讓這些被儲(chǔ)存的數(shù)據(jù)發(fā)揮作用是數(shù)據(jù)科學(xué)的目的所在。中國(guó)的數(shù)據(jù)競(jìng)賽正在逐漸崛起，目前全球范圍內(nèi)的各類數(shù)據(jù)競(jìng)賽總量已突破1 000 余場(chǎng)，中國(guó)市場(chǎng)超過了400 場(chǎng)，這背后涉及大量數(shù)據(jù)分析報(bào)告的評(píng)分工作。在大學(xué)的期末考察范圍內(nèi)，也存在大量期末論文評(píng)分工作，由于這些期末論文多以實(shí)證性分析問題為主，其本質(zhì)也即數(shù)據(jù)分析報(bào)告。而這些數(shù)據(jù)分析報(bào)告的評(píng)分工作，往往需要在短時(shí)間內(nèi)給出公平公正的評(píng)分結(jié)果，手工評(píng)分的過程耗時(shí)、缺乏可靠性[1]。因此，如何顯著地降低評(píng)分所耗時(shí)長(zhǎng)及保證評(píng)分的客觀性是本文的研究重點(diǎn)。

在人工智能及機(jī)器學(xué)習(xí)普遍適用的背景下，將人工評(píng)分實(shí)現(xiàn)自動(dòng)化能有效地提高評(píng)分效率，這涉及到的是中文文本評(píng)分。基于已有歷史數(shù)據(jù)，通過算法學(xué)習(xí)，建立一個(gè)合適的自動(dòng)評(píng)分系統(tǒng)，從而減少人工評(píng)分的人工工作量，且能極大地保證評(píng)分的可靠性和一致性。目前關(guān)于中文文本自動(dòng)評(píng)分的研究主要集中在作文和主觀題評(píng)分方向，對(duì)于數(shù)據(jù)分析報(bào)告的自動(dòng)評(píng)分算法研究鮮有學(xué)者涉獵；另外現(xiàn)有的自動(dòng)評(píng)分系統(tǒng)都基于已有標(biāo)準(zhǔn)參考答案或是確定的作文主題進(jìn)行自動(dòng)評(píng)分，而數(shù)據(jù)分析報(bào)告的特點(diǎn)是主題具有多樣性、包含許多數(shù)據(jù)分析類的統(tǒng)計(jì)專有名詞、沒有標(biāo)準(zhǔn)答案以供參考，因此現(xiàn)有自動(dòng)評(píng)分算法是不適用于數(shù)據(jù)分析報(bào)告的。鑒于以上特點(diǎn)，本文將提出一個(gè)適用于數(shù)據(jù)分析報(bào)告的自動(dòng)評(píng)分框架，在沒有標(biāo)準(zhǔn)答案及不確定主題的條件下實(shí)現(xiàn)自動(dòng)評(píng)分這一過程。

本文以一名大學(xué)教師回收到的期末數(shù)據(jù)分析報(bào)告數(shù)據(jù)為研究對(duì)象，在對(duì)原始數(shù)據(jù)進(jìn)行中文文本處理的工作基礎(chǔ)上，建立起具有良好性能的自動(dòng)評(píng)分模型。

本文工作主要集中在以下3 個(gè)方面：①由于數(shù)據(jù)分析報(bào)告的原始數(shù)據(jù)非結(jié)構(gòu)化而無法直接使用，因此先進(jìn)行結(jié)構(gòu)化處理。本文基于隱馬爾科夫模型的中文文本處理包括數(shù)據(jù)讀取、分詞、停用詞過濾及詞性標(biāo)注等過程，此操作為后續(xù)的模型構(gòu)建提供數(shù)據(jù)支撐。②根據(jù)數(shù)據(jù)分析報(bào)告的特點(diǎn)建立一個(gè)自動(dòng)評(píng)分框架，進(jìn)行特征變量的選取，確保數(shù)據(jù)分析報(bào)告自動(dòng)評(píng)分這一過程的全面性和準(zhǔn)確性。確保實(shí)現(xiàn)人工智能化的同時(shí)盡可能1∶1 還原人工評(píng)分過程。③利用機(jī)器學(xué)習(xí)常見模型建立數(shù)據(jù)分析報(bào)告的自動(dòng)評(píng)分模型，對(duì)比各個(gè)機(jī)器學(xué)習(xí)模型的平均預(yù)測(cè)誤差（Mean Prediction Error，MPE）指標(biāo)，以驗(yàn)證本文自動(dòng)評(píng)分算法的效果如何。

2 國(guó)內(nèi)外研究現(xiàn)狀分析

目前國(guó)內(nèi)外研究者對(duì)作文自動(dòng)評(píng)分系統(tǒng)的研究主要分為2 類：一類是研究文章的表層特征，以此評(píng)估文章的質(zhì)量，體現(xiàn)文章的風(fēng)格和語(yǔ)言；另一類是研究文章的內(nèi)容質(zhì)量，找出文章的潛伏語(yǔ)義，分析作者想要傳達(dá)出的信息。本文研究的對(duì)象是數(shù)據(jù)分析報(bào)告，而數(shù)據(jù)分析報(bào)告更加側(cè)重于文本的語(yǔ)言質(zhì)量，因此重點(diǎn)回顧基于文本表層特征項(xiàng)的相關(guān)研究。

AJAY 等[2]在1973 年提出了PEG（Project Essay Grade）系統(tǒng)，PEG 系統(tǒng)通過評(píng)估間接反映作文的寫作特征，例如語(yǔ)法、詞匯及結(jié)構(gòu)等，以此實(shí)現(xiàn)對(duì)作文的自動(dòng)評(píng)分。PEG 技術(shù)為長(zhǎng)期努力帶來了一定希望，1994年P(guān)AGE[3]通過模仿評(píng)分者的行為分析了499 篇和599篇文章，得到了十分可靠的計(jì)算機(jī)評(píng)分結(jié)果。SHERMIS 等[4]在2001 年對(duì)PEG 系統(tǒng)提出了改進(jìn)，重點(diǎn)對(duì)語(yǔ)法進(jìn)行檢查，以及對(duì)人類評(píng)分和PEG 系統(tǒng)評(píng)分的相似性進(jìn)行分析，結(jié)果顯示計(jì)算機(jī)模型的表現(xiàn)優(yōu)于多名評(píng)分評(píng)委。E-rater 是美國(guó)教育考試處為了評(píng)估GMAT 考試中的作文質(zhì)量在20 世紀(jì)90 年代開發(fā)的[5]。與PEG 系統(tǒng)相似，E-rater 的評(píng)分模型基于線性回歸模型[6]。E-rater 的作文評(píng)分系統(tǒng)不僅利用了統(tǒng)計(jì)技術(shù)，還利用了矢量空間模型和自然語(yǔ)言處理技術(shù)[7]。所以相比PEG 系統(tǒng)而言，E-rater 系統(tǒng)不僅可以評(píng)判作文的語(yǔ)言質(zhì)量，還可以評(píng)判作文的內(nèi)容質(zhì)量[8]。在早期的評(píng)分系統(tǒng)里，多采用的是基于模式匹配和基于統(tǒng)計(jì)的傳統(tǒng)方法。

近些年來，自動(dòng)評(píng)分系統(tǒng)開始采用基于回歸的自然語(yǔ)言處理技術(shù)，部分學(xué)者使用了深度學(xué)習(xí)技術(shù)，結(jié)果產(chǎn)生了比早期更好的效果。DONG 等[9]使用循環(huán)卷積神經(jīng)網(wǎng)絡(luò)，引入了注意力機(jī)制來決定單詞和句子權(quán)重，有助于找到判斷論文質(zhì)量的關(guān)鍵詞和句子，有效解決了自動(dòng)學(xué)習(xí)文本表示和論文評(píng)分的問題。他們是將一篇論文視作句子文檔，以一個(gè)句子為一個(gè)級(jí)別，而本文選擇的變量表示主要以詞現(xiàn)數(shù)為主，因此一篇數(shù)分報(bào)告分詞后是一個(gè)長(zhǎng)詞條。CAI 等[10]用深度學(xué)習(xí)模型進(jìn)行論文的自動(dòng)評(píng)分結(jié)果優(yōu)于傳統(tǒng)特征選擇方法，并且嘗試結(jié)合深度學(xué)習(xí)和傳統(tǒng)的特征選擇，結(jié)果顯示這是有利于自動(dòng)評(píng)分系統(tǒng)的，因?yàn)榇嬖谝恍┨卣魇菬o法學(xué)習(xí)到的。但是使用深度學(xué)習(xí)需要有大量的數(shù)據(jù)作支撐學(xué)習(xí)，CAI 等使用的數(shù)據(jù)也僅有11 000 條左右，而本文由于受現(xiàn)實(shí)因素影響，暫無法收集到大量數(shù)據(jù)進(jìn)行深度學(xué)習(xí)。綜上，能明顯得到一個(gè)結(jié)果是，結(jié)合深度學(xué)習(xí)的方法是顯然要優(yōu)于傳統(tǒng)的特征提取，但是本文研究的對(duì)象是中文文本，不同于英文，漢字具有更高的復(fù)雜度和處理難度。為了進(jìn)行數(shù)據(jù)分析報(bào)告自動(dòng)評(píng)分算法的初探，在基于自然語(yǔ)言處理的技術(shù)下，使用傳統(tǒng)的特征匹配模式。

在基于中文文本的自動(dòng)評(píng)分研究中，主要分為2個(gè)研究方向：一類是已有標(biāo)準(zhǔn)答案的主觀題自動(dòng)評(píng)分[11-15]，另一類是已有固定主題或題目的作文評(píng)分[16-18]。李學(xué)俊[11]在研究中采用基于標(biāo)準(zhǔn)答案尋找特征及從考生答案中提取出特征的方法，他還提出了在自動(dòng)評(píng)分算法中，詞典、文本特征詞及其權(quán)重、文本匹配規(guī)則這3 方面是主要的知識(shí)庫(kù)來源。方德堅(jiān)[12]則采用歷史評(píng)分的人工標(biāo)注與分詞向量建立監(jiān)督模型來進(jìn)行評(píng)分。吳巧玲[13]基于自然語(yǔ)言處理的結(jié)果計(jì)算詞和句子的相似度，相似度越高則得分越高。宋雪亞、王傳安[14]也是計(jì)算考生答案和標(biāo)準(zhǔn)答案之間的相似度，和上篇文章研究不同的是，這里計(jì)算的是文本串長(zhǎng)度相似度、文本串詞性相似度和文本串詞序相似度。韓輝、劉秀文[15]在前人的基礎(chǔ)上新增了提取、匹配考生答案的關(guān)鍵詞和標(biāo)準(zhǔn)答案的關(guān)鍵詞，計(jì)算對(duì)立度以此判斷不同句子之間的語(yǔ)義方向是否一致。這些學(xué)者都是對(duì)考生答案和標(biāo)準(zhǔn)答案進(jìn)行相似度計(jì)算，區(qū)別在于相似度的指標(biāo)種類不同。有一部分學(xué)者提出了一套計(jì)算機(jī)自動(dòng)閱卷系統(tǒng)，可以在很大程度上幫助給定題目的作文評(píng)分，這些評(píng)分算法一般是借鑒了英語(yǔ)作文自動(dòng)評(píng)分算法。王金銓、朱周曄[16]對(duì)國(guó)外英語(yǔ)作文自動(dòng)評(píng)分系統(tǒng)進(jìn)行了綜述。徐昌火等[17]則分析了中文作文的語(yǔ)言流利性、語(yǔ)言準(zhǔn)確性及語(yǔ)言復(fù)雜性的測(cè)度，從這3 方面來建立模型。諸如鐘啟東、張景祥[18]采用的算法是從語(yǔ)言深層特征的角度，提出從上下文關(guān)聯(lián)的自動(dòng)識(shí)別、非流暢語(yǔ)句的自動(dòng)識(shí)別及作文素材的自動(dòng)識(shí)別3 方面來構(gòu)建評(píng)分算法。

上述都是對(duì)已有標(biāo)準(zhǔn)答案和確定主題的自動(dòng)評(píng)分系統(tǒng)進(jìn)行研究，但是數(shù)據(jù)分析報(bào)告不僅沒有標(biāo)準(zhǔn)答案，而且主題不單一，目前這一領(lǐng)域研究空白，因此本文工作為國(guó)內(nèi)自動(dòng)評(píng)分的研究提供了另一種思路和導(dǎo)向。

3 方法

3.1 數(shù)據(jù)預(yù)處理

本文研究的數(shù)據(jù)來源于一所高校教師收到的期末反饋，共計(jì)77 份數(shù)據(jù)分析報(bào)告。該數(shù)據(jù)集中存在多個(gè)寫作者自選主題，教師進(jìn)行人工評(píng)分時(shí)沒有標(biāo)準(zhǔn)答案進(jìn)行比對(duì)，教師根據(jù)歷史預(yù)先給出一份評(píng)分細(xì)則，以此作為自動(dòng)評(píng)分框架的構(gòu)建基礎(chǔ)。

要想實(shí)現(xiàn)自動(dòng)評(píng)分算法，首先對(duì)非結(jié)構(gòu)化的原始數(shù)據(jù)采用中文分詞統(tǒng)一進(jìn)行結(jié)構(gòu)化處理。中文文本分詞是自然語(yǔ)言處理的基礎(chǔ)，分詞準(zhǔn)確率的高低直接影響了中文文本挖掘的效果，也直接影響了后續(xù)模型訓(xùn)練的效果。本文采用混合模型進(jìn)行分詞處理，混合模型結(jié)合使用最大概率法和隱馬爾科夫模型。最大概率法是根據(jù)Trie 樹構(gòu)建有向無環(huán)圖和進(jìn)行動(dòng)態(tài)規(guī)劃的算法，它是在最大匹配分詞算法上的改進(jìn)，對(duì)于一個(gè)待分割的字符串有多種分詞結(jié)果，原則為選取其中概率最大的分詞結(jié)果，這是分詞算法的核心；隱馬爾可夫模型是關(guān)于時(shí)序的概率模型，描述由一個(gè)隱藏的馬爾可夫鏈隨機(jī)生成不可觀測(cè)的狀態(tài)隨機(jī)序列，再由各個(gè)狀態(tài)生成一個(gè)觀測(cè)從而產(chǎn)生觀測(cè)隨機(jī)序列的過程。由于數(shù)據(jù)分析報(bào)告中會(huì)出現(xiàn)許多專業(yè)名詞，因此在模型中導(dǎo)入人工統(tǒng)計(jì)詞典以便提高分詞結(jié)果的準(zhǔn)確性。采用混合模型對(duì)數(shù)據(jù)分析報(bào)告進(jìn)行文本分詞及詞性標(biāo)注后，對(duì)分詞結(jié)果進(jìn)行停用詞過濾及粗糙地降維以避免維度災(zāi)難。經(jīng)過處理后的文本，可以得到每一篇數(shù)據(jù)分析報(bào)告都是一個(gè)高維向量，此時(shí)數(shù)據(jù)呈現(xiàn)結(jié)構(gòu)化。在預(yù)處理完的數(shù)據(jù)中選取了幾個(gè)樣本展示，如表1 所示。

表1 數(shù)據(jù)預(yù)處理部分結(jié)果

3.2 特征選擇

數(shù)據(jù)分析報(bào)告中的評(píng)分細(xì)則一般包含幾個(gè)部分的分項(xiàng)評(píng)分，即選題、資料檢索、整理、閱讀、變量描述、數(shù)據(jù)預(yù)處理、軟件運(yùn)用、模型使用與評(píng)價(jià)、工作量與進(jìn)度、書寫、邏輯、格式、創(chuàng)造性與思考深度等。根據(jù)這些分項(xiàng)選定可以測(cè)度的量化指標(biāo)變量，然后從文本的各種特征出發(fā)匹配。本文根據(jù)以上分項(xiàng)評(píng)分，選定了以下7 個(gè)變量，即主題變量、描述性變量、工作量變量、內(nèi)容豐富度變量、邏輯變量、格式變量、資料運(yùn)用能力變量。

數(shù)據(jù)分析報(bào)告是否偏離主題內(nèi)容的一個(gè)特征就是全文主題的一致性，一致性最直觀的表現(xiàn)就是主題詞的共現(xiàn)頻率，主題詞的確認(rèn)會(huì)直接顯示在數(shù)據(jù)分析報(bào)告的題目中，比如“Facebook 帖子評(píng)論數(shù)預(yù)測(cè)分析”中可以直接得到該篇主題為“帖子”和“評(píng)論”，文章的內(nèi)容都離不開這2 個(gè)核心主題詞。通過提取這樣的特征進(jìn)行評(píng)分框架的搭建。

衡量數(shù)據(jù)分析報(bào)告的專業(yè)性離不開正確的數(shù)據(jù)分析方法，它是寫作者專業(yè)能力的綜合性展現(xiàn)。數(shù)據(jù)分析報(bào)告應(yīng)該涵蓋數(shù)據(jù)描述性分析、數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模分析及總結(jié)等內(nèi)容，其中會(huì)出現(xiàn)大量的統(tǒng)計(jì)專業(yè)名詞，例如“相關(guān)系數(shù)圖”“顯著性水平”“回歸分析”“決策樹”“l(fā)ogistic 回歸”等，在文章中尋找這類專業(yè)名詞。

體現(xiàn)數(shù)據(jù)分析報(bào)告總工作量的特征就是文章篇幅含量。文章內(nèi)容越多則說明作者工作量越多，通過計(jì)算文本分詞后的總詞數(shù)進(jìn)行數(shù)分報(bào)告工作量的評(píng)估。文章語(yǔ)言內(nèi)容的豐富度離不開名詞的占比，提取文章中名詞數(shù)量來評(píng)估數(shù)據(jù)分析報(bào)告的語(yǔ)言質(zhì)量。

語(yǔ)言邏輯性是數(shù)據(jù)分析報(bào)告的最基本要求，它包含文章完整、內(nèi)容簡(jiǎn)明扼要、整體連貫且合乎邏輯，其中最重要的是文章的邏輯通順流暢性。邏輯通暢與否體現(xiàn)在文章中出現(xiàn)的邏輯詞。

規(guī)范數(shù)據(jù)分析報(bào)告的寫作格式能夠向讀者準(zhǔn)確傳達(dá)寫作者的研究思路。從評(píng)分角度來看，一篇結(jié)構(gòu)清晰完整的文章能夠獲得更高的分?jǐn)?shù)。通過檢索文章中的段落標(biāo)題序號(hào)來體現(xiàn)文章整體格式規(guī)范問題。

在進(jìn)行實(shí)證分析的過程中，寫作者根據(jù)研究方向需要參閱和利用大量的科學(xué)文獻(xiàn)，對(duì)于主要引用的文獻(xiàn)需要在文章末尾注明出處?？疾鞂懽髡邔?duì)參考資料的運(yùn)用能力，檢索數(shù)據(jù)分析報(bào)告中引用的文獻(xiàn)資料數(shù)量。本文共計(jì)選取了7 個(gè)可以測(cè)度的量化指標(biāo)變量，分別從數(shù)據(jù)分析報(bào)告的內(nèi)容、專業(yè)性和格式2 個(gè)方向進(jìn)行評(píng)分，如表2 所示。

表2 特征維度

3.3 自動(dòng)評(píng)分算法實(shí)驗(yàn)

通過以上數(shù)據(jù)的預(yù)處理和特征選擇可以得到適用于機(jī)器學(xué)習(xí)模型的結(jié)構(gòu)化數(shù)據(jù)與特征變量。本節(jié)利用這些數(shù)據(jù)和幾種常見的機(jī)器學(xué)習(xí)模型對(duì)數(shù)據(jù)分析報(bào)告進(jìn)行模型的學(xué)習(xí)和驗(yàn)證，從而實(shí)現(xiàn)自動(dòng)評(píng)分，接下來分別從實(shí)驗(yàn)方法和實(shí)驗(yàn)結(jié)果這2 個(gè)部分進(jìn)行詳細(xì)的描述。

3.3.1 實(shí)驗(yàn)方法

數(shù)據(jù)分析報(bào)告的自動(dòng)評(píng)分算法是基于已有的歷史數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，由于該數(shù)據(jù)的標(biāo)簽是連續(xù)型數(shù)據(jù)，可以將其抽象為一個(gè)回歸問題。將提取出來的特征作為影響最終評(píng)分結(jié)果的變量，通過訓(xùn)練模型學(xué)習(xí)特征重要性，從而預(yù)測(cè)待評(píng)分文本的分?jǐn)?shù)。回歸問題下常見的機(jī)器學(xué)習(xí)模型有線性回歸、決策樹、隨機(jī)森林、Boosting 等，接下來將使用這些模型分別對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練。本文實(shí)驗(yàn)抽取50%的數(shù)據(jù)進(jìn)行訓(xùn)練，利用剩下50%的數(shù)據(jù)進(jìn)行測(cè)試，共進(jìn)行100 次重復(fù)運(yùn)算實(shí)驗(yàn)。

3.3.2 實(shí)驗(yàn)結(jié)果

對(duì)于模型的訓(xùn)練結(jié)果，本文主要采用了平均預(yù)測(cè)誤差（Mean Prediction Error，MPE）和平均訓(xùn)練誤差（Mean Training Error，MTE）這2 個(gè)指標(biāo)進(jìn)行評(píng)價(jià)。各個(gè)模型的評(píng)價(jià)指標(biāo)結(jié)果如表3 所示，綜合來看隨機(jī)森林模型的表現(xiàn)結(jié)果更好。因此，本文使用基于隨機(jī)森林的數(shù)據(jù)分析報(bào)告自動(dòng)評(píng)分算法，隨機(jī)森林是一種特殊的Bagging 方法，簡(jiǎn)單來說就是構(gòu)建多個(gè)決策樹并將它們合并在一起以獲得更準(zhǔn)確和穩(wěn)定的預(yù)測(cè)。使用隨機(jī)森林進(jìn)行待評(píng)分文本的預(yù)測(cè)可以得到人工評(píng)分和機(jī)器自動(dòng)評(píng)分的平均預(yù)測(cè)誤差在3.85 分左右。

表3 實(shí)驗(yàn)結(jié)果

基于已經(jīng)搭建好的隨機(jī)森林模型，可以從中評(píng)估特征變量的重要性。圖1 為變量重要性排序圖，圖中的“IncNodePurity”是通過殘差平方和來度量，它代表了每個(gè)變量對(duì)分類樹每個(gè)節(jié)點(diǎn)上觀測(cè)值的異質(zhì)性的影響，從而比較變量的重要性，該值越大表示該變量的重要性越大。據(jù)此可以判斷出工作變量和描述性變量2 個(gè)變量與數(shù)據(jù)分析報(bào)告最終得分密切相關(guān)。

圖1 變量重要性排序圖

由以上實(shí)驗(yàn)結(jié)果可知，對(duì)結(jié)構(gòu)化的文本數(shù)據(jù)進(jìn)行預(yù)處理后，利用隨機(jī)森林建模能得到更準(zhǔn)確的評(píng)分結(jié)果，還能提供重要特征進(jìn)行教學(xué)反饋。上述實(shí)驗(yàn)反映的預(yù)測(cè)結(jié)果和實(shí)際打分情況存在差異，但是差異結(jié)果不大，與費(fèi)時(shí)費(fèi)力的人工評(píng)分相比，機(jī)器自動(dòng)評(píng)分可以顯著地節(jié)省時(shí)間成本和人力成本，還能反饋重要的特征變量給教師，教師據(jù)此可以進(jìn)行以評(píng)促學(xué)的教學(xué)模式改革。

4 結(jié)論

本文將人工評(píng)分系統(tǒng)與自然語(yǔ)言特征相結(jié)合提出了一種新的自動(dòng)評(píng)分算法。將人工智能的定量研究引入教學(xué)過程，通過自動(dòng)評(píng)分模型的搭建完成數(shù)據(jù)分析報(bào)告的自動(dòng)化評(píng)分，從而很大程度上地縮減了繁復(fù)的人工打分過程，以及消除了人工打分過程中存在的主觀因素，并且從模型中發(fā)現(xiàn)工作變量和描述性變量這些文本特征是非常重要的，未來有助于相關(guān)方面的教學(xué)強(qiáng)化——譬如在工作量保證的前提下，教師應(yīng)當(dāng)重視專業(yè)方面的學(xué)習(xí)指導(dǎo)，鍛煉學(xué)生的語(yǔ)言組織能力及邏輯思維能力，引導(dǎo)學(xué)生如何閱讀以及使用文獻(xiàn)資料，即實(shí)現(xiàn)有模型指導(dǎo)的以評(píng)促學(xué)的教學(xué)實(shí)踐。

同時(shí)，本文工作在未來還有待提升的方面。首先是考慮增加樣本量，由于搜集到的實(shí)驗(yàn)樣本量較小，一定程度上影響實(shí)驗(yàn)精度；其次是如何將人工評(píng)分中的非語(yǔ)義特征考慮進(jìn)模型，量化非語(yǔ)義特征，提高自動(dòng)評(píng)分結(jié)果的精確性；最后，如何持續(xù)提高數(shù)據(jù)分析報(bào)告自動(dòng)評(píng)分算法的準(zhǔn)確率，也是未來持續(xù)研究的問題之一。