卷積循環(huán)神經(jīng)網(wǎng)絡(luò)在高考數(shù)學(xué)填空題評(píng)閱中的應(yīng)用

沈晨　林正聞　馮朝君

摘要：在高利害型考試中（例如高考），閱卷是一項(xiàng)時(shí)間有限、條件有限的細(xì)致工作。當(dāng)前，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域中非常成功的算法，它能夠模擬人來處理識(shí)別文字圖片等數(shù)據(jù)。對(duì)于填空題這樣的客觀題型，利用深度學(xué)習(xí)技術(shù)，可以進(jìn)一步提高閱卷效率和閱卷質(zhì)量。文章將構(gòu)建并訓(xùn)練可用于識(shí)別手寫字符的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)高考數(shù)學(xué)中填空題的機(jī)器自動(dòng)智能批閱。具體實(shí)現(xiàn)大致如下：首先對(duì)答題掃描圖片進(jìn)行預(yù)處理，然后用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型對(duì)答卷進(jìn)行自動(dòng)化批閱，最后對(duì)比人工閱卷結(jié)果進(jìn)行差異化分析。結(jié)果表明，機(jī)器智能識(shí)別評(píng)分的準(zhǔn)確率達(dá)到90%以上，對(duì)正確作答的召回達(dá)到甚至超過了預(yù)期水平。相比之前智能通過采樣少量樣本預(yù)測(cè)評(píng)分得分率，智能閱卷可以利用全部答卷（即總體），給出更加準(zhǔn)確的得分率，這對(duì)評(píng)分細(xì)則的制定十分有益。此外，通過差異化分析，智能閱卷還能輔助閱卷質(zhì)檢人員，盡量避免可能存在疑問的答卷圖片。

關(guān)鍵詞：自動(dòng)閱卷；卷積網(wǎng)絡(luò)；深度學(xué)習(xí)；高考數(shù)學(xué)；填空題

中圖分類號(hào)：TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）01-0024-04

中國(guó)作為全球教育考試體系較為完善的國(guó)家，每年都有大量的閱卷需求。高考、中考作為高利害性考試，從出題到閱卷的各個(gè)環(huán)節(jié)要求都十分嚴(yán)格。據(jù)統(tǒng)計(jì)，上海作為中國(guó)教育發(fā)達(dá)地區(qū)之一，參加中考的學(xué)生人數(shù)從2015年的7.9萬(wàn)人，逐漸增長(zhǎng)到2021年的近10萬(wàn)人，到了2022年，總?cè)藬?shù)在11.4萬(wàn)人。從人口統(tǒng)計(jì)數(shù)據(jù)可以預(yù)見，2023年參加中考的學(xué)生人數(shù)將會(huì)達(dá)到新的峰值在18萬(wàn)人左右；同時(shí)，2022年參加上海高考的考生人數(shù)也在7萬(wàn)左右，并逐年呈上升趨勢(shì)。

隨著考生規(guī)模的不斷擴(kuò)大，人工評(píng)閱的工作量顯著增加，因此利用智能算法來自動(dòng)化閱卷將是一種非常有潛力的解決方案。作為高考常規(guī)考試題型，填空題具有客觀性、多樣性等特點(diǎn)，相較于計(jì)算題、主觀題這樣靈活性較高的題型而言，填空題容易實(shí)現(xiàn)自動(dòng)化閱卷，從而在一定程度上降低人工評(píng)閱的工作量；然而，相較于選擇題這樣答案固定的題型而言，填空題的多樣性增加了自動(dòng)閱卷的難度。另外，填空題采用的是考生用筆書寫的作答方式，因此，答卷中不可避免地帶有考生各自獨(dú)特的書寫習(xí)慣，這將是智能自動(dòng)閱卷需要重點(diǎn)解決的問題。本研究旨在探索卷積神經(jīng)網(wǎng)絡(luò)這一智能算法，在高考數(shù)學(xué)填空題評(píng)閱中的應(yīng)用和該評(píng)分系統(tǒng)的效度，為其進(jìn)一步的使用和推廣奠定基礎(chǔ)。

1 研究背景

1.1? 數(shù)學(xué)填空題的特點(diǎn)

數(shù)學(xué)填空題是一類常規(guī)的客觀題型，需要考生在規(guī)定的位置書寫答案，其形式簡(jiǎn)單，答案較為固定，例如：

這類題型中每一空格的答案較為固定，但正確答案的形式可以有多種等價(jià)表述，即具有答案多樣性。以某次考試的填空題為例：

在第1題中，正確答案可以是[2-i]也可以是[-i+2]；再例如第2題中，答案[（1，2）]也可以寫成集合的等價(jià)形式：{x|1

數(shù)學(xué)符號(hào)的書寫特點(diǎn)，填空題的答案不但可能包含多重元素，如數(shù)字、數(shù)學(xué)符號(hào)、漢字、標(biāo)點(diǎn)符號(hào)等，還可以有左右，上下甚至嵌套等結(jié)構(gòu)。例如：分?jǐn)?shù)可以寫成[1/2]的左右結(jié)構(gòu)，也可以寫成[12]這樣的上下結(jié)構(gòu)；再例如：[5]是一種數(shù)學(xué)符號(hào)與數(shù)字的嵌套結(jié)構(gòu)，因此數(shù)學(xué)填空題答案具有元素和結(jié)構(gòu)復(fù)雜性。除此以外，部分?jǐn)?shù)學(xué)符號(hào)的手寫近似程度很高，例如：中括號(hào)與小括號(hào)，逗號(hào)和點(diǎn)號(hào)，字母x及其大寫X等，即具有一定程度的混淆性。

總的來說，數(shù)學(xué)填空題答案的多樣性、元素和結(jié)構(gòu)的復(fù)雜性以及易混淆性，成為了正確評(píng)閱填空題的難點(diǎn)，也正是本研究要解決的主要問題。

1.2 卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)手寫數(shù)學(xué)符號(hào)的識(shí)別

當(dāng)前人工智能（Artificial Intelligence， 簡(jiǎn)稱AI） [1]在制造、交通、金融、教育和醫(yī)療等都有相當(dāng)廣泛的應(yīng)用。例如：自動(dòng)駕駛系統(tǒng)、身份識(shí)別、大數(shù)據(jù)風(fēng)控、智慧供應(yīng)鏈等都是AI的技術(shù)的成功應(yīng)用場(chǎng)景。人工智能賦能千行百業(yè)，萬(wàn)物智能化是技術(shù)發(fā)展的前沿的趨勢(shì)，在教育領(lǐng)域，智能化閱卷是智慧教育的一個(gè)非常有潛力的研究領(lǐng)域。

卷積循環(huán)神經(jīng)網(wǎng)絡(luò)（Convolutional Recurrent Neural Network，簡(jiǎn)稱CRNN） [2]是一種用于解決序列圖像問題的端到端的識(shí)別方法，是人工智能領(lǐng)域的重要算法之一。CRNN集成了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡(jiǎn)稱CNN） [3]和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，簡(jiǎn)稱RNN） [4]兩種網(wǎng)絡(luò)的特點(diǎn)，可直接從圖片中預(yù)測(cè)序列。該模型在印刷體文字的識(shí)別上已經(jīng)達(dá)到了相當(dāng)?shù)臏?zhǔn)確率，其優(yōu)點(diǎn)在于：1） 無須預(yù)先分割所要識(shí)別的文字，這將解決數(shù)學(xué)填空題中出現(xiàn)的結(jié)構(gòu)復(fù)雜性問題。在以往的嘗試中，分割數(shù)學(xué)字符就已經(jīng)是非常困難的任務(wù)，由于考生書寫習(xí)慣的不同，其手寫數(shù)學(xué)符號(hào)往往帶有連筆，這樣的答案幾乎是無法分割的，但CRNN的端到端的特點(diǎn)十分有效地解決了這一問題[5]。2） 采用（Connectionist temporal classification，CTC） 結(jié)構(gòu)作為網(wǎng)絡(luò)的訓(xùn)練目標(biāo)函數(shù)[6]，將解決文字書寫的對(duì)齊問題，這樣一來，無論符號(hào)之間留有多少空白區(qū)域，都可以對(duì)應(yīng)正確的識(shí)別輸出。3） 非常容易遷移學(xué)習(xí)，這將有助于提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，也有助于擴(kuò)大訓(xùn)練的樣本種類，繼而一定程度上克服數(shù)學(xué)符號(hào)的多樣性和易混淆性問題，并使得模型具有更好的泛化能力[7]。

2 評(píng)閱流程

2.1 神經(jīng)網(wǎng)絡(luò)構(gòu)建與模型訓(xùn)練

在神經(jīng)網(wǎng)絡(luò)搭建過程中，卷積循環(huán)網(wǎng)絡(luò)的結(jié)構(gòu)采用了經(jīng)典的網(wǎng)絡(luò)參數(shù)配置[8-13]，并使用成熟的Keras框架進(jìn)行構(gòu)建；在網(wǎng)絡(luò)的訓(xùn)練過程中，輸入的訓(xùn)練數(shù)據(jù)包含了國(guó)內(nèi)外開源數(shù)據(jù)集合，例如：MNIST數(shù)據(jù)集，IAM數(shù)據(jù)集等，并從中學(xué)中現(xiàn)場(chǎng)采集了部分?jǐn)?shù)據(jù)集，基本覆蓋了數(shù)學(xué)符號(hào)、集合、分?jǐn)?shù)、根號(hào)、英文字符、標(biāo)點(diǎn)符號(hào)等種類。整個(gè)訓(xùn)練過程包含了預(yù)訓(xùn)練，遷移學(xué)習(xí)，增加數(shù)據(jù)集，再訓(xùn)練這樣若干次反復(fù)迭代過程，這也是本研究的創(chuàng)新點(diǎn)之一。通過這樣的迭代式訓(xùn)練，整個(gè)網(wǎng)絡(luò)能力在不斷提升，有助于持續(xù)獲得最佳數(shù)學(xué)填空題的識(shí)別效果。

2.2 評(píng)閱實(shí)施技術(shù)細(xì)節(jié)

首先，需要對(duì)考生的答案圖片進(jìn)行預(yù)處理，其中包括對(duì)各個(gè)試題的分割，例如圖3、圖4中，要對(duì)1～6和7～12題分別進(jìn)行題目分割，即把每一題的區(qū)域提取出來。在圖片的掃描過程中，整體圖片位置與大小等特征方面基本沒有差異，由此筆者針對(duì)每一道題目只要按照少量圖片為基準(zhǔn)進(jìn)行選框，并對(duì)所有圖片以框?yàn)閱挝粚?duì)框內(nèi)的圖像進(jìn)行提取即可得到該題所有考生的答案圖片。當(dāng)然，這里可能需要注意的是，掃描機(jī)器的精度有限，每一張答題卡間的在橫坐標(biāo)與縱坐標(biāo)上都有著細(xì)微的差異，因此在選框的過程中要在接近題號(hào)的部分進(jìn)行留白，在上下限的劃分則需要根據(jù)經(jīng)驗(yàn)判斷選框區(qū)域。這里需要注意的是，畫框的合理性會(huì)決定最后的準(zhǔn)確率，框的不合理可能會(huì)導(dǎo)致有一部分圖片中沒有把全部答案框選進(jìn)來，從而導(dǎo)致預(yù)測(cè)的錯(cuò)誤。

在完成選框后，下一步進(jìn)行的是對(duì)所有考卷按照選定的圖像進(jìn)行圖像切割。切割后的圖片無論是尺寸、顏色或是位置特征可能會(huì)有一些不符合模型要求，因此在切割的過程中需要對(duì)圖片進(jìn)行處理，處理流程如下：

1） 根據(jù)選定的圖像框坐標(biāo)進(jìn)行圖片提取；

2） 對(duì)圖片進(jìn)行0-1二值化處理，即將圖像中的值轉(zhuǎn)化為0或1；

3） 計(jì)算全為0的行與列，并將四周的無用部分去除，即找到最小矩形區(qū)域選出所有含有1的特征；

4） 計(jì)算長(zhǎng)寬比例，將長(zhǎng)或?qū)掃M(jìn)行0填充至60：270的比例（訓(xùn)練數(shù)據(jù)圖像比例）；

5） 將圖像縮放至32：256的大小，將圖像反色后按題號(hào)導(dǎo)出至指定文件夾。

在完成預(yù)處理的所有流程后，將根據(jù)選框數(shù)量得到數(shù)個(gè)文件夾，每個(gè)文件夾中包含所有考生該題的答案圖片，以供后續(xù)預(yù)測(cè)使用。

然后，按照?qǐng)D5的流程進(jìn)行閱卷評(píng)分，其中主要包括：利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型識(shí)別考生答卷中的數(shù)學(xué)符號(hào)以及文字，比對(duì)評(píng)分標(biāo)準(zhǔn)進(jìn)行評(píng)分，在評(píng)分結(jié)束后自動(dòng)生成評(píng)分結(jié)果并提交給使用者。

2.3? 評(píng)價(jià)指標(biāo)設(shè)計(jì)

在智能閱卷過程中，將同時(shí)對(duì)每一題的得分率進(jìn)行預(yù)測(cè)，最終將與人工評(píng)閱結(jié)果進(jìn)行對(duì)比。因此，智能評(píng)閱系統(tǒng)將有如下的幾個(gè)評(píng)分指標(biāo)：1） 考生得分預(yù)測(cè)準(zhǔn)確率；2） 預(yù)測(cè)每一題得分率的準(zhǔn)確率；3） 差異化分析后的混淆矩陣和結(jié)果。

3 智能化閱卷實(shí)施效果

以某次考試的具體閱卷實(shí)施為例，智能化閱卷（下文中稱機(jī)器評(píng)閱）所預(yù)測(cè)的考生得分結(jié)果與人工評(píng)閱的比較如圖6所示。

可見，其準(zhǔn)確率達(dá)到了90%以上，已經(jīng)非常接近人工評(píng)閱的結(jié)果。其次，對(duì)于考生作答正確的情況，其召回率也超出了預(yù)期，如圖7所示。

可見在大部分題目（題1、題4-10） 中，機(jī)器評(píng)閱能最大限度地把做對(duì)的考生尋找出來，其表現(xiàn)能力要優(yōu)于人工評(píng)閱的情況。

機(jī)器評(píng)閱所預(yù)測(cè)的得分率情況如表1所示?？梢钥吹?，經(jīng)過機(jī)器評(píng)閱全部試題后，可以預(yù)測(cè)每一題的得分率。另外，由誤差矩陣，還可以進(jìn)一步對(duì)預(yù)測(cè)的得分率進(jìn)行修正。得分率乘以每題總分，既可以獲得得分情況，結(jié)果表明，機(jī)器預(yù)測(cè)的得分結(jié)果更加接近真實(shí)成績(jī)。事實(shí)上，這一優(yōu)勢(shì)來自機(jī)器評(píng)閱是對(duì)全部試卷進(jìn)行評(píng)分，而人工評(píng)閱只能通過采集部分少量樣本進(jìn)行預(yù)測(cè)。

機(jī)器評(píng)閱后，將進(jìn)行差異化分析之，獲得的混淆矩陣如圖8所示。

從圖8可以看出，各題在人工判對(duì)的情況下機(jī)器判對(duì)的概率都在98%以上，但在人工判對(duì)的情況下機(jī)器判錯(cuò)的概率并不低，這是由于機(jī)器閱卷中設(shè)定的標(biāo)準(zhǔn)要嚴(yán)格一些，例如：出現(xiàn)涂改的地方往往判定為考生答錯(cuò)。在具體的應(yīng)用過程中，基本可以完全確定肯定對(duì)和肯定錯(cuò)的部分，這對(duì)正確評(píng)閱試題非常有幫助，此外，對(duì)于誤差矩陣中判錯(cuò)的部分，還將分析其差異性的來源，幫助質(zhì)檢人員尋找可能有疑問的答卷。

基于差異化分析的結(jié)果，可以得出以下結(jié)論：

1） 盡管機(jī)器評(píng)閱已經(jīng)解決了一部分有涂改痕跡的圖片的問題，但還有很大的提升空間，機(jī)器評(píng)閱的錯(cuò)誤大多來源于此，另外，涂改會(huì)造成學(xué)生答題位置的改變，例如，將第1題的答案寫在了第1、2題的中間位置，這為機(jī)器評(píng)閱增加了難度。

2） 機(jī)器評(píng)閱可以幫助質(zhì)檢人員檢測(cè)出大部分可能有疑問的答卷，從而盡量減少了由于人工疲勞和慣性思維導(dǎo)致的問題。

通過評(píng)閱一致性對(duì)比，見圖9，其中“假陽(yáng)性比例”是預(yù)測(cè)為真、真實(shí)為假的比例，“假陰性比例”是預(yù)測(cè)為假、真實(shí)為真的比例。可以看出，機(jī)器的批閱更加嚴(yán)格。

4 結(jié)論與討論

卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型對(duì)手寫識(shí)別的準(zhǔn)確率在純數(shù)字，根式與分式都有較高的準(zhǔn)確率，普遍達(dá)到80%，甚至90%以上，這可能是這些情況相對(duì)容易識(shí)別，但在區(qū)間與集合上的情況中，模型的表現(xiàn)能力弱一些，這可能與括號(hào)的準(zhǔn)確識(shí)別有關(guān)，尤其是中括號(hào)和小括號(hào)的手寫體，即便是人工批閱都有一定程度的主觀性，而數(shù)學(xué)公式講究嚴(yán)格性，中括號(hào)與小括號(hào)的區(qū)間含義不同，這就為識(shí)別造成了較大的困難。對(duì)于端到端學(xué)習(xí)，筆者采用了組合多種多樣的手寫區(qū)間與集合的訓(xùn)練集來增強(qiáng)其泛化能力。

因此，若將現(xiàn)階段模型用于考試填空題的預(yù)測(cè)，對(duì)于只包含純數(shù)字序列、根式與分式的題型可以直接進(jìn)行預(yù)測(cè)識(shí)別。但對(duì)于區(qū)間和集合，筆者建議先使用少部分的數(shù)據(jù)用于遷移學(xué)習(xí)，再用于全部答卷的預(yù)測(cè)識(shí)別。

通過機(jī)器實(shí)際評(píng)閱下來，筆者發(fā)現(xiàn)，如果要進(jìn)一步提高準(zhǔn)確率，可以采用以下幾個(gè)方面的策略：1） 答題紙最好能夠確定每一題的答題范圍，這樣就能保證圖片按題切割的成功率；2） 對(duì)于手寫涂改樣式進(jìn)行明確要求，可以有效提升機(jī)器和人工的識(shí)別準(zhǔn)確率和效率；3） 采用多個(gè)獨(dú)立的智能算法機(jī)器閱卷模型，可以盡可能減少人與機(jī)器在批閱時(shí)同時(shí)誤判的情況，從這方面講，機(jī)器閱卷如果要在未來完全脫離人工進(jìn)行獨(dú)立閱卷還有很長(zhǎng)的路要走。

基于本論文的研究結(jié)論，筆者將繼續(xù)完善和豐富手寫字符數(shù)據(jù)庫(kù)和訓(xùn)練集，繼續(xù)針對(duì)數(shù)學(xué)填空題的評(píng)閱優(yōu)化提升預(yù)測(cè)精度，著重處理涂改等技術(shù)難題；并且嘗試擴(kuò)展填空題的適應(yīng)范圍，探索機(jī)器智能閱卷系統(tǒng)在英語(yǔ)、語(yǔ)文考試中的應(yīng)用場(chǎng)景。筆者相信，機(jī)器閱卷通過努力最終會(huì)成為非常有潛力的“閱卷員”。

參考文獻(xiàn)：

[1] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報(bào)，2017，40（6）：1229-1251.

[2] 尹寶才，王文通，王立春.深度學(xué)習(xí)研究綜述[J].北京工業(yè)大學(xué)學(xué)報(bào)，2015，41（1）：48-59.

[3] 郭華.深度學(xué)習(xí)及其意義[J].課程 教材 教法，2016，36（11）：25-32.

[4] 郭麗麗，丁世飛.深度學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)科學(xué)，2015，42（5）：28-33.

[5] 宋睿，陳鑫，洪宇，等.基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取[J].中文信息學(xué)報(bào)，2019，33（10）：64-72.

[6] 王鑫，吳際，劉超，等.基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時(shí)間序列預(yù)測(cè)[J].北京航空航天大學(xué)學(xué)報(bào)，2018，44（4）：772-784.

[7] 李柯泉，陳燕，劉佳晨，等.基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法綜述[J].計(jì)算機(jī)工程，2022，48（7）：1-12.

[8] 周凱龍.基于深度學(xué)習(xí)的圖像識(shí)別應(yīng)用研究[D].北京：北京工業(yè)大學(xué)，2016.

[9] 紀(jì)國(guó)強(qiáng).基于機(jī)器學(xué)習(xí)的圖像識(shí)別研究[D].沈陽(yáng)：沈陽(yáng)理工大學(xué)，2018.

[10] 張雁.基于機(jī)器學(xué)習(xí)的遙感圖像分類研究[D].北京：北京林業(yè)大學(xué)，2014.

[11] 張慧，王坤峰，王飛躍.深度學(xué)習(xí)在目標(biāo)視覺檢測(cè)中的應(yīng)用進(jìn)展與展望[J].自動(dòng)化學(xué)報(bào)，2017，43（8）：1289-1305.

[12] Shi B G，Bai X，Yao C.An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（11）：2298-2304.

[13] Choudhury A，Sarma K K.A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition[J].Multimedia Tools and Applications，2021，80（28/29）：35649-35684.

【通聯(lián)編輯：唐一東】