基于神經(jīng)網(wǎng)絡(luò)的空白題識別技術(shù)及其在CET主觀題閱卷中的應(yīng)用

肖 巍 辜向東

（南京師范大學(xué)，南京，210097；重慶大學(xué)，重慶，400044）

1.引言

隨著計算機(jī)技術(shù)的發(fā)展，一些大規(guī)模考試（如CET）的閱卷方式已由傳統(tǒng)的紙筆閱卷過渡到計算機(jī)甚至網(wǎng)上閱卷。其中，主觀題的閱卷一般是將原始試卷掃描成灰度圖像，再將圖像輸出到顯示器上供閱卷員評閱。以CET為例，先是將主觀題答題卡掃描成灰度圖像，再按題目將圖像分割成一個個小塊，每道題目為一個圖像文件，最后把一個個圖像文件依次輸出到顯示器。我們自身的CET 閱卷經(jīng)歷以及對部分CET 閱卷員的訪談表明，每次CET 主觀題閱卷都會有一定數(shù)量的空白題。如果這些空白題不必由閱卷員評分，而是由計算機(jī)自動識別并賦分，無疑能減輕閱卷員的工作量，提高閱卷效率，降低閱卷成本，節(jié)約人力、物力和財力。

從掃描后的圖像來看，空白題和非空白題的主要區(qū)別在于像素灰度值，作答部分的灰度值接近0，空白部分接近255。但由于作答筆跡有輕有重，掃描清晰度不高，很難直接用像素灰度值加以區(qū)分（賈志先2009），需采用一定的技術(shù)進(jìn)行識別。實(shí)現(xiàn)空白題自動識別的技術(shù)路線較多，如神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。其中神經(jīng)網(wǎng)絡(luò)較為簡單實(shí)用。本研究將嘗試?yán)蒙窠?jīng)網(wǎng)絡(luò)進(jìn)行空白題識別技術(shù)的開發(fā)，并討論該技術(shù)在CET主觀題閱卷中的應(yīng)用。利用神經(jīng)網(wǎng)絡(luò)進(jìn)行空白題識別，最關(guān)鍵的是要保證識別的準(zhǔn)確性與穩(wěn)定性，即保證未作答的空白題一定賦0分，而考生作答了的一定不賦0分，留待人工評閱。如何確?？瞻最}識別技術(shù)具有較高的準(zhǔn)確性與穩(wěn)定性是本研究需解決的主要問題。

2.理論基礎(chǔ)

神經(jīng)網(wǎng)絡(luò)是一種能夠模擬人腦結(jié)構(gòu)及功能的信息處理系統(tǒng)。其基本單位是神經(jīng)元，這一點(diǎn)與人腦相似。神經(jīng)網(wǎng)絡(luò)并不依賴事先編好的程序去運(yùn)行，而是通過訓(xùn)練去調(diào)整自身權(quán)值，具有自組織、自學(xué)習(xí)、非線性逼近的能力（Shiet al.2004）。由于神經(jīng)網(wǎng)絡(luò)具有這些能力，它能夠反映人腦功能的許多基本特征，近年來在人工智能、自動控制、信息處理等方面取得了廣泛應(yīng)用（董長虹2005；韓力群2006）。

在教育考試領(lǐng)域，神經(jīng)網(wǎng)絡(luò)被應(yīng)用于試卷等值、空白題識別等方面，如賈志先（2009）曾使用神經(jīng)網(wǎng)絡(luò)識別HSK（漢語水平考試）的空白題，取得了較好的識別效果。通過學(xué)習(xí)空白題和非空白題的特征，不斷調(diào)整自身權(quán)值，神經(jīng)網(wǎng)絡(luò)可以像人腦一樣把空白題準(zhǔn)確識別出來。然而，HSK 用漢語答題，CET用英語答題，書寫文字的不同可能導(dǎo)致不同的識別效果。此外，若特征參數(shù)、實(shí)驗(yàn)?zāi)Ｐ?、?xùn)練函數(shù)、學(xué)習(xí)函數(shù)、傳遞函數(shù)和隱藏層神經(jīng)元數(shù)目等設(shè)置不同，識別效果可能也不同，需通過實(shí)證加以探究。我們的思路如下：首先提取可靠的特征參數(shù)，其次選取合適的網(wǎng)絡(luò)模型、函數(shù)及神經(jīng)元數(shù)目，最后通過對網(wǎng)絡(luò)的訓(xùn)練調(diào)試達(dá)到最佳識別效果。

2.1 空白題特征參數(shù)的提取

對空白題進(jìn)行識別，首先要提取出能區(qū)分空白題和非空白題的特征參數(shù)。我們發(fā)現(xiàn)，空白題由于沒有任何作答記號，掃描后圖像各像素的灰度值均接近255，其標(biāo)準(zhǔn)差較小。非空白題由于有作答記號，掃描后這些作答部分的像素灰度值接近0，而其它部分的像素灰度值接近255，從而導(dǎo)致其標(biāo)準(zhǔn)差很大。因此，我們擬使用標(biāo)準(zhǔn)差作為區(qū)分空白題和非空白題的特征參數(shù)。

假設(shè)一幅圖像大小為m×n像素，則其像素灰度值矩陣為：

圖像像素灰度值矩陣A的行向量的標(biāo)準(zhǔn)差為：

其中u1，u2，…，um為圖像灰度值矩陣A的各行向量的平均值。A的列向量的標(biāo)準(zhǔn)差為：

其中v1，v2，…，vn為圖像灰度值矩陣A的各行向量的平均值。

然而，直接以這些向量作為神經(jīng)網(wǎng)絡(luò)的輸入，數(shù)據(jù)量太大，且由于m和n的取值不確定，神經(jīng)網(wǎng)絡(luò)輸入層的神經(jīng)元數(shù)目也無法確定。因此，我們對行向量和列向量的標(biāo)準(zhǔn)差繼續(xù)求標(biāo)準(zhǔn)差，得到一個二維數(shù)組[x1，x2]，其中x1為行向量標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差，x2為列向量標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差。這樣，我們就可以用x1和x2兩個參數(shù)作為區(qū)分空白題和非空白題的特征參數(shù)。實(shí)現(xiàn)這些步驟的Matlab代碼為：

f=imread（‘...'）；∥載入圖像灰度值矩陣f，其中…為載入圖像的文件名∥

x1=std（std（double（f'）））；∥求行向量標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差，f'為圖像灰度值矩陣的轉(zhuǎn)置矩陣∥

x2=std（std（double（f）））?！吻罅邢蛄繕?biāo)準(zhǔn)差的標(biāo)準(zhǔn)差∥

2.2 神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建

使用神經(jīng)網(wǎng)絡(luò)需根據(jù)研究自身特點(diǎn)選取合適的網(wǎng)絡(luò)模型。本研究選取Elman神經(jīng)網(wǎng)絡(luò)模型。Elman網(wǎng)絡(luò)由Elman于1990年提出，并由Pham 和Liu于1992年加以改進(jìn)，是一種動態(tài)的反饋網(wǎng)絡(luò)。該模型在前饋網(wǎng)絡(luò)的隱藏層中增加一個反饋層作為延時算子，以達(dá)到記憶的目的，從而使系統(tǒng)具有適應(yīng)時變特性的能力，能直接反映動態(tài)過程系統(tǒng)的特性（Elman 1990；Pham&Liu 1992；Shiet al.2004）。其優(yōu)點(diǎn)是對目標(biāo)函數(shù)的逼近度高、自學(xué)習(xí)能力強(qiáng)；不足之處是需要的神經(jīng)元數(shù)目可能較多，可能導(dǎo)致網(wǎng)絡(luò)結(jié)構(gòu)龐大、學(xué)習(xí)時間較長。

Elman網(wǎng)絡(luò)由輸入層、隱藏層、反饋層和輸出層組成。輸入層用于輸入信號，隱藏層對來自輸入層的信號進(jìn)行一定處理，反饋層用于記憶隱藏層前一時刻的輸出值并返回給輸入，即一步延時。輸出層的作用為對隱藏層傳來的信號進(jìn)行加權(quán)輸出。這種特殊的網(wǎng)絡(luò)結(jié)構(gòu)可以任意精度逼近任意函數(shù)（董長虹2005），具有較強(qiáng)的自學(xué)習(xí)能力，因此能夠較容易地學(xué)會對空白題的識別。結(jié)構(gòu)圖可由圖1表示。

圖1 Elman神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

該網(wǎng)絡(luò)的數(shù)學(xué)表達(dá)式如下：設(shè)網(wǎng)絡(luò)信號輸入為x（k），隱藏層輸出為x'（k），反饋層輸出為xc（k），信號輸出為y（k）；W1、W2、W3分別為輸入層至隱藏層、反饋層至隱藏層、隱藏層至輸出層的連接權(quán)值；f（*）、h（*）分別為隱藏層和輸出層的傳遞函數(shù)；α（0≤α＜1）為反饋層的自反饋增益因子，則該網(wǎng)絡(luò)的數(shù)學(xué)表達(dá)式為：

選定網(wǎng)絡(luò)模型后，還需選取網(wǎng)絡(luò)的訓(xùn)練函數(shù)、學(xué)習(xí)函數(shù)、以及隱藏層和輸出層的傳遞函數(shù)。我們選取traindx函數(shù)作為訓(xùn)練函數(shù)。該函數(shù)基于Levenberg-Marquardts優(yōu)化算法，結(jié)合了梯度下降法和高斯—牛頓法的優(yōu)點(diǎn)，其訓(xùn)練速度較快且準(zhǔn)確度高（王建梅、覃文忠2005；曹紅杏等2008）。以梯度下降動量函數(shù)learngdm 為學(xué)習(xí)函數(shù)。該函數(shù)利用神經(jīng)元的輸入和誤差、權(quán)值或閾值的學(xué)習(xí)速率和動量常數(shù)來計算權(quán)值或閾值的變化率（董春嬌等2010）。分別以tansig函數(shù)、logsig函數(shù)作為隱藏層和輸出層的傳遞函數(shù)。tansig函數(shù)為S型正切函數(shù)，logsig函數(shù)為S型對數(shù)函數(shù)。在本研究中，輸入接近0（空白題）時需輸出0，輸入不接近0（非空白題）時需輸出1，輸入與輸出之間并非線性關(guān)系，故采用tangis和logsig兩類非線性函數(shù)比purelin等線性函數(shù)更滿足本研究的需要。

選定函數(shù)后，還需根據(jù)實(shí)際需要設(shè)定神經(jīng)網(wǎng)絡(luò)各層的神經(jīng)元數(shù)目。本研究中，輸入層神經(jīng)元設(shè)為2個，分別接收行向量標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差x1以及列向量標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差x2。隱藏層的神經(jīng)元數(shù)目過多會導(dǎo)致學(xué)習(xí)時間、可推廣性差，過少則難以保證學(xué)習(xí)精度和輸出的正確率（Suzuki&Mitsukura 2010）。一般情況下，隱藏層的神經(jīng)元數(shù)目根據(jù)公式n'=（n+m）1/2+t來確定，其中n'為隱藏層神經(jīng)元數(shù)目，n為輸入層神經(jīng)元數(shù)目，m為輸出神經(jīng)元數(shù)目，t∈｛x$1＜x＜10，x∈N｝（周開利和康耀紅2007；黨小超和郝占軍2010）。反饋層神經(jīng)元數(shù)目與隱藏層相同。輸出層神經(jīng)元設(shè)為1個，輸出對空白題的識別結(jié)果y，y接近0即為空白題，y接近1即為非空白題。

可見，為構(gòu)建一個具有良好性能的神經(jīng)網(wǎng)絡(luò)，需選擇合適的網(wǎng)絡(luò)模型、訓(xùn)練函數(shù)、學(xué)習(xí)函數(shù)、傳遞函數(shù)，并設(shè)定合適的隱藏層神經(jīng)元數(shù)目。網(wǎng)絡(luò)模型和各函數(shù)的選取依據(jù)各函數(shù)自身的特點(diǎn)及本研究的需要，隱藏層神經(jīng)元數(shù)目的設(shè)定依據(jù)上述經(jīng)驗(yàn)公式。由上述經(jīng)驗(yàn)公式可知，本研究隱藏層的神經(jīng)元數(shù)目取值范圍為3～11。我們使用訓(xùn)練樣本對這些具有不同隱藏層神經(jīng)元數(shù)目的神經(jīng)網(wǎng)絡(luò)進(jìn)行測試，評價其預(yù)測效果，從中選出最優(yōu)模型。

3.實(shí)驗(yàn)

我們使用Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行處理的是二維的灰度圖像。如果掃描得到的原始圖像為有三個維度的RGB彩色圖像，需在進(jìn)行實(shí)驗(yàn)之前使用Photoshop等軟件將其轉(zhuǎn)換為灰度圖像。使用Photoshop的具體操作為：打開圖像，在菜單中依次打開“圖像”“模式”，選擇“灰度”，然后保存。一般設(shè)定圖像有256個色階，即灰度值區(qū)間為[0，255]。

圖2為實(shí)驗(yàn)所用的一幅模擬CET 主觀題答題圖像，其內(nèi)容為對2010年6月CET 六級考試一道主觀題的作答。該圖像為120×36像素的灰度圖像，每個像素的灰度值可在[0，255]區(qū)間內(nèi)取值。

圖2 實(shí)驗(yàn)圖像示例

3.1 Elman神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

為加快網(wǎng)絡(luò)的收斂速度，我們對圖像的灰度值進(jìn)行了歸一化，即將[0，255]區(qū)間的灰度值轉(zhuǎn)換到[0，1]區(qū)間內(nèi)。

我們在Matlab中使用下列訓(xùn)練樣本進(jìn)行訓(xùn)練：

輸入訓(xùn)練樣本為：

目標(biāo)輸出為：

對網(wǎng)絡(luò)的設(shè)定為：

訓(xùn)練結(jié)果見表1。

表1 隱藏層神經(jīng)元數(shù)目的選取方案比較結(jié)果

由訓(xùn)練結(jié)果可知，當(dāng)神經(jīng)元數(shù)目設(shè)定為7時，訓(xùn)練后誤差最小，但訓(xùn)練次數(shù)最多，為21次。神經(jīng)元數(shù)目設(shè)定為10時訓(xùn)練次數(shù)最少，但其訓(xùn)練后誤差相對較大。經(jīng)綜合考慮，我們選取神經(jīng)元數(shù)目為8的方案，此時訓(xùn)練后誤差為2.50880e-006，相對較小，且經(jīng)過11次訓(xùn)練就達(dá)到了設(shè)定的目標(biāo)誤差，所需訓(xùn)練次數(shù)也相對較少。這一數(shù)目與賈志先（2009）所做研究設(shè)定的7個神經(jīng)元較為接近。

圖3為神經(jīng)元數(shù)目為8時Elman網(wǎng)絡(luò)的訓(xùn)練效果圖。

圖3 神經(jīng)元數(shù)目為8時的Elman網(wǎng)絡(luò)訓(xùn)練效果圖

由圖3可見，雖然訓(xùn)練樣本較?。∟=10），但經(jīng)過11次訓(xùn)練后，誤差達(dá)到了設(shè)定的最小值（10-5），表明該模型訓(xùn)練成功，可以投入使用。

3.2 Elman神經(jīng)網(wǎng)絡(luò)的測試

網(wǎng)絡(luò)訓(xùn)練好以后就可用于空白題識別。我們使用以下數(shù)據(jù)進(jìn)行測試。

網(wǎng)絡(luò)的輸出結(jié)果為：

其中，前7個數(shù)據(jù)近似于1，表明輸入圖像為非空白題；后3個數(shù)據(jù)近似于0，表明輸入圖像為空白題。經(jīng)過人工核對，識別結(jié)果完全正確。

測試結(jié)果表明，該Elman網(wǎng)絡(luò)可以較好地識別出空白題。

4.結(jié)論

本研究使用神經(jīng)網(wǎng)絡(luò)進(jìn)行空白題識別技術(shù)的開發(fā)，提取出圖像像素灰度值矩陣行向量、列向量標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差作為識別空白題的特征參數(shù)，選取Elman網(wǎng)絡(luò)模型為實(shí)驗(yàn)網(wǎng)絡(luò)模型，以traindx函數(shù)為訓(xùn)練函數(shù)，以learngdm 函數(shù)為學(xué)習(xí)函數(shù)，分別以tansig和logsig函數(shù)為隱藏層和輸出層的傳遞函數(shù)，通過對神經(jīng)網(wǎng)絡(luò)隱藏層神經(jīng)元數(shù)目的調(diào)整來優(yōu)化網(wǎng)絡(luò)，使得網(wǎng)絡(luò)能夠以較少的運(yùn)算消耗獲得較好的識別效果。初步實(shí)驗(yàn)結(jié)果表明，該技術(shù)可以較好地識別出空白題。

本研究成功的關(guān)鍵是提取出區(qū)別空白題與非空白題的特征參數(shù)。因?yàn)榉强瞻最}有作答記號，導(dǎo)致其行向量、列向量標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差均較大，而空白題行向量、列向量標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差均接近0，所以我們提取圖像像素灰度值矩陣行向量、列向量標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差作為特征參數(shù)。為了更好地識別，可在提取特征參數(shù)之前對圖像進(jìn)行增強(qiáng)對比度的預(yù)處理，以避兔對特征參數(shù)不明顯的試卷的“誤判”。此外，還可通過應(yīng)用支持向量機(jī)的方法（如賈志先2011）進(jìn)一步避兔可能出現(xiàn)的識別錯誤。

本研究只是利用神經(jīng)網(wǎng)絡(luò)進(jìn)行空白題識別技術(shù)開發(fā)的一個初步嘗試，尚存一些不足。首先，訓(xùn)練樣本較小，識別的準(zhǔn)確性和穩(wěn)定性有待大樣本的驗(yàn)證。其次，將彩色圖像轉(zhuǎn)換為灰度圖像的操作尚需人工處理，尚未實(shí)現(xiàn)“轉(zhuǎn)換-識別”的自動化。在后續(xù)開發(fā)中，如果實(shí)現(xiàn)了圖像轉(zhuǎn)換處理的自動化，且空白題識別的輸入結(jié)果能夠作為評分系統(tǒng)的輸入，自動給空白題賦分，那么這一基于神經(jīng)網(wǎng)絡(luò)的空白題識別技術(shù)應(yīng)當(dāng)有廣泛的應(yīng)用前景。