基于自動化測評系統(tǒng)的小學(xué)生漢字書寫競賽實驗研究

姜杰 馬雨晴等

摘要：漢字書寫競賽具有較高的文化傳承、推廣意義，卻也因紙筆書寫介質(zhì)的限制和低效的組織形式消耗大量的社會資源。該文以前期研發(fā)的具有較高效度的漢字書寫自動化評測系統(tǒng)為評測工具，開展?jié)h字書寫競賽信息化實踐實驗以及數(shù)據(jù)分析研究。研究以南京某小學(xué)三四五年級為主要競賽參與對象開展競賽實驗組織，闡述了信息化條件下漢字書寫類競賽的評測系統(tǒng)、內(nèi)容設(shè)計、競賽實施方法與流程，展示了本次競賽的自動化評測成果；以競賽數(shù)據(jù)為依據(jù)分析了成績分布特征，對比分析了性別、年級以及先期訓(xùn)練因素導(dǎo)致的成績差異。本競賽實驗結(jié)果表明：前期研發(fā)的書寫測評系統(tǒng)，通過合理設(shè)計相關(guān)測評內(nèi)容、實施流程能夠提供漢字書寫競賽以及后續(xù)書寫考試等大范圍信息化評測的支持，在此基礎(chǔ)上得來的評測分析數(shù)據(jù)亦可為后續(xù)教學(xué)指導(dǎo)提供依據(jù)。

關(guān)鍵詞：硬筆漢字書寫；競賽實驗；自動化評測

中圖分類號：G434 文獻(xiàn)標(biāo)識碼：A

一、引言

漢字及漢字書寫歷經(jīng)六千多年的洗禮，成為中華文明的典型代表。以漢字書寫為根基的漢字書法藝術(shù)，更是以東方特有的審美形態(tài)與人文氣質(zhì)而獨秀于世界藝術(shù)之林。國人歷來重視漢字書寫，早在西周時期的“禮、樂、射、御、書、數(shù)”六藝中的“書”這一藝，就包含著周王官學(xué)對學(xué)生書寫才能的培養(yǎng)及其考核。此后，不論官學(xué)、私學(xué)，漢字書寫都是不可或缺的基礎(chǔ)科目。在中華民族偉大復(fù)興的二十一世紀(jì)，為推動中華優(yōu)秀傳統(tǒng)文化的傳承與發(fā)展，教育部出臺《完善中華優(yōu)秀傳統(tǒng)文化教育指導(dǎo)綱要》更是分學(xué)段細(xì)化了“學(xué)習(xí)獨立識字”“熟練書寫正楷字”“臨摹名家書法”等具體書寫要求，以及“感受漢字形體美”“體會漢字結(jié)構(gòu)藝術(shù)”“體會書法美感與意境”等審美要求。

2009年，教育部、國家語委、中央文明辦、中國書法家協(xié)會等組織聯(lián)合舉辦了首屆“全國學(xué)生規(guī)范漢字書寫大賽”，各級單位集中組織參賽選手完成軟、硬筆作品書寫與作品的初復(fù)審，采用郵寄方式報送決賽作品，專家評委從書寫字體的規(guī)范、美觀層面進(jìn)行評分。接著在2013年，中國中央電視臺和國家語委聯(lián)合主辦的《中國漢字聽寫大會》更是掀起了漢字書寫的熱潮，其比賽形式為主考官出考題詞匯，參賽選手現(xiàn)場書寫作答，現(xiàn)場評委依據(jù)書寫字形的正確與否評分。除了以上典型案例，諸多文教單位也舉辦著各式各樣的漢字書寫類競賽以推動漢字規(guī)范書寫和弘揚書法文化，但存在如下問題：其一、均是采用傳統(tǒng)的紙張書寫形式，將參賽者匯聚到特定地點，在規(guī)定時間完成競賽過程，需投入大量人力物力財力以及時間來統(tǒng)籌規(guī)劃實施；其二、較低的組織效率，注定只能覆蓋到數(shù)量有限且本身漢字書寫質(zhì)量較好參賽選手，競賽本身文化推廣作用大大降低；其三、人工評審，消耗大量人力成本的同時評分信度效度難以保證；其四、相對封閉的賽程組織形式和紙墨作品形式，限制了競賽活動推廣和優(yōu)秀作品的展示傳播。

信息時代，漢字書寫競賽亦可通過信息化平臺來組織實施。本研究以書寫評測系統(tǒng)為基礎(chǔ)，力圖通過對評測內(nèi)容、評測量規(guī)、組織流程等進(jìn)行設(shè)計與實施，完成漢字書寫競賽信息化的實踐。實現(xiàn)以網(wǎng)絡(luò)為組織平臺，匯集參賽選手，消解時間和空間障礙；實現(xiàn)以網(wǎng)絡(luò)為評審平臺，自動評測、避免人為評分誤差，避免了人力資源浪費；實現(xiàn)以網(wǎng)絡(luò)為傳播平臺，收集參賽作品、公示獲獎作品、展示優(yōu)秀作品，傳播書寫文化。

本次競賽實驗，建立在硬筆書寫的意義之上，利用本研究團(tuán)隊研發(fā)的漢字書寫評測平臺，采用觸摸屏移動終端書寫的方式完成競賽作品?；痉绞绞腔趲謱懝P的平板電腦來進(jìn)行漢字書寫訓(xùn)練與競賽，同時實現(xiàn)書寫過程數(shù)據(jù)的收集，進(jìn)而通過系統(tǒng)提供自動化評測技術(shù)，實現(xiàn)公正客觀的評分與統(tǒng)計。本方法借助相關(guān)技術(shù)，可以拓展到以紙筆書寫并自動采集書寫數(shù)據(jù)的方式（如市場上流行的“神筆”等產(chǎn)品）進(jìn)行評價，以提供更加貼近真實的書寫場景。

二、競賽設(shè)計

（一）自動化測評系統(tǒng)

本次競賽實驗選用研究團(tuán)隊前期研發(fā)的漢字書寫評價與指導(dǎo)平臺作為競賽的自動評測系統(tǒng)。在競賽實驗中，它承擔(dān)著：信息化“紙筆”的書寫數(shù)據(jù)采集工具以及智能化“評委”的評價評分工具兩項職能，其能否真實反映書寫者書寫質(zhì)量以及其評測效度如何是整個競賽的關(guān)鍵保證。信息化“紙筆“的數(shù)據(jù)采集能否真實反映書寫質(zhì)量上，研究團(tuán)隊前期的研究證明了學(xué)生的紙筆書寫質(zhì)量與觸摸屏?xí)鴮戀|(zhì)量之間有很高的相關(guān)性，通過有限次的觸屏?xí)鴮懹?xùn)練就能實現(xiàn)明顯的適應(yīng)性增強(qiáng)，同時觸屏?xí)鴮懹?xùn)練得到的書寫質(zhì)量提升也能遷移到普通紙筆書寫之上。在智能化“評委”的評價評分效度上，前期相關(guān)研究，就書寫質(zhì)量在筆畫、部件、部件內(nèi)、部件間、整字等五項一級特征指標(biāo)下的總計十五項二級特征評價指標(biāo)，進(jìn)行了系統(tǒng)智能評測與書寫專家評分對比實驗，結(jié)果顯示有較強(qiáng)的一致性，效度檢查符合預(yù)期，符合應(yīng)用需求。

在此基礎(chǔ)之上，競賽設(shè)計和實施環(huán)節(jié)還將通過設(shè)置賽前“熱身任務(wù)”、競賽時不計分的“描紅”項來進(jìn)一步消減觸屏?xí)鴮懪c紙筆書寫適應(yīng)性差異；并在競賽字集選取上采取技術(shù)措施，進(jìn)一步保障系統(tǒng)評測有效性與穩(wěn)定性。

（二）競賽參與者

本次書寫競賽面向南京市南湖第一小學(xué)全體學(xué)生及家長接受競賽報名。實際上，為了試驗作為競賽評測系統(tǒng)的漢字書寫評價與教學(xué)平臺的應(yīng)用效果，研究團(tuán)隊前期在該校配備的平板電腦上安裝了書寫教學(xué)系統(tǒng)APP，針對三年級、四年級和五年級各一個班，以每周一節(jié)書寫教學(xué)課的頻率開展了一學(xué)期書寫教學(xué)實驗。本次書寫競賽參與者，從三四五年級的原實驗班學(xué)生，擴(kuò)充到了全校非實驗班學(xué)生。主要是考慮到，非實驗班的學(xué)生，沒有在該APP平臺上較長時間訓(xùn)練的經(jīng)驗，若是參與到競賽中，可擴(kuò)大競賽實驗樣本數(shù)，提升實驗研究的意義的同時，也可以觀察他們在少經(jīng)驗狀態(tài)下的反應(yīng)。

（三）競賽設(shè)備

兩類實驗對象隋況不同，處理方式也有所不同：參與過書寫實驗班的學(xué)生延續(xù)先前書寫實驗課的方式，在指定地點使用學(xué)校配備的實驗書寫設(shè)備，由教師組織統(tǒng)一進(jìn)行競賽；而非實驗班則在家中使用自己的（或家長的）設(shè)備參與競賽。其中，學(xué)校原實驗班的設(shè)備為配置標(biāo)準(zhǔn)的Android4.0系統(tǒng)、10.1寸帶手寫筆平板電腦，非實驗班則在“自帶設(shè)備（BYOD）”意義上，使用自己家的平板或手機(jī)。在教育領(lǐng)域，（BYOD）是指學(xué)生可以攜帶或使用個人設(shè)備，來支持他們學(xué)習(xí)的一種技術(shù)管理模式。

（四）競賽用字集的選擇標(biāo)準(zhǔn)

根據(jù)《義務(wù)教育語文課程標(biāo)準(zhǔn)》中小學(xué)生識字與寫字要求，以及先前的實驗已有的數(shù)據(jù)經(jīng)驗，同時結(jié)合小學(xué)生的書寫習(xí)慣，研究團(tuán)隊與學(xué)校語文教師協(xié)商確定了競賽任務(wù)所用漢字字集。考慮到各實驗?zāi)昙墝W(xué)生情況的不同，即學(xué)生所學(xué)生字的不同和曾經(jīng)在實驗用APP上書寫的經(jīng)驗的不同，各年級選用不同的字集，分別取自各年級的生字字庫。但無論是針對哪個年級，均充分考慮所選字集的字體結(jié)構(gòu)分類及難度等諸因素。每個年級的競賽任務(wù)設(shè)定了10個字，考慮到漢字的結(jié)構(gòu)特點，里面均盡可能包括了較多的基本部件和基本結(jié)構(gòu)。

（五）競賽用字集的測試及其他技術(shù)準(zhǔn)備

考慮到實驗平臺APP的穩(wěn)定性，亦考慮到競賽活動對穩(wěn)定性的要求更高，事先將擬競賽用字集在APP上進(jìn)行強(qiáng)化測試，測試軟件對這些字的正確性判斷和工整性判斷是否準(zhǔn)確，并對測試中出現(xiàn)問題的字進(jìn)行調(diào)換，最終得到競賽用漢字集（如表1所示）。

在此次競賽書寫任務(wù)中，任務(wù)設(shè)置了三種書寫方式有描紅、對臨和背臨，同時考慮小學(xué)生的心里接受習(xí)慣，系統(tǒng)評分設(shè)置起始合格分?jǐn)?shù)為80分，即只要書寫正確，所得分值范圍就在80-100分之間。雖得分區(qū)間顯得稍窄，但由于是系統(tǒng)自動打分，穩(wěn)定性好，分值差異并不影響區(qū)分度。關(guān)于描紅書寫，是讓參賽者適應(yīng)觸摸屏?xí)鴮懙摹盁嵘眄椖俊?，且考慮到描紅完全按照模板，對評價書寫者的書寫能力和水平的區(qū)分作用不明顯，所以在最終給出競賽成績的環(huán)節(jié)，去除描紅書寫成績，只計入對臨和背臨書寫得分。最終，設(shè)定競賽時長為30分鐘，要求參賽者就競賽所用字集中的每個字，分別用描紅、對臨、背臨的方式各寫兩遍。

三、競賽實施

（一）競賽宣傳和動員

考慮到原有實驗班和非實驗班兩種情況，如何使信息傳達(dá)至所有可能參加的學(xué)生或家長是工作的關(guān)鍵。宣傳工作首先是請各班主任或語文教師通知學(xué)生關(guān)于書寫競賽的事宜，再由班長統(tǒng)計報名學(xué)生的信息。其次擬寫了宣傳文章，由該小學(xué)校方發(fā)布到其官方微信公眾號上，鼓勵家長參與以及指導(dǎo)學(xué)生參與。

最終的參賽選手覆蓋六個年級，非實驗班的學(xué)生和家長有一百多位愿意參加此次競賽。為了競賽開展的效率和便于管理，采用了集中分配賬號的方式，由班主任進(jìn)行統(tǒng)一管理。

（二）非實驗班學(xué)生的系統(tǒng)適應(yīng)

在競賽開展前，考慮到未參與日常教學(xué)實驗的學(xué)生以及家長對觸摸屏?xí)鴮懙牟贿m應(yīng)，所以在競賽系統(tǒng)中發(fā)布了一個“熱身任務(wù)”。為了方便他們對于軟件系統(tǒng)的進(jìn)一步了解，以及使競賽過程更有效率，我們提供了競賽指導(dǎo)，參與者如果遇到偶爾的技術(shù)問題或者沒有完全了解系統(tǒng)的功能，技術(shù)人員都可以及時給予解決。在最后實際競賽的過程中，由于軟件系統(tǒng)各模塊結(jié)構(gòu)清晰、功能安排符合漢字書寫學(xué)習(xí)者的思維習(xí)慣，非實驗班參與者并沒有發(fā)生實際技術(shù)障礙。又及，熱身任務(wù)的過程，亦是收集參與者筆跡特征的過程，順便為正式參賽提供筆跡鑒別信息，以防家長無意間過多代替學(xué)生介入。

（三）競賽過程組織

在最后的競賽中，原實驗班在先前實驗的基礎(chǔ)上，仍按照日常教學(xué)實驗的順序輪流集中進(jìn)行競賽任務(wù)的書寫；而非實驗班的參賽者則用自有設(shè)備完成任務(wù)。在競賽時長管理上，原實驗班學(xué)生繼續(xù)延續(xù)先前實驗的樣式，以指定時間段的方式參與競賽；非實驗班使用自帶設(shè)備，以指定時長的方式參與競賽。表2所示為本次競賽參與人員統(tǒng)計數(shù)量。

（四）競賽評價與獎勵

在競賽結(jié)束后，我們對學(xué)生的成績進(jìn)行了統(tǒng)計。首先是利用已有的系統(tǒng)評價體系，從數(shù)據(jù)庫中導(dǎo)人書寫成績，排除掉部分無效數(shù)據(jù)，然后再按照分?jǐn)?shù)高低進(jìn)行排名?？紤]到不同年級之間相互“競爭”意義不大，且自動化評測在數(shù)據(jù)處理上比較方便，與學(xué)校方商量，每個年級根據(jù)分?jǐn)?shù)高低，獨立設(shè)置一二三等獎，并通過競賽平臺公示獲獎作品。

四、競賽作品實例

競賽自動化評測系統(tǒng)評價結(jié)果的信度毋庸置疑，當(dāng)然是絕對穩(wěn)定的。就自動化評測的效度而言，亦在前期研究中有所保證。即本競賽活動所用評測系統(tǒng)的評測系統(tǒng)的評分標(biāo)準(zhǔn)與機(jī)制，是專門經(jīng)過嚴(yán)格的專家標(biāo)定的。此處僅給出三四五年級部分獲獎實例展示，同時用以說明評測系統(tǒng)自動評價結(jié)果的效度——顯然與通常主觀評測有很高程度的一致性。

三年級學(xué)生獲獎部分作品實例，如圖1所示。

四年級學(xué)生獲獎部分作品實例，如圖2所示。

五年級學(xué)生獲獎部分作品實例，如圖3所示。

五、競賽數(shù)據(jù)收集與分析

本次競賽中通過自動化評價系統(tǒng)收集到的書寫成績數(shù)據(jù)總計301條，剔除掉因書寫錯誤導(dǎo)致的無效數(shù)據(jù)，最終獲取到283條得分?jǐn)?shù)據(jù)，即283個有效賬號。首先對競賽成績無描紅得分?jǐn)?shù)據(jù)進(jìn)行信度分析，采用的是α信度系數(shù)的內(nèi)部一致性信度分析，Cronbachs α系數(shù)的值為0.819。而通常Cronbachs α系數(shù)的值在0和1之間，如果α系數(shù)不超過0.6，一般認(rèn)為內(nèi)部一致信度不足；達(dá)到0.7-0.8時表示量表具有相當(dāng)?shù)男哦?，達(dá)0.8-0.9時說明量表信度非常好。因此競賽得到的數(shù)據(jù)可靠，可以進(jìn)一步進(jìn)行分析統(tǒng)計。

為了觀察學(xué)生的成績穩(wěn)定性，因此利用Spss和Excel軟件做了正態(tài)分布和相關(guān)描述性統(tǒng)計分析。

（一）整體分析

1.對臨與背臨成績分析

依前述理由去除掉描紅數(shù)據(jù)后，對對臨和背臨兩種書寫方式的數(shù)據(jù)進(jìn)行了單因素方差分析，如表3所示。在統(tǒng)計分析上可以通過P-value的大小來判斷組間的差異顯著性，通常隋況下，當(dāng)P-value<=0.01有極顯著差異，P-value>0.05時沒有顯著差異，介于二者之間時有顯著差異。而這里的P值趨于0，遠(yuǎn)小于0.01，因此具有統(tǒng)計學(xué)意義上的顯著差異。當(dāng)然，這里只從總體上來檢驗差異顯著性，從F值大于Fcrit值也可以看出背臨和對臨成績有一定的差異。

再從圖4可以看出，學(xué)生的背臨和對臨成績有差異：背臨成績的頻數(shù)最大值為30，對臨成績的頻數(shù)最大值為24；對臨成績正態(tài)分布曲線峰值在92.17而背臨正態(tài)分布曲線峰值在90.96；且對臨數(shù)據(jù)分布比較集中，背臨數(shù)據(jù)分布比較分散。

這種情況比較容易理解。對臨情況下，由于有樣板參照，學(xué)生在“臨摹”狀態(tài)下，可以形成較好的成績，且成績分布比較集中。而在背臨情況下，學(xué)生更多自由發(fā)揮，成績即稍差并分散?？紤]到競賽平臺關(guān)于書寫質(zhì)量的評價，就是以所提供的字例為模板的，意思是，越是與模板字相近，得分越高，若是與模板字不相近，盡管看起來也不錯，但系統(tǒng)也不會給出很高的分?jǐn)?shù)。因此，本次實驗即采用了對臨與背臨相結(jié)合的競賽方式，既使離模板字不遠(yuǎn)，又給出個人發(fā)揮的空間。文中后續(xù)的數(shù)據(jù)分析，均是將對臨和背臨合并到一起進(jìn)行的。

2.原實驗班和非實驗班成績分析

圖5給出了原實驗班學(xué)生與非實驗班學(xué)生的成績分布。非實驗班學(xué)生的所有年級的平均成績?yōu)?0.77，原實驗班的成績?yōu)?2.02。這里可以看出原實驗班的成績普遍比非實驗班成績高，因此可以說明競賽前基于該平臺進(jìn)行書寫訓(xùn)練，是有一定的效果的。

（二）年級差異分析

考慮到三四五年級有原實驗班的參與，數(shù)據(jù)比較多且比較對稱，為了直觀的觀察年級學(xué)生的成績分布，年級差異分析僅針對原實驗班進(jìn)行?；谒占臄?shù)據(jù)，可以得到競賽成績分布圖如圖6。

原實驗班中的三個年級的成績分布如由圖6所示。有兩個特點值得注意：一是五年級學(xué)生的成績分布比三四年級更為集中；二是五年級成績反而較三四年級要差，其中三年級學(xué)生的成績峰值為91.8l，四年級的成績峰值在90，而五年級的學(xué)生成績峰值為88分。

考慮到三四五年級使用的競賽用字不同，書寫難度亦有不同，成績之間的比較并沒有絕對的意義。五年級的成績比較集中，在我們看來，是一件好事，或者說明其整體上書寫水平在提高。但無論如何，本競賽結(jié)果也給我們研究團(tuán)隊一個提示，低年級學(xué)生在漢字書寫學(xué)習(xí)的初入階段中，對寫字的態(tài)度更加端正，對采用平臺進(jìn)行漢字書寫練習(xí)的態(tài)度也比較端正。而五年級學(xué)生則有些“疲勞”，系統(tǒng)給出的成績并不見得會穩(wěn)定上升，這值得我們下一步開展實驗時加強(qiáng)注意，拿出更切實有效的辦法管理學(xué)習(xí)過程。

（三）性別差異分析

針對性別不同的學(xué)生樣本進(jìn)行全數(shù)據(jù)分析，得到的結(jié)果如圖7?？梢悦黠@看出，女生的整體成績要優(yōu)于男生的成績。結(jié)合平時的試驗，及競賽過程中的觀察，我們發(fā)現(xiàn)這與男女的書寫習(xí)慣相關(guān)，女生的態(tài)度明顯要比男生端正，因此提醒我們，教師在教學(xué)的過程中需要對男生的書寫更為關(guān)注一些。

為了更詳細(xì)地了解男女生的漢字書寫情況，對于不同的年級的學(xué)生也作了進(jìn)一步分析，發(fā)現(xiàn)了一個很有趣的現(xiàn)象。對不同年級的學(xué)生進(jìn)行的分析，主要也是使用三四五年級的數(shù)據(jù)。

由下頁圖8可知，在三年級，無論就頻數(shù)還是正態(tài)分布情況看，男生成績高于女生，就競賽完成的頻數(shù)看，男生也普遍多于女生，這一現(xiàn)象與三四五年級整體分析的趨勢恰好相反。初步判斷可能與他們關(guān)于觸摸屏?xí)鴮懙倪m應(yīng)程度有關(guān)。結(jié)合先前的實驗也發(fā)現(xiàn)，三年級的女生在使用書寫軟件時反饋了一些問題，例如書寫不適應(yīng)等等，而男生對于電子書寫軟件好奇心強(qiáng)，愿望強(qiáng)烈，適應(yīng)較快，能很快的上手。

通過下頁圖9可以看出，無論就頻數(shù)還是正態(tài)分布情況看，四年級中女生成績高于男生，同時從數(shù)據(jù)收集的情況看，女生的完成率也高于男生。在競賽的過程中，結(jié)合四年級老師的反饋，女生平時及競賽時的書寫態(tài)度要比男生好得多。同時在書寫的過程中，在女生遇到寫得不好的字的情況下較多會反復(fù)去書寫，直到自己滿意為止，而男生則開始顯現(xiàn)出消極態(tài)度。

五年級男生和女生的成績分布如圖10所示，延續(xù)了女生優(yōu)于男生的趨勢。原因不再贅述。這種現(xiàn)象應(yīng)該不僅發(fā)生在競賽中，也應(yīng)該發(fā)生在平常的習(xí)字訓(xùn)練中，值得引起我們研究團(tuán)隊和語文老師們的注意：若能在平臺中嵌入某種激勵功能，或者在教學(xué)中特別給予關(guān)注，或許會使情況好轉(zhuǎn)。

六、結(jié)語

本次競賽的成果實踐，首先證明了研究團(tuán)隊前期開發(fā)、驗證的漢字書評價教學(xué)平臺，經(jīng)過合理的設(shè)計和實施可以有效的支持漢字書寫類競賽的組織開展；同時也驗證了信息化書寫競賽能突破時空限制、實現(xiàn)較低組織與評審成本、實習(xí)較大參與覆蓋面的目標(biāo)預(yù)期。

由于考試與競賽有高度的類同，在對評測用字進(jìn)行諸如：字集選取范圍、測評漢字?jǐn)?shù)量、不同結(jié)構(gòu)比例、背臨與對臨書設(shè)置等有效設(shè)計基礎(chǔ)之上，更大范圍漢字書寫水平類的考試考核也同樣可以信息化實施。

從非實驗班學(xué)生的參與情況看，學(xué)生在自帶設(shè)備的情況下，經(jīng)過短暫熱身適應(yīng)階段，完全可以無障礙參加書寫競賽。這既反映本競賽平臺的參與門檻低，又反映了學(xué)生和家長可以較快接受和適應(yīng)這類信息化書寫系統(tǒng)，認(rèn)可自動化評測的發(fā)展趨勢。

本次競賽實驗研究中，無論校長、教師還是學(xué)生家長，都呈現(xiàn)出積極的態(tài)度，認(rèn)可本實驗的價值。在此結(jié)果的鼓勵下，研究團(tuán)隊擬在競賽活動的規(guī)模擴(kuò)大和范圍推廣方面，開展進(jìn)一步嘗試。