上海市中小學(xué)漢語閱讀文本分級(jí)標(biāo)準(zhǔn)研究報(bào)告

◎ 鄒一斌

一、研究背景

為深入響應(yīng)國(guó)家課程改革要求，提高語文學(xué)科課程建設(shè)水平，全面提升上海學(xué)生的語文素養(yǎng)，為上海學(xué)生適應(yīng)未來社會(huì)生存和全球化競(jìng)爭(zhēng)打下良好的閱讀素養(yǎng)基礎(chǔ)，上海市教育委員會(huì)教學(xué)研究室（以下簡(jiǎn)稱“市教委教研室”）于2013 年12 月正式啟動(dòng)中小學(xué)漢語分級(jí)閱讀標(biāo)準(zhǔn)研制項(xiàng)目，嘗試采用實(shí)證的方式構(gòu)建上海市中小學(xué)漢語分級(jí)閱讀標(biāo)準(zhǔn)。截至2016 年7 月完成第一階段研究任務(wù)，形成了《上海市中小學(xué)生漢語閱讀能力分級(jí)標(biāo)準(zhǔn)（暫定稿）》《國(guó)內(nèi)外分級(jí)閱讀研究與實(shí)踐狀況概覽》《分級(jí)閱讀標(biāo)準(zhǔn)研制中的相關(guān)問題概述》《上海市中小學(xué)生漢語閱讀現(xiàn)狀調(diào)研報(bào)告》《上海市中小學(xué)生漢語閱讀能力測(cè)試說明及樣題》《上海市中小學(xué)生漢語閱讀能力測(cè)試報(bào)告》等一系列研究成果，并出版了《上海市中小學(xué)漢語分級(jí)閱讀標(biāo)準(zhǔn)研究報(bào)告——閱讀能力分級(jí)》一書。

自2016 年12 月起，項(xiàng)目團(tuán)隊(duì)啟動(dòng)開展上海市中小學(xué)漢語閱讀文本分級(jí)標(biāo)準(zhǔn)的研制工作。以第一階段的研究成果為基礎(chǔ)，開展影響漢語閱讀文本分級(jí)的相關(guān)指標(biāo)研究，提煉關(guān)鍵要素，重在提出影響漢語文本難易度的假設(shè)指標(biāo)，初步形成可觀察、可評(píng)量的文本分級(jí)模型。建設(shè)一套線上漢語文本分級(jí)系統(tǒng)，選取一批典型文本，參照模型利用系統(tǒng)對(duì)典型文本進(jìn)行量化分級(jí)標(biāo)定。構(gòu)建相應(yīng)的閱讀學(xué)習(xí)平臺(tái)進(jìn)行數(shù)據(jù)采集及實(shí)證研究，運(yùn)用相關(guān)統(tǒng)計(jì)方法標(biāo)定文本的分級(jí)以及分析學(xué)生分級(jí)閱讀數(shù)據(jù)，不斷修正模型，以此形成通用文本分級(jí)標(biāo)準(zhǔn)。

將文本分級(jí)標(biāo)準(zhǔn)與第一階段完成的閱讀能力分級(jí)標(biāo)準(zhǔn)結(jié)合，形成完善的閱讀分級(jí)標(biāo)準(zhǔn)，為上海市中小學(xué)生漢語閱讀能力測(cè)評(píng)、中小學(xué)語文教材的編制等提供學(xué)理依據(jù)，也為漢語分級(jí)閱讀書目的推出提供支持，從而有效推動(dòng)上海市中小學(xué)生的閱讀活動(dòng)，進(jìn)一步提升學(xué)生的閱讀素養(yǎng)。

二、研究路徑與方法

以“文獻(xiàn)梳理—標(biāo)準(zhǔn)假設(shè)—測(cè)試驗(yàn)證—指標(biāo)修正”為基本研究路徑，采用調(diào)查研究、文獻(xiàn)研究、測(cè)量研究等方法，開展項(xiàng)目研究。

（1）調(diào)查研究：采用實(shí)地考察等方法，對(duì)國(guó)內(nèi)外相關(guān)公司利用技術(shù)進(jìn)行語言處理的平臺(tái)、工具、軟件開發(fā)等情況開展調(diào)研。

（2）文獻(xiàn)研究：對(duì)國(guó)內(nèi)外相關(guān)的技術(shù)文獻(xiàn)進(jìn)行梳理分析，尋找利用技術(shù)進(jìn)行文本分級(jí)的路徑和方法。

（3）測(cè)量研究：通過測(cè)試題編制與測(cè)試，搜集關(guān)鍵指標(biāo)的相關(guān)數(shù)據(jù)并進(jìn)行分析。

（一）細(xì)化文獻(xiàn)梳理，不斷完善項(xiàng)目實(shí)施方案

在第一階段所完成的國(guó)內(nèi)外分級(jí)閱讀文獻(xiàn)資料梳理基礎(chǔ)上，從量化分析工具和測(cè)量指標(biāo)領(lǐng)域，繼續(xù)細(xì)化相關(guān)文獻(xiàn)研究。圍繞漢語閱讀文本分級(jí)標(biāo)準(zhǔn)這個(gè)研究重點(diǎn)，探索采用信息技術(shù)支持漢語文本分級(jí)研究的方法和路徑，以專家質(zhì)性研究為前提，以閱讀文本自動(dòng)分級(jí)技術(shù)為突破點(diǎn)，制訂和完善高效率進(jìn)行文本難易度標(biāo)定的研究實(shí)施方案。

（二）借助專業(yè)團(tuán)隊(duì)和技術(shù)，確立文本分級(jí)核心指標(biāo)

基于第一階段閱讀能力分級(jí)研究的成果，繼續(xù)保留高校專家團(tuán)隊(duì)，同時(shí)引入上海中文在線文化發(fā)展有限公司（以下簡(jiǎn)稱“中文在線”），借助專業(yè)公司的技術(shù)力量，通過質(zhì)性研究與量化分析相結(jié)合的方式開展閱讀文本分級(jí)標(biāo)準(zhǔn)的研制。由高校專家團(tuán)隊(duì)開展針對(duì)閱讀文本內(nèi)容的質(zhì)性指標(biāo)研究，構(gòu)建基于文本語言要素的假設(shè)指標(biāo)。由中文在線運(yùn)用現(xiàn)有成熟可行的計(jì)算和信息處理技術(shù)，利用深度神經(jīng)網(wǎng)絡(luò)分級(jí)模型，對(duì)專家團(tuán)隊(duì)提出的假設(shè)指標(biāo)進(jìn)行篩選，確定適用于中小學(xué)漢語閱讀文本復(fù)雜度的量化測(cè)度指標(biāo)。最后由市教委教研室組織協(xié)調(diào)研究，確立文本分級(jí)核心指標(biāo)。

（三）通過文本分級(jí)標(biāo)注，對(duì)文本分級(jí)核心指標(biāo)進(jìn)行反復(fù)驗(yàn)證

由高校團(tuán)隊(duì)基于文本分級(jí)核心指標(biāo)，根據(jù)原有高中語文課程標(biāo)準(zhǔn)推薦的閱讀篇目，組織測(cè)試團(tuán)隊(duì)進(jìn)行人工分級(jí)標(biāo)注，對(duì)文本分級(jí)核心指標(biāo)進(jìn)行第一輪驗(yàn)證。在市教委教研室課程教材部和市教育考試院的協(xié)助下，由中文在線技術(shù)團(tuán)隊(duì)對(duì)全國(guó)各版本高中語文教材和上海過去十五年的高考現(xiàn)代文文本進(jìn)行計(jì)算機(jī)分級(jí)，對(duì)文本分級(jí)核心指標(biāo)進(jìn)行第二輪驗(yàn)證，并就驗(yàn)證結(jié)果進(jìn)行系統(tǒng)分析。2017 版高中語文課程標(biāo)準(zhǔn)修訂版發(fā)布后，高校團(tuán)隊(duì)再次根據(jù)新的課標(biāo)推薦書目和專家推薦書目組織進(jìn)行第三輪驗(yàn)證，并將標(biāo)注文本提供給中文在線進(jìn)行計(jì)算機(jī)對(duì)比分析，利用深度神經(jīng)網(wǎng)絡(luò)實(shí)施端到端自動(dòng)分級(jí)。由市教委教研室組織對(duì)人工分級(jí)和計(jì)算機(jī)分級(jí)情況進(jìn)行對(duì)比分析，找出差異所在，從語言學(xué)的角度分析差異存在的原因，提出對(duì)計(jì)算機(jī)自動(dòng)分級(jí)模型的改進(jìn)建議，形成人機(jī)測(cè)評(píng)對(duì)比分析報(bào)告。

（四）根據(jù)測(cè)評(píng)驗(yàn)證結(jié)果，完善和修正文本分級(jí)指標(biāo)

由市教委教研室組織高校團(tuán)隊(duì)和中文在線，借助中文在線相關(guān)閱讀學(xué)習(xí)平臺(tái)，在嘉定區(qū)進(jìn)行大樣本測(cè)試，獲取有效的學(xué)生分級(jí)閱讀數(shù)據(jù)。將得到的學(xué)生分級(jí)閱讀數(shù)據(jù)與文本分級(jí)標(biāo)定進(jìn)行分析和比較，為文本分級(jí)核心指標(biāo)的修正提供實(shí)證依據(jù)，指導(dǎo)文本分級(jí)標(biāo)準(zhǔn)模型的修正。由于本次測(cè)試樣本量較大，我們也利用這次測(cè)試重新檢核第一階段閱讀能力分級(jí)標(biāo)準(zhǔn)和各個(gè)參數(shù)分類表內(nèi)部的對(duì)應(yīng)性，對(duì)各個(gè)分類參數(shù)和維度內(nèi)部的關(guān)聯(lián)性、相關(guān)能力層級(jí)劃分的適切性、分層關(guān)鍵特征描述的精確度也進(jìn)行了全面反思。

三、成果的主要內(nèi)容

（一）形成關(guān)于漢語閱讀文本難度的理論研究成果

針對(duì)分級(jí)閱讀標(biāo)準(zhǔn)研制中的基本問題，項(xiàng)目組在第一階段能力分級(jí)標(biāo)準(zhǔn)研制過程中開展了細(xì)致而深入的文獻(xiàn)研究工作，搜集大量原始資料并進(jìn)行了高質(zhì)量的梳理和分析，編寫了高水平的文獻(xiàn)報(bào)告。以此為基礎(chǔ)，項(xiàng)目組在本階段關(guān)于閱讀文本分級(jí)標(biāo)準(zhǔn)的研究中，重點(diǎn)圍繞“文本難度”（也稱“文本難易度”或“文本復(fù)雜度”）展開及時(shí)而有效的理論研究，理清了近百年來閱讀文本難度分級(jí)研究的發(fā)展歷程，開展了影響漢語閱讀文本難度因素的相關(guān)文獻(xiàn)梳理和研究，完成《漢語閱讀文本自動(dòng)分級(jí)技術(shù)研究綜述》和《文獻(xiàn)中文本難度分析因素》等報(bào)告，提出了分別利用自然語言處理技術(shù)和深度學(xué)習(xí)技術(shù)，實(shí)施漢語閱讀文本自動(dòng)分級(jí)的可行技術(shù)路徑，為漢語閱讀文本分級(jí)標(biāo)準(zhǔn)的編制提供了有力的理論支持。

（二）建立量化評(píng)估和質(zhì)性評(píng)估相結(jié)合的文本分級(jí)標(biāo)準(zhǔn)

以中文在線技術(shù)團(tuán)隊(duì)為主，輔以結(jié)合高校專家團(tuán)隊(duì)的支持，連續(xù)開展了多輪漢語閱讀文本的人工測(cè)試，初步構(gòu)建了基于文本語言要素的量化評(píng)估指標(biāo)體系，確立以語句復(fù)雜度為核心的指標(biāo)結(jié)構(gòu)，對(duì)復(fù)雜度的內(nèi)涵與外延予以細(xì)化，創(chuàng)立自身的操作性定義，提高了整個(gè)指標(biāo)體系的結(jié)構(gòu)化水平。整合和開發(fā)線上文本分級(jí)系統(tǒng)，根據(jù)指標(biāo)對(duì)典型文本進(jìn)行快速標(biāo)定。以高校專家團(tuán)隊(duì)為主，結(jié)合中文在線團(tuán)隊(duì)的技術(shù)支持，開發(fā)了包含主題、結(jié)構(gòu)、語言特點(diǎn)、理解背景和體裁舉例5 項(xiàng)指標(biāo)在內(nèi)的質(zhì)性評(píng)估指標(biāo)體系，完成了分級(jí)閱讀文本難度質(zhì)性指標(biāo)的具體描述。

將量化評(píng)估指標(biāo)與質(zhì)性評(píng)估指標(biāo)相結(jié)合，建立閱讀文本分級(jí)標(biāo)準(zhǔn)，與第一階段完成的漢語閱讀能力分級(jí)標(biāo)準(zhǔn)相配套，構(gòu)成完整的中小學(xué)漢語分級(jí)閱讀標(biāo)準(zhǔn)，實(shí)現(xiàn)了文本難度與學(xué)生閱讀能力的對(duì)應(yīng)，為中小學(xué)語文課程、教材和評(píng)價(jià)提供了重要工具，也為出版機(jī)構(gòu)編制更適合青少年心智特征的讀物提供了參照標(biāo)準(zhǔn)。

（三）實(shí)踐和完善了專家經(jīng)驗(yàn)與技術(shù)驗(yàn)證融合的實(shí)證研究路徑

市教委教研室組織協(xié)調(diào)中文在線和華東師范大學(xué)語文教育中心，組建包括語言學(xué)、文學(xué)、心理學(xué)、測(cè)試評(píng)價(jià)、信息技術(shù)和相關(guān)邊緣學(xué)科在內(nèi)的研究團(tuán)隊(duì)，由高校專家和教研室教研員基于自身專業(yè)經(jīng)驗(yàn)，針對(duì)相關(guān)典型閱讀文本予以標(biāo)注，并提煉假設(shè)指標(biāo)。由技術(shù)團(tuán)隊(duì)利用信息處理和分析技術(shù)對(duì)標(biāo)注的文本進(jìn)行深度分析，驗(yàn)證相關(guān)指標(biāo)的合理性和適切性，再反饋專家團(tuán)隊(duì)進(jìn)行修正。如此循環(huán)往復(fù)，確立了借鑒互聯(lián)網(wǎng)快速迭代的策略進(jìn)行實(shí)證研究的操作路徑。借助這一路徑，實(shí)施完成了針對(duì)閱讀文本語言形式的量化指標(biāo)研究，提煉相關(guān)維度，構(gòu)建文本分析指標(biāo)模型，參照指標(biāo)模型對(duì)大批量文本分級(jí)進(jìn)行快速標(biāo)定。運(yùn)用信息技術(shù)工具和平臺(tái)進(jìn)行學(xué)生閱讀數(shù)據(jù)采集和分析的方案，形成文本的量化分級(jí)標(biāo)準(zhǔn)。根據(jù)修正后的模型重新進(jìn)行文本分級(jí)標(biāo)定，再進(jìn)行學(xué)生閱讀數(shù)據(jù)的采集和分析，多輪循環(huán)，完善文本的量化分級(jí)指標(biāo)。

（四）嘗試運(yùn)用漢語自動(dòng)分級(jí)技術(shù)構(gòu)建文本分級(jí)模型

與以往依托測(cè)量為主的實(shí)證方式不同，文本分級(jí)標(biāo)準(zhǔn)研制采用以大數(shù)據(jù)為基礎(chǔ)的技術(shù)路線實(shí)現(xiàn)中文文本難度的自動(dòng)評(píng)估，即建立以文本復(fù)雜度量化指標(biāo)為基礎(chǔ)的分級(jí)自動(dòng)分級(jí)模型，對(duì)文本進(jìn)行自動(dòng)分級(jí)，然后結(jié)合專家對(duì)質(zhì)性指標(biāo)、閱讀的讀者因數(shù)和任務(wù)因數(shù)的分析，在該級(jí)別中完成對(duì)中文文本的分級(jí)評(píng)估。

項(xiàng)目組嘗試通過使用機(jī)器學(xué)習(xí)和自然語言處理的前沿方法，提取有效特征——語句復(fù)雜度指標(biāo)，研究該特征對(duì)于文本難易度的描述能力，并進(jìn)行實(shí)驗(yàn)驗(yàn)證：首先對(duì)大量文本進(jìn)行人工難易度的標(biāo)定，然后利用神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督的訓(xùn)練，最終利用訓(xùn)練得出的語言模型對(duì)文本難易度進(jìn)行直接標(biāo)定。相關(guān)實(shí)踐表明，當(dāng)前所采用的基于神經(jīng)網(wǎng)絡(luò)的語句復(fù)雜度評(píng)估模型能夠較好地提取文本難易度特征，可以進(jìn)一步確定語句復(fù)雜度對(duì)于文本的難度等級(jí)有著較強(qiáng)的指導(dǎo)性意義。本項(xiàng)目已基本實(shí)現(xiàn)以字、詞和句子三個(gè)維度的難易度測(cè)度指標(biāo)為基礎(chǔ)的文本自動(dòng)分級(jí)模型構(gòu)建，并將它用于中小學(xué)漢語閱讀文本自動(dòng)分級(jí)。

四、研究成效與反思

（一）從學(xué)術(shù)和實(shí)踐層面形成了文本分級(jí)標(biāo)準(zhǔn)的系列成果

項(xiàng)目組以文本難度為核心概念，從量化評(píng)估和質(zhì)性評(píng)估兩個(gè)方面入手，通過專家團(tuán)隊(duì)和技術(shù)團(tuán)隊(duì)先后實(shí)施了項(xiàng)目預(yù)研究、指標(biāo)研究與分析系統(tǒng)開發(fā)研究，形成了《漢語閱讀文本自動(dòng)分級(jí)技術(shù)研究綜述》《文獻(xiàn)中文本難度分析因素》《上?！岸谡n改”語文教材分析報(bào)告》《國(guó)內(nèi)語文教材分析報(bào)告》等報(bào)告，提出了文本分級(jí)模型的基本構(gòu)想。形成了基于文本語言要素的量化分級(jí)指標(biāo)體系，完成了閱讀文本分級(jí)難度質(zhì)性指標(biāo)的具體描述，編制完成了基于人工測(cè)試的難易度分級(jí)技術(shù)分析報(bào)告，保證了基于字頻、詞頻和句長(zhǎng)的量化分析指標(biāo)體系的科學(xué)性，提高了系統(tǒng)量化分析的精準(zhǔn)性，從學(xué)術(shù)層面為后續(xù)文本難度的深入實(shí)踐打下良好基礎(chǔ)。

在實(shí)踐層面則實(shí)施了針對(duì)相關(guān)指標(biāo)體系的大樣本測(cè)試驗(yàn)證。完成針對(duì)60 本書的閱讀在線調(diào)查問卷的審讀修訂工作，開展閱讀能力分級(jí)各學(xué)段測(cè)試題的修訂工作，實(shí)施了嘉定區(qū)小初高三個(gè)學(xué)段86 所學(xué)校（小初高共計(jì)52605名學(xué)生）的大規(guī)模在線測(cè)試驗(yàn)證工作，完成了嘉定調(diào)研測(cè)試的數(shù)據(jù)梳理及分析，形成研究報(bào)告，為閱讀文本分級(jí)標(biāo)準(zhǔn)的修正提供了大數(shù)據(jù)支撐。

（二）基于深度學(xué)習(xí)的自動(dòng)文本分級(jí)技術(shù)與閱讀研究結(jié)合，填補(bǔ)了基礎(chǔ)教育研究的空白

項(xiàng)目組通過對(duì)文本難度、語句復(fù)雜度等關(guān)鍵概念的內(nèi)涵界定，運(yùn)用基于深度學(xué)習(xí)的自動(dòng)文本分級(jí)技術(shù)，構(gòu)造神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練用于解決自然語言處理領(lǐng)域的問題。攝取全國(guó)范圍內(nèi)應(yīng)用最為廣泛的四個(gè)版本語文課程教材（一至十二年級(jí)）作為語料庫(kù)，利用訓(xùn)練好的最佳語言模型，分別測(cè)量四種教材中文本的語句復(fù)雜度，提出相關(guān)的文本分級(jí)指標(biāo)。然后根據(jù)高校專家提供的經(jīng)典書目60 篇（含課標(biāo)推薦），再次進(jìn)行數(shù)據(jù)采集及分析，對(duì)照原有文本分級(jí)的指標(biāo)，對(duì)語句復(fù)雜度的相關(guān)核心指標(biāo)的權(quán)重及關(guān)系予以修正。

已經(jīng)進(jìn)行的文本測(cè)試實(shí)驗(yàn)結(jié)果表明，本研究所采用基于深度學(xué)習(xí)的自動(dòng)文本分級(jí)技術(shù)所構(gòu)建的語句復(fù)雜度評(píng)估模型，對(duì)提煉文本難度特征及劃分難度等級(jí)，其精度和效率都顯著提高，在一定程度填補(bǔ)了國(guó)內(nèi)基礎(chǔ)教育閱讀研究領(lǐng)域的空白。

（三）為語文課程建設(shè)的內(nèi)涵發(fā)展提供了重要參考

伴隨著《中國(guó)學(xué)生發(fā)展核心素養(yǎng)》的發(fā)布、國(guó)家高中課程方案的修訂完成，2017 年教育部完成并發(fā)布新修訂的高中各學(xué)科課程標(biāo)準(zhǔn)。和原課程標(biāo)準(zhǔn)相比，修訂版課程標(biāo)準(zhǔn)構(gòu)建并確立了各學(xué)科學(xué)業(yè)質(zhì)量標(biāo)準(zhǔn)，其核心在于學(xué)生學(xué)習(xí)水平的分層標(biāo)準(zhǔn)。但值得注意的是，與其他學(xué)科課程標(biāo)準(zhǔn)相比，語文學(xué)科卻沒有呈現(xiàn)核心素養(yǎng)水平劃分。一個(gè)重要的原因，就在于作為以文本教學(xué)為主要呈現(xiàn)方式的語文課程，百年學(xué)科發(fā)展的知識(shí)內(nèi)容體系始終未能確認(rèn)。本項(xiàng)目嘗試從閱讀者的視角，從量化評(píng)估和質(zhì)性評(píng)估兩個(gè)方面建立文本分級(jí)標(biāo)準(zhǔn)，客觀上也為國(guó)家語文課程建設(shè)的內(nèi)涵發(fā)展提供了重要參考。

（四）文本分級(jí)標(biāo)準(zhǔn)還需在教育實(shí)踐中得到進(jìn)一步檢驗(yàn)

項(xiàng)目組經(jīng)過三年的努力，初步建構(gòu)了漢語閱讀文本分級(jí)標(biāo)準(zhǔn)。但要真正實(shí)現(xiàn)基于中文文本自動(dòng)分級(jí)技術(shù)對(duì)大批量閱讀文本的自動(dòng)分級(jí)，還需有一個(gè)逐步推進(jìn)的漫長(zhǎng)過程。目前已經(jīng)實(shí)現(xiàn)以字、詞和句子三個(gè)維度的難易度測(cè)度指標(biāo)為基礎(chǔ)的文本自動(dòng)分級(jí)模型，用于中小學(xué)漢語閱讀文本自動(dòng)分級(jí)。后續(xù)應(yīng)努力實(shí)現(xiàn)將語篇銜接為基礎(chǔ)的測(cè)度指標(biāo)引入模型，完善文本量化測(cè)度模型，實(shí)現(xiàn)更準(zhǔn)確的文本自動(dòng)分級(jí)。終極目標(biāo)是將深度學(xué)習(xí)技術(shù)全面應(yīng)用于文本自動(dòng)分級(jí)模型，建立與專家人工分級(jí)基本一致的文本自動(dòng)分級(jí)系統(tǒng)。

項(xiàng)目組雖然采取專家經(jīng)驗(yàn)與技術(shù)驗(yàn)證融合的研究路徑，但相關(guān)研究成果的驗(yàn)證范圍還需進(jìn)一步擴(kuò)大，以提高標(biāo)準(zhǔn)的精度和效度。閱讀文本分級(jí)標(biāo)準(zhǔn)和已經(jīng)完成的能力分級(jí)標(biāo)準(zhǔn)是一個(gè)完整的體系，合成后體系內(nèi)部的關(guān)聯(lián)性和自洽性還需進(jìn)一步完善和提高。