普通話水平測試“命題說話”項(xiàng)計(jì)算機(jī)評測質(zhì)量的考察與評價

胡智丹 田娜 王萌

摘? 要：普通話水平測試“命題說話”項(xiàng)的計(jì)算機(jī)評測，技術(shù)難度要大大高于其他三項(xiàng)題型，其評測質(zhì)量直接關(guān)涉考試信度。采用抽樣統(tǒng)計(jì)的方法，對比人工評測和人機(jī)評測的組內(nèi)初評數(shù)據(jù)、人機(jī)評測的組內(nèi)復(fù)審數(shù)據(jù)，并對復(fù)審案例進(jìn)行復(fù)聽，試圖通過人機(jī)數(shù)據(jù)互證來考察計(jì)算機(jī)評測的質(zhì)量。研究結(jié)果顯示，計(jì)算機(jī)評測總體達(dá)到人工評測水平，評分穩(wěn)定性優(yōu)于人工評測，但尚存在因信息處理能力欠缺而導(dǎo)致的少量誤判、漏判現(xiàn)象。具體表現(xiàn)為對某些語言材料的識別不夠精準(zhǔn)，對不同水平考生的評分尺度難以高度一致。

關(guān)鍵詞：普通話水平測試;命題說話;計(jì)算機(jī)評測;統(tǒng)計(jì);評價

普通話水平測試是一項(xiàng)大規(guī)模的國家級通用語口語測試。2007年之前，該測試全程采用人工評測;2007年起，計(jì)算機(jī)輔助普通話水平測試開始試行[1]（P108）。這一時期的計(jì)算機(jī)輔助測試僅實(shí)現(xiàn)了“讀單音節(jié)字詞”“讀多音節(jié)詞語”“朗讀短文”三項(xiàng)內(nèi)容的自動評測，第四項(xiàng)“命題說話”（以下簡稱“說話”）仍然由測試員評定分?jǐn)?shù)[2]。2017年，“說話”項(xiàng)計(jì)算機(jī)輔助評測開始試點(diǎn)，本文調(diào)查的考點(diǎn)采用一名測試員和計(jì)算機(jī)合作評分的模式（以下稱“人機(jī)評測”）。與前三項(xiàng)不同，“說話”項(xiàng)屬于無固定文本參照的語音評測，評測內(nèi)容不僅涉及語音，還涉及詞匯語法、語言流暢度、內(nèi)容相關(guān)性、缺時等多個方面，其性質(zhì)決定了自動評測的技術(shù)難度要高于前三項(xiàng)?！罢f話”項(xiàng)計(jì)算機(jī)評測的質(zhì)量究竟如何？本文抽取同一考點(diǎn)人工評測時期和人機(jī)評測時期的初始評分?jǐn)?shù)據(jù)、人機(jī)評測中的復(fù)審評分?jǐn)?shù)據(jù)進(jìn)行統(tǒng)計(jì)對比，并對進(jìn)入復(fù)審環(huán)節(jié)的考生錄音再次復(fù)聽，嘗試通過人機(jī)數(shù)據(jù)相互論證的分析方法，來考察計(jì)算機(jī)的評測質(zhì)量。人機(jī)評測的初始評分?jǐn)?shù)據(jù)來自初評測試員（以下稱“測試員1”）和計(jì)算機(jī)評測系統(tǒng)（以下稱“機(jī)評”），復(fù)審樣本的評分?jǐn)?shù)據(jù)則在前兩者的基礎(chǔ)上又加入了復(fù)審測試員（以下稱“測試員2”）的評分。

一、抽樣考生的基本情況

關(guān)于人機(jī)評測的數(shù)據(jù)，本文采用某高校普通話水平測試考點(diǎn)2019年9月至12月4195名考生的樣本。這些考生中，高校在讀學(xué)生占93.37%，其余為高校教師和附屬醫(yī)院醫(yī)務(wù)人員?？忌鷣碜匀珖?1個省、直轄市、自治區(qū)，七大方言區(qū)均有分布。考生構(gòu)成與測試成績的等級分布分別如表1、表2所示：

我們同時抽取了該考點(diǎn)2016年9月至2017年6月人工評測的4863名考生數(shù)據(jù)作為對比組的樣本，這些考生的構(gòu)成情況與上述人機(jī)評測模式下的情況基本相似。

二、人機(jī)評測與人工評測初始評分結(jié)果的統(tǒng)計(jì)分析

（一）組內(nèi)評分差異的比較

各省、直轄市、自治區(qū)對“說話”項(xiàng)的偏差數(shù)據(jù)都有復(fù)審的要求，如果兩個初始評分的差異值在一定范圍之內(nèi)，成績?nèi)烧叩钠骄?如果差異值超出一定范圍，需要對考生錄音進(jìn)行偏差復(fù)審，重新計(jì)算成績。因此，測試員間的評分差異是反映測試員評分一致性的主要指標(biāo)，也是管理過程中衡量評分質(zhì)量的重要依據(jù)。表3是對人機(jī)組、人工組各自初始評分差異值的統(tǒng)計(jì)學(xué)描述，表4是人機(jī)組、人工組各分差段人數(shù)及比例的統(tǒng)計(jì)。

“平均值”反映一組數(shù)據(jù)的一般水平，“標(biāo)準(zhǔn)差”則反映各項(xiàng)數(shù)據(jù)與平均值的接近程度，標(biāo)準(zhǔn)差越小，數(shù)據(jù)的離散程度越低。初始評分差異的平均值低、標(biāo)準(zhǔn)差小，則說明評分的準(zhǔn)確性、穩(wěn)定性較好。從表3的統(tǒng)計(jì)數(shù)據(jù)來看，人機(jī)組與人工組組內(nèi)評分差異的平均值在1.27～1.29分之間，幾乎沒有差別，標(biāo)準(zhǔn)差則人機(jī)組略低。組內(nèi)評分差異的“最大值”，兩者雖然都達(dá)到10分以上，但通過“中位數(shù)”和“眾數(shù)”可知，差異值小于等于1分的數(shù)據(jù)占多數(shù)。表4也顯示，分差在1.5分以內(nèi)的評分在兩組的占比均接近70%，而分差大于等于4分的占比不到5%。

（二）評分相關(guān)系數(shù)的比較

兩個初始評分的相關(guān)系數(shù)是反映評分一致性的另一項(xiàng)重要指標(biāo)。普通話水平測試屬于主觀性測試[3]（P101），依據(jù)被測人的語音表現(xiàn)來評定其能力水平。人工評測可能會因聽測能力、標(biāo)準(zhǔn)把握、心理和生理等多種因素的影響而出現(xiàn)評分的不穩(wěn)定。因此，兩名測試員之間或測試員與計(jì)算機(jī)之間的評分不可能完全同步，而是呈現(xiàn)出非確定的關(guān)系。這里主要是利用相關(guān)系數(shù)來度量評測者評分的相關(guān)程度和相關(guān)方向。表5是人機(jī)組和人工組評分相關(guān)系數(shù)的比較。

相關(guān)系數(shù)r是介于-1到1之間的一個數(shù)值。當(dāng)|r|≥0.8時，認(rèn)為兩個變量有高度的線性相關(guān)性;當(dāng)0.5≤|r|<0.8時，認(rèn)為有中度線性相關(guān);當(dāng)0.3≤|r|<0.5時，認(rèn)為有低度相關(guān)性;當(dāng)|r|<0.3時，說明兩個變量之間的線性相關(guān)關(guān)系極弱[4]（P191-192）。相關(guān)系數(shù)r還只是總體相關(guān)系數(shù)的近似值，它能否說明總體的相關(guān)程度還需要結(jié)合樣本相關(guān)系數(shù)的顯著性檢驗(yàn)進(jìn)行考察，如果檢驗(yàn)結(jié)果低于給定的顯著性水平，則表示相關(guān)性顯著。表5顯示，人機(jī)組和人工組的相關(guān)系數(shù)都屬于中度線性相關(guān)。我們按0.01顯著性水平檢驗(yàn)，顯示兩組的相關(guān)性均達(dá)到了統(tǒng)計(jì)學(xué)意義上的顯著水平。雖然兩組都處于中度相關(guān)水平區(qū)域，但人機(jī)組的數(shù)值臨近低度相關(guān)，人工組接近高度相關(guān)，人機(jī)組相關(guān)系數(shù)明顯低于人工組。

（三）人機(jī)組內(nèi)部評分分布的比較

人機(jī)組相關(guān)系數(shù)低于人工組，說明機(jī)評系統(tǒng)與測試員1在有些評分上存在較為明顯的不一致性。這種不一致具體表現(xiàn)在哪里？兩者的評分分布可以提供分析依據(jù)。表6是人機(jī)組機(jī)評分和測試員1評分分布情況的對比，圖1為表6數(shù)據(jù)的曲線示意圖;表7是人機(jī)組機(jī)評和測試員1各自的總平均分及在不同成績等級的平均分。

表6顯示，機(jī)評給出35分以上高分126個，測試員1給出458個;機(jī)評給出29.5分以下低分122個，測試員1給出281個。機(jī)評分35分以上高分和29.5分以下低分的數(shù)量明顯少于測試員1。圖1則直觀地顯示了兩者分?jǐn)?shù)的分布，機(jī)評分在高分段和低分段的數(shù)量較少，評分有向中間分?jǐn)?shù)段集中的傾向。

表7對比了機(jī)評和測試員1的總平均分及在各等級的平均分，同樣揭示了上述傾向。兩者總平均分幾乎相同，但在不同成績等級的平均分卻并不一致。一級乙等中，機(jī)評分明顯低于測試員1;二級甲等中，兩者趨于一致;從二級乙等開始到三級乙等，機(jī)評分逐漸高于測試員1，并且隨著等級的降低而差距逐漸擴(kuò)大。

三、人機(jī)評測復(fù)審評分結(jié)果的統(tǒng)計(jì)分析

（一）機(jī)評、測試員1、測試員2的評測結(jié)果比較分析

初始評分?jǐn)?shù)據(jù)可以從全局角度考察“說話”項(xiàng)的計(jì)算機(jī)評測狀況，而復(fù)審數(shù)據(jù)則為深入分析提供了新的視角。偏差復(fù)審是測試管理中矯正評分偏差的重要手段?，F(xiàn)將參與初評的機(jī)評系統(tǒng)、測試員1和參與復(fù)審的測試員2三者之間的評分差異、評分相關(guān)系數(shù)進(jìn)行比較，分析大分差數(shù)據(jù)中它們各自的評分信度。我們從復(fù)審樣本中隨機(jī)抽取125份初始評分差異值≥4分的樣本作進(jìn)一步考察。復(fù)審測試員2的成績來自兩名測試員，一名國測、一名省測，兩人均長期從事普通話教學(xué)和測試工作。表8、表9為機(jī)評系統(tǒng)、測試員1、測試員2相互之間評分差異和評分相關(guān)系數(shù)的統(tǒng)計(jì)。

表8顯示，“機(jī)評—測試員2”和“測試員1—測試員2”的組內(nèi)分差在中位數(shù)、眾數(shù)、平均值各項(xiàng)均明顯小于“機(jī)評—測試員1”。由此可見，復(fù)審測試員2評分的準(zhǔn)確性顯著高于初評測試員和機(jī)評系統(tǒng)。表9顯示，“機(jī)評—測試員1”的評分出現(xiàn)負(fù)相關(guān)，雖然顯著性不強(qiáng)，但同樣能說明“機(jī)評”和“測試員1”中至少有一方的評分存在問題?！皺C(jī)評—測試員2”的相關(guān)系數(shù)高于“測試員1—測試員2”，這與初始評分中人工組相關(guān)系數(shù)高于人機(jī)組的總體情況并不一致。據(jù)此可以推測，在大分差樣本中，機(jī)評系統(tǒng)評分的穩(wěn)定性、準(zhǔn)確性較高。

需要指出的是，機(jī)評系統(tǒng)的評分偏誤同樣存在。據(jù)統(tǒng)計(jì)，復(fù)審樣本中仍有31.2%是測試員1、測試員2評分接近而與機(jī)評分偏離較大。對于機(jī)評系統(tǒng)而言，復(fù)審樣本中發(fā)現(xiàn)的問題有可能在全體樣本的初始評分中就已存在，應(yīng)引起充分重視。

（二）復(fù)審樣本的個案分析

復(fù)審后考生的最終成績?nèi)∪齻€評分中兩個相近分值的平均值，這一規(guī)則的依據(jù)是相近評分的可信度較高，而偏差較大的評分可能會存在偏誤。這樣的預(yù)判與事實(shí)是否一致？評測偏誤一方的問題可能在哪里？我們按照分值接近這一標(biāo)準(zhǔn)將樣本分成兩組進(jìn)行了再次復(fù)聽。

第一組是機(jī)評分與測試員2接近的68個樣本錄音。通過復(fù)聽證實(shí)，機(jī)評分和測試員2的評分更加合理，而測試員1存在明顯偏誤。測試員1的偏誤主要集中在兩個方面：一是對缺時的計(jì)算不夠準(zhǔn)確，尤其對說話時中斷多次的缺時計(jì)算扣分偏少;二是對語音面貌的評判有失誤，評分有較大偏差。這一印象也可以通過比較考生前三項(xiàng)與第四項(xiàng)得分的相關(guān)性得到驗(yàn)證。例如：某考生前三項(xiàng)得分46.09分，按照前三項(xiàng)分值所占比例測算，該考生的總成績應(yīng)該低于80分。機(jī)評和測試員2對該考生“說話”項(xiàng)扣分均在10分以上，而測試員1僅扣6分。測試員1的評分不僅與機(jī)評、測試員2很不一致，也與考生前三項(xiàng)的成績倒掛，這足以說明測試員1對語音面貌的評測存在偏誤。

第二組是測試員1、測試員2評分相近而機(jī)評分偏離較大的39份樣本。通過復(fù)聽可以證實(shí)，機(jī)評分存在明顯偏誤。表10選取了6個典型案例進(jìn)行描述（見下頁）。

以上案例反映出機(jī)評系統(tǒng)的評測偏誤主要有以下三種類型：

第一，“語音規(guī)范程度”評測偏誤。表中第一類的前兩例除“語音”項(xiàng)需要扣分，其他5項(xiàng)均無需扣分。案例（1）考生某一類語音錯誤或缺陷比較嚴(yán)重。案例（2）考生方言口音明顯，語音錯誤類別在兩類及以上，錯誤數(shù)量較多。機(jī)評對這兩名考生少扣3—4分。案例（3）則相反，考生語音面貌較好，但或因錄音質(zhì)量問題而被過度扣分。

第二，“缺時”與“語音規(guī)范程度”失誤共存時的評測偏誤。第二類考生的扣分原因除語音不規(guī)范外，還伴有缺時?！叭睍r”和“語音規(guī)范程度”是兩項(xiàng)分列的扣分規(guī)則，如果考生普通話水平相當(dāng)，伴有缺時的考生得分應(yīng)低于僅有語音問題的考生。但從案例（4）的機(jī)評分推測，機(jī)評系統(tǒng)在兩項(xiàng)失誤共存時扣分偏少。

第三，“離題”“無效語料”評測偏誤。第三類考生在“離題”“無效語料”上出現(xiàn)明顯失誤，但機(jī)評系統(tǒng)沒有作出有效識別，存在漏判現(xiàn)象。“離題”“無效語料”是評判說話內(nèi)容與主題之間相關(guān)性的重要規(guī)則，需要機(jī)評系統(tǒng)對語義作出準(zhǔn)確理解和判斷。從案例（5）、案例（6）的評測結(jié)果來看，機(jī)評系統(tǒng)對這類現(xiàn)象的識別能力不足，因此造成評判的偏差。

四、“說話”項(xiàng)計(jì)算機(jī)評測質(zhì)量的評價與思考

（一）智能評測系統(tǒng)具有較高可信度

“說話”項(xiàng)的自動評測雖然具有一定的復(fù)雜性，但依靠人工智能領(lǐng)域的研究成果和日趨成熟的語音識別、語義分析技術(shù)，機(jī)評系統(tǒng)整體上已經(jīng)達(dá)到了測試員的平均評測水平。本文對初始評分的抽樣調(diào)查顯示，機(jī)評系統(tǒng)替代測試員之后，人機(jī)評分差異值的各項(xiàng)指標(biāo)已經(jīng)達(dá)到該測試點(diǎn)人工評測時期的水平。將人機(jī)評測的抽樣數(shù)據(jù)與其他考點(diǎn)的人工評測結(jié)果比較，可以得出同樣的結(jié)論。上海市語言文字水平測試中心2009年和2010年人工評測的組內(nèi)分差標(biāo)準(zhǔn)差的估計(jì)值為1.47和1.53[5]（P68），以該考點(diǎn)人工評分差異值的標(biāo)準(zhǔn)差進(jìn)行估算，“在整個評分過程中，大概會有15%左右的考生，測試員對他們評分的差異會超過3分”[5]（P71）。在我們的調(diào)查中，人機(jī)評測的標(biāo)準(zhǔn)差為1.133，人機(jī)評分差異值大于等于3分的只占11.21%。

在復(fù)審樣本中，機(jī)評系統(tǒng)更是表現(xiàn)出穩(wěn)定的評測性能。初評樣本中人工組評分的相關(guān)系數(shù)為0.72，高于人機(jī)組的0.53，但復(fù)審樣本中測試員1與測試員2之間的評分相關(guān)系數(shù)降為0.36，而機(jī)評系統(tǒng)與測試員2的相關(guān)系數(shù)仍然保持在0.52。這說明，測試員有可能受個人狀態(tài)的影響而出現(xiàn)評分的不穩(wěn)定，而計(jì)算機(jī)在這方面具有明顯的優(yōu)勢。

（二）對某些語言材料的識別能力仍有欠缺

在初始評分中，雖然人機(jī)組評分差異的各項(xiàng)指標(biāo)與人工組接近，但其相關(guān)系數(shù)卻明顯低于人工組。這說明相比人工評測，機(jī)評系統(tǒng)與測試員之間存在更多分歧，其中就有因計(jì)算機(jī)信息處理而引起的評測偏誤。

復(fù)聽復(fù)審樣本發(fā)現(xiàn)，機(jī)評系統(tǒng)對某些語音錯誤和缺陷存在明顯誤判，僅我們觀察到的就有兩類。一類是對平翹舌音錯誤和缺陷的評判。這類考生的普通話存在舌尖后音明顯偏前，或平翹舌混讀同時伴有r讀作l的現(xiàn)象。測試員對此一般都能明顯感知并作出準(zhǔn)確評判，而機(jī)評系統(tǒng)漏判較多。另一類是對明顯具有粵方言口音的評判。這類問題人耳同樣容易聽辨，但機(jī)評系統(tǒng)扣分明顯偏少。

復(fù)審樣本中，還有一定比例的評測偏誤表現(xiàn)為計(jì)算機(jī)對說話中“離題”“無效語料”等現(xiàn)象無法有效識別，致使考生的錯誤沒能在評分中得到體現(xiàn)。如一位考生在講述“我的朋友”時，將歷史上的一位革命領(lǐng)袖說成自己的朋友，并杜撰了共同參加戰(zhàn)爭的經(jīng)歷。對于如此離奇的編造，評分中只有“離題”一項(xiàng)可以反映，人工評測很容易判斷出謬誤，而計(jì)算機(jī)卻未能識別，造成“離題”項(xiàng)的漏判。語義理解方面的缺陷反映出計(jì)算機(jī)在常識學(xué)習(xí)與歸納推理方面的能力亟待提高[6]（P24）。

人工智能的近期研究目標(biāo)在于研究用機(jī)器來模仿和執(zhí)行人腦的某些智力功能[7]（P18），但在進(jìn)行智能信息處理時，人和計(jì)算機(jī)可以用不同的原理和方式進(jìn)行活動[7]（P13）。測試員對語音的評測建立在人耳聽辨的語感基礎(chǔ)上，而計(jì)算機(jī)的評測則是以聲學(xué)建模、預(yù)測算法等為基礎(chǔ)。數(shù)據(jù)學(xué)習(xí)表現(xiàn)的是統(tǒng)計(jì)頻率，不是因果關(guān)系，不是客觀規(guī)律[8]（P3）。因此，計(jì)算機(jī)評測雖然在客觀性、穩(wěn)定性上會優(yōu)于人工評測，但一旦信息處理系統(tǒng)的設(shè)計(jì)存在某些缺陷，它在某一類甚至某幾類問題上的評測準(zhǔn)確性以及對待各類考生的公平性都會受到影響。

（三）對不同水平等級的評測尺度不夠統(tǒng)一

4195份人機(jī)初評樣本顯示，機(jī)評35分以上的高分和29.5分以下的低分的數(shù)量明顯少于測試員1，分值有向中間集中的趨勢。結(jié)合成績等級考察發(fā)現(xiàn)，機(jī)評與測試員1的總平均分幾乎相同，但在不同等級的評測結(jié)果卻有差別，機(jī)評分呈現(xiàn)出高等級評測嚴(yán)格、中低等級評測寬松的特點(diǎn)。我們在機(jī)評偏誤的39份錄音中也發(fā)現(xiàn)，機(jī)評分顯著偏高的31個樣本中，二級甲等只有1個，其余均為二級乙等與三級甲等，這也再次印證了機(jī)評在中低等級存在寬容評測的傾向。

以上情況說明，對于不同普通話水平的考生群體，機(jī)評系統(tǒng)的評測尺度具有一定差異?？傮w而言，對一級以上的高水平考生評分偏低，對二級乙等及以下的中低水平考生評分偏高，其評測體現(xiàn)出寬嚴(yán)不一的特點(diǎn)。機(jī)評分的這一表現(xiàn)，反映了機(jī)評系統(tǒng)對語音面貌較好的高分考生和口音較重的中低分考生的評測還不夠準(zhǔn)確，識別能力尚有不足。雖然這類偏誤程度較輕，但同樣會造成一部分考生的測試成績與實(shí)際水平相偏離，在一定程度上影響了測試的信度與測試結(jié)果的公平公正。

總的來看，提高評測的自動化程度是普通話水平測試走向現(xiàn)代化、科學(xué)化的必然需求，而自動化評測的生命力主要體現(xiàn)在評測的效率和評測結(jié)果的可信度。我們需要在廣泛的評測實(shí)踐中不斷反饋信息、檢驗(yàn)結(jié)果，發(fā)現(xiàn)計(jì)算機(jī)評測的偏誤，優(yōu)化評測系統(tǒng)的性能。普通話水平測試“命題說話”項(xiàng)采用人機(jī)合作評分的模式，恰好為我們提供了人機(jī)數(shù)據(jù)互證的條件。通過人機(jī)評分?jǐn)?shù)據(jù)的對比、分析、論證，我們得以從宏觀和微觀兩個層面審視計(jì)算機(jī)評測質(zhì)量的總體面貌及存在的問題?！罢f話”項(xiàng)的機(jī)評質(zhì)量在總體上達(dá)到了人工評測的水平，但人機(jī)評測的相關(guān)性仍然明顯低于人工評測，反映出機(jī)評系統(tǒng)的評測能力尚有某些不足。語音識別能力強(qiáng)而語義理解能力弱;面對不同水平程度的考生，評分寬嚴(yán)尺度還難以高度一致;對某些方言口音的感知還不夠敏銳;錄音背景噪音對評分產(chǎn)生的干擾也不能完全避免。上述問題都反映出智能語音評測技術(shù)和評測系統(tǒng)設(shè)計(jì)尚有繼續(xù)完善的空間，有必要在自然語言的深度理解、高質(zhì)量的語音數(shù)據(jù)庫建設(shè)與算法的優(yōu)化等方面作出進(jìn)一步的探索與改進(jìn)。可以說，計(jì)算機(jī)智能只有在與人類的合作中才能不斷提高，本文的討論主要是基于語言學(xué)的知識和測試員對評分規(guī)則的把握，但分析的現(xiàn)象及揭示的問題能為進(jìn)一步完善計(jì)算機(jī)評測系統(tǒng)提供參考。

參考文獻(xiàn)：

[1]王暉，曹昭，云天驕.普通話水平測試發(fā)展歷程的分期[J].語言文字應(yīng)用，2013，（3）.

[2]教育部語言應(yīng)用管理司.計(jì)算機(jī)輔助普通話水平測試評分試行辦法[S].2009-01-09.

[3]宋欣橋.普通話水平測試員實(shí)用手冊（增訂本）[M].北京：商務(wù)印書館，2005.

[4]張瑜，牟曉云，等.統(tǒng)計(jì)學(xué)原理與應(yīng)用[M].南京：東南大學(xué)出版社，2014.

[5]趙偉國，喬麗華，王頤嘉，等.普通話水平測試的評分誤差的影響分析[J].語言文字應(yīng)用，2012，（S1）.

[6]宗成慶.中文信息處理研究現(xiàn)狀分析[J].語言戰(zhàn)略研究， 2016，（6）.

[7]蔡自興，等.人工智能及其應(yīng)用（第5版）[M].北京：清華大學(xué)出版社，2016.

[8]李宇明.計(jì)算機(jī)正改變著我們的語言生活[J].韓山師范學(xué)院學(xué)報(bào)，2020，（1）.