大灣區(qū)多語(yǔ)種政府新聞標(biāo)注語(yǔ)料庫(kù)建設(shè)研究

姜嬴，楊靜，朱哲宇，林佳瑩

（北京師范大學(xué)珠海分校，廣東珠海 519000）

1 大灣區(qū)多語(yǔ)種語(yǔ)料庫(kù)研究必要性

目前，粵港澳大灣區(qū)已經(jīng)存在一些語(yǔ)料庫(kù)，如“香港兒童粵語(yǔ)語(yǔ)料庫(kù)”系統(tǒng)地記錄了8 個(gè)幼兒在一年內(nèi)學(xué)習(xí)和使用粵語(yǔ)情況，最終整理出177 個(gè)檔案，存儲(chǔ)記錄14 兆字節(jié)[1]；“香港粵語(yǔ)語(yǔ)料庫(kù)”通過(guò)收集日常談話，針對(duì)性地提供給研究者和語(yǔ)言學(xué)習(xí)者一個(gè)反應(yīng)真實(shí)演講和對(duì)話內(nèi)容的粵語(yǔ)語(yǔ)料庫(kù)[2]；“LIVAC 共時(shí)語(yǔ)料庫(kù)”語(yǔ)料來(lái)源于上海、港、澳、臺(tái)，以及新加坡5 地的報(bào)紙資料，已處理逾5.7 億字，累積并持續(xù)提煉出二百多萬(wàn)詞條。

大灣區(qū)現(xiàn)存語(yǔ)料庫(kù)多建立于20世紀(jì)90年代，部分語(yǔ)料庫(kù)在取材上、時(shí)間維度上，存在滯后現(xiàn)象且語(yǔ)種選取較為單一，無(wú)法勝任多語(yǔ)種研究的任務(wù)?；浉郯拇鬄硡^(qū)及其輻射區(qū)域存在多種語(yǔ)言文字，構(gòu)成了語(yǔ)言種類復(fù)雜多樣性、語(yǔ)言分布分層交織性、對(duì)外關(guān)系復(fù)雜性等問(wèn)題，是中國(guó)從古代到現(xiàn)代語(yǔ)言文字多樣性最發(fā)達(dá)，使用量最多，同時(shí)共存時(shí)間最長(zhǎng)的地區(qū)[3]，這些問(wèn)題都需要多語(yǔ)種語(yǔ)料庫(kù)的支持。

普通話、粵語(yǔ)、英語(yǔ)為大灣區(qū)語(yǔ)言使用層次第一的3 個(gè)語(yǔ)種，覆蓋了大灣區(qū)絕大多數(shù)的地區(qū)和人口。葡萄牙語(yǔ)使用層次位于第3，被認(rèn)定為澳門地區(qū)的官方語(yǔ)言，具有一定代表性[4]。因此，該文選取這4 個(gè)語(yǔ)種作為主要研究對(duì)象，采集高度規(guī)范化的政府新聞?wù)Z料，并結(jié)合標(biāo)注語(yǔ)料庫(kù)數(shù)據(jù)，嘗試為語(yǔ)言研究者提供多語(yǔ)種語(yǔ)料庫(kù)研究的思路。

2 研究?jī)?nèi)容及方法

該文根據(jù)研究過(guò)往的標(biāo)注經(jīng)驗(yàn)，分析多語(yǔ)種分詞標(biāo)注任務(wù)中存在的差異，提出符合多語(yǔ)種語(yǔ)料庫(kù)的通用分詞標(biāo)注策略，基于項(xiàng)目研究過(guò)程中已經(jīng)搭建好的在線眾包標(biāo)注平臺(tái)收集人工檢驗(yàn)的標(biāo)注結(jié)果，對(duì)標(biāo)注結(jié)果進(jìn)行交叉檢驗(yàn)，提煉出粵港澳地區(qū)新聞多語(yǔ)種語(yǔ)料庫(kù)，基于編程技術(shù)訓(xùn)練分詞模型并進(jìn)行交叉驗(yàn)證，評(píng)測(cè)標(biāo)注策略是否符合實(shí)際生產(chǎn)要求，根據(jù)實(shí)驗(yàn)結(jié)果整理出多語(yǔ)種標(biāo)注規(guī)范，提出在研究多語(yǔ)種問(wèn)題上的建議，為灣區(qū)的自然語(yǔ)言研究者提供基礎(chǔ)條件和便利，促進(jìn)大灣區(qū)文化、教育事業(yè)發(fā)展。

3 數(shù)據(jù)來(lái)源

該研究的普通話文本來(lái)自香港律政司、行政長(zhǎng)官2018年施政報(bào)告、香港政府一站通、政府賬目及報(bào)告、香港特別行政區(qū)政府新聞公報(bào)、中國(guó)文化報(bào)、大公報(bào)，粵語(yǔ)文本來(lái)自明報(bào)OL，英語(yǔ)文本來(lái)自South China Morning Post，葡萄牙語(yǔ)文本來(lái)自Revista Macau。以上均為粵港澳地區(qū)權(quán)威且文本數(shù)量較多的新聞網(wǎng)站，總共包含12 個(gè)新聞網(wǎng)站，其中有“國(guó)際”“兩岸”“中國(guó)”等50 多個(gè)板塊。自2019年3月開(kāi)始持續(xù)開(kāi)展標(biāo)注工作，已收集大量數(shù)據(jù)，具體規(guī)模在6.1 節(jié)可見(jiàn)。

4 多語(yǔ)種分詞標(biāo)注異同

粵港澳大灣區(qū)的語(yǔ)言文字生態(tài)樣貌較為獨(dú)特，語(yǔ)言文字資源也較為豐富，漢語(yǔ)普通話、英語(yǔ)、葡萄牙語(yǔ)在不同區(qū)域都具有法定語(yǔ)言的地位，粵語(yǔ)、客家方言、閩方言等多種漢語(yǔ)方言在日常生活中也擁有廣泛的民眾基礎(chǔ)[5]。不同的語(yǔ)言文字在分詞上的規(guī)則和難度是不同的，下文舉例說(shuō)明多語(yǔ)種分詞標(biāo)注時(shí)需要注意的地方。

4.1 是否有分隔符

現(xiàn)代英語(yǔ)、葡語(yǔ)的基本語(yǔ)素表達(dá)形式是詞，文本中的詞天然由空格分開(kāi)，分詞時(shí)主要運(yùn)用的是正則表達(dá)式和專家提供的詞庫(kù)分詞。普通話、粵語(yǔ)文本的基本組成單位并不是詞而是字，計(jì)算機(jī)可以輕而易舉地對(duì)字進(jìn)行切分，但詞與詞之間的切割則極為困難，主要是因?yàn)橹形脑~語(yǔ)在句中存在互相重疊的情況，這很容易產(chǎn)生歧義字段，以“不過(guò)度開(kāi)發(fā)生物資源”一句為例，進(jìn)行完全切分的結(jié)果如下。

[不,不過(guò),過(guò),過(guò)度,度,開(kāi),開(kāi)發(fā),發(fā),發(fā)生,生,生物,物,物資,資,資源,源]

完全切分并不是嚴(yán)格意義上的分詞，它輸出句中所有出現(xiàn)在詞表中的字和詞。因?yàn)橹形脑~語(yǔ)存在類似“不過(guò)”和“過(guò)度”交集現(xiàn)象，9 個(gè)字被切分成了長(zhǎng)度為16 的序列?；浾Z(yǔ)屬于漢藏語(yǔ)系漢語(yǔ)族漢語(yǔ)方言，文本結(jié)構(gòu)與普通話類似，同樣沒(méi)有分隔符做切分，這無(wú)疑增加了中文分詞的難度。

4.2 是否有詞語(yǔ)形態(tài)變換

對(duì)英文和葡語(yǔ)預(yù)處理時(shí)需要做詞干提取和詞性還原，而中文或者粵語(yǔ)則不需要。英文存在詞形變換，例如，動(dòng)詞do 需要根據(jù)時(shí)態(tài)的不同變換為does、doing、did、done，do homework 和doing homework 本質(zhì)上是一樣的，但對(duì)于計(jì)算機(jī)來(lái)說(shuō)是完全不同的兩個(gè)字符串。

葡語(yǔ)的名詞和形容詞存在“陽(yáng)性”和“陰性”的區(qū)別，tempo、sol 為陽(yáng)性，can??o、lua 為陰性。普通話中的“好”在葡語(yǔ)中既可以是bom 也可以是boa，但這實(shí)際上這種區(qū)別無(wú)法被消除，因?yàn)樵~的“陰陽(yáng)性”是互相獨(dú)立的，并不會(huì)有“原型”或者“詞根”一說(shuō)，也就沒(méi)有辦法降維。對(duì)分詞來(lái)說(shuō)需要注意的是葡語(yǔ)動(dòng)詞需要根據(jù)人稱變化發(fā)生對(duì)應(yīng)的變形，即“變位”，例如，estudar 根據(jù)主語(yǔ)的不同需要轉(zhuǎn)換為estudas、estudo、estuda、estudamos 或estudam，而它們的原型是相同的。

4.3 是否需要考慮顆粒度

在通常情況下對(duì)于普通話和粵語(yǔ)分詞來(lái)說(shuō)切分顆粒度越大，結(jié)果也就越精確，但與此同時(shí)召回率低和歧義切分問(wèn)題也必然會(huì)隨之出現(xiàn)。在實(shí)際環(huán)境，例如搜索引擎中，當(dāng)用戶希望獲取有關(guān)“自然語(yǔ)言處理”的內(nèi)容時(shí)，若將其拆分為“自然”“語(yǔ)言”“處理”，那么顆粒度如此之大的分詞結(jié)果必然會(huì)造成搜索引擎返回結(jié)果數(shù)過(guò)多，導(dǎo)致不能滿足用戶預(yù)期。

英語(yǔ)中Natural Language Processing 可以被拆分為Natural、Language、Processing，但是按照完整語(yǔ)義的角度出發(fā)，同樣可以不將其分詞而是作為一個(gè)復(fù)合詞來(lái)看待，整體入庫(kù)。同樣，葡語(yǔ)中Processamento de linguagem natural 可以被拆分為Processamento、de、linguagem、natural。所以在分詞時(shí)需要根據(jù)具體環(huán)境劃分合理的顆粒度。

綜上，普通話、粵語(yǔ)、英語(yǔ)、葡萄牙語(yǔ)之間分詞既有相同之處也有不同之處，主要可以歸納為3 個(gè)問(wèn)題：是否有分隔符、是否有形態(tài)轉(zhuǎn)換、是否需要考慮分詞顆粒度。

5 多語(yǔ)種分詞標(biāo)注流程策略

5.1 系統(tǒng)設(shè)計(jì)概述

在標(biāo)注不同語(yǔ)種的語(yǔ)料時(shí)需要做分庫(kù)處理，同時(shí)對(duì)標(biāo)注人員進(jìn)行分組，同組人員完成對(duì)同一語(yǔ)種的標(biāo)注工作，方便對(duì)語(yǔ)種和語(yǔ)料進(jìn)行管理。同時(shí)，系統(tǒng)內(nèi)應(yīng)設(shè)置3 種基本模塊：“標(biāo)注”模塊和“個(gè)人”模塊為系統(tǒng)內(nèi)所有種類的用戶服務(wù)，“工作組管理”模塊則只為專家用戶和系統(tǒng)管理員服務(wù)，普通用戶只需專注于標(biāo)注任務(wù)本身即可（見(jiàn)圖1）。

圖1 標(biāo)注用戶流程圖

5.2 標(biāo)注人員選擇

語(yǔ)料庫(kù)是研究人員、學(xué)者進(jìn)行深度研究的基礎(chǔ)，必須保證分詞標(biāo)注結(jié)果由專業(yè)領(lǐng)域內(nèi)的人員產(chǎn)生。比如，普通話文本標(biāo)注者最好來(lái)源于大灣區(qū)內(nèi)部的普通話母語(yǔ)者，粵語(yǔ)文本標(biāo)注者最好來(lái)源于大灣區(qū)內(nèi)部的粵語(yǔ)母語(yǔ)者，若要讓普通話母語(yǔ)者去分詞標(biāo)注粵語(yǔ)文本中的“點(diǎn)解”（粵語(yǔ)含義：為什么），標(biāo)注者雖然可以看懂文本中的每一個(gè)字，但無(wú)法理解文本本身的含義，甚至可能覺(jué)得文本出現(xiàn)了錯(cuò)誤，此時(shí)也就無(wú)法準(zhǔn)確、客觀地對(duì)文本進(jìn)行處理。

每個(gè)語(yǔ)種都是十分具有特色的，且部分規(guī)則只有在當(dāng)?shù)亻L(zhǎng)期生活或者母語(yǔ)是該語(yǔ)種者才能知曉，為了得到準(zhǔn)確的分詞標(biāo)注結(jié)果，需要由專業(yè)人員去處理其擅長(zhǎng)的語(yǔ)種領(lǐng)域。

5.3 系統(tǒng)角色分配

知識(shí)領(lǐng)域的眾包分配任務(wù)需要引入“角色”的概念，多語(yǔ)種眾包標(biāo)注系統(tǒng)應(yīng)包含3 種角色：普通用戶、專家用戶和系統(tǒng)管理員。普通用戶為語(yǔ)言、歷史、教育或相關(guān)專業(yè)的本科生、碩士生或?qū)I(yè)標(biāo)注人員，負(fù)責(zé)對(duì)系統(tǒng)標(biāo)注結(jié)果進(jìn)行修改。專家用戶為擁有領(lǐng)域內(nèi)專業(yè)知識(shí)的且從事自然語(yǔ)言研究的學(xué)者、研究人員或高校教授，主要負(fù)責(zé)對(duì)普通用戶產(chǎn)生的結(jié)果進(jìn)行評(píng)估和修改。

若標(biāo)注系統(tǒng)中只包含標(biāo)注類用戶，則無(wú)法很好地對(duì)數(shù)據(jù)、標(biāo)注過(guò)程及一些事務(wù)做管理，需要引入系統(tǒng)管理員維護(hù)后臺(tái)，對(duì)語(yǔ)料、用戶、系統(tǒng)的各種狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控與管制，與分詞標(biāo)注工作的總負(fù)責(zé)人還有系統(tǒng)內(nèi)的專家用戶保持一定溝通，保證系統(tǒng)正常、高效運(yùn)作。

5.4 三級(jí)標(biāo)注

人工標(biāo)注時(shí)總是會(huì)存在一些難以避免的錯(cuò)誤，針對(duì)大灣區(qū)的多語(yǔ)種標(biāo)注應(yīng)采取三級(jí)標(biāo)注模式，使錯(cuò)誤率接近0%，以保障入庫(kù)數(shù)據(jù)是準(zhǔn)確的。第一階段為算法預(yù)標(biāo)注階段，指的是標(biāo)注系統(tǒng)依據(jù)現(xiàn)有的開(kāi)源分詞工具對(duì)導(dǎo)入數(shù)據(jù)庫(kù)中的生語(yǔ)料做預(yù)標(biāo)注，預(yù)標(biāo)注的準(zhǔn)確率普遍可以達(dá)到85% ～95%。在進(jìn)入第二階段眾包標(biāo)注階段時(shí)，標(biāo)注用戶所需要做的只是處理5% ～15% 的系統(tǒng)標(biāo)注錯(cuò)誤，大大減少了時(shí)間成本。一條語(yǔ)料往往需要至少被兩位不同的標(biāo)注用戶所標(biāo)注以確保其正確性，若標(biāo)注結(jié)果不相同，則還會(huì)被更多的標(biāo)注用戶所標(biāo)注，這是為了保證語(yǔ)料庫(kù)的質(zhì)量，若語(yǔ)料庫(kù)的質(zhì)量無(wú)法保證，那么再多的數(shù)據(jù)量也是無(wú)效的。到了第三階段，也就是專家標(biāo)注階段，專家角色的知識(shí)水平和對(duì)于同一條語(yǔ)料的理解程度通常是超過(guò)普通標(biāo)注人員的，專家所需要重點(diǎn)處理的是第二階段所遺留下來(lái)的“疑難語(yǔ)料”，之后專家用戶也可以對(duì)普通用戶的結(jié)果做檢查和修改。經(jīng)過(guò)嚴(yán)格的三級(jí)標(biāo)注之后我們認(rèn)為所產(chǎn)出的語(yǔ)料是可信的，可以作為語(yǔ)料庫(kù)搭建的基礎(chǔ)。

5.5 多語(yǔ)種標(biāo)注細(xì)節(jié)

針對(duì)第4 節(jié)結(jié)尾提出的多語(yǔ)種標(biāo)注存在的3 種不同之處，在該節(jié)提供解決方案。

（1）分割符：對(duì)于不存在天然分割的語(yǔ)種，例如，普通話和粵語(yǔ)，在系統(tǒng)預(yù)標(biāo)注階段推薦采用Hanlp、NLTK 等高質(zhì)量開(kāi)源工具進(jìn)行分詞標(biāo)注預(yù)處理。對(duì)于存在天然分割的語(yǔ)種，例如，英語(yǔ)和葡語(yǔ)，若僅需提供給標(biāo)注用戶預(yù)分詞結(jié)果，推薦使用正則表達(dá)式對(duì)文本進(jìn)行預(yù)處理。正則表達(dá)式分詞的優(yōu)點(diǎn)在于靈活、門檻較低且標(biāo)注效果好，以下為該研究提供的一種正則匹配規(guī)則。

[ ,，.。?？!！ \f\n\t\r\v]+

分詞測(cè)試中有3 個(gè)常見(jiàn)的指標(biāo)：P 指精確率，代表預(yù)測(cè)結(jié)果中正類數(shù)量占全部結(jié)果的比率；R 指召回率，代表正類樣本被找出來(lái)的比率；F1 代表P 值和R 值的調(diào)和平均。在布朗語(yǔ)料庫(kù)（Brown Corpus）和麥克莫弗語(yǔ)料庫(kù)（MacMorpho Corpus）上進(jìn)行測(cè)試后發(fā)現(xiàn)該研究F1 值達(dá)到98.97% 和99.73%，這說(shuō)明在語(yǔ)料沒(méi)有基本格式錯(cuò)誤的情況下，通過(guò)正則匹配來(lái)初步分詞效果十分不錯(cuò)。

（2）形態(tài)轉(zhuǎn)換：當(dāng)需要標(biāo)注的語(yǔ)種存在時(shí)態(tài)變換或根據(jù)人稱變換詞語(yǔ)形態(tài)之類的問(wèn)題時(shí)，需要對(duì)語(yǔ)料進(jìn)行詞干提取或是詞性還原。詞干提取和詞性還原兩者并不相同，詞干提取由基于規(guī)則的方法實(shí)現(xiàn)，主要用于信息檢索領(lǐng)域，而詞形還原基于詞典方法，在處理單詞準(zhǔn)確率較高的領(lǐng)域效果更好，例如，文本分類、情感分析等[6]。其的目的是減少回復(fù)的詞語(yǔ)數(shù)量，從而達(dá)到降低語(yǔ)言模型維度的作用，具體使用何種方式進(jìn)行預(yù)處理需要視使用場(chǎng)景而定。

同時(shí)，引入上述處理的具體位置也同樣關(guān)鍵。若在系統(tǒng)標(biāo)注階段引入，則會(huì)導(dǎo)致系統(tǒng)標(biāo)注結(jié)果不準(zhǔn)確。而且該結(jié)果是需要向標(biāo)注用戶展示的，去掉句中原本存在的一些信息后必然會(huì)影響標(biāo)注者的判斷，造成標(biāo)注的錯(cuò)誤。所以，持久化保存語(yǔ)料結(jié)果之前應(yīng)保留語(yǔ)料文本的全貌，在進(jìn)行模型訓(xùn)練之前做詞干提取或詞性還原的操作，這保證了詞語(yǔ)的序列不會(huì)改變且保留了原文本除了詞語(yǔ)形態(tài)之外的所有信息。

（3）分詞顆粒度：通過(guò)限定標(biāo)注格式可以實(shí)現(xiàn)同時(shí)記錄不同顆粒度分詞標(biāo)注結(jié)果的效果。復(fù)合構(gòu)詞的現(xiàn)象幾乎存在于所有語(yǔ)種中，在對(duì)“中央督導(dǎo)委員會(huì)”這一復(fù)合詞進(jìn)行人工標(biāo)注時(shí)，推薦采用如下的格式。

[中央/n 督導(dǎo)/vn 委員會(huì)/ni]/nto

中括號(hào)里的為復(fù)合詞的各個(gè)組成部分，標(biāo)注時(shí)需要為每個(gè)部分進(jìn)行分詞和詞性標(biāo)注，而中括號(hào)外的詞性為整個(gè)復(fù)合詞的詞性，這樣可以同時(shí)得到不同顆粒度的結(jié)果，方便對(duì)模型進(jìn)行調(diào)整，但是需要標(biāo)注人員付出更多的精力和耐心。

5.6 結(jié)果存儲(chǔ)策略

同一條語(yǔ)料會(huì)被分配到不同的普通標(biāo)注用戶手中，且在三級(jí)標(biāo)注階段中的第二階段我們規(guī)定一條語(yǔ)料應(yīng)至少分配給兩人以上進(jìn)行標(biāo)注，所以在數(shù)據(jù)入庫(kù)時(shí)必然會(huì)存在多種結(jié)果。為了保證結(jié)果的全面性和準(zhǔn)確性，需要將語(yǔ)料的id 與標(biāo)注用戶的id 聯(lián)系起來(lái)同時(shí)存儲(chǔ)，而不是進(jìn)行覆蓋式存儲(chǔ)或者整合式存儲(chǔ)。

同時(shí)，考慮到標(biāo)注用戶的專業(yè)性問(wèn)題，若一條語(yǔ)料被專家用戶修改或者標(biāo)注后，直接將其作為該語(yǔ)料的分詞標(biāo)注結(jié)果，在提取分詞標(biāo)注和進(jìn)行訓(xùn)練時(shí)應(yīng)優(yōu)先考慮該類結(jié)果，而非普通標(biāo)注用戶的結(jié)果。

5.7 質(zhì)量保障

聘用標(biāo)注用戶時(shí)應(yīng)首先進(jìn)行考核，判斷其是否能夠勝任標(biāo)注任務(wù)，考核的結(jié)果將作為初步任務(wù)分配的依據(jù)，將不同難度的標(biāo)注任務(wù)分配給不同水平的標(biāo)注者。標(biāo)注期間應(yīng)隱式地對(duì)標(biāo)注者再次進(jìn)行評(píng)估，并根據(jù)結(jié)果重新為其分配適合的標(biāo)注任務(wù)。當(dāng)標(biāo)注者完成任務(wù)數(shù)量達(dá)到閾值時(shí)應(yīng)及時(shí)給予不同程度的獎(jiǎng)勵(lì)，對(duì)于完成質(zhì)量差的用戶則及時(shí)解聘。

6 實(shí)驗(yàn)

6.1 詞典

在生成詞典和詞性標(biāo)注時(shí)，中文和粵語(yǔ)標(biāo)注集采用《ICTPOS 3.0 漢語(yǔ)詞性標(biāo)記集》和《現(xiàn)代漢語(yǔ)語(yǔ)料庫(kù)加工規(guī)范——詞語(yǔ)切分與詞性標(biāo)注》 的兼容版本，英文標(biāo)注采用的標(biāo)注集為Penn Treebank Tagset，葡萄牙語(yǔ)標(biāo)注采用的標(biāo)注集為Universal Tagset。

詞語(yǔ)種數(shù)指語(yǔ)料庫(kù)中有多少個(gè)不重復(fù)的詞語(yǔ)，總頻次指的是所有詞語(yǔ)的詞頻之和，分別可以用來(lái)衡量語(yǔ)料庫(kù)應(yīng)用的豐富程度和規(guī)模大小[7]，詞典統(tǒng)計(jì)信息如表1所示。

表1 詞典統(tǒng)計(jì)

6.2 分詞標(biāo)注評(píng)測(cè)

使用Hanlp 提供的NatureDictionaryMaker 接口將已標(biāo)注語(yǔ)料生成二元語(yǔ)法模型，接著對(duì)不同語(yǔ)種語(yǔ)料庫(kù)做K 折交叉驗(yàn)證。

在K 值取10 的情況下，普通話和粵語(yǔ)的F1 均值達(dá)到了91%以上，英語(yǔ)和葡萄牙語(yǔ)，F(xiàn)1 均值達(dá)到了99% 以上。觀察圖2可知該文給出的多語(yǔ)種標(biāo)注策略是切實(shí)可行的。

圖2 交叉驗(yàn)證結(jié)果

7 結(jié)語(yǔ)

該文給出多語(yǔ)種語(yǔ)料庫(kù)研究的流程和策略，通過(guò)實(shí)驗(yàn)結(jié)果和統(tǒng)計(jì)信息，展現(xiàn)研究總體進(jìn)度和策略可信度。同時(shí)，該研究經(jīng)過(guò)了長(zhǎng)時(shí)間的語(yǔ)料標(biāo)注收集和多種多樣的分詞實(shí)驗(yàn)，為粵港澳地區(qū)新聞媒體文本處理提供了較為豐富的數(shù)據(jù)。后續(xù)會(huì)繼續(xù)采集粵港澳地區(qū)各種類型、各種語(yǔ)種的語(yǔ)料，屆時(shí)數(shù)據(jù)量和分詞標(biāo)注的效果將會(huì)大大提升，我們會(huì)將語(yǔ)料庫(kù)本體和分詞器代碼打包發(fā)送到開(kāi)源平臺(tái)，以供感興趣的學(xué)者深入研究，為粵港澳地區(qū)語(yǔ)言研究事業(yè)以及教育事業(yè)獻(xiàn)力。