方塊苗文詞性標(biāo)注集的設(shè)計(jì)

周 潭， 莫禮平， 曾 虎， 雷 智， 李文宇， 吳 瑩

(吉首大學(xué) 信息科學(xué)與工程學(xué)院， 湖南 吉首 416000)

0 引 言

詞性標(biāo)注是自然語言信息處理的基本內(nèi)容，也是文本索引、文本分類、語言合成、語料加工、機(jī)器翻譯、信息檢索等應(yīng)用領(lǐng)域不可缺少的一個(gè)環(huán)節(jié)。從概念上來講，詞性標(biāo)注就是根據(jù)上下文語法關(guān)系，判定句子中每個(gè)詞語的語法范疇，以確定其詞性并加以標(biāo)注的過程[1]。詞性標(biāo)注對于消除詞語歧義、減少查詢模糊性、降低索引量、提高檢索效果及效率有著重要作用。Wilks Y[2]在利用英文詞性標(biāo)注幫助實(shí)現(xiàn)語義消歧的研究中指出“詞性標(biāo)注是實(shí)現(xiàn)語義消歧的第一步”；利用詞性標(biāo)注減少查詢模糊性的研究也表明，在搜索引擎的信息查詢系統(tǒng)中加入詞性標(biāo)注功能，有助于系統(tǒng)更準(zhǔn)確理解用戶的查詢意圖，能夠返回更符合用戶要求的結(jié)果[3]。詞性標(biāo)注集是用來表示詞類的工具，是詞性標(biāo)注系統(tǒng)必不可少的組成部分。任何語言的詞性標(biāo)注都必須以詞性標(biāo)注集為基礎(chǔ)。詞性標(biāo)注集的建立及詞性標(biāo)注技術(shù)的發(fā)展與語料庫建設(shè)緊密相聯(lián)。20世紀(jì)60年代初，以N.Francis為首的一批學(xué)者在美國的布朗大學(xué)建成了當(dāng)今最早的機(jī)讀語料庫—Brown語料庫。在Brown語料庫的建設(shè)過程中，人們開始研究英文詞性標(biāo)注問題。20 世紀(jì) 80-90 年代，進(jìn)入第二代、第三代電子語料庫時(shí)代，百萬、千萬、上億詞級的深度標(biāo)注語料庫出現(xiàn)。此期間，英語詞性標(biāo)注集的建立及詞性標(biāo)注技術(shù)得到了長足的發(fā)展[4]。歷經(jīng)近50多年的發(fā)展，英語詞性標(biāo)注集的建立及詞性標(biāo)注技術(shù)已趨于成熟，面向德文[5]、法文[6]、意大利文[7]、阿拉伯文[8-9]、印度文[10]的各種類型文本詞性標(biāo)注集的建立及詞性標(biāo)注技術(shù)也發(fā)展迅速。近年來，面向稀缺語言[11]的詞性標(biāo)注研究工作逐漸見諸報(bào)道。

本文根據(jù)方塊苗文這一稀缺語言文字的造字原理及方塊苗文詞語的使用特點(diǎn)，結(jié)合對方塊苗文原始語料中詞語統(tǒng)計(jì)的結(jié)果，討論方塊苗文詞語的種類、詞性的確定和劃分方法，并嘗試參考漢語詞性標(biāo)注規(guī)范及標(biāo)注集的設(shè)計(jì)方法，制訂方塊苗文的詞性標(biāo)注符號和詞性標(biāo)記集。

1 方塊苗文的造字原理及使用特點(diǎn)

湘西方塊苗文是清朝末年以來武陵山地區(qū)湘西苗族人民根據(jù)“取個(gè)人認(rèn)為最易認(rèn)、易記的漢字作為代表符號”的原則自創(chuàng)的一種文字[12-13]，是中國民間苗族文化的主要載體之一。湘西方塊苗文分為3種，按照其產(chǎn)生和使用地區(qū)，分別稱之為板塘苗文、老寨苗文、古丈苗文。這3種苗文都是清末以來苗族文人為記錄、整理、創(chuàng)作苗歌而創(chuàng)造的漢字式的苗文。當(dāng)?shù)孛缱迦罕姺Q之為“土字”、“鄉(xiāng)字”。其中，板塘苗文至今仍在附近數(shù)百里苗鄉(xiāng)流傳使用，對苗族文化的發(fā)展和傳播起到了良好的推進(jìn)作用。

湘西方塊苗文是武陵山地區(qū)湘西苗族人民因民族文化生活的需要而產(chǎn)生的一種借源文字。3種苗文均脫胎于漢字這一母體，記錄同一種語言。因此，3種方塊苗文在結(jié)構(gòu)和造字法方面都不謀而合，均采用方塊結(jié)構(gòu)，且基本上都是一字一音節(jié)地標(biāo)記一個(gè)語素或詞；并借鑒了漢字的造字方法，創(chuàng)造性地運(yùn)用形聲、會(huì)意、假借、雙聲、象形等手段，借用包括義符、聲符、形符(特指象形偏旁)在內(nèi)的漢字或漢字構(gòu)件造字，酷似漢字而實(shí)非漢字。方法苗文中，源自形聲構(gòu)字的湘西方塊苗文約占總字?jǐn)?shù)的四分之三左右[12-13]。不同結(jié)構(gòu)的方塊苗文及其漢義如圖1所示。

圖1 不同結(jié)構(gòu)的方塊苗文及其漢義

Fig.1ExamplesofsquareHmongcharactersindifferentstructureandthecorrespondingChinesemeanings

實(shí)際應(yīng)用中，方塊苗文通常是在苗族人民創(chuàng)作的歌本、劇本中與漢字混合出現(xiàn)。方塊苗文的詞語以單字詞為主，有少量雙字詞，鮮有3字及以上的詞語出現(xiàn)。

2 詞性標(biāo)注相關(guān)概念及經(jīng)典詞性標(biāo)注集

2.1 相關(guān)概念

詞性(part-of-speech)又稱為詞類，是以語法特征(包括句法功能和形態(tài)變化)為主要依據(jù)、兼顧詞匯意義的基礎(chǔ)上，對詞進(jìn)行劃分的結(jié)果。從組合和聚合關(guān)系來說，一個(gè)詞類就是指眾多具有相同句法功能，并可以在同樣的組合位置中出現(xiàn)的詞聚合在一起所形成的語言范疇。詞類劃分具有層次性。例如，漢語中的詞可以分成實(shí)詞和虛詞，實(shí)詞中又包括體詞、謂詞等，體詞中又可以分出名詞和代詞等。

詞性標(biāo)注(part-of-speech tagging)，又稱為詞類標(biāo)注，是指為分詞結(jié)果中的每個(gè)單詞標(biāo)注一個(gè)正確的詞性的過程，也即確定每個(gè)詞是名詞、動(dòng)詞、形容詞或者其它詞性的過程。

詞性標(biāo)注集系指對詞的類別進(jìn)行劃分的集合，是用來表示詞類的工具，是詞性標(biāo)注系統(tǒng)必不可少的組成部分。某一種語言的一套詞性標(biāo)注集應(yīng)該將詞性具體劃分為多少個(gè)類別，沒有統(tǒng)一的規(guī)定。因此，同一種語言可能建立多種詞性標(biāo)注集。在語言的實(shí)際應(yīng)用中，使用什么樣的詞性標(biāo)注集取決于應(yīng)用的目的及應(yīng)用所需要的信息量。在計(jì)算語言學(xué)不同的領(lǐng)域中，人們對詞性依賴的程度不同，處理的精度不同，所以對詞性分類的粒度的定義也不同。

2.2 經(jīng)典詞性標(biāo)注集及詞性編碼

詞性標(biāo)注有小標(biāo)注集和大標(biāo)注集。例如，小標(biāo)注集將所有代詞都?xì)w為一類，而大標(biāo)注集則將代詞進(jìn)一步細(xì)分為指示代詞、人稱代詞和疑問代詞3類。采用小標(biāo)注集比較容易實(shí)現(xiàn)，但是太小的標(biāo)注集可能會(huì)導(dǎo)致類型區(qū)分度不夠。劃分越細(xì)致的詞性標(biāo)注集越有利于信息區(qū)分，但詞性標(biāo)注的難度也就越大。

每種語言都有自己的詞性標(biāo)注集。最早出現(xiàn)的詞性標(biāo)注集是英文詞性標(biāo)注集，著名的Brown語料庫所使用的標(biāo)注集(Brown標(biāo)注集)是歷史上最有影響的英語標(biāo)注集，包含87個(gè)標(biāo)記。多數(shù)的英語標(biāo)注集都是從該標(biāo)注集發(fā)展而來。賓州樹庫(Penn Treebank)使用的標(biāo)注集是經(jīng)過對Brown標(biāo)注集的簡化而得到，包括45個(gè)標(biāo)記，現(xiàn)在已經(jīng)成為計(jì)算語言學(xué)領(lǐng)域使用最為廣泛的英語標(biāo)注集。同英語詞性標(biāo)注集一樣，漢語詞性標(biāo)注集目前也沒有統(tǒng)一的標(biāo)準(zhǔn)。因此，根據(jù)對詞性分類體系的不同理解和不同應(yīng)用領(lǐng)域的要求，出現(xiàn)了多種漢語詞性標(biāo)注集。中科院計(jì)算所劉群等制訂的“ICTPOS3.0漢語詞性標(biāo)記集”是當(dāng)前最有影響的詞性標(biāo)注集之一。

為了方便指明詞的詞性，詞性標(biāo)注集需要給每個(gè)詞性編碼。例如，見表1的《PFR人民日報(bào)標(biāo)注語料庫》的詞性編碼表就是根據(jù)詞性的英文單詞的首字母進(jìn)行詞性編碼。把“名詞”編碼成“n”、“形容詞”編碼成“a”、“動(dòng)詞”編碼成“v”等。

表1《PFR人民日報(bào)標(biāo)注語料庫》的詞性編碼表截表

Tab.1ScreenshotofthePOScodelistof"PFRPeople'sDailyLabelingCorpus"

詞性編碼詞性名稱注解Ag形語素形容詞性語素a形容詞取英語形容詞adjective的第1個(gè)字母ad副形詞直接作狀語的形容詞an名形詞具有名詞功能的形容詞b區(qū)別詞取漢子“別”的聲母c練詞取英語連詞conjunction的第一個(gè)字母d副詞取adverb的第二個(gè)字母dg副語素副詞性語素e嘆詞取英語嘆詞exclamation的第一個(gè)字母f方位詞取漢字“方”g語素絕大多數(shù)語素都能作為合成詞的“詞根”h前接部分取英語head的一個(gè)字母i成語取英語成語idiom的第一個(gè)字母j簡稱略語取漢字“筒”的聲母…un未知詞不可識別詞及用戶自定義詞組

3 方塊苗文詞性分類及詞性標(biāo)注集的設(shè)計(jì)方案

3.1 方塊苗文的詞類、詞性

仿漢字結(jié)構(gòu)的方塊苗文基本上是一字標(biāo)記一個(gè)語素或詞。因此，實(shí)際應(yīng)用文檔中出現(xiàn)的方塊苗文詞語主要是單字詞和少量雙字詞，極少有3字及以上的詞語。這些詞語的詞性及使用方法類似于漢語詞語。而且，相對于漢語，方塊苗文的詞語的數(shù)量較少，詞性也相對較少，語法較為簡單，出現(xiàn)兼詞的詞語數(shù)量也很少。

在對已整理出的苗文初級生語料進(jìn)行統(tǒng)計(jì)分析的基礎(chǔ)上，根據(jù)方塊苗文詞語的漢義，將方塊苗文詞語分為實(shí)詞和虛詞2個(gè)大類。實(shí)詞分為7個(gè)小類：名詞、動(dòng)詞、形容詞、數(shù)詞、量詞、代詞、副詞。虛詞分為介詞、助詞2個(gè)小類。此外，針對個(gè)別不可識別的詞語以及當(dāng)前漢義不明確的詞語，增加一個(gè)類別，即未知詞。

3.2 方塊苗文詞性標(biāo)注集的設(shè)計(jì)方案

由于方塊苗文詞語是根據(jù)其漢義確定所屬詞性分類，故可以直接借鑒漢語詞性標(biāo)注集的詞性編碼方法進(jìn)行方塊苗文詞性標(biāo)注集中詞性標(biāo)注的符號、形式和風(fēng)格的設(shè)計(jì)。依據(jù)北京大學(xué)計(jì)算語言學(xué)研究俞士汶主編的《現(xiàn)代漢語語料庫加工―詞語切分與詞性標(biāo)注規(guī)范與手冊》，研究制訂了方塊苗文詞性標(biāo)注集，該詞性標(biāo)注集的部分內(nèi)容見表2。

表2方塊苗文詞性標(biāo)注集中的詞性編碼表截表

Tab.2ScreenshotofthePOScodelistinthePOStagsetforthesquareHmongcharacters

4 方塊苗文詞性標(biāo)注示例

依據(jù)上述的方塊苗文詞性標(biāo)注集，筆者嘗試使用詞性標(biāo)注算法對整理出的苗文手稿資料文檔中的部分方塊苗文進(jìn)行詞性標(biāo)注。標(biāo)注效果如圖2所示。

5 結(jié)束語

方塊苗文是武陵山地區(qū)民間苗族文化的主要載體之一，其信息化對于弘揚(yáng)苗族文化，推進(jìn)民族文化旅游產(chǎn)業(yè)發(fā)展和苗族文化非物質(zhì)遺產(chǎn)數(shù)字化保護(hù)進(jìn)程有著重要意義。然而，方塊苗文信息處理研究起步較晚，僅有莫禮平等人[14-18]2013年以來，在方塊苗文的字信息處理層面取得的少量研究成果見于報(bào)道。實(shí)現(xiàn)字信息處理層面基本技術(shù)之后，語信息層面的詞性標(biāo)注技術(shù)研究和詞性標(biāo)注語料庫建設(shè)成為方塊苗文信息化研究需要解決的問題。而設(shè)計(jì)詞性標(biāo)注規(guī)范，并據(jù)此制訂完整的詞性標(biāo)記集，正是實(shí)現(xiàn)方塊苗文詞性標(biāo)注技術(shù)和建設(shè)方塊苗文語料庫的重要環(huán)節(jié)。本文結(jié)合方塊苗文的造字原理及詞語的使用特點(diǎn)，參考漢語詞性標(biāo)注規(guī)范及標(biāo)注集的設(shè)計(jì)方法，初步制訂的方塊苗文詞性標(biāo)記集，將成為方塊苗文詞性標(biāo)注過程中進(jìn)行詞類表示的參考工具，為最終完整的信息處理用方塊苗文詞性標(biāo)記集的建立打下良好基礎(chǔ)。

圖2 詞性標(biāo)注效果截圖