以詞為本的編碼方案的探討

程元斌

（江漢大學(xué) 數(shù)學(xué)與計算機科學(xué)學(xué)院，湖北 武漢 430056）

語言是人進行思維的主要工具，詞是語言的基本單位。詞的基本表現(xiàn)形式有兩種：語音與文字?，F(xiàn)代計算機對語言的處理幾乎完全依賴于對文字的處理。但是，文字的基本單位或者是字母（對表音文字），或者是字（對表意文字），以下統(tǒng)稱“字”。在表音文字中除了極個別的詞，幾乎所有的詞都是由若干個字母組成，據(jù)不完全統(tǒng)計，英文的詞長平均在5.3 個字母左右。在表意文字中，例如中文，雖然單字詞占的比例相當(dāng)大，但2個字以上的詞所占的比例更大。這種以字構(gòu)詞的體系為新詞的創(chuàng)造提供了無限的空間，在計算機信息處理中，目前也是按字設(shè)計編碼。隨著計算機信息處理技術(shù)的發(fā)展，這種完全按字編碼的不足也日益顯示出來。那么，是否應(yīng)該按詞進行編碼？如何編碼？本文對此作一些探討。

1 詞編碼研究的現(xiàn)狀

在中國知網(wǎng)學(xué)術(shù)文獻檢索頁面輸入主題“詞編碼”進行檢索，恰好得到50 條結(jié)果。但察看各條結(jié)果的標(biāo)題與摘要，真正與本文主題相關(guān)的只有文獻［1－4］。下載并閱讀這4 篇文獻進一步發(fā)現(xiàn)，文獻［1］的目的是探討一種壓縮方法，而對實際的詞編碼問題并沒有深入地研究；文獻［2］的著眼點僅限于中文及文檔格式，其研究的深度與廣度均十分有限；文獻［3］的內(nèi)容均包含在文獻［4］之中；只有文獻［4］對詞編碼問題進行了較為廣泛的研究。文獻［4］全面描述了一個基于語義的多文種信息處理平臺SMIPP 的研究工作。該平臺設(shè)計了一個面向信息處理的多文種代碼體系SemaCode。SemaCode 是一個7 層結(jié)構(gòu)的系統(tǒng)，包括物理存儲層、交換傳輸層、字符碼位層、詞碼位層、屬性層、語義層和應(yīng)用接口層。其中，在字符碼位層提出了按文種和字符編碼的理念；在詞碼位層和語義層中提出了詞編碼的思想，并實現(xiàn)了一種以語義為軸心、以詞為語義單位，并在語義層提供語義表達能力的代碼體系。此外，該系統(tǒng)設(shè)計了一種以詞義為軸心，支持多文種的語言O(shè)ntology，它是SMIPP 語義信息的主要來源。該Ontology 收錄了具有語義的4 類詞：名詞、動詞、副詞和形容詞，并以詞義和文種為類結(jié)點。

編碼工作看似簡單，實際上極其復(fù)雜，很有講究。至少從目前已知的信息看，文獻［4］做了詞編碼研究的開創(chuàng)性工作，為詞編碼系統(tǒng)的研究提供了很有價值的參考。不過，在所難免的，SMIPP，尤其是其核心SemaCode 存在一些嚴(yán)重的不足或值得商榷的根本性問題。首先，SemaCode與現(xiàn)有標(biāo)準(zhǔn)不兼容，現(xiàn)有文本必須經(jīng)過代碼轉(zhuǎn)換才能被SMIPP 處理，反之，SMIPP 文本必須經(jīng)過代碼轉(zhuǎn)換才能被現(xiàn)有軟件接受；其次，字編碼與詞編碼是兩套完全獨立的編碼。但眾所周知，漢字中有大量的字本身就是詞，有大量的字串難以說清到底是不是詞，也就是說，舍棄字編碼的詞編碼文檔只能是一些特例而已。實際上，不僅漢語，任何語言都有類似的情況；其三，文獻［4］沒有說明詞編碼的對象，即哪些詞應(yīng)當(dāng)進入詞編碼表，哪些詞不應(yīng)當(dāng)進入詞編碼表，實際上這是一個極其重要的問題；另外也沒有說明具體的詞編碼詳細方案。

本文從自然語言計算機處理的各主要方面的需求分析入手，結(jié)合對現(xiàn)有編碼標(biāo)準(zhǔn)的考察，提出了一個建立在現(xiàn)有標(biāo)準(zhǔn)之上的字詞統(tǒng)一考慮的詞編碼方案思路。

2 詞編碼的需求與基本問題分析

2.1 信息檢索的需求

信息檢索可能是使用最廣泛的網(wǎng)絡(luò)應(yīng)用。目前，通用計算機的信息檢索都是采用軟件進行，需要一個字母一個字母，或者一個字一個字地進行比對。顯而易見，如果采用詞編碼，檢索可以一個詞一個詞地進行比對，將大大提高檢索效率。

除了效率之外，采用詞編碼將促進檢索功能的提升，便于實現(xiàn)檢索智能化。例如，如果你想查詢英文動詞take 的用法，并不是僅僅檢索含有take 的句子就可以了，還要考慮到take 的各種形態(tài)。這在目前實際上是要進行take、took、taken、taking 等多個詞的檢索。如果是詞編碼，則可以將該動詞及其各種形態(tài)編在一個可聚類空間中，例如，假設(shè)take 編碼s=10011100，took 編碼為10011101，taken 編碼為10011110，taking 編碼為10011111，待檢索詞變量為w，則使用一次聚類檢索“（w&s）==s”（C 語言表達式）就可以了。通過設(shè)計考慮了這些需求的詞編碼方案，有可能使得目前看來十分繁瑣甚至十分棘手的問題輕而易舉地得到解決。

2.2 自然語言理解與機器翻譯的需求

自然語言理解與機器翻譯的需求比檢索復(fù)雜得多，而且由于這兩方面的研究離最終的目標(biāo)還相距很遠，許多問題還是霧里看花，處在探索階段，因此需要更多的戰(zhàn)略上的考慮。從通常的處理過程來說，一般都包括分詞、句法分析兩大任務(wù)。很顯然，如果按詞編碼，分詞的問題就簡單多了。而句法分析最基本也是最主要的任務(wù)是要弄清楚詞之間的關(guān)系，這可能也是詞編碼設(shè)計的主要依據(jù)。

對機器翻譯來說，一個很顯然的考慮是能否建立一種中間語言C，然后建立各種語言與該中間語言的映射關(guān)系。這樣，任何一種語言只須具備與該中間語言的互譯軟件，就可以十分方便地進行與其他語言間的互譯了。這種中間語言字詞空間的設(shè)計也應(yīng)當(dāng)納入詞編碼的涉及范圍。

2.3 詞的界定與收詞原則

詞的界定與收詞原則雖然與自然語言處理沒有直接的關(guān)系，但是與詞編碼方案的設(shè)計關(guān)系密切。

對于詞編碼，詞本身的界定與處理就是一個難題。首先，漢語中的詞與詞組的界線是相當(dāng)模糊的。其次，按照目前對“詞”的理解，詞的數(shù)量是無限的，不可能對所有的詞都進行編碼。這兩個問題都歸結(jié)為一個技術(shù)問題：如何制定一個切實可行的收詞原則。第三，漢語中有為數(shù)不少的“離合詞”，同一個詞的兩個部分往往被句中的其他詞語分開，而且往往有多種變形，例如“幫忙”一詞，可以表現(xiàn)為“幫幫忙”、“幫我個忙”、“這個忙不能幫”，等等。這類詞如何處理？

3 編碼方案的設(shè)計原則

3.1 字詞統(tǒng)編，與現(xiàn)有標(biāo)準(zhǔn)兼容

詞的數(shù)量是無限的，不可能對所有的詞都進行編碼，那些不能編碼的詞仍然只能用字組合來表示。所以，需要對字與詞進行統(tǒng)一編碼，盡可能使得各種需求能夠以最簡單的方式得到實現(xiàn)。

既然需要對字與詞進行統(tǒng)一編碼，自然就要考慮與現(xiàn)有標(biāo)準(zhǔn)兼容的問題。目前，世界通行的字符編碼標(biāo)準(zhǔn)ISO10646 和UNICODE 應(yīng)當(dāng)是統(tǒng)一編碼方案的基礎(chǔ)。ISO10646 與UNICODE 雖然是由兩個不同的組織分別頒布的，但做到了高度的協(xié)調(diào)統(tǒng)一。通常人們更習(xí)慣于使用UNICODE 來稱呼相應(yīng)的標(biāo)準(zhǔn)，本文亦沿用這一習(xí)慣。

UNICODE 的全集稱為UTF－32，是一個4 字節(jié)編碼方案。UTF－32 定義了17 個碼位平面，每個平面擁有65 536（即64K）個碼點。絕大多數(shù)字符（包括中文字符）都有一個單獨的碼點定義，少量字符由兩個以上的碼點組合定義。17 個平面中，0 號平面稱為“基本多文種平面”，包括了世界上眾多的文字字符；其余16 個平面或作為補充平面，或作為私有平面，或尚未明確定義其用途。按照64K 一個平面計算，4 字節(jié)空間可分配的平面數(shù)最多可達216，即65 536 個，所以還有巨大的編碼空間可供運用。

由于實際中1～16 號平面的代碼被用到的機會極少，一般認為采用UTF－32 的4 字節(jié)編碼是一種浪費。所以，目前實際應(yīng)用中廣泛采用的是UTF－16。UTF－16 是UTF－32 的一個子集，包括0號平面和1 號平面“多文種補充平面”，但是采用2 字節(jié)實施方案。0 號平面的代碼是從0x0～0xFFFF，非常容易實現(xiàn)從4 字節(jié)平面到2 字節(jié)平面的映射。但1 號平面的代碼是從0x10000～0x1FFFF，要實現(xiàn)從4 字節(jié)平面到2 字節(jié)平面的映射就需另辟蹊徑。UTF－16 采用了一種十分巧妙的辦法，實現(xiàn)了這樣一種變換［5］。0 號平面專門為此貢獻了2K 的空間。

此外，0 號平面還留出了6K 多一點的私有空間，目前還沒有限定它的用途。

UNICODE 的上述安排為字詞統(tǒng)一編碼提供了可能性。

現(xiàn)實世界中，詞的數(shù)量遠遠大于字的數(shù)量。以漢字為例，根據(jù)筆者對約2 000 萬字的國家語委語料庫中語料的統(tǒng)計，除去那些稱呼個體的名詞（人名、地名、機構(gòu)名等），共有詞128 620 個。UNICODE 0 號平面中收錄了約70 種文字，但如果以詞來分類，則數(shù)目遠不止這些，例如拉丁文字母就包含了多種語言。世界上約有200 個國家，假定每個國家需要一種不同于其他國家的通用語言，每種語言的詞數(shù)以漢語為參考計，則全世界的詞數(shù)約為2 500 萬，約等于24 M。這樣，若采用4 字節(jié)編碼并考慮與UNICODE 編碼的兼容性，則可以UTF－16 的0 號平面的私有空間為前綴，并將其擴展為4 字節(jié)，作為多語種的詞編碼空間。這個詞編碼空間的大小比6K × 64K =384 M 還要多一點，遠大于上面估計的24 M。換個角度考慮，將384 M 的編碼空間分配給200 種語言，則平均每種語言擁有19. 2 M，即近2 000萬的碼位空間，這應(yīng)當(dāng)是足夠大的。

UTF－16 規(guī)范的另一項規(guī)定給使用更大的詞編碼空間提供了可能性，這就是UTF－16 的BOM標(biāo)記0xFFFE。BOM（Byte Order Mark）本是用在UTF－16 文件的開頭，表示字節(jié)排列的順序。我們也可以利用它表示更多的意義，例如，用兩個BOM 表示使用自定義的詞編碼空間。

對UTF－16 的這種擴展僅僅只涉及處理軟件的升級而不會影響到現(xiàn)有的數(shù)據(jù)文件，所以，在UNICODE 中融入詞編碼是完全可行的。而且，今后的數(shù)據(jù)文件中的字依然采用2 字節(jié)碼，節(jié)省存儲空間。

3.2 充分考慮自然語言深度處理的需求

如2.2 節(jié)所述，由于自然語言處理的許多問題還是霧里看花，處在探索階段，所以目前恐怕難以給出一個能被證明可行的具體原則。本文只是根據(jù)已有的研究給出一個供探討的思路。

隨著自然語言理解與翻譯的研究的逐步深入，越來越多的研究傾向于運用語義關(guān)系來解決詞法分析與句法分析中的疑難問題。完全的語義關(guān)系描述十分復(fù)雜，需要采用文獻［4］采用的ontology 這樣的具有復(fù)雜數(shù)據(jù)結(jié)構(gòu)的系統(tǒng)，不是編碼系統(tǒng)所能勝任的，但是用編碼系統(tǒng)表達簡單的語義關(guān)系則是可能的。

概念空間樹表達簡單的語義關(guān)系。從本質(zhì)上講，概念空間樹是一種分類系統(tǒng)。不過分類本身就是事物之間的一種基本關(guān)系。如果能證明現(xiàn)有的概念空間樹的各個分類之間具有確定的語義關(guān)系，或者可以根據(jù)確定的語義關(guān)系類來組織定義概念空間樹，那么概念空間樹就是一種很理想的詞編碼設(shè)計依據(jù)。另外，概念空間樹對于搜索對象為某一類事物的檢索是十分理想的編碼方案。

3.3 編碼空間分配原則

首先，編碼空間分配必須滿足多文種編碼的需求。在此基礎(chǔ)上，理想的境界是，不同文種的同義詞的碼位在各自文種空間中的相對地址是相同的。例如，假設(shè)漢語“詞”的碼位地址是AC，其中A 是漢語碼位空間的地址前綴，C 是“詞”在漢語碼位空間中的低位地址，即相對地址；再設(shè)英語碼位空間的地址前綴是B，則“詞”的同義詞“word”的碼位地址應(yīng)是BC。當(dāng)然，這一設(shè)想能在多大程度上實現(xiàn)有待研究，然而其好處是不言而喻的。

其次，盡可能考慮空間與時間效率的一體化、最大化。上述提出了按概念空間樹進行編碼設(shè)計的設(shè)想，目前對概念空間樹還缺乏十分系統(tǒng)的研究。不過，可以用與之十分相似的詞分類樹來說明。圖1 是概念空間樹的一個不完全不嚴(yán)格的示意。

圖1 概念空間樹

顯然，概念空間樹上各個分支的層次數(shù)目與各個節(jié)點的分支數(shù)目或葉子數(shù)目都是很不相同的，如果按照通常的分類編碼方法，例如一級概念有4 個，則分配2 bit 作一級概念的類別代碼；如果一級概念有5～8 個，則分配3 bit。這種分配法給每個一級概念分配的碼位空間都是一樣大，這顯然是極不合理的。合理的碼位空間分配應(yīng)當(dāng)使給每一個節(jié)點分配的碼位空間盡可能接近其需求。為此，本文提出兼顧空間效率與時間效率的按節(jié)點需求分配碼位空間的原則及相應(yīng)的分配方法。

以圖1 一級概念節(jié)點為例，根據(jù)對國家語委語料庫的統(tǒng)計，與一級概念對應(yīng)的普通名詞有57 085 個，動詞有32 093 個，形容詞有8 401 個，副詞有2 066 個，（由于該語料庫中存在不少錯誤標(biāo)注，上述數(shù)據(jù)不夠準(zhǔn)確）。易見，動詞、形容詞、副詞加起來少于名詞，形容詞、副詞加起來又不到動詞的一半，副詞又不到形容詞的一半。據(jù)此，可分配一級概念節(jié)點的碼位地址空間前綴如表1 所示。

表1 一級概念碼位空間分配表

本文提出按碼位空間組織的完全二叉樹表示的概念空間樹，并引入“虛節(jié)點X”的概念。這種完全二叉樹有清晰的空間分配信息，每個節(jié)點的位置唯一地確定了該節(jié)點所轄的碼位空間的起始地址及碼位空間大小。圖2 是包含了表1 空間分配信息的圖1 之一部分（因為沒有統(tǒng)計二級概念的成員數(shù)目，不能進行進一步的空間需求，也就不能確定各個二級概念節(jié)點的位置）。下面對這種完全二叉樹表示的概念空間樹作一簡要說明。

圖2 含有空間分配信息的概念空間樹

（1）除根節(jié)點外，該樹包括3 種節(jié)點：實節(jié)點、虛節(jié)點X、空節(jié)點Z。實節(jié)點即概念節(jié)點，一個概念的級別等于從根節(jié)點出發(fā)到達該概念節(jié)點的路徑上所具有的實節(jié)點的個數(shù)，包括該概念節(jié)點本身；虛節(jié)點X 的存在說明其下游至少有一個實節(jié)點；空節(jié)點Z 表示該節(jié)點所轄的碼位空間尚未分配。

（2）一個實節(jié)點的碼位空間的前綴就是從根節(jié)點開始到該實節(jié)點的路徑上的各條邊上的數(shù)字的串聯(lián)。例如，方式節(jié)點的前綴是00011。

（3）每一層面上的所有節(jié)點的碼位空間的大小都是一樣的，而且按逐層減半遞減，一目了然。

顯然，圖2 所示二叉樹很容易用一張二維表表示，易于編程計算。

此例中副詞只有2 066個卻占用了4K 即4 096個碼位空間，看是浪費實際是值得的。因為這可以大大提高計算效率，尤其是需要檢索某個概念類的成員時。順便指出，由于新概念及新成員的出現(xiàn)是必然的，所以設(shè)計時必須留足足夠的空間已備將來之需。

3.4 編碼穩(wěn)定性

由于計算機信息存儲與重現(xiàn)的特點，要求用來表示信息的編碼必須是十分穩(wěn)定的。一個編碼標(biāo)準(zhǔn)中的編碼一旦確定，就不能改變，否則會帶來巨大的麻煩。計算機誕生迄今，雖然信息編碼也經(jīng)歷了一個發(fā)展過程，其間產(chǎn)生了若干個編碼標(biāo)準(zhǔn)，但每一個編碼標(biāo)準(zhǔn)一旦頒布，便維持不變。要變，就要有新的標(biāo)準(zhǔn)及相應(yīng)的系統(tǒng)。

字與詞都是有生命的事物。相對而言，字的生命周期長得多，尤其是表音文字。編碼空間中的每一個碼位都是十分寶貴的資源，必須十分珍惜。對那些生命力不強的字詞進行編碼是對資源的浪費。所以，應(yīng)對哪些詞進行編碼是一件十分慎重的事情。

按照穩(wěn)定性原則，以下幾類詞一般不應(yīng)進入詞編碼：

（1）個體名詞。

此處的個體名詞指那些因個體的出現(xiàn)而產(chǎn)生的名詞，包括人名、地名、機構(gòu)名、作品名，也包括具體的產(chǎn)品名，例如“雪鐵龍”。

個體名詞的一個重要特性是隨著這個個體的消亡，其名稱的使用也會隨著時間的流逝而消失，雖然其中有一些會被新產(chǎn)生的個體重復(fù)使用，例如人名，但意義是有區(qū)別的；甚至極少數(shù)的名稱會被長久使用，如“孔子”。個體名詞的另一個重要特性是數(shù)量龐大且其產(chǎn)生與消亡不可預(yù)測。

由于個體名詞的以上兩個特性，對個體名詞的編碼必須慎之又慎。一般而言，個體名詞不應(yīng)當(dāng)進入編碼。

（2）未登錄詞。

未登錄詞既包括大量的個體名詞，也包括大量的縮略詞與動詞、形容詞、副詞等。顯然，未登錄詞都是沒有達到穩(wěn)定狀態(tài)的詞，都不應(yīng)進入詞編碼。

3.5 分階段原則

由于詞編碼設(shè)計的極端復(fù)雜性，要想在一個較短的時間內(nèi)一次性完成是極其困難的。應(yīng)當(dāng)分階段進行，并且字詞統(tǒng)一編碼總體方案為分階段進行提供了可行性。只要詞編碼總體空間分配方案確定了，就可以隨時對已經(jīng)考慮成熟的部分進行詞的編碼，而沒有考慮成熟的部分仍采用字編碼。

4 幾個疑難問題

4.1 離合詞編碼問題

漢語中有為數(shù)不少的“離合詞”，同一個詞的兩個部分往往被句中的其他詞語分開，而且往往有多種變形。如2.3 所述，“幫忙”一詞可以表現(xiàn)為“幫幫忙”、“幫我個忙”、“這個忙不能幫”，等等，對這類詞，目前恐怕只能采取分而治之的辦法：合時，按單一詞處理，當(dāng)然地使用詞編碼；離時，按目前的字編碼方法處理。這里需要進一步考慮的一個問題是，如何歸類？因為“離合”這種屬性超出了概念空間尤其是語義的范疇。筆者以為還是要將“離合”這一屬性作為一個子類，為這類詞的處理提供必要的信息。畢竟設(shè)計詞編碼的目的是為了方便自然語言的處理，其余都是可以變通的。

4.2 多義項詞編碼問題

一詞多義是自然語言的普遍現(xiàn)象，而且同一詞的不同義項往往分屬于不同的概念空間。顯然，屬于不同概念空間的義項應(yīng)當(dāng)用不同的編碼。根據(jù)前面的分析，編碼空間不是問題，困難的問題可能還是在于概念空間的劃分，因為自然語言的概念邊界往往帶有很大的模糊性。而且就像新詞可以無中生有一樣，新的詞義也可以無中生有。例如近年流行的“種房子”一詞中的“種”，除了有“蓋”的意思外，還包含著另外一層深意，而這層深意既與“種”的意思相關(guān)又有很大的區(qū)別，像這樣的詞應(yīng)當(dāng)歸于哪一個概念空間，恐怕很難定奪。筆者認為是可以像處理離合詞那樣處理。

4.3 漢語中單字詞編碼問題

漢語中有大量的單字詞，而且其中大多數(shù)是一詞多義。筆者認為，應(yīng)當(dāng)按多義項詞處理，即對那些有確定語義的單字詞應(yīng)根據(jù)其義項編碼。

5 結(jié)語

本文所描述的方案主要是想給出一種思路，以供同仁參考。還有許多問題有待發(fā)現(xiàn)與研究。這些問題也包括本文已經(jīng)指出的那些問題。應(yīng)當(dāng)指出的是，首先是方向性的問題，例如對于詞編碼的作用的目標(biāo)是否定得過高？但反過來，一些技術(shù)上的細節(jié)問題也可以影響到整體目標(biāo)的實現(xiàn)。

［1］ 朱巧明，趙英英，錢培德. 基于中文詞編碼的壓縮算法ZHCP 的實現(xiàn)［J］.小型微型計算機系統(tǒng)，2003（2）：306－308.

［2］ 焦慧，劉遷，賈惠波. 一種基于詞編碼的中文文檔格式［J］.計算機科學(xué)，2008（10）：162－164.

［3］ 李培峰，朱巧明，錢培德. 基于語義的多文種編碼方案SemaCode［J］. 計算機應(yīng)用研究，2008（6）：1652－1656.

［4］ 李培峰. 基于語義的多文種信息處理平臺SMIPP 的研究［D］.蘇州：蘇州大學(xué)，2006.

［5］ 維基百科. UTF－16［EB/OL］.［2012－12－20］. http://zh.wikipedia.org/zh－cn/UTF－16.