漢字編碼的質(zhì)量及評(píng)測研究

張?jiān)隽?/p>

摘要： 漢字編碼的質(zhì)量直接反映漢字輸入技術(shù)的水平，也影響著計(jì)算機(jī)的推廣應(yīng)用。文章采用實(shí)證研究和統(tǒng)計(jì)研究等方法，對優(yōu)秀漢字編碼所具有的特征和評(píng)測指標(biāo)作了詳細(xì)分析和探討，并提出了一個(gè)新的評(píng)測指標(biāo)—碼荷量。碼荷量可以反映重碼率和重碼密度的綜合情況，利用它可以更加準(zhǔn)確地判斷輸入效率。

關(guān)鍵詞： 漢字輸入； 漢字編碼； 評(píng)測； 碼荷量

中圖法分類號(hào)：TP391.1文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228(2012)03-65-03

Qualitative measurement of Chinese-characters encoding

Zhang Zengliang

（PLA Foreign Languages University, Luoyang, Luoyang， Henan 471003， China）

Abstract： The encoding and input techniques of Chinese characters emerged and got developed as computers entered China. The quality of the Chinese character encoding directly reflects the speed of input of Chinese characters, and influences the extent of popularization and application of computers in China. In this paper, the author applies empirical and statistical approach to conduct a specific analysis and discussion on qualitative measurement of Chinese character encoding, and proposes a new measurement index—code load.

Key words： Chinese character input； Chinese character encoding； qualitative measurement； code load

0 引言

自上世紀(jì)八十年代以來，漢字編碼技術(shù)得到了不斷發(fā)展和進(jìn)步，人們研制出了多種漢字編碼及其輸入系統(tǒng)，如“全拼”、“五筆”、“紫光”、“三音碼”、“自然碼”、“搜狗”、“智能ABC”等，它們都有著各自的特點(diǎn)，并在信息處理領(lǐng)域發(fā)揮著重要作用，相信今后還會(huì)不斷有新的更好的編碼產(chǎn)生。那么，如何科學(xué)評(píng)價(jià)一個(gè)漢字輸入系統(tǒng)和漢字編碼的優(yōu)劣呢？下面我們就來討論優(yōu)秀漢字編碼所具有的特征及評(píng)測指標(biāo)。

1 優(yōu)秀漢字編碼的特征

優(yōu)秀的漢字編碼會(huì)使?jié)h字的輸入效率得到極大提高，也會(huì)深受廣大用戶的普遍歡迎。我們認(rèn)為，一個(gè)優(yōu)秀的漢字編碼應(yīng)具有下面幾個(gè)特征。

1.1 編碼要規(guī)范

漢字編碼的規(guī)范性是衡量漢字輸入系統(tǒng)質(zhì)量的重要指標(biāo)之一。漢字編碼只有符合規(guī)范，才能使識(shí)字、查字、寫字、打字相一致，做到易學(xué)高效，從而具有旺盛的生命力并得到大規(guī)模推廣。漢字經(jīng)過長期的發(fā)展和演變，不論是發(fā)音、字形結(jié)構(gòu)還是表義功能，都有其自身的規(guī)律，人們在長期使用漢字的過程中也形成了客觀的視聽和書寫習(xí)慣。漢字編碼必須遵循這種規(guī)律和習(xí)慣，這就是規(guī)范性。要實(shí)現(xiàn)漢字編碼的規(guī)范化，應(yīng)著重把握以下幾點(diǎn)。

⑴ 字音編碼要符合國家公布的《漢語拼音方案》。無論是音碼還是音形碼，都應(yīng)以《漢語拼音方案》來作為漢字發(fā)音的依據(jù)和標(biāo)準(zhǔn)，那些為遷就部分方言較重地區(qū)的人們而設(shè)置的所謂“南方音”的做法是值得商榷的。

⑵ 拆分部件應(yīng)符合國家公布的《漢字統(tǒng)一部首表》和《漢字末級(jí)部件組字頻度表》，以及國標(biāo)GF 3001（《信息處理用GB 13000.1字符集漢字部件規(guī)范》）。由于漢字是表意文字，構(gòu)字部件（尤其是偏旁部首）大都表示一定的意義并有固定的形態(tài)。為了符合人們的識(shí)字習(xí)慣，對于那些形碼類（含音形碼）編碼方案，應(yīng)選用規(guī)范的部首和偏旁做為拆分部件，而不應(yīng)使用隨意拆出的不規(guī)范的所謂字根。

⑶ 編碼所涉及的筆畫、筆順應(yīng)符合國標(biāo)GF 3002（《GB 13000.1字符集漢字筆順規(guī)范》）的規(guī)定。

⑷ 編碼規(guī)則要符合我國的《義務(wù)教育小學(xué)語文教學(xué)大綱》。不規(guī)范的編碼會(huì)對識(shí)字教學(xué)產(chǎn)生干擾。無論哪種類型的編碼方案，都不能有悖于我國中小學(xué)語文教學(xué)規(guī)范。同時(shí)，中小學(xué)的漢字編碼教學(xué)切忌單純?yōu)榱瞬僮麟娔X和輸入漢字，而應(yīng)將編碼教學(xué)融入語文教學(xué)中，進(jìn)而促進(jìn)語文教學(xué)有利于學(xué)生能力的培養(yǎng)。

⑸ 漢字輸入鍵盤應(yīng)采用國際通用的標(biāo)準(zhǔn)鍵盤，以利于輸入系統(tǒng)的推廣普及和交流。

⑹ 碼元定義要符合標(biāo)準(zhǔn)要求。碼元是漢字編碼的基礎(chǔ)和關(guān)鍵性元素，其定義包含兩方面內(nèi)容：一是確定具體的碼元和數(shù)目，二是完成碼元在鍵盤中的布局。碼元數(shù)既不能太多，也不能太少，一般以26個(gè)英文字母和10個(gè)數(shù)字為限，需要時(shí)可使用個(gè)別的輔助鍵。鍵盤布局應(yīng)遵從合理、規(guī)范和均衡的原則目前可遵循的標(biāo)準(zhǔn)有：國標(biāo)GB/T19246（《信息技術(shù)通用鍵盤漢字輸入通用要求》）、國標(biāo)GB/T18031（《信息技術(shù)數(shù)字鍵盤漢字輸入通用要求》）等。

1.2 能反映漢字性質(zhì)

漢字是表意文字，是音、形、義的統(tǒng)一體，表意是漢字的性質(zhì)。根據(jù)漢字的構(gòu)造方式我們知道，大部分形聲字都是由“形旁”（偏旁部首）和“聲旁”兩部分組成的，“形旁”表示漢字的意義，“聲旁”表示漢字的發(fā)音，例字見表1。

表1形聲字舉例

[[例字&聲旁、形旁及意義&描&聲旁：“苗”表示發(fā)音miao

形旁：“扌”表示描畫需用手&想&聲旁：“相”表示發(fā)音xiang

形旁：“心”表示“想”是心理活動(dòng)&唱&聲旁：“昌”表示發(fā)音chang

形旁：“口”表示唱歌需用口&霧&聲旁：“務(wù)”表示發(fā)音wu

形旁：“雨”表示霧可成雨&飄&聲旁：“票”表示發(fā)音piao

形旁：“風(fēng)”表示有風(fēng)方可飄&]]

漢字的這一獨(dú)特性質(zhì)為漢字輸入技術(shù)提供了一個(gè)廣闊天地。既然是漢字輸入系統(tǒng)，其編碼方案就應(yīng)反映漢字的性質(zhì)，要具有中國傳統(tǒng)文化的內(nèi)涵。在這方面，“三音碼”和“自然碼”不失為優(yōu)秀漢字編碼的典型代表。例如，“三音碼”中“婆”字的編碼是pond，其中po表示字音（聲母和韻母），n表示偏旁“女”（婆婆肯定是女人），d表示偏旁在字的底部。

顯然，能夠體現(xiàn)漢字性質(zhì)的編碼方案，既有較深的文化內(nèi)涵，又有很好的群眾基礎(chǔ)，自然也有很強(qiáng)的生命力。

1.3 有較強(qiáng)的易學(xué)性

漢字編碼的易學(xué)性是衡量漢字輸入系統(tǒng)優(yōu)劣的一個(gè)重要指標(biāo)。在信息時(shí)代的今天，人們時(shí)刻都在與信息打交道，掌握信息處理技術(shù)不再只是專職人員的事情。因此，一個(gè)漢字輸入系統(tǒng)要想得到廣泛普及和具有長久生命力，其編碼就必須具有較強(qiáng)的易學(xué)性，使普通用戶不需花費(fèi)太多的精力和時(shí)間就能掌握。

“漢字輸入過程是一種非常復(fù)雜的認(rèn)知加工過程，不管采用形碼還是音碼的方式，它都包括了從文字識(shí)別、記憶信息提取、語音（或字形）編碼、鍵盤空間位置匹配到漢字模式匹配和認(rèn)知監(jiān)控等一系列認(rèn)知加工活動(dòng)”[1]?？梢?，要提高漢字編碼的易學(xué)性，可從降低編碼的復(fù)雜度入手，以減少輸入過程中的認(rèn)知加工活動(dòng)。為此，編碼方案應(yīng)選擇合適的編碼類型，合理規(guī)劃編碼所攜帶的漢字信息，簡化編碼規(guī)則，避免過度拆字。

1.3.1 選擇適宜的編碼類型

漢字編碼類型可分為四種：①單純基于字音元素的純音碼；②單純基于字形元素的純形碼；③基于字音和字形這兩種元素的音形碼（含以音為主和以形為主的）；④以純數(shù)字作為碼元的數(shù)字碼。

一般來說，數(shù)字碼（如電報(bào)碼、區(qū)位碼等）適用于專業(yè)人員。純音碼具有重碼率和碼荷量高的致命弱點(diǎn)，純形碼具有沉重的“拆字”負(fù)擔(dān)；而音形碼則具有明顯的編碼優(yōu)勢，它既有易學(xué)性，又無沉重的“拆字”負(fù)擔(dān)，并且很符合以漢語為母語的人們的思維習(xí)慣。嚴(yán)喻[2]老師對漢字屬性評(píng)估的研究結(jié)果認(rèn)為，“聲母和筆順與其他漢字屬性相比，其規(guī)范性和易學(xué)性是最好的”。因此，優(yōu)秀的編碼方案往往出自以“音”為主、以“形”為輔的音形碼，且“形”也以“音托”的方式來體現(xiàn)。

以音為基礎(chǔ)的編碼方案具有較短的培訓(xùn)周期和較好的易學(xué)性，如全拼、智能ABC、紫光、三音碼和自然碼等都是如此。

1.3.2 攜帶適量的漢字信息

錢玉趾[3]認(rèn)為，漢字的重要信息包括字音信息（含聲母、韻母、聲調(diào)）、字義信息（偏旁部首）以及字形信息（結(jié)構(gòu)類型、構(gòu)字部件、部件位置、筆畫及筆畫數(shù)）等大小10余項(xiàng)。任何編碼方案都會(huì)攜帶適量的漢字信息。所攜帶的漢字信息越多，編碼越復(fù)雜；所攜帶的漢字信息越少，編碼越簡單，但重碼率和碼荷量也越高。一般來說，攜帶3~4項(xiàng)漢字信息比較合適，太少會(huì)造成大量重碼，太多會(huì)增加碼長和編碼復(fù)雜度。比如，“三音碼”的漢字編碼攜帶了聲母、韻母、偏旁部首以及偏旁的位置等4項(xiàng)信息，而“自然碼”攜帶了聲母、韻母、偏旁部首等3項(xiàng)信息，實(shí)踐證明，這兩個(gè)編碼方案都具有較好的易學(xué)性。

1.3.3 避免對漢字的過度拆分

使用形碼類和音形碼編碼方案輸入漢字都需對漢字進(jìn)行拆分。那么，采取怎樣的拆分原則最為直接而簡單呢？從形象思維角度看，合體字（各組字部件分離）比較容易拆分，而交重字（組字部件交叉或重疊）則不易拆分。因此，為了降低拆分難度，可將交重字視為不可拆分的末級(jí)部件，以避免對漢字的過度拆分。“三音碼”采用的正是這一拆分原則，對于交重字采用極其簡單的處理方法，即：干脆不拆出偏旁，而統(tǒng)一用o來標(biāo)識(shí)。例如，“末”字的編碼為moo，其中mo表示字音，第二個(gè)o表示該字為交重結(jié)構(gòu)，而不將其拆分為“一”和“木”。

1.4 符合人的思維習(xí)慣

語言是人類思維的直接表現(xiàn)形式，文字只是語言的書面符號(hào)。信息的第一載體是語言而非文字。人們在進(jìn)行思維和交流時(shí)，首先反映在腦海中的是語音，然后通過語言表達(dá)出來?？梢?，與人類思維聯(lián)系最緊密、最能直接反應(yīng)人的思想活動(dòng)的是語音。

打字過程中如能聯(lián)系語音，就不會(huì)去死記編碼，而是想到什么詞語就直接打出什么詞語，打字與思維保持高度一致。以輸入“其樂無窮”這個(gè)詞為例，如采用以音為主的輸入系統(tǒng)（比如三音碼），則只需輸入qlwq（各字的聲母）即可。這個(gè)輸入過程與思維過程是完全一致的，不會(huì)發(fā)生因復(fù)雜的拆字過程而使打字者的寫作思路受到干擾的現(xiàn)象。

可見，音碼類（含音形碼）編碼方案在符合人的思維習(xí)慣方面具有明顯優(yōu)勢。對于那些作家、記者和編輯等文字工作者來說，使用此類編碼可實(shí)現(xiàn)構(gòu)思、撰稿、編輯、修改等工作的協(xié)調(diào)開展，大大提高工作效率。

1.5 有較強(qiáng)的完備性

編碼方案的完備性是指方案的“編碼規(guī)則不僅適用于基本字符集中的漢字的編碼，還適用于大字符集乃至全字符集中的漢字的編碼”[4]，并且繁簡字的編碼能保持一致。漢字字符集有GB2312-80、GBK和GB18030等。其中，GB2312-80是我國于1980年制訂的國標(biāo)基本字符集，收錄了6763個(gè)漢字（一級(jí)字3755個(gè)，二級(jí)字3008個(gè)）；GBK收錄了20902個(gè)漢字；GB18030收錄了27484個(gè)漢字。早期受操作系統(tǒng)的限制，大多數(shù)編碼方案僅支持GB2312-80，雖然其漢字利用率高達(dá)99%，基本可以滿足日常文字工作的需求，但繁體字（如國、組、嗎、獨(dú)等）和一些非常用字（如镕、堃、犇、瞭、喆、囍等）卻無法輸入。目前，隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，編碼方案支持基本字符集和全字符集已不成問題。

一般來說，音碼類編碼方案與形碼類編碼方案相比有較好的完備性。以“獨(dú)（獨(dú)）”字為例，“全拼”的繁簡編碼同為du，“三音碼”的繁簡編碼同為dufq（du表示字音，fq表示反犬旁“犭”），而對于形碼類編碼方案來說，同一漢字的繁簡編碼往往相去甚遠(yuǎn)。

1.6 有較高的輸入效率

衡量一個(gè)漢字編碼的優(yōu)劣還有一個(gè)重要指標(biāo)—漢字的輸入效率。與輸入效率密切相關(guān)的因素主要有：易學(xué)性、規(guī)范性、編碼長度、平均碼長、重碼率、碼荷量等。其中易學(xué)性和規(guī)范性前面做過介紹，下面著重討論其余幾項(xiàng)。

1.6.1 編碼長度

編碼長度是指單個(gè)編碼所使用的最大碼元個(gè)數(shù)。編碼長度往往與編碼的復(fù)雜度成正比，而與重碼率和碼荷量成反比。可見，編碼長度應(yīng)控制在一個(gè)合適的范圍，偏高或偏低都會(huì)影響漢字的輸入效率。實(shí)踐證明，一個(gè)既有較低編碼復(fù)雜度，又有較高輸入效率的編碼方案，其編碼長度在4左右。

1.6.2 平均碼長

平均碼長是指在輸入給定的測試樣本時(shí)，測得的輸入每個(gè)漢字的平均擊鍵次數(shù)，它是一個(gè)動(dòng)態(tài)指標(biāo)，其量化公式為：

輸入測試樣本的擊鍵次數(shù)/測試樣本總字?jǐn)?shù)

這一公式可簡記為：

鍵/字[5]

平均碼長是在某個(gè)編碼方案的綜合輸入環(huán)境中測得的，一般不計(jì)空格鍵。在測試過程中可使用該編碼方案所支持的一切輸入手段，如：簡碼輸入、詞組輸入、高頻先見等。顯然，平均碼長越短輸入效率越高。筆者的研究認(rèn)為，好的輸入方案的平均碼長一般低于2.2。

1.6.3 重碼率

重碼率是衡量一個(gè)編碼方案中具有相同編碼的漢字多少的指標(biāo)，其量化公式為：

（重碼字?jǐn)?shù) / 漢字總數(shù)）*100%

一般來說，在不增加編碼復(fù)雜度的情況下，重碼率越低越好。重碼率與輸入效率成反比。

值得說明的是，重碼率的評(píng)測結(jié)果往往具有一定的不確定性。也就是說，重碼率的高低并不能確切反映編碼方案的優(yōu)劣，應(yīng)綜合考慮其他評(píng)測指標(biāo)（如碼荷量）的高低。

例如，假設(shè)有A，B兩個(gè)編碼方案，A方案中每2個(gè)字使用一個(gè)編碼，B方案中每10個(gè)字使用一個(gè)編碼。盡管它們的重碼率都是100%，但A方案要明顯優(yōu)于B方案。這是因?yàn)椋珺方案中重碼字的密度和選擇難度要遠(yuǎn)大于A方案，輸入效率當(dāng)然也低于A方案。

1.6.4 碼荷量

碼荷量（Code load）是筆者在長期的編碼實(shí)踐中摸索到的一個(gè)有效評(píng)測指標(biāo)，它表示編碼方案中平均每個(gè)編碼所對應(yīng)的漢字或詞的個(gè)數(shù)。碼荷量的量化指標(biāo)可用公式表示為：

L= W/C

其中，L表示碼荷量，W表示參加編碼的字詞總數(shù)，C表示編碼方案中的編碼總數(shù)。

碼荷量反映的是重碼率和重碼密度的綜合情況，其評(píng)測效果要優(yōu)于重碼率。應(yīng)該認(rèn)識(shí)到，影響漢字輸入效率的關(guān)鍵因素是碼荷量，而非重碼率。碼荷量越高，意味著重碼字的密度和選擇難度越大，輸入效率越低。這如同一輛卡車，裝載的東西越多，跑得就越慢。我們的研究結(jié)果表明，編碼方案的碼荷量只要不超過3就是可行的，而小于1.2就是很好的，“五筆字型”和“三音碼”的碼荷量都在1.2左右。

如前述的A方案，盡管其重碼率高達(dá)100%，但由于其碼荷量只有2，輸入漢字時(shí)只需通過一個(gè)數(shù)字鍵即可選擇所要的字，如能借助輸入系統(tǒng)的“高頻先見”智能處理功能甚至可免除選擇鍵，因而輸入效率不會(huì)受到太大影響。

對于“全拼”編碼方案來說，不僅重碼率高達(dá)100%（只有“嗲”、“么”、“暖”、“森”、“僧”、“能”、“給”、“賊”等字無重碼），碼荷量竟也高達(dá)16.2。這就意味著平均每個(gè)編碼要對應(yīng)16個(gè)以上的漢字，要輸入一個(gè)字往往需要進(jìn)行多次的翻頁選字操作，輸入效率自然不會(huì)高。碼荷量高正是“全拼”方案不如人意的主要癥結(jié)。

可以說，“全拼”效率低的根本原因是有很高的碼荷量和較大的平均碼長。而“五筆字型”和“三音碼”等輸入法的輸入效率之所以高，是因?yàn)樗鼈兊木幋a具有較低的碼荷量和較短的平均碼長。

2 漢字編碼的評(píng)測指標(biāo)

由前述可見，衡量一個(gè)漢字編碼的優(yōu)劣，需要綜合考慮多個(gè)評(píng)測指標(biāo)。我們將這些指標(biāo)劃分為靜態(tài)評(píng)測指標(biāo)和動(dòng)態(tài)評(píng)測指標(biāo)兩類。

靜態(tài)評(píng)測指標(biāo)是指漢字編碼方案所固有的一些狀態(tài)和性能指標(biāo)，包括編碼類型、攜帶信息、碼元定義、所支持的漢字字符集、規(guī)范性、編碼長度、重碼率以及筆者提出的一個(gè)新的評(píng)測指標(biāo)—碼荷量。

動(dòng)態(tài)評(píng)測指標(biāo)是指在使用某個(gè)編碼方案進(jìn)行漢字輸入的過程中動(dòng)態(tài)體現(xiàn)的一些性能指標(biāo)，主要包括平均碼長、鍵選率、輸入效率等。

經(jīng)過筆者長期的編碼研究和實(shí)踐，提出了漢字編碼的主要評(píng)測指標(biāo)及高、中、低三個(gè)檔次的參考標(biāo)準(zhǔn)，現(xiàn)列于表2中，供廣大編碼研究者參考使用。

表2漢字編碼評(píng)測指標(biāo)及參考標(biāo)準(zhǔn)

[[評(píng)測指標(biāo)&參 考 標(biāo) 準(zhǔn)&低&中&高&靜態(tài)

指標(biāo)&編碼類型&純形碼&純音碼 &音形碼&攜帶信息&< 2 或 >5&2~3&4~5&碼元數(shù)&> 37 或 <25&25~37&26~36&鍵元分布&不支持

GB/T19246&部分支持

GB/T19246&支持

GB/T19246&字符集&GB2312-80&GBK&GB18030&規(guī)范性&不符合

GB/T19246&部分符合

GB/T19246&符合

GB/T19246&編碼長度&>10 或 < 3&6~10&3~5&重碼率&> 18%&<= 18%&< 9%&碼荷量&> 3&<= 3&< 1.2&動(dòng)態(tài)指標(biāo)&平均碼長&> 3&< =3&< 2.2&鍵選率&> 9%&<= 9%&< 6%&輸入效率&< 45字/分鐘&>= 45字/分鐘&> 56字/分鐘&]]

3 結(jié)束語

漢字編碼和輸入技術(shù)正經(jīng)歷著從不夠成熟到逐漸成熟的歷史過程。漢字編碼評(píng)測技術(shù)的不斷完善和進(jìn)步，為漢字輸入技術(shù)的發(fā)展指明了方向?？梢灶A(yù)言，漢字編碼內(nèi)在質(zhì)量的不斷提高和漢字本身所具有的獨(dú)特優(yōu)勢，將使古老的方塊字成為信息時(shí)代的驕子。

參考文獻(xiàn)：

[1] 李寧,漢字輸入法對漢字輸入技能水平的影響[J].心理研究,2010.3

(5):48~51

[2] 嚴(yán)喻,華澤璽.雙碼三筆漢字輸入法的編碼技術(shù)[J].計(jì)算機(jī)科

學(xué),2009.10:296~298

[3] 錢玉趾,徐弟宣.漢字編碼的必要信息及信息含量[J].成都大學(xué)學(xué)報(bào),

1996.6:48~54

[4] 何克抗,面向中小學(xué)的漢字編碼性能指標(biāo)分析[J].中文信息學(xué)報(bào),

1996.1:53~62

[5] 國語委,GB/T19246(信息技術(shù)通用鍵盤漢字輸入通用要求)[S].中國

標(biāo)準(zhǔn)出版社,2003.