中文分詞算法在專利文獻(xiàn)中的應(yīng)用研究*

宋立峰

?

中文分詞算法在專利文獻(xiàn)中的應(yīng)用研究*

宋立峰

福建省知識(shí)產(chǎn)權(quán)信息公共服務(wù)中心

介紹了專利文獻(xiàn)中中文分詞的基本方法，主要分析了基于詞類的錯(cuò)誤驅(qū)動(dòng)學(xué)習(xí)方法、條件隨機(jī)場(chǎng)方法、期望最大值方法在分詞方面的應(yīng)用，并進(jìn)行了對(duì)比實(shí)驗(yàn)。

專利文獻(xiàn) 中文 分詞

1 引言

專利文獻(xiàn)包含全世界科學(xué)技術(shù)信息內(nèi)容的90%[1]，其中不僅包含技術(shù)也包括法律和經(jīng)濟(jì)信息，除了某些需要保密的領(lǐng)域，如軍工行業(yè)，專利文獻(xiàn)涉及了絕大部分工程技術(shù)領(lǐng)域，如果能有效利用這些信息，就可以避免重復(fù)研發(fā)，減少開(kāi)發(fā)時(shí)間，降低開(kāi)發(fā)成本，也可以有效防止侵犯他人合法權(quán)益，降低企業(yè)風(fēng)險(xiǎn)。

怎樣才能高效地利用海量專利文獻(xiàn)信息，從這些信息中查找到需要的資料，解決這個(gè)問(wèn)題的關(guān)鍵是對(duì)專利文獻(xiàn)進(jìn)行精確快速的檢索，而進(jìn)行檢索的最重要一步是對(duì)海量專利文獻(xiàn)進(jìn)行索引，沒(méi)有索引就無(wú)法快速精確地檢索到需要的信息，索引的基礎(chǔ)則是對(duì)文獻(xiàn)進(jìn)行分詞，分詞的質(zhì)量決定了索引的質(zhì)量，一種好的分詞方法可以大幅提高文獻(xiàn)的查準(zhǔn)率。中文分詞有兩塊難點(diǎn)，一個(gè)是分詞的歧義，一個(gè)是未收錄詞的判斷[2]，專利文獻(xiàn)的用詞，有其自己的特點(diǎn)，存在著大量未收錄的專業(yè)術(shù)語(yǔ)，而歧義詞語(yǔ)僅占很小的一部分，在分詞的時(shí)候必須重點(diǎn)考慮專業(yè)術(shù)語(yǔ)的切分，因?yàn)槠鋵?duì)整體性能的影響是歧義影響的5倍[3]。下節(jié)將重點(diǎn)描述這方面的內(nèi)容。

2 專利文獻(xiàn)的用詞特點(diǎn)

我們首先需要研究專利文獻(xiàn)的用詞特點(diǎn)，通過(guò)了解掌握這些特點(diǎn)，可以利用這些規(guī)律，更好地進(jìn)行分詞處理，提升分詞效率。專利文獻(xiàn)用詞有以下幾個(gè)特點(diǎn)：

2.1 具有專利文獻(xiàn)特點(diǎn)的一些相對(duì)高頻的詞語(yǔ)，比如“本發(fā)明”、“特征”、“方法”、“一種”等，大部分的專利都會(huì)涉及這些詞語(yǔ)。

2.2 由于多數(shù)專利文獻(xiàn)帶有很強(qiáng)的專業(yè)性，有大量未登錄在詞典的詞語(yǔ)，比如“二十二碳六烯酸”、“星地應(yīng)答機(jī)”等技術(shù)詞匯，很難進(jìn)行正確的分詞，這點(diǎn)很難解決。

2.3 專利文獻(xiàn)中為了表達(dá)一種復(fù)雜的功能或儀器，往往帶有多個(gè)定語(yǔ)，比如“雙測(cè)向多臂井徑測(cè)量?jī)x器”、“高精度非垂直截面可旋轉(zhuǎn)測(cè)量?jī)x器”等等，這給我們分詞帶來(lái)了一定的困難。

2.4 專利文獻(xiàn)中為了描述清楚功能，一些專利文獻(xiàn)中會(huì)反復(fù)出現(xiàn)一些特定的詞語(yǔ)，如“一種星載計(jì)算機(jī)軟件的在軌更新方法”反復(fù)提到了“星務(wù)”這個(gè)詞，這個(gè)詞在分詞詞典里是沒(méi)有的，而我們可以通過(guò)統(tǒng)計(jì)的方法將它作為分詞標(biāo)記。

3 專利文獻(xiàn)分詞算法

3.1 分詞算法綜述

現(xiàn)有的關(guān)于中文分詞的技術(shù)主要是有兩大類，一種是利用海量詞典進(jìn)行分詞，另一種則是利用統(tǒng)計(jì)進(jìn)行分詞。詞典分詞的原理是將N個(gè)連續(xù)漢字與詞典里的詞語(yǔ)進(jìn)行適配，取其最長(zhǎng)的適配詞，拿“計(jì)算機(jī)的基本原理”來(lái)講，“計(jì)算”是一個(gè)詞，“計(jì)算機(jī)”也是一個(gè)詞，分詞的時(shí)候取長(zhǎng)度較長(zhǎng)的“計(jì)算機(jī)”，而不會(huì)取“計(jì)算”、“機(jī)”兩個(gè)詞；最基礎(chǔ)的詞典分詞方法有正向匹配算法和逆向匹配算法，它們分別是從句子的頭和尾進(jìn)行匹配，其結(jié)果基本一致，略有不同，詞典分詞的準(zhǔn)確率較高，分詞的質(zhì)量由詞典收納詞的豐富程度決定，其不具備對(duì)未知詞語(yǔ)的判斷能力。統(tǒng)計(jì)分詞可以對(duì)文獻(xiàn)中反復(fù)出現(xiàn)的詞語(yǔ)進(jìn)行識(shí)別，特別是對(duì)于專利文獻(xiàn)，其最核心的詞必然比其他詞出現(xiàn)的頻率高，但是出現(xiàn)頻率高的詞卻不一定是核心的詞，比如“可以”、“用于”等等，這些詞是常用的連接詞，出現(xiàn)的頻率很高，但卻和文獻(xiàn)的主體意思沒(méi)有關(guān)系，如果這些詞過(guò)于頻繁出現(xiàn)會(huì)降低統(tǒng)計(jì)的效率。

實(shí)驗(yàn)證明，單純的詞典法或是統(tǒng)計(jì)法對(duì)專利文獻(xiàn)分詞并沒(méi)有很好的效果，我們將對(duì)基于詞類錯(cuò)誤驅(qū)動(dòng)學(xué)習(xí)方法（CTBL）、條件隨機(jī)場(chǎng)方法（CRF）、期望最大值方法（EM）等3種分詞方法在專利文獻(xiàn)中的應(yīng)用展開(kāi)研究。

3.2 基于詞類的錯(cuò)誤驅(qū)動(dòng)學(xué)習(xí)方法

錯(cuò)誤驅(qū)動(dòng)學(xué)習(xí)方法（TBL）是一種符號(hào)式的機(jī)器學(xué)習(xí)方法，在許多語(yǔ)言應(yīng)用場(chǎng)景中都有很廣泛的應(yīng)用，例如詞語(yǔ)的分類等，Palmer還將其應(yīng)用到了漢語(yǔ)的分詞中，實(shí)際效果也表明，TBL在分詞應(yīng)用中可以有很好的功效，也可以和其他的分詞系統(tǒng)配合使用。

由于規(guī)則模板減少了TBL方法需要檢索的轉(zhuǎn)換規(guī)則的時(shí)間，所以，尋找適合的規(guī)則模板是十分關(guān)鍵的，通過(guò)對(duì)比，單純運(yùn)用詞例化模板的TBL分詞系統(tǒng)，其準(zhǔn)確率一般不超過(guò)90%，而這個(gè)水平距離優(yōu)秀的要求還有一定的距離，此外，由數(shù)據(jù)稀疏導(dǎo)致的過(guò)學(xué)習(xí)缺陷，也一直困擾著TBL方法，因此將語(yǔ)法以及詞法信息融合到TBL方法中去，可以一定程度上提高分詞的性能，CTBL方法（基于詞類）就是如此誕生的，該方法可以使分詞的學(xué)習(xí)規(guī)律更快更準(zhǔn)確[4]。

首先，把詞分為四大類：（1）已知收錄詞，包含所有已經(jīng)收錄在詞典中的詞；（2）特定名稱詞，比如地名、人名等；（3）數(shù)字名詞，時(shí)間、數(shù)量等詞；（4）派生詞，重疊詞(形形色色)等詞。

所有的詞都可以看成是一棵樹(shù)，樹(shù)的根是完整的詞語(yǔ)，而葉節(jié)點(diǎn)是分拆后的詞，除此之外的節(jié)點(diǎn)是結(jié)構(gòu)上的信息，這些信息是依照規(guī)定的語(yǔ)言法則所組成的，所以也叫作詞內(nèi)結(jié)構(gòu)。將符合規(guī)則定義的詞叫作邏輯詞，邏輯詞利用樹(shù)形結(jié)構(gòu)來(lái)表達(dá)，分詞結(jié)果會(huì)根據(jù)不同的規(guī)則產(chǎn)生變化。比如“2010年1月1日”，2010年1月1 日,它是隸屬于詞類的日期，當(dāng)使用第一種分詞方式, 結(jié)果是“2010年”、“1月”、“1日”, 一共分割成了三個(gè)部分; 當(dāng)使用第二種分詞方式，分詞結(jié)果是“2010”、“年”、“1”、“月”、“1”、“日”, 一共分割成了六個(gè)部分。而CTBL中最核心的是如何更好地學(xué)習(xí)這些規(guī)則，可以對(duì)詞進(jìn)行更為有效的分割。

CTBL會(huì)依據(jù)有差異的模板得到不相同的規(guī)則，有兩種變換的規(guī)則，一種是用來(lái)分析詞語(yǔ)的構(gòu)成信息，一種是變換詞條的規(guī)則，主要是用來(lái)處理詞例化的信息。

在CTBL中通常是經(jīng)過(guò)以下幾步來(lái)完成分詞的：首先，先使用常規(guī)的方法對(duì)原有的句子進(jìn)行預(yù)分詞，比如正向匹配算法，得到一個(gè)初步的結(jié)果，這個(gè)結(jié)果里包含著邏輯詞的列表，雖然結(jié)果并不精確，但是這為后面的工作打下一個(gè)良好的基礎(chǔ)；第二步將句子中出現(xiàn)的詞進(jìn)行標(biāo)引，然后使用CTBL方法學(xué)習(xí)相關(guān)的規(guī)則，其中就包括上述的兩種規(guī)則，最后利用規(guī)則在實(shí)際句子上進(jìn)行分詞處理，得出分詞的結(jié)果。對(duì)于專利文獻(xiàn)這種較有規(guī)則的文字描述，CBTL可以有較好的效果。

3.3 條件隨機(jī)場(chǎng)方法

專利文獻(xiàn)分詞中對(duì)專業(yè)術(shù)語(yǔ)的判斷是一個(gè)難點(diǎn)，而根據(jù)上下文來(lái)判斷一個(gè)詞是否是專業(yè)名詞是一種方法，條件隨機(jī)場(chǎng)方法可以有效地應(yīng)用于此。

條件隨機(jī)場(chǎng)模型是一種從統(tǒng)計(jì)序列標(biāo)注與分割的方法所衍生出來(lái)的方法，其本質(zhì)是一種從已知節(jié)點(diǎn)及條件中，得到結(jié)果節(jié)點(diǎn)的條件概率的無(wú)向圖的模型[5]；它比隱馬爾可夫模型(Hidden Markov Model) ( L.R.Rabiner.1989)方便的是，沒(méi)有其嚴(yán)謹(jǐn)?shù)莫?dú)立條件，其也避免了最大熵馬爾可夫模型(Maximum Entropy Markov Model, MEMM) (Andrew McCallum, 2000)所特有的“標(biāo)記偏置”[6](label-bias)(John Lafferty, 2001)的缺點(diǎn)。

CRF 是一種基于無(wú)向圖的模型,鏈?zhǔn)紺RF是最符合中文分詞特點(diǎn)的模型，其中的每個(gè)節(jié)點(diǎn)形成了鏈?zhǔn)降姆植迹械墓?jié)點(diǎn)在無(wú)向圖中形成了一個(gè)鏈，在此條件隨機(jī)場(chǎng)中,包括當(dāng)前標(biāo)記yi、前一個(gè)標(biāo)記yi-1和包含觀察序列x 的任何子集的最大連通子圖。

隨機(jī)變量X = { X1, …, Xn}表示需要觀測(cè)的序列;隨機(jī)變量Y = { Y1, Y2, …, Yn} 表示觀測(cè)序列對(duì)應(yīng)的狀態(tài)序列,隨機(jī)變量Y 的概率分布為:

Z(x) 是歸一化函數(shù)。

對(duì)于X來(lái)說(shuō), 要做的就是搜索概率最大的Y*

CRF可以將當(dāng)前詞的前n個(gè)詞以及后m個(gè)詞作為相關(guān)的信息，如此可以更準(zhǔn)確地分析當(dāng)前詞的詞性，前后相關(guān)可以提高分詞的成功率，我們?cè)诖思僭O(shè)當(dāng)前詞和其前2個(gè)詞和后兩個(gè)詞相關(guān)，假設(shè)的特征模板如下：

(1) Kn(n=-2,-1,0,1 ,2)

(2) KnKn+1(n=-2,-1,0,1,2)

(3) Pu(K0)

(4) T(K-2)T(K-1)T(K0)T(K1)T(K2)

Kn代表著詞語(yǔ)序列，n是詞在序列中的位置，例如“北京大學(xué)在中國(guó)的首都”，假設(shè)目前的處理字符“中”，則K0是“中”,而K1則表示的是“國(guó)”， K-1則代表的是“在”，同理，K2則表示的是“的”。Pu(C0)是代表標(biāo)點(diǎn)符號(hào)（如逗號(hào)、感嘆號(hào)等）的特征；T(Kn)是代表實(shí)體名稱的特征，例如所有和數(shù)字有關(guān)的詞語(yǔ)。

分詞技術(shù)的實(shí)用度主要是由兩個(gè)方面決定的，一個(gè)是詞的歧義的處理，另外一個(gè)是未記錄在詞典中的詞的分辨。

關(guān)于歧義問(wèn)題，條件隨機(jī)場(chǎng)方法主要是依靠當(dāng)前詞的相關(guān)信息來(lái)進(jìn)行判斷，比如前n個(gè)詞以及后m個(gè)詞，“福建省長(zhǎng)”的切分，由于“福建”和“省長(zhǎng)”都是已經(jīng)登錄的詞，如果按照詞典分割，就會(huì)分成“福建”和“省長(zhǎng)”，而條件隨機(jī)場(chǎng)模型就會(huì)在上下文中對(duì)這個(gè)詞的出現(xiàn)頻次進(jìn)行統(tǒng)計(jì)，比如“福建省長(zhǎng)”后面有反復(fù)出現(xiàn)了10次，而“福建省”并沒(méi)有單獨(dú)出現(xiàn)過(guò)，則說(shuō)明應(yīng)該切割為“福建省長(zhǎng)”。

而未記錄在詞典中的詞的分辨，則可以根據(jù)Cn-1和Cn + 1很好地進(jìn)行捕獲統(tǒng)計(jì)，比如“美國(guó)總統(tǒng)奧巴馬”，可以根據(jù)上下文中“奧巴馬”總是和“總統(tǒng)”一詞一起出現(xiàn)，其不是在前就是在后，說(shuō)明“奧巴馬”和“總統(tǒng)”存在著一定的聯(lián)系，“奧巴馬”是一個(gè)不可分割的詞。

3.4 期望最大值方法

期望最大值(EM，Expectation Maximization)是Dempster、Laind、Rubin 于1977 年提出的求參數(shù)極大似然估計(jì)的一種方法，是一種非常簡(jiǎn)單實(shí)用的學(xué)習(xí)算法，這種方法可以廣泛地應(yīng)用于處理缺損數(shù)據(jù)、截尾數(shù)據(jù)、帶有討厭數(shù)據(jù)等所謂的不完全數(shù)據(jù)(incomplete data)，其在專利文獻(xiàn)分詞上也有應(yīng)用。

EM算法在分詞上的應(yīng)用是以統(tǒng)計(jì)為基礎(chǔ)的，它是根據(jù)詞的出現(xiàn)頻度來(lái)構(gòu)建漢語(yǔ)分詞的概率模型。有以下假設(shè):

（1）長(zhǎng)度有限，句子是由有限個(gè)詞所組成的；

（2）所有的詞都有一個(gè)出現(xiàn)幾率；

（3）所有的詞都是獨(dú)立的，多個(gè)詞一起出現(xiàn)的幾率只和自己的出現(xiàn)幾率有關(guān)。

依據(jù)極大似然原則[7]，把一條語(yǔ)句切割成詞語(yǔ)K1, K2, …, Kn，必須使Πp (Ki)最大，使詞Ki的出現(xiàn)概率是p (Ki)。比如，把句子J1J2J3(其中Cj代表一個(gè)漢字，以下同) 切割為詞K1K2…Km(Ki代表一個(gè)詞)，一共有四種切分的可能，其中切割2具備最高的可能性。根據(jù)極大似然原則，假如已知二元組集{ Ki,p (Ki) }，就能對(duì)文本進(jìn)行處理。

表1 極大似然原則實(shí)例

EM理論通過(guò)以下四步算出詞的出現(xiàn)概率p (Ki)：

（1）先隨機(jī)設(shè)置一個(gè)詞的出現(xiàn)幾率；

（2）利用該幾率對(duì)數(shù)據(jù)庫(kù)中的語(yǔ)句進(jìn)行分詞；

（3）得到初步結(jié)果，并根據(jù)結(jié)果再次計(jì)算詞的出現(xiàn)幾率；

（4）反復(fù)執(zhí)行這個(gè)過(guò)程，以幾率值的收斂為結(jié)束標(biāo)志。

在專利文獻(xiàn)分詞中，EM算法的具體步驟如下[8]：

(1) 對(duì)所有未進(jìn)行切割的句子做以下處理:

1）根據(jù)當(dāng)前詞的初始幾率值計(jì)算每種切割的可能性的值；

2）將各種切割的可能性進(jìn)行處理，使其所有的值相加結(jié)果為1；

3）將每種切割進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)詞的總數(shù)，將第二步的結(jié)果加到詞的總數(shù)上。

(2)根據(jù)詞的數(shù)量來(lái)重新設(shè)置詞的出現(xiàn)幾率。

(3)反復(fù)這個(gè)運(yùn)算，直到詞的幾率值收斂。

本算法的復(fù)雜性的O( MLT) ，其中M 代表的是單詞的最大長(zhǎng)度，L 是迭代的次數(shù)(一般是3到10次) ，T 是數(shù)據(jù)庫(kù)的大小。

4 實(shí)驗(yàn)與分析

由于專利文獻(xiàn)的撰寫人都具有一定的語(yǔ)言水平，且專利文獻(xiàn)必須描述清楚才能使專利獲得保護(hù)，所以專利文獻(xiàn)的用語(yǔ)比較少出現(xiàn)歧義，本次試驗(yàn)將正確切分結(jié)果的詞語(yǔ)放到詞典中，假如各種方法對(duì)句子切割結(jié)果的詞出現(xiàn)在詞典中，則算成功適配，反之，算適配失敗。

實(shí)驗(yàn)結(jié)果是采用通用的分詞評(píng)比標(biāo)準(zhǔn)，即：準(zhǔn)確率(P)、召回率(R)和F值。各指標(biāo)定義如下：

切分準(zhǔn)確率(Precision) = (正確切分的數(shù)量/總的切分?jǐn)?shù)量)×100%

召回率(Recall) = (正確切分的數(shù)量/測(cè)試集中實(shí)有切分的數(shù)量)×100%

F 值(Fscore) = (2×切分準(zhǔn)確率×召回率)/(切分準(zhǔn)確率+召回率)

通過(guò)在一個(gè)10M字節(jié)的專利信息庫(kù)上進(jìn)行測(cè)試，表2是三種算法的測(cè)試結(jié)果，表明三種算法都有不錯(cuò)的效果，但CTBL算法具有較高的適應(yīng)性。

表2 三種算法的結(jié)果

5 總結(jié)

本文重點(diǎn)介紹了CTBL、CRF、EM分詞算法在專利文獻(xiàn)分詞中的運(yùn)用，實(shí)際效果都不錯(cuò)，其中CTBL分詞算法具有較高的適應(yīng)性，未來(lái)的研究方向應(yīng)該將各種分詞算法的優(yōu)點(diǎn)結(jié)合在一起，形成有更高精度的分詞算法。

[1] 陳燕,黃迎燕,方建國(guó). 專利信息采集與分析[M]. 北京：清華大學(xué)出版社, 2006.

[2] 趙鐵軍,呂雅娟,于浩,楊沐昀,劉芳. 提高漢語(yǔ)自動(dòng)分詞精度的多步處理策略[J]，中文信息學(xué)報(bào)，2001，15（1）：13-18.

[3] 黃昌寧,趙海．中文分詞十年回顧[J]，中文信息學(xué)報(bào)，2007，21(3)：8-20．

[4] 夏新松,肖建國(guó)．一種新的錯(cuò)誤驅(qū)動(dòng)學(xué)習(xí)方法在中文分詞中的應(yīng)用[J]. 計(jì)算機(jī)科學(xué)，2006，33(3): 160-164.

[5] 遲呈英,于長(zhǎng)遠(yuǎn),戰(zhàn)學(xué)剛．基于條件隨機(jī)場(chǎng)的中文分詞方法[J]，情報(bào)雜志，2008，(5)：79-81.

[6] John Lafferty , Andrew McCallum , Fernando Pereira. Conditional Random Fields : Probabilistic Models for Segmenting and Labeling SequenceData [M] ,2001 :282 – 289.

[7] Xianping Ge ,Wanda Pratt ,Padhraic Smyth. Discovering Chinese words from unsegmented text. SIGIR’99 (Proceedings on the 22ndAnnual International ACMSIGIR Conference on Research and Development in Information Retrieval ,August 15-19 1999 ,Berkeley CA USA) :217-272.

[8] 李家福，張亞非．基于EM算法的漢語(yǔ)自動(dòng)分詞方法[J]. 情報(bào)學(xué)報(bào)，2002，21（3）：269-272.

基金項(xiàng)目：2010年福建省科技計(jì)劃重點(diǎn)項(xiàng)目“基于SVM-INE的企業(yè)專利地圖生成與輔助決策支持系統(tǒng)”（編號(hào)：2010H0014）。