基于功效特征的專(zhuān)利聚類(lèi)方法

馬建紅，曹文斌，劉元?jiǎng)?，?爽

（1.河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300401；2.天津市科學(xué)技術(shù)協(xié)會(huì)，天津 300041；3.天津科學(xué)技術(shù)館，天津 300210）

（*通信作者電子郵箱m_zh2002@126.com）

0 引言

專(zhuān)利文獻(xiàn)代表企業(yè)的創(chuàng)新性和先進(jìn)性，可以提高其競(jìng)爭(zhēng)力，增加其經(jīng)濟(jì)效益。根據(jù)世界知識(shí)產(chǎn)權(quán)組織的資料，專(zhuān)利文獻(xiàn)占全世界最新科學(xué)研究成果的90%～95%，約70%的發(fā)明和技術(shù)從未在其他非專(zhuān)利文獻(xiàn)中發(fā)表過(guò)［1］。如果企業(yè)能夠利用好專(zhuān)利文獻(xiàn)，可以減少投入，加速創(chuàng)新。

專(zhuān)利聚類(lèi)的目的是有效收集最新的專(zhuān)利資訊，以實(shí)現(xiàn)技術(shù)規(guī)避。近年來(lái)，為了更好地對(duì)專(zhuān)利進(jìn)行聚類(lèi)，研究員們對(duì)專(zhuān)利進(jìn)行大量研究，并產(chǎn)出大量成果。研究表明，特征提?。?-4］對(duì)聚類(lèi)結(jié)果影響很大。如周棟等［5］利用一種用于信息檢索與數(shù)據(jù)挖掘的常用加權(quán)技術(shù)TF-IDF（Term-Frequency-Inverse-Document-Frequency）方法對(duì)專(zhuān)利內(nèi)容進(jìn)行向量表示，并對(duì)TFIDF 提取的關(guān)鍵詞在技術(shù)搜索方法上進(jìn)行了研究；但由于專(zhuān)利內(nèi)容較多，通過(guò)TF-IDF 生成的向量空間維度會(huì)隨著專(zhuān)利篇幅變多而升高，在相似度計(jì)算或者對(duì)向量空間進(jìn)行應(yīng)用時(shí)會(huì)消耗大量的時(shí)間，而且該方法還拋棄了專(zhuān)利內(nèi)容中的大量語(yǔ)義信息，導(dǎo)致模型準(zhǔn)確性不高。

卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）可以學(xué)習(xí)復(fù)雜、多維和非線性映射關(guān)系，更好地挖掘詞與詞之間的語(yǔ)義聯(lián)系，所以結(jié)合CNN 和詞嵌入的方法進(jìn)行實(shí)驗(yàn)，效果得到很大提升。Lei 等［6］將專(zhuān)利文檔映射到CNN 所追蹤的特征向量上，提出了基于向量空間模型（Vector Space Model，VSM）的改進(jìn)版本——特征向量空間模型（Feature Vector Space Model，F(xiàn)VSM），既減少了空間維度，也將專(zhuān)利內(nèi)容的語(yǔ)義信息增加到向量空間模型中，取得了不錯(cuò)的效果。循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）能夠有效地利用序列數(shù)據(jù)的序列信息，但是記憶能力因?yàn)榫嚯x的增長(zhǎng)而變得越來(lái)越弱，存在梯度爆炸和梯度消失等相關(guān)問(wèn)題。門(mén)控循環(huán)單元（Gated Recurrent Unit，GRU）網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，在處理因距離產(chǎn)生的依賴(lài)問(wèn)題時(shí)效果也很好，因此Lyu等［7］將專(zhuān)利文獻(xiàn)放入詞向量模型（Word To Vector，Word2Vec）、GRU 和文本卷積神經(jīng)網(wǎng)絡(luò)（Text Convolution Neural Network，TextCNN）中進(jìn)行實(shí)驗(yàn)，結(jié)果表明該模型在專(zhuān)利文獻(xiàn)自動(dòng)分類(lèi)上效果明顯。隨著注意力機(jī)制越來(lái)越多地用于深度學(xué)習(xí)，Rezaur rahman chowdhury等［8］將注意力機(jī)制引入長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)，提高了該模型的性能。

近期提出的雙向變形編碼器（Bidirectional Encoder Representation from Transformers，BERT）模型在各個(gè)文本處理任務(wù)中均達(dá)到很好的效果。Li 等［9］通過(guò)BERT 模型轉(zhuǎn)換文本到動(dòng)態(tài)字符級(jí)的嵌入，并結(jié)合CNN和RNN提取的上下文特征更好地表示文本，從而提高文本分類(lèi)任務(wù)的準(zhǔn)確性。上述提到的特征提取模型都是以全文內(nèi)容作為訓(xùn)練文本的，雖然可以捕捉文本的大量信息，但是對(duì)于專(zhuān)利而言，重要的是功能效應(yīng)信息。如果采用全篇內(nèi)容進(jìn)行特征提取，既會(huì)產(chǎn)生維度較大的特性向量，還會(huì)產(chǎn)生大量不重要的噪聲。為了降低向量的維度，江屏等［10］通過(guò)專(zhuān)利分類(lèi)號(hào)（International Patent Classification，IPC）對(duì)專(zhuān)利文獻(xiàn)進(jìn)行聚類(lèi)，由于IPC 的數(shù)目有限，所以根據(jù)IPC 去建立向量空間維度，然后計(jì)算相似度代價(jià)較小，但直接利用IPC 去對(duì)專(zhuān)利進(jìn)行分析，粒度很粗，實(shí)用性不大，無(wú)法實(shí)現(xiàn)跨領(lǐng)域的聚類(lèi)。

聚類(lèi)算法方面：K-Means 聚類(lèi)算法的起始點(diǎn)是隨機(jī)選擇的，具有不確定性，并導(dǎo)致聚類(lèi)結(jié)果不穩(wěn)定；自組織神經(jīng)網(wǎng)絡(luò)（Self-Organizing Map，SOM）聚類(lèi)算法的效果相對(duì)較好，但時(shí)間復(fù)雜度高，大型數(shù)據(jù)處理時(shí)消耗資源較大。Alfred 等［11］提出將K-Means 算法和SOM 算法相結(jié)合起來(lái)的聚類(lèi)模型，以彌補(bǔ)K-Means 算法和SOM 算法的缺陷，但是時(shí)間復(fù)雜度問(wèn)題仍未解決。另一方面，SOM算法需要設(shè)置輸出神經(jīng)元數(shù)量，設(shè)置過(guò)多會(huì)導(dǎo)致類(lèi)間區(qū)分度大，類(lèi)內(nèi)密度低；設(shè)置過(guò)少會(huì)導(dǎo)致類(lèi)間區(qū)分度小，類(lèi)內(nèi)密度大。

針對(duì)上述提到的問(wèn)題，結(jié)合專(zhuān)利內(nèi)容特點(diǎn)，本文的主要工作包括：

1）在特征提取方面，提出一種功效特征聯(lián)合提取（Functional Effect Information-Joint，F(xiàn)EI-Joint）模型，由信息實(shí)體語(yǔ)義增強(qiáng)表示（Enhanced language Representation with Informative Entities，ERNIE）［12］和卷積神經(jīng)網(wǎng)絡(luò)組成，可以對(duì)專(zhuān)利的功效信息進(jìn)行特征提取，避免全文特征提取，實(shí)現(xiàn)特征向量維度的降低，還可以打破IPC 分類(lèi)信息粒度較粗，無(wú)法實(shí)現(xiàn)跨領(lǐng)域聚類(lèi)的缺陷。

2）在聚類(lèi)方面，提出一種早期拒絕策略的類(lèi)合并自組織神經(jīng)網(wǎng)絡(luò)（Early Reject based Class Merge Self-Organizing Map，ERCM-SOM），該算法采用早期拒絕策略進(jìn)行獲勝神經(jīng)元的計(jì)算，結(jié)合類(lèi)合并算法，調(diào)整聚類(lèi)之后的結(jié)果，以確保獲得最佳類(lèi)簇?cái)?shù)。此算法不僅減少聚類(lèi)時(shí)間，且提升聚類(lèi)效果。

1 基于功效特征的專(zhuān)利聚類(lèi)框架

本文提出的基于功效特征專(zhuān)利聚類(lèi)框架如圖1 所示，首先對(duì)專(zhuān)利文獻(xiàn)數(shù)據(jù)進(jìn)行預(yù)處理工作，包括專(zhuān)利標(biāo)題和摘要的獲取、分詞、去除停用詞等相關(guān)操作，之后將專(zhuān)利摘要標(biāo)注功效句，然后通過(guò)FEI-Joint模型提取專(zhuān)利文獻(xiàn)功效特征，最終利用ERCM-SOM 算法對(duì)專(zhuān)利文獻(xiàn)進(jìn)行基于功效特征的聚類(lèi)。為了克服原始SOM 聚類(lèi)算法的缺陷，提高算法性能，將FEIJoint模型得到的功效特征作為聚類(lèi)算法的輸入。在聚類(lèi)過(guò)程中計(jì)算取獲勝神經(jīng)元這一環(huán)節(jié)，對(duì)與類(lèi)簇中心距離最小的神經(jīng)元做存儲(chǔ)，在之后的計(jì)算過(guò)程中其他神經(jīng)元距離一旦大于最小值，則提前退出計(jì)算，較早地拒絕不可能獲勝的神經(jīng)元，以此縮短聚類(lèi)時(shí)間。最后通過(guò)類(lèi)合并算法對(duì)其結(jié)果進(jìn)行修正得到最佳類(lèi)簇?cái)?shù)。

圖1 基于功效特征的專(zhuān)利聚類(lèi)框架Fig.1 Patent clustering framework based on functional effect

2 專(zhuān)利功效特征提取模型

FEI-Joint模型采用加入功效詞表的ERNIE模型和動(dòng)態(tài)更新輸入層和嵌入層之間的權(quán)重的CNN 模型相結(jié)合，實(shí)現(xiàn)了對(duì)專(zhuān)利文獻(xiàn)功效信息的特征提取。

2.1 數(shù)據(jù)預(yù)處理

1）分詞。使用Jieba 分詞對(duì)專(zhuān)利文獻(xiàn)進(jìn)行處理，為了分詞結(jié)果更加準(zhǔn)確，將百度百科條目添加到詞庫(kù)中，同時(shí)為了避免向量冗余，根據(jù)專(zhuān)利特征添加一些必要停用詞到停用詞表。例如“有利于電解液進(jìn)一步浸潤(rùn)材料”進(jìn)行分詞后，得到如下結(jié)果：“有利于電解液進(jìn)一步浸潤(rùn)材料”。

2）標(biāo)注功效句。對(duì)于不是功效句的專(zhuān)利語(yǔ)句標(biāo)注0，是功效句的語(yǔ)句標(biāo)注1，例如“制備得到三元/富鋰復(fù)合正極材料0”“大大提升止逆閥的穩(wěn)定性和密封性1”。

3）功效詞表由實(shí)驗(yàn)室人員整理得到，例如“保持提升維持支持固定防火密封性氣密性防火性安全性穩(wěn)定性”等。

2.2 ERNIE模型

ERNIE［12］是通過(guò)對(duì)訓(xùn)練數(shù)據(jù)中的詞法結(jié)構(gòu)、語(yǔ)法結(jié)構(gòu)，以及語(yǔ)義信息進(jìn)行統(tǒng)一建模，極大地增強(qiáng)了通用語(yǔ)義表示能力，在各項(xiàng)任務(wù)中均取得了大幅度的提升。該模型利用百度內(nèi)部詞法分析工具對(duì)句對(duì)數(shù)據(jù)進(jìn)行字、詞、實(shí)體等不同粒度的切分，然后對(duì)切分后的數(shù)據(jù)進(jìn)行token 化處理，得到明文的token序列及切分邊界，然后將明文數(shù)據(jù)映射為id數(shù)據(jù)，在訓(xùn)練過(guò)程中，對(duì)token 進(jìn)行隨機(jī)mask操作，如圖2所示。

圖2 ERNIE模型訓(xùn)練功效句Fig.2 ERNIE model training function sentence

將數(shù)據(jù)格式化成符合ERNIE 模型輸入要求的形式。字段之間都是text 和label 用制表符分割，text 為內(nèi)容，label 為句子類(lèi)別。為了增加ERNIE 模型的訓(xùn)練準(zhǔn)確率，加入了功效詞表對(duì)訓(xùn)練結(jié)果進(jìn)行修正，如果訓(xùn)練中判斷語(yǔ)句不屬于功效句，但其中包含有功效詞表中的詞語(yǔ)，就修正其為功效句。通過(guò)該模塊提取專(zhuān)利摘要中的功效句，以便后續(xù)使用。

2.3 CNN模型

在自然語(yǔ)言處理中使用CNN 模型，需要對(duì)文本內(nèi)容進(jìn)行詞嵌入，例如文獻(xiàn)［13-14］中，word embeddings 會(huì)作為CNN 的第一個(gè)輸入層。

如圖3 所示，在本文提出的CNN 模型中，輸入N維向量，表示通過(guò)ERNIE 提取的功效句和標(biāo)題。首先訓(xùn)練CNN 的參數(shù)去更新輸入層和嵌入層之間的權(quán)重。權(quán)重的初始值設(shè)置為預(yù)先訓(xùn)練好Word2Vec 向量［15］。卷積層挖掘語(yǔ)句生成卷積層特征向量。池化層通過(guò)最大池化方法對(duì)每個(gè)卷積層特征向量選取最大值構(gòu)成新向量，公式如下所示：

圖3 CNN模型提取功效特征矩陣Fig.3 CNN model extracting functional effect matrix

最后全連接層通過(guò)權(quán)值矩陣組合出最終輸出特征向量。

3 改進(jìn)SOM算法的功效特征聚類(lèi)

本文通過(guò)FEI-Joint模型提取的功效特征作為聚類(lèi)算法的輸入神經(jīng)元，彌補(bǔ)了詞與詞之間相互獨(dú)立，無(wú)法充分表達(dá)文本語(yǔ)言的不足。為了解決計(jì)算獲勝神經(jīng)元耗時(shí)的問(wèn)題，本文提出的ERCM-SOM 通過(guò)對(duì)最小距離神經(jīng)元做記錄，當(dāng)累計(jì)距離大于最小距離則停止計(jì)算，早期拒絕不可能獲勝的神經(jīng)元。為了獲得最佳類(lèi)簇?cái)?shù)，ERCM-SOM 算法在聚類(lèi)結(jié)束后通過(guò)類(lèi)合并算法修正聚類(lèi)結(jié)果，獲得最佳聚類(lèi)結(jié)果。

3.1 ERCM-SOM算法

SOM 是一種典型的無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)算法［16-18］，可將高維度向量映射到低維度空間中，其網(wǎng)絡(luò)結(jié)構(gòu)由輸入層和輸出層組成。針對(duì)其缺陷，本文進(jìn)行了改進(jìn)。在FEI-Joint 模型進(jìn)行特征向量構(gòu)造之后，采用ERCM-SOM 算法進(jìn)行基于專(zhuān)利功效特征的聚類(lèi)，將不同功效信息的專(zhuān)利劃分到不同的類(lèi)簇中，每一個(gè)類(lèi)中包含多個(gè)具有相同功效信息的專(zhuān)利文獻(xiàn)。ERCMSOM 自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。其中t1，t2，…，tk代表輸入神經(jīng)元，Wij代表輸入層與輸出層之間的權(quán)重。

圖4 ERCM-SOM模型對(duì)專(zhuān)利功效特征聚類(lèi)Fig.4 Clustering of patent functional effects by ERCM-SOM model

算法的偽代碼如算法1所示。

算法1 ERCM-SOM算法。

輸入 輸入神經(jīng)元X，輸出神經(jīng)元網(wǎng)絡(luò)output，迭代次數(shù)T。

輸出 數(shù)據(jù)在神經(jīng)元網(wǎng)絡(luò)中的映射output。

具體過(guò)程如下：

步驟1 將上一步所得到的專(zhuān)利文獻(xiàn)功效特征表示作為SOM 自組織神經(jīng)網(wǎng)絡(luò)輸入層的輸入X，權(quán)重矩陣Wij通過(guò)隨機(jī)數(shù)賦值，并做歸一化處理。

步驟2X與輸出層各個(gè)神經(jīng)元的連接權(quán)重進(jìn)行相似度比較，最相似的被標(biāo)記為獲勝的神經(jīng)元（winner），神經(jīng)元之間的相似度由以下公式計(jì)算獲得：

其中I(t)是獲勝神經(jīng)元的編號(hào)。

步驟3 通過(guò)式（5）對(duì)獲勝神經(jīng)元及其相鄰節(jié)點(diǎn)的權(quán)重進(jìn)行調(diào)整：

其中：0 ＜η(t) ＜1為學(xué)習(xí)率，hc，j(t)為鄰域函數(shù)。

步驟4η(t)和hc，j(t)訓(xùn)練初始時(shí)是較大的，通過(guò)不斷迭代逐漸減小，hc，j(t)選擇使用高斯函數(shù)，如下：

其中：dcj表示獲勝神經(jīng)元c和鄰域內(nèi)任一被激活的輸出神經(jīng)元j之間的距離，r為鄰域半徑，鄰域半徑和學(xué)習(xí)速率將隨著迭代次數(shù)的增加而縮小，并遵循以下公式：

步驟5 將下一個(gè)向量加入到輸入層，返回步驟3，直到全部學(xué)習(xí)完畢。

步驟6 使得t加1，返回步驟2，直到t=T或網(wǎng)絡(luò)收斂為止。

3.2 獲勝神經(jīng)元策略

首先記錄最小距離，并在計(jì)算權(quán)重每一維的累計(jì)距離時(shí)，確定當(dāng)前距離是否大于最小距離。如果條件成立，則停止計(jì)算，否則繼續(xù)計(jì)算下一維度。這種方式可以減少一部分維度的距離計(jì)算，減低時(shí)間復(fù)雜度。算法的偽代碼如算法2所示。

算法2 獲勝神經(jīng)元算法。

輸入 輸入神經(jīng)元X，權(quán)值向量W。

輸出 獲勝神經(jīng)元winner。

具體步驟如下：

步驟1 假設(shè)當(dāng)前最小距離為dmin；

步驟2 通過(guò)式（3）計(jì)算Wi與輸入神經(jīng)元Xk的距離；

步驟3 如果計(jì)算累計(jì)距離到第k維的時(shí)候，累計(jì)距離小于最小距離，但計(jì)算至第k+1 維時(shí)累計(jì)距離大于最小距離，那么直接終止計(jì)算剩余維度，返回步驟2計(jì)算下一神經(jīng)元。

3.3 類(lèi)合并算法

SOM 算法無(wú)須提前設(shè)置類(lèi)簇?cái)?shù)，輸出神經(jīng)元數(shù)量對(duì)聚類(lèi)結(jié)果有很大的影響，并且基于距離公式的獲取獲勝神經(jīng)元的策略是存在局限性的，對(duì)兩個(gè)相似度很高的類(lèi)簇劃分不是很理想。當(dāng)輸出神經(jīng)元較少時(shí)，會(huì)導(dǎo)致類(lèi)內(nèi)密度大，沒(méi)有區(qū)分度；當(dāng)輸出神經(jīng)元數(shù)量設(shè)置較多時(shí)，會(huì)導(dǎo)致聚類(lèi)密度低，類(lèi)間區(qū)分度大。本文結(jié)合類(lèi)合并思想，提出一種距離與密度相結(jié)合的類(lèi)合并算法。算法偽代碼如算法3所示。

算法3 類(lèi)合并算法。

輸入 SOM聚類(lèi)中心點(diǎn)列表result，最優(yōu)類(lèi)簇?cái)?shù)K。

輸出 優(yōu)化后的聚類(lèi)結(jié)果result。

具體步驟如下：

步驟1 將聚類(lèi)得到的中心點(diǎn)進(jìn)行兩兩距離計(jì)算，將結(jié)果存入一個(gè)矩陣中并排序，構(gòu)成中心距離排序矩陣。

步驟2 取出矩陣中距離中心最小的兩個(gè)中心點(diǎn)。

步驟3 取這兩個(gè)中心點(diǎn)的中值作為預(yù)合并中心點(diǎn)。

步驟4 以最小距離的1/2為密度范圍，將步驟2和步驟3中選取的3 個(gè)中心點(diǎn)按照密度范圍進(jìn)行密度計(jì)算，最初選取的兩個(gè)中心點(diǎn)的密度分別記為DensityA和DensityB，預(yù)合并中心點(diǎn)的密度記為DensityC。

步驟5 判斷是否合并，公式如下：

如果不符合條件則返回步驟3 進(jìn)行下一組對(duì)應(yīng)的兩個(gè)中心點(diǎn)計(jì)算；如滿(mǎn)足條件則將兩個(gè)原始類(lèi)簇合并，重新劃分合并后的聚類(lèi)。

步驟6 如果類(lèi)簇?cái)?shù)量等于K則停止計(jì)算輸出聚類(lèi)結(jié)果，否則返回步驟1繼續(xù)計(jì)算。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)準(zhǔn)備

本文從已有專(zhuān)利數(shù)據(jù)庫(kù)中隨機(jī)選出共4 000 篇專(zhuān)利進(jìn)行實(shí)驗(yàn)，每個(gè)領(lǐng)域的專(zhuān)利數(shù)量如表1 所示。提取專(zhuān)利的標(biāo)題和摘要部分，對(duì)摘要部分按句號(hào)和分號(hào)進(jìn)行分割，字符數(shù)量一般不會(huì)超過(guò)50。專(zhuān)利標(biāo)題默認(rèn)是具有功效信息的句子，對(duì)摘要分隔出的句子進(jìn)行功效句標(biāo)注。

表1 專(zhuān)利數(shù)據(jù)集Tab.1 Patent dataset

4.2 聚類(lèi)評(píng)價(jià)標(biāo)準(zhǔn)

本文使用準(zhǔn)確率（Precision）與召回率（Recall）相結(jié)合的評(píng)價(jià)指標(biāo)F-measure 值來(lái)衡量聚類(lèi)方法的性能。針對(duì)專(zhuān)利功效信息設(shè)定了一個(gè)標(biāo)準(zhǔn)的聚類(lèi)結(jié)果SP=｛SP1，SP2，…，SPN｝。對(duì)應(yīng)實(shí)驗(yàn)結(jié)果聚類(lèi)為P=｛P1，P2，…，PN｝，計(jì)算方式如下：

其中：|SPi|表示類(lèi)別SPi中的專(zhuān)利數(shù)量，|Pi|表示類(lèi)別Pi中的專(zhuān)利數(shù)量，|SPi∩Pi|表示類(lèi)別SPi和Pi中相同專(zhuān)利的數(shù)量。

F-measure 值為各個(gè)類(lèi)的最大F-measure 值與該類(lèi)的大小權(quán)重的乘積得到，計(jì)算公式如下：

4.3 實(shí)驗(yàn)參數(shù)

ERNIE 的參數(shù)采用損失率為0.1，學(xué)習(xí)率為5E -5，層數(shù)為12層，隱藏層大小為768。CNN在卷積層，使用大小為3、4、5的3個(gè)卷積核，同一種卷積核的數(shù)量為100，卷積之后可以得到數(shù)量為300 的卷積層特征向量，池化層采用Max-pooling 方法，輸出每個(gè)卷積層特征向量的最大值，最后將池化層輸出進(jìn)行全連接，得到300維的特征向量。

4.4 功效特征提取模型實(shí)驗(yàn)及分析

為驗(yàn)證本文提出的功效特征提取的有效性，將特征向量輸入到聚類(lèi)算法中進(jìn)行實(shí)驗(yàn)，結(jié)果如表2所示。

表2 特征提取模型對(duì)比實(shí)驗(yàn)結(jié)果 單位：%Tab.2 Comparison of experimental results of feature extraction models unit：%

1）TF-IDF+ERCM-SOM。通過(guò)TF-IDF 對(duì)專(zhuān)利文獻(xiàn)構(gòu)建詞向量，并利用ERCM-SOM聚類(lèi)算法實(shí)現(xiàn)專(zhuān)利聚類(lèi)。

2）LDA+ERCM-SOM。通過(guò)潛在狄利克雷分布（Latent Dirichlet Allocation，LDA）模型對(duì)專(zhuān)利文獻(xiàn)構(gòu)建“文獻(xiàn)-主題”向量，并利用ERCM-SOM聚類(lèi)算法實(shí)現(xiàn)專(zhuān)利聚類(lèi)。

3）CNN+ERCM-SOM。將專(zhuān)利標(biāo)題和摘要輸入到CNN 模型提取特征向量，并利用SOM聚類(lèi)算法實(shí)現(xiàn)專(zhuān)利聚類(lèi)。

4）FEI-Joint+ERCM-SOM。將專(zhuān)利標(biāo)題和摘要輸入到FEI-Joint 模型提取功效特征，并利用ERCM-SOM 聚類(lèi)算法實(shí)現(xiàn)專(zhuān)利聚類(lèi)。

實(shí)驗(yàn)結(jié)果表明，本文提出的FEI-Joint 模型提高了聚類(lèi)的F-measure 值。實(shí)驗(yàn)1 得到的效果最差，因?yàn)門(mén)F-IDF 只是使用了詞向量空間表征專(zhuān)利內(nèi)容特征，沒(méi)有包含其中豐富的語(yǔ)義信息，向量維度較大，因此聚類(lèi)效果差，時(shí)間長(zhǎng)。實(shí)驗(yàn)2 中，LDA 通過(guò)主題建模的技術(shù)挖掘?qū)＠谋局袧撛诘闹黝}信息，相對(duì)實(shí)驗(yàn)1 來(lái)說(shuō)，改善了聚類(lèi)效果。實(shí)驗(yàn)3 中，CNN 對(duì)專(zhuān)利內(nèi)容提取局部特征，使聚類(lèi)結(jié)果有了進(jìn)一步提升，但因?yàn)閮?nèi)容信息較大，噪聲就會(huì)很大，使其影響聚類(lèi)效果。實(shí)驗(yàn)4 中，使用FEI-Joint模型進(jìn)行特征提取，可以降低部分噪聲，并能有效地提取功效特征，可提升聚類(lèi)效果。

4.5 聚類(lèi)算法實(shí)驗(yàn)及分析

為驗(yàn)證聚類(lèi)算法的有效性，本文在相同的實(shí)驗(yàn)條件下進(jìn)行三組不同的實(shí)驗(yàn)，實(shí)驗(yàn)1 為K-Means 聚類(lèi)，實(shí)驗(yàn)2 為SOM 聚類(lèi)，實(shí)驗(yàn)3為ERCM-SOM聚類(lèi)。F-measure值如圖5所示。

圖5 聚類(lèi)算法對(duì)比實(shí)驗(yàn)結(jié)果Fig.5 Comparison of experimental results of clustering algorithm

實(shí)驗(yàn)結(jié)果表明，K-Means算法比SOM 算法、ERCM-SOM 算法效果差，因?yàn)槠鋵?duì)初始點(diǎn)的選擇依賴(lài)性較強(qiáng)，而SOM 算法和ERCM-SOM 算法通過(guò)動(dòng)態(tài)調(diào)整網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，可以得到較好的聚類(lèi)結(jié)果。ERCM-SOM算法通過(guò)類(lèi)合并算法對(duì)聚類(lèi)結(jié)果進(jìn)行修正，可以將相似且密度較低類(lèi)簇進(jìn)行合并，優(yōu)化聚類(lèi)結(jié)果。用4 000 篇專(zhuān)利進(jìn)行實(shí)驗(yàn)時(shí)，實(shí)驗(yàn)時(shí)間分別是11.54 s、15.63 s、12.31 s，ERCM-SOM 算法的早期拒絕策略使尋找獲勝神經(jīng)元的過(guò)程中向量計(jì)算次數(shù)減少，因此聚類(lèi)時(shí)間也得到縮短。對(duì)于本文選取的實(shí)驗(yàn)數(shù)據(jù)，當(dāng)類(lèi)簇?cái)?shù)為10 時(shí)，聚類(lèi)效果最好，當(dāng)類(lèi)簇?cái)?shù)大于10或者小于10時(shí)聚類(lèi)效果降低。

4.6 跨領(lǐng)域聚類(lèi)有效性分析

經(jīng)過(guò)FEI-Joint 模型提取功效特征進(jìn)行聚類(lèi)，與IPC 分類(lèi)號(hào)專(zhuān)利分類(lèi)進(jìn)行結(jié)果對(duì)比。如表3 中提供的部分聚類(lèi)結(jié)果，第一類(lèi)主要功效是“防火”，E 類(lèi)“固定建筑物”領(lǐng)域有關(guān)于“防火”功效的專(zhuān)利，F(xiàn) 類(lèi)“機(jī)械工程”領(lǐng)域也有關(guān)于“防火”功效的專(zhuān)利。另一類(lèi)主要功效是“成本低；結(jié)構(gòu)簡(jiǎn)單”，A 類(lèi)“人類(lèi)生活必需”領(lǐng)域有此功效專(zhuān)利，E類(lèi)、F類(lèi)領(lǐng)域也有相關(guān)專(zhuān)利。結(jié)果表明，僅僅依據(jù)IPC 分類(lèi)號(hào)做專(zhuān)利聚類(lèi)的話(huà)，是無(wú)法實(shí)現(xiàn)功效相同、領(lǐng)域不同的專(zhuān)利之間的聚類(lèi)，使用功效特征做專(zhuān)利聚類(lèi)，可以實(shí)現(xiàn)跨領(lǐng)域聚類(lèi)。

表3 FEI-Joint模型的特征提取和聚類(lèi)結(jié)果Tab.3 Effect extraction and clustering results of FEI-Joint model

5 結(jié)語(yǔ)

本文提出基于功效特征的專(zhuān)利聚類(lèi)方法，通過(guò)FEI-Joint模型提取功效特征矩陣，并使用ERCM-SOM 聚類(lèi)方法進(jìn)行專(zhuān)利聚類(lèi)，改進(jìn)SOM 算法中獲取神經(jīng)元策略，并加入了類(lèi)合并算法對(duì)結(jié)果進(jìn)行優(yōu)化，可以使專(zhuān)利按照功效信息實(shí)現(xiàn)跨領(lǐng)域聚類(lèi)，并能縮短聚類(lèi)時(shí)間。

專(zhuān)利內(nèi)容與其他文本不同，包含結(jié)構(gòu)化內(nèi)容和非結(jié)構(gòu)化內(nèi)容，本文使用其標(biāo)題和摘要，屬于非結(jié)構(gòu)化數(shù)據(jù)。如何結(jié)合專(zhuān)利文獻(xiàn)中結(jié)構(gòu)化內(nèi)容與非結(jié)構(gòu)化內(nèi)容進(jìn)行特征提取，進(jìn)一步研究這種特征提取方式和聚類(lèi)方法的融合，提高聚類(lèi)性能是今后需要做的工作。