基于Word2Vec模型和K-Means算法的信息技術(shù)文檔聚類研究?

毛郁欣 邱智學

摘要：互聯(lián)網(wǎng)上與信息技術(shù)相關(guān)的文檔和學習資料較為分散，而且會隨著信息技術(shù)的發(fā)展而動態(tài)更新。作者提出了一種基于Word2Vec模型和K-Means算法的聚類方法，能夠?qū)崿F(xiàn)對與信息技術(shù)相關(guān)的網(wǎng)絡文檔的聚類，并對不同來源和主題的技術(shù)文檔自動分類，此方法對構(gòu)建信息技術(shù)知識庫和在線學習平臺具有較強的支撐作用。

關(guān)鍵詞：文本聚類;Word2Vec;K-Means算法;領(lǐng)域本體

中圖分類號：G434? 文獻標識碼：A? 論文編號：1674-2117（2020）08-0099-03

引言

隨著互聯(lián)網(wǎng)的發(fā)展，各個技術(shù)領(lǐng)域在網(wǎng)上都產(chǎn)生了大量的專業(yè)文檔和技術(shù)資料，且較為分散，再加上信息技術(shù)本身發(fā)展和迭代非常迅速，相應的文檔也會隨之不斷地動態(tài)更新，對應的文檔主題和內(nèi)容呈現(xiàn)出較為明顯的動態(tài)性。例如，CSDN（信息技術(shù)社區(qū)）上的技術(shù)文章，基本上是按照網(wǎng)站設定好的固定類別（如游戲開發(fā)、人工智能、Python等）進行分類，同時允許作者添加一系列個性化標簽。但是隨著文章數(shù)量的增多，有限的固定類別顯然無法滿足精細化的文章分類需求，只能進行粗略、大概的歸類，而作者添加的標簽又帶有很強的主觀性和隨意性，不能完全作為分類的依據(jù)。因此，運用更加有效和準確的方法對互聯(lián)網(wǎng)上不同來源、不同主題的信息技術(shù)文檔進行研究和分析，具有十分現(xiàn)實的意義。互聯(lián)網(wǎng)上與信息技術(shù)相關(guān)的文檔屬于無結(jié)構(gòu)文本，因此運用文本挖掘技術(shù)進行量化處理和分析是比較可行的方法。

總體來看，雖然目前關(guān)于Web文檔聚類或分類的研究已經(jīng)比較多[1-2]，但是直接針對信息技術(shù)文檔的研究還不多，而結(jié)合深度學習模型進行文本挖掘的研究也比較缺乏。為此，本文研究并提出一種基于Word2Vec模型[3]和K-Means算法的聚類方法，能夠?qū)崿F(xiàn)對與信息技術(shù)相關(guān)的網(wǎng)絡文檔的聚類。該方法實現(xiàn)了對不同來源和主題的信息技術(shù)文檔的自動分類，對于構(gòu)建信息技術(shù)知識庫和在線學習平臺具有較強的支撐作用。

信息技術(shù)文檔的特征處理

要實現(xiàn)對互聯(lián)網(wǎng)上多來源、多主題的信息技術(shù)文檔的自動分類或聚類，首先必須對文檔進行特征處理，本研究提出的特征處理流程如下頁圖1所示。

對于采集到的信息類網(wǎng)絡文檔，利用開源分詞工具進行分詞，完成文本預處理。文本預處理之后會產(chǎn)生很多的特征詞，如果直接使用預處理后的特征詞進行挖掘，不但會造成特征表示上的維度災難，而且也得不到高質(zhì)量的聚類結(jié)果。[4]因此，需要進一步開展特征提取，從而為后續(xù)的挖掘以及最終的聚類帶來更好的效果。

本研究使用詞頻-逆文檔頻率TF-IDF[5]來計算信息類文檔中特征詞的權(quán)值，按權(quán)值大小排序，并選擇TF-IDF值超過特定閾值的特征詞作為初始特征。此外，由于同一個特征詞在不同的技術(shù)文檔中會重復出現(xiàn)且權(quán)值不同，故同一個特征詞取最大的TF-IDF值作為權(quán)值，并進行去重處理形成初始特征集。

點互信息PMI是從信息論里的互信息概念衍生而來的[6]，這個指標常常用來衡量兩個事物之間的相關(guān)性，如兩個詞。本研究使用PMI算法將信息類文檔預處理語料作為輸入，先通過頻率計算詞語的共現(xiàn)概率，然后再計算詞語共現(xiàn)的標準化互信息值NMI，最后返回符合NMI閾值的特征詞列表及PMI特征詞共現(xiàn)列表。最終通過人工篩選初始特征詞和PMI算法過濾得到的特征詞，形成信息技術(shù)文本的特征集，完成特征提取工作。

Word2Vec是能把詞語轉(zhuǎn)化為多維詞向量的模型，根據(jù)詞語的上下文預測詞向量。詞向量由多維實數(shù)表示，雖然不能說明每一維度的實際含義，但它卻蘊含了豐富的信息。由于訓練時會根據(jù)前后就近位置預測詞語，考慮了詞語間的共現(xiàn)，所以它保持了同義詞之間強的相關(guān)性。運用Word2Vec詞向量模型訓練信息類文檔的文本語料，可以將其中的信息領(lǐng)域特征詞轉(zhuǎn)化為多維實數(shù)向量。與傳統(tǒng)的空間向量模型相比，它考慮了詞與詞之間的共現(xiàn)，同義詞所對應的詞向量在多維空間中會更加接近，為后續(xù)更準確的挖掘工作做好了鋪墊。

Word2Vec中有兩個重要的算法模型：Skip-gram模型和CBOW模型。這兩個模型都包含了三層，即輸入層、投影層和輸出層。CBOW模型是通過輸入特征詞上下文來預測特征詞的空間向量;而Skip-gram模型則是通過輸入特征詞來預測特征詞上下文的空間向量。[7]Skip-gram模型訓練時間比CBOW模型要長，但在Skip-gram模型中，每個詞都要受到周圍詞的影響，每個詞在作為中心詞的時候，都要進行次的預測、調(diào)整，這種多次的調(diào)整會使得詞向量相對更加準確。因此，在對信息技術(shù)文檔進行文本挖掘的過程中，選擇Skip-gram模型進行詞的向量化訓練。

Skip-gram模型是將一個詞語作為輸入，來預測它周圍的上下文。假設有一個句子結(jié)構(gòu)為，Skip-gram模型就是通過輸入來預測 的詞向量。

基于K-Means和本體映射的信息技術(shù)文檔聚類

K-Means是經(jīng)典的劃分聚類算法，算法的優(yōu)點是時間復雜度低，聚類效果較好。因此，利用K-Means算法對經(jīng)過向量化的特征詞進行聚類，步驟如下：

①隨機選擇個簇類中心點;

②遍歷所有數(shù)據(jù)點，把數(shù)據(jù)點劃分到距離最近的一個簇類中;

③劃分之后就有個簇，計算每個簇類中點的平均值作為新的簇類中心點;

④重復步驟②和③，直到聚類中心不再發(fā)生變化，或是迭代次數(shù)達到設定的值。

對K-Means聚類中的值的選擇，可以依據(jù)基于誤差平方和SSE的手肘法，計算公式如下：

其中，是第個簇，是中的樣本點，是的質(zhì)心即中所有樣本的均值，SSE是所有樣本的聚類誤差，代表了聚類效果的好壞。在確定的取值后，使用K-Means聚類算法對從信息技術(shù)文檔中提取出的特征進行聚類。

同時，通過整理和分析信息技術(shù)領(lǐng)域的基本概念及其相互關(guān)系，初步構(gòu)建一個面向信息技術(shù)領(lǐng)域的本體。其中，本體的部分概念結(jié)構(gòu)如上頁圖2所示。

利用聚類算法對特征聚類，得到一系列的特征簇類，進一步對簇類進行整理和分析，將簇類及其特征詞映射到事先構(gòu)建好的信息技術(shù)領(lǐng)域本體上（如圖3）。

結(jié)束語

針對互聯(lián)網(wǎng)上存在的大量與信息技術(shù)相關(guān)的專業(yè)文檔，本研究提出一種基于Word2Vec模型和K-Means算法的聚類方法，能夠?qū)崿F(xiàn)對信息技術(shù)相關(guān)的網(wǎng)絡文檔的聚類。對經(jīng)過預處理的文本，利用相對成熟的特征提取算法提取和過濾特征集合，然后利用Word2Vec模型進行特征詞向量化處理，在此基礎之上利用K-Means算法進行聚類。該方法實現(xiàn)了對互聯(lián)網(wǎng)上不同來源和主題的技術(shù)文檔的自動分類，對構(gòu)建信息技術(shù)知識庫和在線學習平臺具有較強的支撐作用。

參考文獻：

[1]喬少杰，韓楠，金澈清，等.基于Multi-Agent的分布式文本聚類模型[J].計算機學報，2018（08）：19-31.

[2]宋凱，李秀霞，趙思喆.基于CTM模型與K-means算法融合的文本聚類研究[J].情報理論與實踐，2017（11）：135-138.

[3]周練.Word2vec的工作原理及應用探究[J].圖書情報導刊，2015（02）：145-148.

[4]Chandrashekar G，Sahin F. A survey on feature selection methods[J].Computers & Electrical Engineering，2014（01）：16-28.

[5]Salton G. The SMART retrieval system-experiments in automatic document processing[M].Prentice-hall，Inc Upper Saddle River，1971.

[6]Vergara J R，Estevez P A. A review of feature selection methods based on mutual information[J].Neural computing and applications，2014，24（01）：175-186.

[7]Mikolov T，Chen K，Corrado G，et al.Efficient estimation of word rep-resentations in vector space[J].Computer Science，2013.

基金項目：浙江省高?！笆濉眱?yōu)勢專業(yè)建設項目（120801，電子商務），浙江工商大學2019年度校高等教育研究課題（xgy19024）資助。