基于互聯(lián)網(wǎng)大數(shù)據(jù)的自然語(yǔ)義分析研究

◆邵 嵐 姚艷松 李 宣

?

基于互聯(lián)網(wǎng)大數(shù)據(jù)的自然語(yǔ)義分析研究

◆邵 嵐 姚艷松 李 宣

（CLO 北京 100054）

隨著互聯(lián)網(wǎng)中的自然語(yǔ)言數(shù)量越來(lái)越龐大，各種自然語(yǔ)言處理技術(shù)在不同行業(yè)的需求也日益增長(zhǎng)，同時(shí)一些新的算法和模型也應(yīng)運(yùn)而生。本文首先對(duì)這些自然語(yǔ)言處理技術(shù)進(jìn)行了研究與比較，然后應(yīng)用這些技術(shù)于互聯(lián)網(wǎng)數(shù)據(jù)上，對(duì)比了不同參數(shù)下算法的性能，實(shí)現(xiàn)了對(duì)互聯(lián)網(wǎng)數(shù)據(jù)的自動(dòng)分類。

自然語(yǔ)言處理；分詞；關(guān)鍵詞提??；詞嵌入技術(shù)

0 引言

最近幾年, 隨著深度學(xué)習(xí)技巧的紛紛出爐[1]，并且在自然語(yǔ)言處理方面獲得了一些尖端成果，例如語(yǔ)言模型[2]，語(yǔ)法分析[3]等。隨著自然語(yǔ)言處理技術(shù)的逐漸成熟，它越來(lái)越多地被應(yīng)用于人們的生活、學(xué)習(xí)和工作等方面，并給人們帶來(lái)了極大的方便。

互聯(lián)網(wǎng)中包含了海量的自然語(yǔ)言數(shù)據(jù)，使用各種自然語(yǔ)言處理技術(shù)以及它們的組合，可以深度挖掘其中的有用信息。

本文主要對(duì)這些技術(shù)進(jìn)行簡(jiǎn)要介紹，并使用互聯(lián)網(wǎng)中的自然語(yǔ)言數(shù)據(jù)對(duì)這些技術(shù)進(jìn)行性能測(cè)試。

1 中文自動(dòng)分詞算法

中文自動(dòng)分詞是指使用計(jì)算機(jī)算法程序?qū)χ形奈谋咀詣?dòng)做詞語(yǔ)切分，就像英文那樣，使得中文句子中的詞與詞之間也有空格分開(kāi)。中文自然語(yǔ)言處理中的一個(gè)最基本的步驟就是自動(dòng)分詞，其準(zhǔn)確率會(huì)直接影響到后續(xù)步驟的結(jié)果。

現(xiàn)有的中文分詞算法主要分為三類：一是基于字符串匹配的分詞、二是基于理解的分詞、三是基于統(tǒng)計(jì)的分詞。這些算法各有優(yōu)缺點(diǎn)，在技術(shù)上它們有各自的特點(diǎn)，在用途上它們也有各自的差異[4]。

2 關(guān)鍵詞提取算法

目前最流行的關(guān)鍵詞提取算法主要有：基于 TF-IDF 算法的關(guān)鍵詞抽取和基于 TextRank 算法的關(guān)鍵詞抽取兩種算法。

2.1 基于 TF-IDF 算法的關(guān)鍵詞抽取技術(shù)[5]

TF-IDF(term frequency–inverse document frequency)是一種常常被用于文本挖掘和資訊檢索的加權(quán)技術(shù)，同時(shí)它也是一種統(tǒng)計(jì)方法，用以評(píng)估某個(gè)給定的詞對(duì)于一個(gè)文檔集或一個(gè)語(yǔ)料庫(kù)中的某一份文檔的重要程度。某個(gè)詞的重要性與它在文檔中的出現(xiàn)頻率成正比，但同時(shí)也隨著它在語(yǔ)料庫(kù)中的出現(xiàn)頻率成反比。TF-IDF加權(quán)算法的各種形式經(jīng)常作為文檔與用戶查詢之間相關(guān)性的度量或評(píng)級(jí)并被應(yīng)用于搜索引擎中。

TF-IDF的計(jì)算公式如下：

TF-IDF的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，易于理解，性價(jià)比高。但是它也有明顯的缺陷，首先單純依據(jù)文章中的TF來(lái)衡量重要性，會(huì)忽略掉詞語(yǔ)的位置信息。比如，段首和句首一般應(yīng)該有更高權(quán)重。其次，雖然有的文章中核心關(guān)鍵詞只出現(xiàn)了1~2次，但也有可能通篇都是圍繞其進(jìn)行闡述和解釋的，所以單純靠TF仍然不能解決所有的情況。

2.2 基于 TextRank 算法的關(guān)鍵詞抽取技術(shù)[6]

TextRank算法是一個(gè)基于圖排序的文本處理算法，它的核心思想是從PageRank的迭代思想中衍生過(guò)來(lái)的，其計(jì)算公式如下：

TextRank屬于無(wú)監(jiān)督學(xué)習(xí)算法，不要求使用者具備深入的語(yǔ)言學(xué)背景或?qū)I(yè)領(lǐng)域的知識(shí)；TextRank算法綜合考慮了文本的整體信息，從而可以確定哪些詞語(yǔ)或句子能更好的表達(dá)該段文本。

3 詞嵌入技術(shù)

詞嵌入是自然語(yǔ)言處理（NLP）中的語(yǔ)言模型與表征學(xué)習(xí)技術(shù)的統(tǒng)稱。從算法上來(lái)看，它會(huì)把一個(gè)維數(shù)是所有詞語(yǔ)數(shù)量的高維空間嵌入到一個(gè)維數(shù)低得多的連續(xù)向量空間中，每個(gè)單詞或詞組會(huì)被映射為實(shí)數(shù)域上的向量。

目前主流的詞嵌入方法有：人工神經(jīng)網(wǎng)絡(luò)算法、對(duì)詞語(yǔ)同現(xiàn)矩陣的降維算法、概率模型以及單詞所在上下文的顯式表示等。

Word2Vec模型屬于無(wú)監(jiān)督學(xué)習(xí)算法，它可以從文本語(yǔ)料中學(xué)習(xí)語(yǔ)義知識(shí)，是現(xiàn)在自然語(yǔ)言處理中的常用的模型之一。Word2Vec模型主要包含Skip-Gram和CBOW兩種模型。概括地說(shuō)，Skip-Gram是使用輸入單詞來(lái)預(yù)測(cè)上下文，而CBOW是使用上下文來(lái)預(yù)測(cè)輸入單詞。

3.1 Skip-Gram模型[7][8]

圖1 Skip-Gram模型示意圖

Skip-Gram（Continuous Skip-gram Model）模型可以通過(guò)輸入的單詞來(lái)推算該單詞附近最可能出現(xiàn)的單詞。其核心思想是通過(guò)圖1的神經(jīng)網(wǎng)絡(luò)模型來(lái)學(xué)習(xí)語(yǔ)料庫(kù)中單詞的共現(xiàn)信息，在學(xué)習(xí)完成后，隱藏層的權(quán)重矩陣中的每一行就是一個(gè)詞向量。在實(shí)際中，還經(jīng)常使用負(fù)采樣技術(shù)來(lái)加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

3.2 CBOW模型

CBOW（Continuous Bag-Of-Words Model）模型可以通過(guò)某未知單詞的上下文來(lái)推算該未知單詞。CBOW模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與Skip-Gram模型非常相似，它們之間的關(guān)系如圖2所示。

圖2 圖例集中CBOW模型與Skip-Gram模型的關(guān)系

4 實(shí)驗(yàn)

（1）數(shù)據(jù)源

本次實(shí)驗(yàn)數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)開(kāi)放數(shù)據(jù)，使用Python的數(shù)據(jù)采集工具共采集了百度貼吧的11,568,989條帖子，文本大小0.99G，含蓋了28183個(gè)貼吧，3850382名用戶。

（2）實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為三臺(tái)RedHat linux 6操作系統(tǒng)、64G內(nèi)存的服務(wù)器，安裝hadoop-2.7.3、Spark2.1.0、Hanlp1.6.3。

數(shù)據(jù)存儲(chǔ)在hadoop中，spark負(fù)責(zé)分布式運(yùn)算，Hanlp實(shí)現(xiàn)分詞算法。

（3）實(shí)驗(yàn)方法

首先對(duì)百度貼吧數(shù)據(jù)進(jìn)行分詞并構(gòu)建詞典，之后使用所有數(shù)據(jù)進(jìn)行詞向量訓(xùn)練，然后從每個(gè)帖子中提取關(guān)鍵詞，并用詞向量表示該詞在空間中的位置，最后使用t-SNE非線性降維技術(shù)將結(jié)果展示在二維空間中，并使用聚類算法后對(duì)不同的類別的帖子進(jìn)行著色。

（4）實(shí)驗(yàn)結(jié)果

在訓(xùn)練詞向量時(shí)使用了不同的參數(shù)進(jìn)行測(cè)試，其中固定參數(shù)參見(jiàn)表1，不同維度詞向量的訓(xùn)練時(shí)間的對(duì)比參見(jiàn)表2，訓(xùn)練時(shí)算法占用的內(nèi)存對(duì)比參見(jiàn)表3。本次實(shí)驗(yàn)，最終訓(xùn)練生成了詞向量140171條。

表1 詞向量算法使用的參數(shù)

表2 詞向量算法運(yùn)行時(shí)間（單位：秒）

表3 詞向量算法運(yùn)行所需要的空間

使用訓(xùn)練的詞向量對(duì)帖子進(jìn)行分類，如圖3所示，每個(gè)點(diǎn)代表一個(gè)帖子，可見(jiàn)不同內(nèi)容的帖子各自聚成了小群組。

圖3 算法最短模式串長(zhǎng)度下時(shí)間對(duì)比

實(shí)驗(yàn)說(shuō)明，對(duì)于訓(xùn)練不同維度的詞向量算法所用的時(shí)間有較大差異，而算法所占用內(nèi)存的差異卻比較小。最后，經(jīng)人工驗(yàn)證發(fā)現(xiàn)，使用詞向量可以對(duì)文本進(jìn)行有效的語(yǔ)義分類。

5 結(jié)束語(yǔ)

本文研究了TF-IDF與TextRank兩種關(guān)鍵詞提取算法，以及Skip-Gram與CBOW兩種詞嵌入模型，并將以上模型應(yīng)用于互聯(lián)網(wǎng)中的自然語(yǔ)言數(shù)據(jù)上，實(shí)現(xiàn)了互聯(lián)網(wǎng)信息的自動(dòng)分類，并給出了實(shí)驗(yàn)的參數(shù)與實(shí)驗(yàn)的結(jié)果對(duì)比，以供讀者參考。

[1]Yoav G.A Primer on Neural Network Models for Natural Language Processing[J]. Journal of Artificial Intelligence Research 57(2016).

[2]Rafal J,Oriol V,Mike S,Noam S,Yonghui W.Exploring the Limits of Language Modeling[J].arXiv:1602.02410.2016.

[3]Do K.C.and Eugene C.Parsing as Language Modeling[J].Computer Science at Brown University.2016.

[4]周程遠(yuǎn).中文自動(dòng)分詞系統(tǒng)的研究與實(shí)現(xiàn)[J].華東師范大學(xué)，2010.

[5]Salton G.,Fox E.A.and Wu H.Extended Boolean informat ion retrieval[J].1983 ACM 26,1022–1036.

[6]Rada M and Paul T.TextRank: Bringing Order into Texts[J].Association for Computational Linguistics,2004.

[7]McCormick,C.Word2Vec Tutorial-The Skip-Gram Mo del.2016.[EB/OL].http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/.

[8]Omer L.and Yoav G.Dependency-Based Word Embeddi ngs[J].Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (pages 302–308),23-25 2014.

[9]Tomas M.,Kai C.,Greg C.,Jeffrey D.Efficient Estimation of Word Representations in Vector Space[J].arXiv:1301.3781.2013.