自然語言處理中MapReduce原理的應(yīng)用

【摘要】：目前，由于計(jì)算機(jī)與信息化等先進(jìn)技術(shù)的持續(xù)發(fā)展與進(jìn)步，使得如今時(shí)代逐漸朝向信息化的時(shí)代所發(fā)展，但在對(duì)大量信息數(shù)據(jù)展開處理的過程中，由于信息數(shù)據(jù)的持續(xù)積累開始逐漸發(fā)生質(zhì)變現(xiàn)象，在這種情況下使得大數(shù)據(jù)這種概念應(yīng)運(yùn)而生。在對(duì)大數(shù)據(jù)中的信息數(shù)據(jù)展開處理時(shí)，MapReduce是其中一種較為關(guān)鍵的編程模型，可以在處理信息數(shù)據(jù)的過程中，針對(duì)速度、空間與訪問等方面的問題展開科學(xué)、有效的解決?；诖?，在本篇文章中先闡明了MapReduce原理的主要概述，進(jìn)而針對(duì)MapReduce原理的格式種類展開詳細(xì)分析，最后提出在自然語言處理中MapReduce原理的實(shí)際應(yīng)用，希望可以為相關(guān)人員提供微薄的參考幫助。

【關(guān)鍵詞】：自然語言處理 MapReduce 原理應(yīng)用

所謂自然語言處理主要指的就是，針對(duì)人和計(jì)算機(jī)這兩者之間通過自然語言展開合理通信與交流的理論與方式展開詳細(xì)研究，其不僅可以為計(jì)算機(jī)技術(shù)的發(fā)展起到一定程度的推動(dòng)作用，還可以為Artificial Intelligence技術(shù)的發(fā)展起到一定的完善作用，屬于一門將語言、計(jì)算機(jī)、數(shù)學(xué)相互結(jié)合而來的學(xué)科。由于如今計(jì)算機(jī)網(wǎng)絡(luò)中的信息資源一直處于持續(xù)增加的狀態(tài)，導(dǎo)致互聯(lián)網(wǎng)中所儲(chǔ)存的信息數(shù)據(jù)較為龐大，在針對(duì)其中的信息數(shù)據(jù)展開有效處理時(shí)，對(duì)于計(jì)算機(jī)的中央處理器與服務(wù)器等部件而言都是一種挑戰(zhàn)，于是就開始在對(duì)信息數(shù)據(jù)展開處理時(shí)，經(jīng)常會(huì)在速度、空間與容錯(cuò)性等多方面出現(xiàn)問題。而MapReduce這種編程模型的誕生，不僅能夠優(yōu)化計(jì)算機(jī)中的配置，也能夠提升計(jì)算機(jī)處理信息數(shù)據(jù)的實(shí)際效率，因此，就需要針對(duì)自然語言處理中MapReduce原理的實(shí)際應(yīng)用展開詳細(xì)分析，從而確保在如今時(shí)代下，對(duì)于自然語言處理的準(zhǔn)確性與穩(wěn)定性。

一、MapReduce原理的主要概述

MapReduce自身屬于一種在編程時(shí)所應(yīng)用的模型，通常都是應(yīng)用在實(shí)際規(guī)模較大的數(shù)據(jù)集并行與計(jì)算中，其在工作過程中的主要原理如圖1所示：

在MapReduce其中的Map所代表的映射，而Reduce所代表的是歸約，這兩者中所蘊(yùn)含的核心理念都是由編程語言中的函數(shù)而來，還具有一些編程語言中矢量特性【1】。在MapReduce中的主要原理在于，集合相關(guān)用戶所定義key與value對(duì)的輸入處理，再根據(jù)中間輸出集合key與value對(duì)，并將中間完全相同的key與value相互集合后，傳輸?shù)組apReduce的函數(shù)之中，然后在其中的函數(shù)就能夠講完全相同的key與value相互合并，最終形成value值較小的集合【2】。在MapReduce這種編程模型實(shí)際展開運(yùn)行的過程中，主要涵蓋了：對(duì)大量的輸入信息數(shù)據(jù)劃分交由多個(gè)計(jì)算機(jī)對(duì)其展開處理、通過worker將所有輸入的信息數(shù)據(jù)分為key與value、通過函數(shù)將所有輸入信息數(shù)據(jù)中的key與value轉(zhuǎn)換為中間形式、根據(jù)key的實(shí)際值排列出中間形式中的key與value、將各不相同的key與value交由各不相同的計(jì)算機(jī)、對(duì)Reduce展開實(shí)際計(jì)算、最終得出Reduce的計(jì)算結(jié)果【3】。

二、MapReduce原理的格式種類

通過MapReduce所構(gòu)建的信息數(shù)據(jù)模型會(huì)較為簡(jiǎn)單，因?yàn)樵谄渲蠱ao與Reduce的有效函數(shù)，能夠充分利用key與value展開合理的輸入或是輸出，但一定要嚴(yán)格遵守相應(yīng)形式【4】。如以下所示：

Map=（k1.v1）→list（k2.v2）

Reduce=（k2.list（v2））→list（k3.v3）

在MapReduce這種模型庫中，對(duì)于多種格式有所不同種類的輸入數(shù)據(jù)會(huì)提供一定的支持，例如：在文本類型的輸入數(shù)據(jù)中，每行都會(huì)被當(dāng)做一對(duì)key與value，在這其中key所代表的是文本文件所出現(xiàn)的偏移量，而value所代表的是在整個(gè)文本中此行的實(shí)際內(nèi)容。而且在MapReduce中預(yù)定義類型的輸入方式，不僅可以在真正意義上滿足多種輸入的實(shí)際需求，還可以讓應(yīng)用者充分利用MapReduce所提供的簡(jiǎn)單接口，創(chuàng)新一種全新輸入的種類。除此之外，在MapReduce中還包含有預(yù)定義類型的輸出方式，充分利用就可以制作出格式各不相同的輸出數(shù)據(jù)，而且相關(guān)用戶還能夠通過增加輸入數(shù)據(jù)的種類方法，對(duì)輸出數(shù)據(jù)的種類方法展開合理、有效的增加【5】。

三、自然語言處理中MapReduce原理的實(shí)際應(yīng)用

1、索引及MapReduce的構(gòu)建

構(gòu)建索引系統(tǒng)是信息檢索系統(tǒng)中最為重要的階段之一。在信息檢索領(lǐng)域中，創(chuàng)建大規(guī)模語料庫搞笑的索引是目前而言較為困難的問題之一，而通過使用分布式狂階對(duì)廣泛的文本語料庫展開與行化索引，是創(chuàng)建較為合適的索引以及可以方便展開搜索的有效方式。Jeffrey Dean與Sanjay Ghemawat共同完成的Mapreduce學(xué)術(shù)論文中曾經(jīng)給出的索引策略是：map函數(shù)解析每個(gè)文檔，輸出的一系列word、documentID對(duì)，reduce函數(shù)的數(shù)據(jù)屬于一種給定word相應(yīng)的文檔ID，輸出一個(gè)《word、document ID》對(duì)，所有輸出集合形式就可以形成一個(gè)較為簡(jiǎn)單的倒排索引，這樣一來通過一種較為簡(jiǎn)單的算法就可以準(zhǔn)確的尋找出跟蹤詞在文檔中的具體位置。這種策略雖然只是簡(jiǎn)單的描寫出了運(yùn)用MapReduce構(gòu)建索引的方式，但是卻說明了運(yùn)用MapReduce可以實(shí)現(xiàn)大規(guī)模銀鎖構(gòu)建的可能性，同時(shí)也會(huì)為相關(guān)研究人員在MapReduce中實(shí)現(xiàn)文本索引的研究提供了較為有益的研究空間?；贛apReduce模型可以充分實(shí)現(xiàn)構(gòu)建索引，在實(shí)際構(gòu)建的過程中策略為：map函數(shù)為文檔中的詞，輸出一個(gè)文檔ID對(duì)，reduce函數(shù)將相同的文檔ID展開合并，通過合并的方式獲得項(xiàng)頻率。這種策略的最大優(yōu)點(diǎn)是map階段較為簡(jiǎn)單，通過將每個(gè)詞作為輸出基礎(chǔ)的同時(shí)，確?；A(chǔ)的準(zhǔn)確性與穩(wěn)定性。但是一旦出現(xiàn)一個(gè)詞在某個(gè)文檔中出現(xiàn)tf次時(shí)，就會(huì)促使文檔ID中的輸出次數(shù)轉(zhuǎn)變?yōu)閠f次。這樣一來就會(huì)促使map的數(shù)據(jù)不斷增加，因?yàn)檎Z料庫中的每一個(gè)詞都會(huì)自動(dòng)升恒一個(gè)文檔ID，所以當(dāng)map任務(wù)輸出在多數(shù)中間數(shù)據(jù)中時(shí)，這些中間數(shù)據(jù)就會(huì)被全面的保存在設(shè)備的本地磁盤C中，而后再通過傳輸?shù)姆绞絺鬏斀o更加合適reduce任務(wù)。大量的map中間數(shù)據(jù)會(huì)不斷增加map至reduce傳輸過程中所使用的網(wǎng)絡(luò)流量，同時(shí)還會(huì)最大幾率的延長排序階段，這些因素最終就會(huì)對(duì)實(shí)際執(zhí)行的時(shí)間造成影響【6】。

2、 聚類算法及Mapreduce

聚類算法屬于一種非監(jiān)督形式的學(xué)習(xí)方式，并且該種方式在多數(shù)應(yīng)用中已經(jīng)被基于廣泛的關(guān)注與重視，例如：數(shù)據(jù)挖掘、文檔搜索、模式識(shí)別、機(jī)器學(xué)習(xí)等。在處理大規(guī)模數(shù)據(jù)的過程匯總，傳統(tǒng)的串行聚類算法因速度較慢并且效率較低，就會(huì)導(dǎo)致無法充分滿足實(shí)際應(yīng)用的要求，這一因素也是導(dǎo)致大規(guī)模數(shù)據(jù)聚類成為一項(xiàng)具備較高挑戰(zhàn)性工作的主要原因，為了可以有效解決這一問題，就需要通過全面研究的方式，通過研究來設(shè)計(jì)出高效率、高質(zhì)量的并行聚類算法。Mapreduce編程模型作為一種具備較強(qiáng)分布式計(jì)算的亂加，其可以被廣泛應(yīng)用到數(shù)據(jù)聚類領(lǐng)域。通過實(shí)際研究可以充分實(shí)現(xiàn)基于Mapreduce的并行K-Means聚類，Map函數(shù)執(zhí)行每一個(gè)對(duì)象到距離自身最近的聚類中心程序，Reduce函數(shù)可以執(zhí)行更新聚類中心的程序。浙江大學(xué)的溫程在其說是學(xué)位論文中，充分研究出了兩種Mapreduce的聚類算法，分別是并行化譜聚類與并行化AP聚類。并行化譜聚類算法的主要策略是通過計(jì)算相似矩陣及稀疏化時(shí)根據(jù)數(shù)據(jù)點(diǎn)標(biāo)識(shí)展開切分；在計(jì)算特征向量時(shí)可以通過講拉普拉斯矩陣存儲(chǔ)到分布式文件系統(tǒng)HDFS上的方式，并通過分布式Lanczos來展開運(yùn)算，最終得到并行計(jì)算的實(shí)際特征向量；當(dāng)通過特征向量的轉(zhuǎn)置矩陣采用并行K-means聚類時(shí)，可以得到準(zhǔn)確的聚類結(jié)果。并行化AP聚類的策略主要是先將吸引度矩陣與歸屬度矩陣分布式儲(chǔ)存在HB阿瑟上，將每次迭代中度吸引度矩陣與歸屬度矩陣的實(shí)際計(jì)算通過分割的方式展開，并使其矩陣制的實(shí)際運(yùn)算根據(jù)行分布的多臺(tái)機(jī)器上展開運(yùn)算【7】。

3、文本分類及Mapreduce

文本的分類是一種具備監(jiān)督設(shè)備學(xué)習(xí)的有效方式，其主要是基于文本中的內(nèi)容講待定的文本實(shí)際劃分到單一或多個(gè)預(yù)定的類別中。最初是由Google實(shí)驗(yàn)室所提出的MapReduce秉性分布式計(jì)算模型，其主要是針對(duì)海量數(shù)據(jù)展開處理，網(wǎng)絡(luò)文檔屬于一個(gè)海量數(shù)據(jù)集，MapReduce編程模型更加適合對(duì)大型規(guī)模的網(wǎng)絡(luò)文檔自動(dòng)分類工作。特征的選擇屬于文本分類中的一種預(yù)處理步驟，其可以充分提文本分類的有效性與效率，多數(shù)設(shè)備中的學(xué)習(xí)算法在多數(shù)程度上會(huì)受到來自文本特征選擇的影響，并且還會(huì)直接影響到文本分類的具體運(yùn)行情況。大規(guī)模文本分類特征屬于一種高維度的問題，在并行執(zhí)行特征的選擇中可以充分實(shí)現(xiàn)并行化的運(yùn)行，在實(shí)際研究的過程中可以通過并行運(yùn)算的方式來提高統(tǒng)計(jì)特征的實(shí)際選擇效率。在實(shí)際運(yùn)用余弦定理來計(jì)算文檔之間的相似度時(shí)，可以根據(jù)相似度對(duì)文檔展開分類，在計(jì)算文本相似度的過程中，TF-IDF（term frequency-inverse documet frequency）權(quán)重計(jì)算方式可以起到即為關(guān)鍵的作用。通常情況下TF-IDF會(huì)經(jīng)常性的被應(yīng)用到搜索引擎中，將其作為用戶與文件查詢之間的相關(guān)程度評(píng)級(jí)以及度量，但是因?yàn)閷?shí)際計(jì)算量較大，就需要通過應(yīng)用Mapreduce來解決TF-IDF中存在的計(jì)量大且速度較慢等問題。在實(shí)際針對(duì)目前彈擊中較大的文本自動(dòng)分類訓(xùn)練時(shí)，實(shí)際分類訓(xùn)練的時(shí)間較長，而在相關(guān)研究中的某種設(shè)計(jì)可以充分實(shí)現(xiàn)基于Mapreduce結(jié)構(gòu)框架的并行貝葉斯文本分類算法，并且可以充分運(yùn)用三個(gè)Mapreduce過程來實(shí)現(xiàn)并行貝葉斯文本分類算法的訓(xùn)練。其中，在第一個(gè)Mapreduce過程中，每個(gè)mapper可以接受來自訓(xùn)練文檔中的部分?jǐn)?shù)據(jù)塊，并且其還可以根據(jù)實(shí)際訓(xùn)練快來計(jì)算出部分訓(xùn)練分檔中的詞頻以及文檔的書劉昂，reducer可以針對(duì)每個(gè)由mapper傳輸?shù)奈臋n展開計(jì)算與統(tǒng)計(jì)，并將其存儲(chǔ)至相關(guān)數(shù)據(jù)庫而后作為中間結(jié)果；在第二個(gè)Mapreduce過程中，每個(gè)mapper所接收的第一步Mapreduce所生成的中間數(shù)據(jù)，通過詞頻的方式針對(duì)文檔展開特征方面的抽取，并將儲(chǔ)存后的數(shù)據(jù)作為中間數(shù)據(jù)；在第三個(gè)Mapreduce過程中，每個(gè)由mapper所接收的第二步Mapreduce中間數(shù)據(jù)，通過實(shí)際計(jì)算之后可以得出各類別的先驗(yàn)概率，同事還可以通過文檔中的名詞特征來展開分析，最終就可以得到完整度較高的貝葉斯分類模型【8】。

結(jié)束語：

綜上所述，MapReduce自身屬于一種編程模型，其不僅能夠針對(duì)大量的信息數(shù)據(jù)展開有效處理，還能夠從大量的信息數(shù)據(jù)中及時(shí)找到最有價(jià)值的相關(guān)數(shù)據(jù)。在MapReduce這種編程模型中，將容錯(cuò)、負(fù)載平衡、同步處理等相關(guān)技術(shù)中的難點(diǎn)與細(xì)節(jié)完全封裝，即使是自身缺乏開發(fā)相關(guān)系統(tǒng)經(jīng)驗(yàn)的編程人員，也可以輕易的駕馭并應(yīng)用這種MapReduce模型。在如今時(shí)代下，這種MapReduce的相關(guān)原理已經(jīng)開始在社會(huì)各領(lǐng)域廣泛應(yīng)用，但如今針對(duì)MapReduce這種模型的主要研究幾乎都在其的實(shí)際應(yīng)用中，針對(duì)計(jì)算方式與實(shí)際效率等方面的優(yōu)化研究幾乎是少之又少，因此，就需要加強(qiáng)對(duì)于MapReduce計(jì)算方面的研究力度，從而為MapReduce的后續(xù)發(fā)展打下較為堅(jiān)固的基礎(chǔ)。

【參考文獻(xiàn)】：

【1】 林奕歐， 雷航， 李曉瑜， et al. 自然語言處理中的深度學(xué)習(xí)：方法及應(yīng)用[J]. 電子科技大學(xué)學(xué)報(bào)， 2017（06）：115-121.

【2】 趙棟材， 周雁. 基于詞聯(lián)接的自然語言處理改進(jìn)技術(shù)研究[J]. 計(jì)算機(jī)與網(wǎng)絡(luò)， 2018， v.44；No.577（09）：66-67+76.

【3】 馬媛媛， 史加榮. 卷積神經(jīng)網(wǎng)絡(luò)及其在手寫體數(shù)字識(shí)別中的應(yīng)用[J]. 湖北工程學(xué)院學(xué)報(bào)， 2017（06）：68-74.

【4】 李楠. 基于自然語言處理的醫(yī)院智能客服系統(tǒng)的設(shè)計(jì)與研究[J]. 中國數(shù)字醫(yī)學(xué)， 2017（8）：85-87.

【5】 亢麗蕓， 王效岳， 白如江. MapReduce原理及其在自然語言處理中的應(yīng)用研究[J]. 情報(bào)科學(xué)， 2014（5）：120-126.

【6】 程興國， 肖南峰. 詞類共現(xiàn)頻率的MapReduce并行生成方法[J]. 重慶理工大學(xué)學(xué)報(bào)， 2013， 27（11）：53-57.

【7】 李楠. 基于自然語言處理的醫(yī)院智能客服系統(tǒng)的設(shè)計(jì)與研究[J]. 中國數(shù)字醫(yī)學(xué)， 2017（08）：90-92.

【8】 段傳明. 傳統(tǒng)情感分類方法與基于深度學(xué)習(xí)的情感分類方法對(duì)比分析[J]. 軟件導(dǎo)刊， 2018（1）：22-24.

作者簡(jiǎn)介：姓名：李光遠(yuǎn) 性別：男 出生年月 1993.04.01 民族 漢 籍貫：河南 最高學(xué)歷：碩士在讀 研究方向：計(jì)算機(jī)應(yīng)用技術(shù)