自然語(yǔ)言處理技術(shù)發(fā)展與未來(lái)

方明之

摘 要 自然語(yǔ)言處理技術(shù)是人工智能領(lǐng)域重要的研究方向之一。隨著技術(shù)的不斷進(jìn)步，計(jì)算機(jī)已經(jīng)能夠在一定程度上理解人類(lèi)的語(yǔ)言表達(dá)，并完成相應(yīng)的工作。目前，自然語(yǔ)言處理技術(shù)已經(jīng)在信息檢索、機(jī)器翻譯、智能問(wèn)答等領(lǐng)域有著廣泛的應(yīng)用，顯著降低了人機(jī)交互的難度。文章對(duì)自然語(yǔ)言處理技術(shù)的發(fā)展和未來(lái)進(jìn)行了簡(jiǎn)要介紹。

關(guān)鍵詞 自然語(yǔ)言處理；機(jī)器翻譯；語(yǔ)義消歧

中圖分類(lèi)號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2019）231-0143-02

隨著科技的發(fā)展，人們對(duì)計(jì)算機(jī)的研究越來(lái)越深刻，生活中計(jì)算機(jī)的使用也越來(lái)越普及。進(jìn)入信息時(shí)代后，互聯(lián)網(wǎng)中有著海量的信息，而這些信息很多都是用自然語(yǔ)言表示的。同時(shí)，搜索引擎是人們獲取信息的主要來(lái)源，各大搜索引擎開(kāi)始應(yīng)用自然語(yǔ)言處理來(lái)實(shí)現(xiàn)機(jī)器翻譯；而帶有智能語(yǔ)音助手的手機(jī)也都占據(jù)了市場(chǎng)的主流，這些語(yǔ)音助手能方便我們的生活、學(xué)習(xí)和工作。文章對(duì)自然語(yǔ)言處理的概述、自然語(yǔ)言處理的發(fā)展歷史、自然語(yǔ)言處理的難點(diǎn)及自然語(yǔ)言處理的發(fā)展趨勢(shì)進(jìn)行綜述。

1 自然語(yǔ)言處理技術(shù)簡(jiǎn)述

自然語(yǔ)言指的是日常使用的語(yǔ)言，如漢語(yǔ)、英語(yǔ)和日語(yǔ)等。而自然語(yǔ)言處理（Natural？Language？ Processing，？NLP）則是指運(yùn)用計(jì)算機(jī)技術(shù)對(duì)自然語(yǔ)言進(jìn)行處理、理解并運(yùn)用，它是人工智能和語(yǔ)言學(xué)的分支學(xué)科。作為人工智能領(lǐng)域研究的重要方向之一，自然語(yǔ)言處理的主要目的是通過(guò)自然語(yǔ)言的形式實(shí)現(xiàn)人和計(jì)算機(jī)之間的交互。

語(yǔ)言是人類(lèi)所特有的交流及表述思維的工具，因此，只有在計(jì)算機(jī)真正能掌握處理自然語(yǔ)言的能力時(shí)，才具有真正的智能。自然語(yǔ)言處理包括多個(gè)方面，大體上有認(rèn)知、理解和生成3個(gè)部分。認(rèn)知和理解就是讓計(jì)算機(jī)把輸入的語(yǔ)言變成有意義的符號(hào)和聯(lián)系，然后再根據(jù)目的進(jìn)行處理，生成則是指將計(jì)算機(jī)中的數(shù)據(jù)信息轉(zhuǎn)化為自然語(yǔ)言。如此一來(lái)，計(jì)算機(jī)用戶(hù)不必投入巨大的精力去學(xué)習(xí)生澀難懂的計(jì)算機(jī)語(yǔ)言，通過(guò)自然語(yǔ)言便能輕松和計(jì)算機(jī)系統(tǒng)進(jìn)行交互，這也是研究自然語(yǔ)言處理技術(shù)的重要原因和目的。

如今，自然語(yǔ)言處理技術(shù)研究的主要內(nèi)容有語(yǔ)義分析、語(yǔ)法分析及篇章理解等。從具體應(yīng)用的角度來(lái)說(shuō)，目前自然語(yǔ)言處理技術(shù)主要運(yùn)用于機(jī)器翻譯、信息搜索及篩選與過(guò)濾、字符識(shí)別和語(yǔ)音識(shí)別、觀點(diǎn)分析、多語(yǔ)種數(shù)據(jù)庫(kù)等，具有廣泛的研究和應(yīng)用前景[1]。

2 自然語(yǔ)言處理的發(fā)展歷史

早在20世紀(jì)50年代，自然語(yǔ)言處理的概念就已經(jīng)被提出。1950年，艾倫·圖靈發(fā)表論文《計(jì)算機(jī)器與智慧》，文中提出了著名的“圖靈測(cè)試”——一種用來(lái)檢驗(yàn)計(jì)算機(jī)是否具有人類(lèi)智能的測(cè)試。值得一提的是，在人工智能這一研究課題被提出來(lái)時(shí)，人們就把國(guó)際象棋和機(jī)器翻譯看作體現(xiàn)計(jì)算機(jī)智能的兩大任務(wù)。而1997年，IBM公司發(fā)明的深藍(lán)超級(jí)計(jì)算機(jī)已經(jīng)打敗了國(guó)際象棋界的世界冠軍卡斯帕羅夫，而機(jī)器翻譯的水平到現(xiàn)在都無(wú)法與人工翻譯相媲美，可見(jiàn)自然語(yǔ)言處理是一項(xiàng)非常困難的任務(wù)。

1954年，美國(guó)喬治城大學(xué)與IBM公司合作，成功將60句俄語(yǔ)全部自動(dòng)翻譯成英語(yǔ)。雖然當(dāng)時(shí)機(jī)器翻譯的系統(tǒng)比較簡(jiǎn)單，但是研究人員還是十分激動(dòng)，并且聲稱(chēng)能在三到五年內(nèi)解決機(jī)器翻譯的全部問(wèn)題。不過(guò)實(shí)際上進(jìn)展卻遠(yuǎn)低于預(yù)期，1966年的ALPAC報(bào)告顯示，他們的研究在10年內(nèi)沒(méi)有取得預(yù)計(jì)成果，導(dǎo)致機(jī)器翻譯的研究經(jīng)費(fèi)被大幅削減。一直到20世紀(jì)80年代末期，統(tǒng)計(jì)機(jī)器翻譯的發(fā)展，才使得機(jī)器翻譯的研究更上一層樓。

20世紀(jì)60年代出現(xiàn)一些較為成功的NLP系統(tǒng)，其中包括SHRDLU。該系統(tǒng)能夠?qū)τ脩?hù)的命令進(jìn)行分析，辨別積木的形狀并完成移動(dòng)工作。1964至1966年，約瑟夫·維森鮑姆模擬“個(gè)人治療中心”設(shè)計(jì)了ELIZA——幾乎未運(yùn)用人類(lèi)的思想感情的信息，卻能實(shí)現(xiàn)類(lèi)似人與人之間的交互方式。但是當(dāng)使用者提問(wèn)的內(nèi)容超過(guò)ELIZA極小的知識(shí)范圍時(shí)，會(huì)得到一些很空泛的回答。例如：當(dāng)提問(wèn)“我的頭很痛”時(shí)，得到回答“為什么說(shuō)你的頭痛”[2]。

在20世紀(jì)80年代前，大部分自然語(yǔ)言處理系統(tǒng)都基于人工制定的復(fù)雜規(guī)則，自然語(yǔ)言處理技術(shù)的發(fā)展也一度陷入停滯。80年代末期，自然語(yǔ)言處理引入了機(jī)器學(xué)習(xí)算法，使得自然語(yǔ)言處理技術(shù)得到了進(jìn)一步的發(fā)展和進(jìn)步。隨著計(jì)算機(jī)制造成本的下降和計(jì)算機(jī)運(yùn)算能力的提升，研究者逐漸將機(jī)器學(xué)習(xí)算法作為自然語(yǔ)言處理技術(shù)研究的重點(diǎn)，研究者開(kāi)始傾向于建立自然語(yǔ)言處理的語(yǔ)料庫(kù)，這是機(jī)器學(xué)習(xí)處理自然語(yǔ)言方法的基礎(chǔ)。同時(shí)，研究者意識(shí)到：機(jī)器翻譯必須保證譯文和原文在語(yǔ)義上表述準(zhǔn)確無(wú)誤，因此，語(yǔ)義分析逐漸成為了自然語(yǔ)言處理的核心研究問(wèn)題。研究表明，通過(guò)對(duì)大量的語(yǔ)言文本數(shù)據(jù)進(jìn)行學(xué)習(xí)和統(tǒng)計(jì)，可以更好地解決計(jì)算機(jī)處理語(yǔ)言的問(wèn)題，這一方法被稱(chēng)為統(tǒng)計(jì)學(xué)習(xí)模型。至此，自然語(yǔ)言處理又重新進(jìn)入飛速發(fā)展的階段。

3 自然語(yǔ)言處理的難點(diǎn)

自然語(yǔ)言處理的困難有很多，但造成困難的根本原因無(wú)外乎是自然語(yǔ)言的文本和對(duì)話中廣泛存在的各種歧義性或多義性。歧義性指在語(yǔ)義分析等處理語(yǔ)言過(guò)程中存在的歧義問(wèn)題，而消除歧義則需要大量知識(shí)。例如：當(dāng)進(jìn)行人工語(yǔ)言翻譯時(shí)，翻譯者需要具有一定的語(yǔ)言學(xué)知識(shí)和背景知識(shí)。例如在英語(yǔ)中，“Would？you？like？some？water？”的回答“Oh？ thanks”實(shí)際意為拒絕，對(duì)機(jī)器來(lái)說(shuō)也是一樣，翻譯時(shí)計(jì)算機(jī)必須擁有一定的背景知識(shí)庫(kù)。

自然語(yǔ)言中充滿(mǎn)了大量的歧義，人類(lèi)的活動(dòng)和表達(dá)十分復(fù)雜，而語(yǔ)言中的詞匯和語(yǔ)法規(guī)則又是有限的，這就導(dǎo)致了同一種語(yǔ)言形式可能表達(dá)了多種不同含義。以漢語(yǔ)為例，漢語(yǔ)一般由字組成詞，由詞組成句，由句子組成段落，其中含有多層意思的轉(zhuǎn)換。同樣形式的語(yǔ)句在不同的語(yǔ)境中可能含有不同的意義，反過(guò)來(lái)，同樣的意思也可以用不同形式的語(yǔ)句表示，這正是語(yǔ)言的魅力所在，卻也給自然語(yǔ)言處理帶來(lái)了困難。

在漢語(yǔ)中，分詞問(wèn)題便屬于消歧任務(wù)之一。單詞是承載語(yǔ)義最小的單元，因此自然語(yǔ)言處理中分詞問(wèn)題是急需解決的。在口語(yǔ)表述中，詞和詞之間是連貫的，在書(shū)寫(xiě)中也是如此。由于漢語(yǔ)不像英語(yǔ)等語(yǔ)言具有天然分詞，中文的處理就多了一層障礙。在分詞過(guò)程中，計(jì)算機(jī)會(huì)在每個(gè)單詞后面加入分隔符，而有些時(shí)候語(yǔ)義有歧義，分隔符的插入就變得困難。如“南京市長(zhǎng)江大橋”一詞，既可以理解為位于南京的跨長(zhǎng)江大橋，也可以理解為一名叫江大橋的南京市長(zhǎng)。要想實(shí)現(xiàn)正確分詞，就需要結(jié)合語(yǔ)境，對(duì)文本語(yǔ)義充分理解，這顯然對(duì)計(jì)算機(jī)來(lái)說(shuō)是個(gè)挑戰(zhàn)。在短語(yǔ)層面上的語(yǔ)言問(wèn)題也依舊存在，例如“控制電腦”，既可以理解為動(dòng)賓關(guān)系：我控制了這臺(tái)電腦，也可以理解成偏正關(guān)系：具有控制功能的電腦?？梢?jiàn)，如果不能正確處理各級(jí)語(yǔ)言單位的歧義問(wèn)題，計(jì)算機(jī)就不能準(zhǔn)確理解自然語(yǔ)言表達(dá)的含義[3]。

其次，上下文內(nèi)容的獲取問(wèn)題對(duì)機(jī)器翻譯來(lái)說(shuō)也是一種挑戰(zhàn)。在理解一句話的時(shí)候，通常會(huì)根據(jù)句子所處語(yǔ)境的前后關(guān)系來(lái)推理其準(zhǔn)確含義。以代詞為例，要理解代詞指代的是什么，就要靠前一句說(shuō)了什么來(lái)推斷，如“我從小亮手里拿走一塊糖果給小明，他可高興了?！边@后一句話中，要想知道“他”指代的是小亮還是小明，就要理解前一句話，小明得到糖果而小亮失去了糖果，高興的應(yīng)為小明，所以“他”指代了小明。

4 自然語(yǔ)言處理的發(fā)展趨勢(shì)

近年來(lái)，隨著技術(shù)的發(fā)展，人們意識(shí)到傳統(tǒng)的基于句法-語(yǔ)義規(guī)則的理性主義方法太過(guò)復(fù)雜，基于統(tǒng)計(jì)的經(jīng)驗(yàn)主義也只能有限地獲取數(shù)據(jù)。而隨著語(yǔ)料庫(kù)的建設(shè)，大規(guī)模的語(yǔ)言數(shù)據(jù)處理成為了自然語(yǔ)言處理的主要發(fā)展趨勢(shì)。與此同時(shí)，統(tǒng)計(jì)數(shù)學(xué)方法而越來(lái)越受到重視，自然語(yǔ)言處理中機(jī)器自動(dòng)學(xué)習(xí)來(lái)獲取語(yǔ)言知識(shí)的方法也越來(lái)越廣泛。另外，自然語(yǔ)言處理也越來(lái)越重視詞匯的作用，并出現(xiàn)了“詞匯主義”，詞匯知識(shí)庫(kù)的建立已經(jīng)成為自然語(yǔ)言處理發(fā)展中的熱點(diǎn)問(wèn)題[4]。目前，自然語(yǔ)言處理的研究領(lǐng)域已經(jīng)從文字拓展到語(yǔ)音識(shí)別、句法分析、機(jī)器翻譯、機(jī)器學(xué)習(xí)和信息檢索等多個(gè)方面，在自然語(yǔ)言處理在不斷被應(yīng)用的同時(shí)，它也在促進(jìn)其他新興學(xué)科如生物信息學(xué)等的發(fā)展。提升計(jì)算機(jī)處理語(yǔ)言的能力，已經(jīng)成為了未來(lái)人們研究的焦點(diǎn)。

5 結(jié)論

自然語(yǔ)言處理是一門(mén)新興學(xué)科，同時(shí)也是一個(gè)發(fā)展迅速的學(xué)科。自然語(yǔ)言處理技術(shù)的發(fā)展充滿(mǎn)了機(jī)遇與挑戰(zhàn)、困難與挫折，各種模型的建立和各種方法的提出，為自然語(yǔ)言處理帶來(lái)了活力；雖然目前的機(jī)器翻譯、語(yǔ)音識(shí)別等系統(tǒng)尚處在不成熟的階段，但是自然語(yǔ)言處理越來(lái)越廣泛的應(yīng)用，證明了其在計(jì)算機(jī)領(lǐng)域乃至整個(gè)科技領(lǐng)域的重要地位[5]。相信在不久的將來(lái)，自然語(yǔ)言處理會(huì)有著更加光明的未來(lái)。

參考文獻(xiàn)

[1]妮魯帕爾·艾山江.自然語(yǔ)言處理技術(shù)綜述[J].商情，2013（39）：326.

[2]閆偉玲.自然語(yǔ)言處理在信息檢索中的應(yīng)用綜述[J].商品與質(zhì)量，2015.

[3]姜倩盼.自然語(yǔ)言處理的挑戰(zhàn)與未來(lái)[J].信息與電腦（理論版），2013（7）：219-221.

[4]王挺，麥范金，劉忠.自然語(yǔ)言處理及其應(yīng)用前景的研究[J].桂林航天工業(yè)學(xué)院學(xué)報(bào)， 2006，11（4）：19-21.

[5]林奕歐，雷航，李曉瑜，等.自然語(yǔ)言處理中的深度學(xué)習(xí)：方法及應(yīng)用[J].電子科技大學(xué)學(xué)報(bào)，2017（6）：115-121.