聊天機器人系統(tǒng)研究進(jìn)展

王浩暢 李 斌

(東北石油大學(xué)計算機與信息技術(shù)學(xué)院 黑龍江 大慶 163318)

0 引 言

隨著社會信息化進(jìn)程的日益加快，人們希望能夠用自然語言與計算機進(jìn)行交流，聊天機器人的市場因此產(chǎn)生。聊天機器人通過學(xué)習(xí)自然語言來與人類進(jìn)行對話，屬于問答系統(tǒng)的范疇。它不僅能回答用戶所提的問題，還能人性化地與用戶交流，同時提醒或者安排用戶完成一些任務(wù)。

20世紀(jì)90年代以前的聊天機器人，與用戶的交談僅僅基于談話技巧和程序技巧，在它們的對話庫中存放著很多句型和模板[1]，但缺乏語義分析能力，且?guī)缀鯖]有知識庫，因此根本無法真正理解用戶所提出問題，對話質(zhì)量差強人意。同時由于應(yīng)用場景的缺失，聊天機器人在過去的十幾年間并未得到太多的關(guān)注。

隨著技術(shù)的不斷創(chuàng)新和市場需求的持續(xù)增大，人工智能正成為數(shù)據(jù)、科技進(jìn)入人類生活的重要橋梁。近年來，包括自然語言處理、深度學(xué)習(xí)、語音識別和模式識別等在內(nèi)的人工智能技術(shù)穩(wěn)步前進(jìn)，推動了聊天機器人系統(tǒng)的高度發(fā)展，人機交互的方式也發(fā)生了很大的變化。目前，很多商業(yè)公司紛紛投入到聊天機器人的研發(fā)中，陸續(xù)推出了相關(guān)產(chǎn)品，比如蘋果的Siri、谷歌的Google Now、微軟的Cortana與小冰、百度的“度秘”、亞馬遜的智能語音助手Alexa、Facebook的語音助手M、以及韓國風(fēng)靡全球的SimSimi等。研究聊天機器人的相關(guān)技術(shù)，尤其是對話理解問題，對促進(jìn)人機交互方式的發(fā)展有重要意義[2]。

1 國內(nèi)外研究現(xiàn)狀

1.1 國外研究現(xiàn)狀

國外在聊天機器人領(lǐng)域的研究起步比較早，也比較成熟，一些知名的大學(xué)和科研機構(gòu)都對智能人機對話系統(tǒng)進(jìn)行了深入的研究和系統(tǒng)開發(fā)。

聊天機器人的研究開始于1950年，英國知名數(shù)學(xué)家圖靈在《Mind》上發(fā)表了一篇經(jīng)典論文——《計算機器與智能》[3-4]。在文中，圖靈第一次提出“機器智能”的概念，并提出判斷計算機是否具備智能的實驗方法——“圖靈測試”[5]?！皥D靈測試”是問答系統(tǒng)的藍(lán)圖，也是人工智能的終極目標(biāo)。

1966年，麻省理工學(xué)院的計算機科學(xué)家Joseph Weizenbaum開發(fā)出了最早也是最著名的聊天機器人系統(tǒng)——Eliza[6]。該系統(tǒng)的基本原理是在數(shù)據(jù)庫中查找與用戶問句中相應(yīng)的關(guān)鍵詞，然后使關(guān)鍵詞與相應(yīng)的模式進(jìn)行匹配，最后輸出與之匹配的答案。Eliza主要應(yīng)用于醫(yī)療領(lǐng)域，通過這個系統(tǒng)可以引導(dǎo)精神病人與系統(tǒng)進(jìn)行交互，從而獲取治療需要的信息，能對精神病人進(jìn)行輔助治療[7]。從此，Eliza系統(tǒng)開啟了智能聊天機器人的時代。

1990年，美國科學(xué)家兼慈善家Hugh G.Loebner設(shè)立了一年一度的人工智能比賽——Loebner Prize(勒布納獎)，目的在于獎勵最擅長模仿人類真實對話場景的機器人；Chatterbox Challenge是2001年開始的一年一度的挑戰(zhàn)，旨在測試聊天機器人在對話中模擬真人的能力，根據(jù)對一系列的問題和整個對話的反應(yīng)程度來判斷該能力。

在這樣一些競賽的推動下，眾多科學(xué)家和學(xué)者紛紛投身到聊天機器人系統(tǒng)研究中，這在推廣圖靈測試的同時，也推動了人工智能的發(fā)展，是聊天機器人的研究的一個黃金期。1995年，Richard S.Wallace博士開發(fā)了一個基于經(jīng)驗的人工智能聊天機器人——ALICE。它以人工智能標(biāo)記語言AIML(Artificial Intelligence Markup Language)作為知識描述語言，憑借其良好的設(shè)計和逼真的效果，在2000年、2001年和2004年三度獲得著名的勒布納獎，并且在2004年獲得了Chatterbox Challenge比賽的冠軍，曾一度被認(rèn)為是最聰明的聊天機器人。目前，該系統(tǒng)經(jīng)過改進(jìn)后已經(jīng)能夠完全支持中文語言，并且在各種中文聊天系統(tǒng)中取得了較好的成績。

1998年，Wendell Cowart用Java script和PERL語言編寫的Talk-Bot作為一個在線聊天系統(tǒng)被發(fā)布，在2001年、2002年和2006年三次獲得了Chatterbox Challenge比賽的冠軍[8]。

由Bruce Wilcox開發(fā)的ChatScript在2010年、2011年和2014年三次獲得了勒布納獎，促進(jìn)了聊天機器人領(lǐng)域的快速發(fā)展。由于ChatScript改進(jìn)了腳本引擎，使其比AIML更具維護性及可讀性，并從AIML時代基于無狀態(tài)的對話，進(jìn)入基于狀態(tài)、擁有上下文情景及記憶的對話，帶來了更高的交互性；同時引入Ontology，讓聊天機器人擁有更豐富的知識[9]。

新世紀(jì)的到來為智能聊天系統(tǒng)創(chuàng)造了更大的發(fā)展空間，尤其是深度學(xué)習(xí)算法的出現(xiàn)，為聊天機器人的研究帶來了蓬勃生機[10]。目前，研究聊天機器人的熱度持續(xù)上漲，各大廠商也紛紛加入到研制聊天機器人的行列，如蘋果語音助手Siri、韓國的小黃雞、IBM沃森系統(tǒng)、谷歌的Google Now、微軟的Cortana、亞馬遜的Alexa等。

1.2 國內(nèi)研究現(xiàn)狀

相比之下，國內(nèi)在聊天機器人領(lǐng)域的研究起步較晚，面臨著兩大難題：一是中文在信息處理方面的特殊性，往往無法將國外一些成熟技術(shù)和研究成果直接利用到中文對話系統(tǒng)中；二是缺乏相應(yīng)的自然語言處理的相關(guān)基礎(chǔ)資源，如語料庫、知識庫以及相應(yīng)的評價機制等[1]。

近年來，隨著聊天機器人技術(shù)的飛速發(fā)展，國內(nèi)的聊天機器人研究事業(yè)有了很大的進(jìn)展。2014年，微軟小冰一時成為熱門話題，小冰在與用戶的對答中積累了大量的語料基礎(chǔ)，同時，微軟憑借在大數(shù)據(jù)、自然語義分析、機器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)方面的技術(shù)積累[11]，大大提升了小冰的對話學(xué)習(xí)能力。繼小冰之后，國內(nèi)其他廠商緊隨其后，各具特色的聊天機器人應(yīng)運而生，如公子小白、百度度秘、Holoera等。按照時間的先后順序?qū)⒘奶鞕C器人所屬的應(yīng)用場景分類，以及主要功能或核心技術(shù)等總結(jié)如圖1所示。

圖1 聊天機器人

2 聊天機器人的分類

聊天機器人種類繁多，且廣泛地應(yīng)用于各個領(lǐng)域。在功能上，可以將聊天機器人劃分為以閑聊為主的開放領(lǐng)域和以任務(wù)為主的特定領(lǐng)域；而在技術(shù)實現(xiàn)上又可以劃分為檢索式和生成式；本文主要從應(yīng)用場景上對聊天機器人進(jìn)行分類，從該方面可以將其劃分為娛樂、在線客服、教育、個人助理和智能問答。

娛樂聊天機器人的主要功能是同用戶進(jìn)行開放主題的對話。代表性的系統(tǒng)有微軟“小冰”、微信“小微”、“小黃雞”等。此類應(yīng)用不僅能夠與用戶進(jìn)行閑聊，實現(xiàn)情感撫慰和精神陪伴等；還能滿足日常生活需求，如新聞播報和天氣預(yù)報等。

在線客服聊天機器人的主要功能是針對用戶提出的有關(guān)產(chǎn)品或服務(wù)的相關(guān)問題進(jìn)行回答。代表性的系統(tǒng)有小i機器人、京東的JIMI客服機器人等。一般而言，客服機器人具備一定的拒識能力，即當(dāng)知道自己不能回答用戶的問題時，就會提供某種機制將用戶轉(zhuǎn)向人工客服。

教育場景下的聊天機器人主要功能包括幫助用戶學(xué)習(xí)新語種；輔助用戶在特定年齡階段對某種知識的學(xué)習(xí)；指導(dǎo)用戶對某項專業(yè)技能的學(xué)習(xí)等。代表性的系統(tǒng)有科大訊飛公司的開心熊寶和微軟亞洲研究院開發(fā)的微軟小英。

個人助理類聊天機器人的主要功能側(cè)重于實現(xiàn)個人事務(wù)，如信息查詢及代辦其他事件等功能，目的是更便捷地輔助用戶的日常事務(wù)處理。代表性的系統(tǒng)有蘋果Siri、百度度秘、微軟Cortana和 Google Now等。

智能問答類的聊天機器人主要功能是理解并回答用戶提出的問題，這些問題比較側(cè)重于事實性問題或者是需要計算和邏輯推理型的問題。代表性的系統(tǒng)有IBM Watson、Wolfram Alpha等。

3 聊天機器人系統(tǒng)框架

圖2顯示了一個通用的聊天機器人系統(tǒng)框架，其中包含五個主要的功能模塊?；镜牧鞒虨椋河脩敉ㄟ^文字形式或語音形式輸入之后進(jìn)行預(yù)處理，轉(zhuǎn)化成文本形式進(jìn)行自然語言理解，然后再通過語義表示和上下文進(jìn)入對話管理，接著對當(dāng)前對話模型進(jìn)行答案提取，最后將生成的回復(fù)文本進(jìn)行合成輸出給用戶。

圖2 聊天機器人系統(tǒng)框架

3.1 輸入預(yù)處理

輸入預(yù)處理模塊主要負(fù)責(zé)對用戶輸入的問句進(jìn)行前期的處理，如果是文字輸入，就直接交給自然語言理解模塊進(jìn)行處理；如果是語音輸入，就需要先將語音轉(zhuǎn)換成文字形式。語音輸入涉及到語音識別技術(shù)，語音識別技術(shù)主要包括特征提取技術(shù)、模式匹配準(zhǔn)則以及模型訓(xùn)練技術(shù)3個方面[12]。

3.2 自然語言理解

自然語言理解模塊主要負(fù)責(zé)從完整的語句中提取出需要的信息，并且理解用戶輸入問句的語義，產(chǎn)生一個特定的語義表達(dá)式。聊天機器人系統(tǒng)中的自然語言理解功能包括用戶意圖識別、用戶情感識別、指代消解、省略恢復(fù)、回復(fù)確認(rèn)及拒識判斷等技術(shù)[13]。并且語法分析、語義分析、關(guān)鍵詞提取、相似度計算等自然語言處理技術(shù)也是必不可缺的。

3.3 對話管理

對話管理模塊是整個系統(tǒng)的核心，主要功能是協(xié)調(diào)聊天機器人的各個部分，提供人機交互的對話策略，幫助用戶高效自然地完成任務(wù)，并維護和更新整個對話的狀態(tài)[14]。其中涉及到對話行為識別、對話狀態(tài)跟蹤、動作選擇、對話信息記錄、策略優(yōu)化以及對話獎勵等關(guān)鍵技術(shù)。對話管理模塊首先要識別出用戶輸入問題的形式是屬于封閉式還是開放式。封閉式是指有明確的服務(wù)目標(biāo)和服務(wù)對象，僅處理特定領(lǐng)域中的問題，給對話的主題進(jìn)行了限制。開放式則沒有一個清晰的目標(biāo)和對象，對話涉及的主題很廣，所需要的知識量也是巨大的。接著進(jìn)行知識匹配，最后得到可以表示或者指向答案的模型。對話管理模塊管理著對話的上下文和后端的知識庫，以及對于生成最終的對話答案產(chǎn)生了直接的影響[15]，在整個系統(tǒng)中是非常重要的。

3.4 答案生成

答案生成模塊主要負(fù)責(zé)根據(jù)當(dāng)前對話的模型進(jìn)行答案的提取。答案生成通常根據(jù)對話管理部分產(chǎn)生的文本信息，自動生成面向用戶的自然語言反饋[13]，整個答案生成的過程包括了內(nèi)容選擇、文本規(guī)劃、語句合成、指代表達(dá)生成、表層實現(xiàn)等階段。目前，聊天機器人的對話生成技術(shù)主要包括檢索式和生成式兩種。檢索式是指在對話庫中以搜索匹配的方式找到適合用戶輸入語句的最佳答案予以回復(fù)。生成式是指采用一定的技術(shù)手段(如深度學(xué)習(xí)技術(shù))自動生成新的回復(fù)內(nèi)容。

3.5 輸出處理

輸出處理模塊主要負(fù)責(zé)了解用戶是以何種形式進(jìn)行提問。提問時采用的是文字，就直接將文字輸出給用戶；提問時采用的是語音，就先將語音轉(zhuǎn)化成文字。

4 聊天機器人的構(gòu)建方法

對于聊天機器人的技術(shù)而言，常見的幾種主流技術(shù)構(gòu)建方法有：基于人工模板的聊天機器人、基于檢索的聊天機器人和基于深度學(xué)習(xí)的聊天機器人。

4.1 基于人工模板的聊天機器人

該方法是根據(jù)用戶輸入的句子，在模板庫中找到匹配的問句模板，然后按照對應(yīng)的應(yīng)答模板生成答案，返回給用戶，如ALICE、ChatScript等。ALICE[16]采用AIML[17]語言來描述知識庫，AIML語言采用XML語法來存儲數(shù)據(jù)[18]，圖3所示為AIML規(guī)則實例。這種方法的優(yōu)點是精確，缺點是需要大量的人力，并且缺乏靈活性，可擴展性差。

圖3 AIML規(guī)則

4.2 基于檢索的聊天機器人

基于檢索技術(shù)的聊天機器人根據(jù)用戶輸入的句子，在對話庫中以搜索匹配的方式進(jìn)行匹配，從中找到最合適的應(yīng)答內(nèi)容，將答案提取出來返回給用戶，其工作流程圖如圖4所示。這種方法對對話庫的要求很高，并且需要足夠大，但是它的優(yōu)點是回答質(zhì)量高，表達(dá)比較自然。

圖4 基于檢索的聊天系統(tǒng)工作流程

4.3 基于深度學(xué)習(xí)的聊天機器人

基于深度學(xué)習(xí)的聊天機器人根據(jù)用戶輸入的句子，利用模型逐詞或逐字生成答案，然后將答案回復(fù)給用戶。其中多數(shù)技術(shù)采用了Encoder-Decoder[19-21]模型，即編碼-解碼模型，其框架技術(shù)原理如圖5所示。Encoder就是對輸入序列進(jìn)行編碼，通過一系列非線性變換轉(zhuǎn)化成一個帶有語義固定長度的向量；Decoder就是根據(jù)之前生成的固定向量再轉(zhuǎn)化成輸出序列。實現(xiàn)聊天系統(tǒng)的時候，Encoder和Decoder都不是固定的，可選擇的模型有RNN[22]、LSTM[23]、GRU[24]等，可以自由組合。這種方法思路簡單，可擴展，能夠更好地理解上下文，但是模型很難訓(xùn)練，回復(fù)時經(jīng)常存在一些語法錯誤。

圖5 Encoder-Decoder框架

目前，在構(gòu)建系統(tǒng)時都是將多種方法融合。根據(jù)三種構(gòu)建方法的不同，將聊天機器人構(gòu)建方法進(jìn)行對比，如表1所示。

表1 三種構(gòu)建方法的比較

5 聊天機器人技術(shù)評測及評測指標(biāo)

5.1 聊天機器人技術(shù)評測

技術(shù)評測在聊天機器人(人機對話)領(lǐng)域非常重要，不僅對人工智能的技術(shù)進(jìn)步起到了巨大的推動作用，還能夠促進(jìn)整個科學(xué)研究領(lǐng)域的發(fā)展。近年來，出現(xiàn)了一些專門針對人機對話技術(shù)的評測，如NIPS、DSTC、SMP2017-ECDT等。

神經(jīng)信息處理系統(tǒng)大會NIPS(Advances in Neural Information Processing Systems)是由連接學(xué)派(connectionist)神經(jīng)網(wǎng)絡(luò)的學(xué)者于1987年在加拿大創(chuàng)辦，是一個關(guān)于機器學(xué)習(xí)和神經(jīng)計算領(lǐng)域的頂級會議，該會議于每年12月由NIPS基金會主辦。2017年NIPS在美國西岸加州南部城市長灘市舉辦，競賽主要有5項，包括人機問答、學(xué)習(xí)跑步、會話智能挑戰(zhàn)等。

對話狀態(tài)跟蹤挑戰(zhàn)DSTC(Dialog State Tracking Challenge)是從2013年開始進(jìn)行的系列研究挑戰(zhàn)任務(wù)，每年一次，到2017年已經(jīng)組織了五次。該評測是一種任務(wù)驅(qū)動多輪對話評測標(biāo)準(zhǔn)，其重點在于改善跟蹤對話系統(tǒng)的技術(shù)水平。狀態(tài)跟蹤是指在對話過程中準(zhǔn)確估計用戶的目標(biāo)，該挑戰(zhàn)為對話狀態(tài)跟蹤提供了第一個通用的測試平臺和評估標(biāo)準(zhǔn)。

全國社會媒體處理大會SMP(National Conference of Social Media Processing)從2012年開始，每年舉行一次，現(xiàn)已成為社會媒體處理的重要學(xué)術(shù)活動。第六屆SMP于2017年9月在北京召開，此次會議首次組織舉辦了中文人機對話技術(shù)評測(The Evaluation of Chinese Human-Computer Dialogue Technology,SMP2017-ECDT)，此次評測主要為了促進(jìn)中文人機對話系統(tǒng)相關(guān)研究的發(fā)展，為人機對話技術(shù)相關(guān)的學(xué)術(shù)研究人員和產(chǎn)業(yè)界從業(yè)人員提供一個良好的溝通平臺。表2列出了近5年評測任務(wù)及評測指標(biāo)。

5.2 聊天機器人系統(tǒng)評測指標(biāo)

聊天機器人系統(tǒng)的評測指標(biāo)[30-34]采用國際上通用的平均排序倒數(shù)MRR(Mean Reciprocal Rank)、信賴加權(quán)評分CWS(Confidence Weighted Score)、準(zhǔn)確率P(Precision)、召回率R(Recall)和F-Measure(F)幾個評測指標(biāo)。

(1)

如果標(biāo)準(zhǔn)答案存在于系統(tǒng)給出的排序結(jié)果中的多個位置，以排序最高的位置計算；如果標(biāo)準(zhǔn)答案不在系統(tǒng)給出的排序結(jié)果中，得0分。式(1)中的M表示標(biāo)準(zhǔn)答案在系統(tǒng)給出的排序結(jié)果中的位置，N表示測試集中的提問個數(shù)。

表2 人機對話技術(shù)評測

續(xù)表2

(2)

式中：C表示前i個提問中被正確回答的提問數(shù)，N表示測試集中的提問個數(shù)。

(3)

(4)

(5)

6 結(jié) 語

目前，聊天機器人的研究仍存在許多不足，這些不足為我們指出了未來的發(fā)展趨勢。

(1) 理解提問者的問題及語言。目前有些聊天機器人忽略了最基礎(chǔ)的語言理解能力。當(dāng)用戶所提問題較短時，系統(tǒng)不能有效的理解問題[35]。谷歌和Facebook就對這一問題進(jìn)行了深入的研究，他們使用深度神經(jīng)網(wǎng)絡(luò)來推進(jìn)聊天機器人的自然語言處理能力，希望通過分析海量數(shù)據(jù)來學(xué)會理解語言，并以自然的方式回應(yīng)人類語言。

(2) 學(xué)習(xí)能力。學(xué)習(xí)應(yīng)當(dāng)是一個優(yōu)化的過程，聊天機器人應(yīng)該要建立自己的道德標(biāo)準(zhǔn)體系，識別哪些是應(yīng)該學(xué)習(xí)的。除此之外，還要有主動學(xué)習(xí)的能力?，F(xiàn)在聊天機器人開放式學(xué)習(xí)的能力依舊是有限的，仍需要人類教會它們?nèi)绾潍@取及處理數(shù)據(jù)，這背后需要一個龐大的團隊。如果可以通過互聯(lián)網(wǎng)自行搜索信息，并進(jìn)行自動學(xué)習(xí)和獲取知識，就能減少大量的人力，這也是走向人工智能的重要一步。

(3) 推理判斷能力。聊天機器人如果沒有推理判斷能力，就無法分辨出自己的回答是否正確、合理。因此需要建立自己的評價體系，對所有回答進(jìn)行判斷，并找出最優(yōu)答案。目前已有一些研究人員和機構(gòu)將深度學(xué)習(xí)和知識圖譜技術(shù)應(yīng)用到聊天機器人中，使得聊天機器人具有一定的推理能力，且對話更加流暢自然。

(4) 記憶能力。目前的聊天機器人只是回答一些簡單的問題，幾乎沒有記憶能力。在一段對話中，人們經(jīng)常有所省略，用一個或幾個字來代指上文中所說的某一件事，對于這種情況，聊天機器人基本上無法根據(jù)上下文來回答。這就需要它們通過深度學(xué)習(xí)，按照語義的邏輯關(guān)系正確代入指代對象[36]。

(5) 語音識別技術(shù)。即使聊天機器人已擁有先進(jìn)的語音識別技術(shù)，但口音的差異仍是一大難題。由于語言的差異及各種口音的存在，聊天機器人必須學(xué)習(xí)適應(yīng)語種轉(zhuǎn)換和音調(diào)變化。目前，Alexa、Siri、Cortana等個人助理正試圖利用現(xiàn)有數(shù)據(jù)補充語音功能，以增強語音識別技術(shù)，并改善對復(fù)雜語音模式的理解，使用數(shù)據(jù)挖掘和神經(jīng)網(wǎng)絡(luò)來分析和模仿人類語言。

一個好的聊天機器人不僅需要用到各種信息處理技術(shù)，還要考慮各種知識的融合，而現(xiàn)在的人工智能技術(shù)也正朝著這個方向發(fā)展。目前的聊天機器人雖然離我們理想的目標(biāo)還有一段距離，功能不夠全面，產(chǎn)業(yè)和技術(shù)發(fā)展仍存在著很多局限性，但是隨著研究的不斷深入，聊天機器人的智能化水平將不斷提高，聊天機器人也在逐步走向成熟。如今，聊天機器人技術(shù)正處于蓬勃發(fā)展的時期，相信在不久的將來聊天機器人會取得一次次重大的突破。