淺析智能問答系統(tǒng)及其應(yīng)用

呂金朋 張艷 張欣

引言

隨著互聯(lián)網(wǎng)的發(fā)展，互聯(lián)網(wǎng)上的信息越來越繁雜，已呈現(xiàn)出爆炸式增長的狀態(tài)。面對信息洪災(zāi)，人們越來越難以在網(wǎng)上便捷獲取有效信息，獲取有效信息的成本也越來越高。過去人們通常根據(jù)搜索引擎輸入關(guān)鍵詞，搜索服務(wù)提供商運用檢索算法根據(jù)相關(guān)性從高到低給出相關(guān)信息。但隨著信息越來越繁雜，傳統(tǒng)搜索算法愈來愈顯得力不從心，其原因在于傳統(tǒng)算法未能獲取語言更深層次的語義信息。此外，相似信息太多，甚至包含了很多虛假信息。因此也不斷催生著新技術(shù)的誕生，尤其是計算語言學(xué)的發(fā)展和人工智能的進步。

而隨著深度學(xué)習(xí)技術(shù)的不斷進步，問答系統(tǒng)不僅僅可以獲取語言表面上的信息，還可以獲取更深層次的語義信息，而這種進步恰好也為問答系統(tǒng)提供了生存的土壤與營養(yǎng)。問答系統(tǒng)所能帶來的變革與收益，諸如在取代人工客服、聊天機器人、智能家居等領(lǐng)域的應(yīng)用，進一步引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。當(dāng)前，問答系統(tǒng)已成為自然語言處理領(lǐng)域研究的一大熱點。問答系統(tǒng)的成熟應(yīng)用會將人類從大量重復(fù)性的勞動中釋放出來，并且會改變?nèi)祟惿鐣纳a(chǎn)方式，對人類的社會進步的推動作用是不可估量的。

智能問答系統(tǒng)

定義

智能問答系統(tǒng)是基于大量語料數(shù)據(jù)，通過數(shù)學(xué)模型、相關(guān)編程語言實現(xiàn)的一個能夠和人類進行對話，解決問題的軟件系統(tǒng)。

分類

智能問答系統(tǒng)的分類方法有很多種，如圖1所示。

如果按照問答系統(tǒng)的任務(wù)類型，則大致可分為兩種類型：

（1）面向任務(wù)型問答系統(tǒng);

（2）面向非任務(wù)型問答系統(tǒng)。

面向任務(wù)型問答系統(tǒng)的目的是完成具體的任務(wù)，例如查詢酒店、訂餐等。面向非任務(wù)型問答系統(tǒng)的主要目的是和用戶進行自由交流，很典型的就是當(dāng)前流行的聊天機器人。

面向非任務(wù)問答系統(tǒng)的運行主要有三種方法：

①基于檢索的方法，從事先定義好的數(shù)據(jù)庫中，根據(jù)某種規(guī)則，選出最合適的答案。優(yōu)點是通俗易懂，易于解釋，但缺點也很明顯，非常依賴事先定義的數(shù)據(jù)庫和檢索算法，如果數(shù)據(jù)質(zhì)量不高，那么很可能效果就很差。

②基于生成的方法，這是當(dāng)前研究領(lǐng)域的一個主流熱點，它是通過理解用戶所提出的問題，來生成適當(dāng)?shù)幕貜?fù)，典型的生成模型有 seq2seq，transformer 等。它的優(yōu)點是不依賴定義好的數(shù)據(jù)庫，可以靈活回復(fù)，缺點是容易生成一些無意義的回復(fù)和重復(fù)的回復(fù)等。

③基于檢索和生成混合的方法，具有結(jié)合檢索回復(fù)較為精確和生成回復(fù)較為靈活的優(yōu)點，可以大大提升問答系統(tǒng)的回復(fù)效率和性能，這也是問答系統(tǒng)實際商業(yè)應(yīng)用的主流方法。

處理流程

智能問答系統(tǒng)主要包括三個處理流程：分析問題、檢索數(shù)據(jù)、提取答案。

（1）分析問題

分析問題這一步驟就是處理用戶的問題、生成查詢關(guān)鍵詞、確定問題答案的類型以及問題的語義表示。分析問題又分為分詞及詞性標注、問題分類、關(guān)鍵詞提取及拓展這三步（如圖2所示）。

（2）檢索數(shù)據(jù)

檢索數(shù)據(jù)這一步驟就是利用“關(guān)鍵詞提取”“關(guān)鍵詞拓展”等技術(shù)所得到的結(jié)果來檢索包含答案的數(shù)據(jù)，主要分為本地答案檢索和網(wǎng)絡(luò)檢索模塊兩方面。

本地答案檢索模塊主要從自定義問答集和從網(wǎng)絡(luò)爬取的數(shù)據(jù)中進行問答和檢索，使用基于Word2Vec 的詞向量加權(quán)模型構(gòu)建問句向量并計算向量之間的相似度得到問題的相似度;

網(wǎng)絡(luò)檢索模塊從多個百科知識庫和多個網(wǎng)絡(luò)搜索引擎中搜尋候選答案，進行信息過濾和最終答案的提取并返回給用戶。檢索數(shù)據(jù)的具體流程如圖3所示。

（3）答案提取

答案抽取就是從候選答案中抽出最佳答案返回給用戶。答案抽取的效果會直接影響返回給用戶答案的好壞。

一般的答案抽取流程是：首先對候選文檔或段落進行切分并形成候選答案集，然后根據(jù)問題類型對候選答案集進一步處理，排除冗余的句子，再通過相似度計算對候選句子進行排序，最后對相似度高的句子再進行重新分析，選取出最佳答案。

智能問答應(yīng)用舉例

智能語音助手

（1）簡述

不管是智能手機，抑或是智能手表、音箱、手提電腦等數(shù)碼產(chǎn)品，搭載語音助手已成為一項必不可少的附帶功能。智能越火熱，語音助手就越流行，仿佛少了語音控制，一件電子產(chǎn)品就缺失了該有的科技味。無論是被玩壞的Siri還是“高情商”的小愛同學(xué)，儼然我們的生活已經(jīng)無法忽略智能語音助手的存在了（見圖4）。

（2）處理流程

智能語音助手功能的實現(xiàn)大概分為以下幾個流程：① 語音喚醒;② 語音識別;③ 語義理解;④ 語義意圖分析;⑤ 查詢相關(guān)服務(wù)CP/SP;

以一個例子來說明，比如用戶說“Hi，siri，天氣怎么樣？”

a.“Hi siri”，這是一個喚醒詞，通過預(yù)先采集的喚醒預(yù)料來做訓(xùn)練，然后拿用戶的語音數(shù)據(jù)來匹配，看這個語音數(shù)據(jù)是不是一個喚醒詞;

b.用戶說了“天氣怎么樣”，手機上錄音后，用音頻流數(shù)據(jù)做語音識別（ASR），得到一個文本內(nèi)容“天氣怎么樣”;

c.拿到上一步的“天氣怎么樣”的文本內(nèi)容，來做語義理解（NLP）;

d.從語義理解的結(jié)果中，解析出來用戶的意圖是打算查詢天氣;（該過程可以和上一步一起處理）

e.然后去查找天氣相關(guān)的服務(wù)，得到天氣的詳情，再把天氣返回給用戶。

（3）問題與挑戰(zhàn)

① 市場碎片化。目前，市場上有多家廠商提供智能語音助手服務(wù)，這些廠商與不同的設(shè)備廠商達成合作，形成了各自為陣的生態(tài)系統(tǒng)。內(nèi)置智能語音助手的設(shè)備商，必須對現(xiàn)存的替代方案開放，并與不同的服務(wù)提供商協(xié)作，才能提供便于用戶使用，尤其是跨平臺使用的服務(wù)。

② 隱私問題。理想情況下，個人鑒別信息應(yīng)該安全地存儲在用戶設(shè)備上，并且不會泄露給智能語音助手提供商或者其他服務(wù)提供商。但是實際上智能語音助手需要把用戶數(shù)據(jù)上傳至云端服務(wù)器，經(jīng)過計算后將結(jié)果返回到終端，涉及云端存儲隱私保障問題。

③ 語義理解。雖然語音識別技術(shù)這兩年取得了較大進步，但理解整個對話的環(huán)境和上下文語義，是目前絕大部分機器學(xué)習(xí)或人工智能的瓶頸，機器還很難將詞語表達的意思與語境和情緒相結(jié)合。

智能問答教學(xué)系統(tǒng)

（1）簡述

智能問答系統(tǒng)在課程教學(xué)中可以發(fā)揮重要的作用。在與學(xué)生進行問答的過程中，學(xué)生會針對自己不懂的內(nèi)容向教師請教。但實際上，學(xué)生提出的大多數(shù)問題都是類似的，只是語言的表述形式不同。教師必然沒有時間和精力對每個學(xué)生提的問題都做詳盡的解答。另一方面，教師作為教育教學(xué)改革的實踐者，在“互聯(lián)網(wǎng)+教育”時代，信息化教學(xué)能力成為其專業(yè)素養(yǎng)的基本組成部分，是教師專業(yè)發(fā)展的主要任務(wù)。通過開發(fā)教學(xué)智能問答系統(tǒng)，能夠很好地將教學(xué)問答過程信息化，提高教學(xué)質(zhì)量和教學(xué)效率，適應(yīng)信息化教學(xué)的新模式。

（2）特點

智能問答教學(xué)系統(tǒng)主要有以下幾個特點：

① 可擴展性強。教學(xué)智能問答系統(tǒng)提供底層的問答服務(wù)，在其上可以構(gòu)建諸如教學(xué)智能問答機器人、教學(xué)智能問答Web系統(tǒng)，甚至可以開發(fā)手機應(yīng)用或微信小程序等作為問答系統(tǒng)的交互前臺。

② 信息化程度高。教學(xué)智能問答系統(tǒng)在系統(tǒng)構(gòu)建上，從網(wǎng)絡(luò)中自動爬取與課程專業(yè)相關(guān)的問答知識和專業(yè)性詞條數(shù)據(jù)。在利用智能問答系統(tǒng)進行課程知識點的問答過程中，所有的問答環(huán)節(jié)全程通過互聯(lián)網(wǎng)進行，用戶只需通過系統(tǒng)進行自然語言形式的提問即可得到想要的信息，將傳統(tǒng)的教學(xué)問答徹底信息化。

③教學(xué)互動性強。通過使用教學(xué)智能問答系統(tǒng)，學(xué)生可以通過一問一答的方式進行課程知識點的問答，也可以通過在教學(xué)問答系統(tǒng)發(fā)布自己的問題，邀請教師或者同學(xué)作答，保證返回的答案獲得師生最為廣泛的認可。

（3）未來發(fā)展方向

① 與學(xué)校圖書館系統(tǒng)相結(jié)合。將智能問答系統(tǒng)與學(xué)校圖書管理系統(tǒng)相結(jié)合，用戶只需在智能問答系統(tǒng)中提出針對圖書或文獻的問題，即可推薦與問題相關(guān)的書籍和文獻等信息。

② 教學(xué)問答獎勵機制。學(xué)生可以通過智能問答系統(tǒng)對其他學(xué)生提出的問題進行專業(yè)性的解答，系統(tǒng)綜合學(xué)生的解答次數(shù)、解答的滿意度、教師對答案的評價等指標，對積極參與問答環(huán)節(jié)的學(xué)生給予學(xué)業(yè)或榮譽上的獎勵，比如將其作為平時成績的一項評價指標、頒發(fā)教學(xué)問答之星稱號、派發(fā)問答紅包等。

③ 與多媒體聯(lián)動。通過智能問答系統(tǒng)，教師可以將教學(xué)課件和視頻等多媒體信息上傳到問答系統(tǒng)中，智能問答系統(tǒng)的表現(xiàn)方式不僅有文字，還有語音、圖像、視頻等多媒體信息。通過這些多媒體的教學(xué)展示，能夠更生動地展示課程信息，解答課程知識點，做到教育資源的互聯(lián)互動。

政務(wù)網(wǎng)站智能問答系統(tǒng)

（1）簡述

近年來，隨著大數(shù)據(jù)的快速發(fā)展，以及機器學(xué)習(xí)、自然語言處理、語音識別處理等技術(shù)的突破，人工智能迎來新一輪發(fā)展高潮，這為深化政府治理變革提供了重大機遇和全新途徑。當(dāng)前，越來越多的公共部門開始采用人工智能技術(shù)，改善公共服務(wù)、提高服務(wù)效率、節(jié)約人力成本、促進公民參與、預(yù)防城市風(fēng)險等。其中，智能問答機器人作為人工智能中的一個典型應(yīng)用，因其實時對話、高效便捷、突破時空限制等優(yōu)勢，受到學(xué)術(shù)界和實踐界的廣泛關(guān)注。越來越多的政府網(wǎng)站開通了智能問答機器人，為用戶提供實時、自動、便捷的在線問答服務(wù)，如圖5為北京市人民政府智能問答頁面。

（2）主要問題

現(xiàn)階段的政務(wù)網(wǎng)站智能問答系統(tǒng)主要存在以下問題：

① 開通數(shù)量較少，比例不高。根據(jù)調(diào)查顯示，當(dāng)前問答機器人的開通比例僅為13.05%，雖然省級政府門戶網(wǎng)站的開通率較高，達到54.84%，但還有大量的國務(wù)院部門網(wǎng)站、地市和縣級政府門戶網(wǎng)站尚未建設(shè)問答機器人，還是依靠傳統(tǒng)方式處理網(wǎng)民的咨詢留言。

② 互動水平較低，質(zhì)量不高。與開通數(shù)量少相比，互動質(zhì)量不高的問題更加嚴重。問答機器人的建設(shè)目的是為公眾提供更及時、便捷的服務(wù)，開通只是起點，而服務(wù)沒有終點。在已開通的問答機器人中，除上海、北京、深圳等少數(shù)政府網(wǎng)站問答機器人的答復(fù)質(zhì)量較高外，絕大多數(shù)問答機器人的答復(fù)內(nèi)容質(zhì)量較低，往往“答非所問”，不能準確理解用戶輸入語句含義，后臺也缺乏全面系統(tǒng)的信息資源梳理，沒有將信息資源轉(zhuǎn)化為知識，難以滿足用戶需求。

③ 區(qū)域差異較大，發(fā)展不均。無論是開通數(shù)量，還是績效水平，在省、市、縣三級都呈現(xiàn)出明顯的東西區(qū)域差異。沿海區(qū)域開通率往往更高，績效水平也相對較高。

（3）優(yōu)化措施

① 基于政府業(yè)務(wù)邏輯，構(gòu)建知識體系

與商業(yè)領(lǐng)域中問答機器人往往有較多俏皮、幽默、調(diào)侃的寒暄內(nèi)容不同，政務(wù)領(lǐng)域中問答機器人的知識內(nèi)容比較聚焦，主要是基于政務(wù)服務(wù)展開。其中，政務(wù)服務(wù)的業(yè)務(wù)邏輯梳理和知識體系構(gòu)建又是重中之重，這是問答機器人實現(xiàn)人機對話的基礎(chǔ)。

從用戶視角來看，多數(shù)用戶在使用問答機器人時，往往會輸入一些與業(yè)務(wù)緊密相關(guān)的口語化的關(guān)鍵詞（如身份證辦理、身份證丟失、身份證換領(lǐng)等），而很少會輸入完整的語句，完全與政府業(yè)務(wù)事項名稱相匹配的更是少之又少。

但從政府業(yè)務(wù)視角來看，往往一個事項會包含多種情形，而每種情形對應(yīng)的信息和服務(wù)資源各不相同。例如，圍繞身份證相關(guān)業(yè)務(wù)，可細分為“申領(lǐng)”“換領(lǐng)”和“丟失”等子項，每個子項又包括多種具體情形。因此，為了實現(xiàn)更加準確的需求理解和對話返回，智能問答機器人就需要進一步對用戶的具體情形進行細化，這就需要對政府的業(yè)務(wù)邏輯進行梳理，在此基礎(chǔ)上構(gòu)建知識庫和知識圖譜。

② 綜合利用各種技術(shù)，實現(xiàn)高質(zhì)量對話。問答機器人有多種分類維度，從技術(shù)構(gòu)建角度來看，主要有基于人工模板、基于檢索和基于深度學(xué)習(xí)的問答機器人三類。無論是哪種技術(shù)方式，要實現(xiàn)高質(zhì)量人機交互，就需要準確理解用戶輸入的語義，否則就容易出現(xiàn)“答非所問”的現(xiàn)象。除了上述知識體系，還需要充分利用各種技術(shù)，包括自然語言處理技術(shù)、多輪對話技術(shù)、標簽關(guān)聯(lián)技術(shù)、機器學(xué)習(xí)技術(shù)等等。

智能問答系統(tǒng)未來展望

雖然智能問答系統(tǒng)發(fā)展十分迅速，但是現(xiàn)階段仍然存在一些挑戰(zhàn)，如語義嵌入尚不完善，如何利用大量的無標注數(shù)據(jù)，如何將常識庫加入問答系統(tǒng)等等。下面所列出的是一些智能問答系統(tǒng)未來可能的發(fā)展方向：

（1）預(yù)訓(xùn)練

谷歌的BERT刷新了多項 NLP記錄，也為問答系統(tǒng)開辟了新的道路。充分利用大量無標注的文本數(shù)據(jù)，將常識引入問答系統(tǒng)，是問答系統(tǒng)走向通用智能的一個可能的趨勢。

（2）通用模型

由于各個領(lǐng)域的知識數(shù)據(jù)結(jié)構(gòu)不同，每個領(lǐng)域的問答系統(tǒng)框架也不同，導(dǎo)致當(dāng)前的問答系統(tǒng)仍主要用于單一領(lǐng)域。而問答系統(tǒng)處理多領(lǐng)域、多語言的能力是至關(guān)重要的，遷移學(xué)習(xí)和主動學(xué)習(xí)則是解決此問題的一種趨勢。

（3）深度推理

當(dāng)前的問答系統(tǒng)大都基于標注好的數(shù)據(jù)和事先定義的數(shù)據(jù)庫，在回復(fù)生成上仍缺少多樣性，其根本原因在于當(dāng)前的問答系統(tǒng)仍無法深刻地理解真實世界，無法有效理解自然語言的豐富信息。語言的本質(zhì)是一個個符號，符號與符號之間的關(guān)系可以被神經(jīng)網(wǎng)絡(luò)所學(xué)習(xí)，但符號背后的物理世界則是計算機所無法理解的，如何讓計算機有效獲取物理世界的信息是極其重要的一步。

總結(jié)

本文從智能問答系統(tǒng)的定義入手展開文章，介紹了問答系統(tǒng)的分類與組成，以及給出智能問答系統(tǒng)的一般處理流程，接著介紹了智能問答的發(fā)展歷程。然后分別舉了三個智能問答系統(tǒng)的應(yīng)用實例來說明當(dāng)前智能問答系統(tǒng)的發(fā)展現(xiàn)狀。最后，在文章結(jié)尾處給出了當(dāng)前問答系統(tǒng)的一些挑戰(zhàn)以及未來可能的研究方向。