問答之間的智慧

科技領(lǐng)域的4個(gè)巨頭，微軟、蘋果、Google和Facebook在下一代搜索這件事上撞車了。它們都希望自己的服務(wù)能真正理解用戶的搜索意圖，然后盡可能地直接給出可靠答案。作為當(dāng)前主流搜索引擎的代表，Google和微軟的Bing都小范圍地加入了“知識(shí)引擎”的內(nèi)容，F(xiàn)acebook推出不久的Graph Search的搜索結(jié)果不是鏈接而是答案，蘋果的Siri用對(duì)話的形式滿足用戶的信息需求。在基于網(wǎng)頁(yè)圖譜的關(guān)鍵詞搜索時(shí)代，Google是大贏家。但在新的背景下，它的對(duì)手各具優(yōu)勢(shì)，搜索引擎的格局或許將迎來改變。

2013年7月的最后一天，我們?cè)谖④泚喼扪芯吭旱霓k公室看到了一個(gè)智能問答系統(tǒng)的演示，該項(xiàng)目的內(nèi)部代號(hào)是Light，目前尚未對(duì)外發(fā)布。在我提出的問題“微軟亞太研發(fā)集團(tuán)何時(shí)搬到中關(guān)村？”被轉(zhuǎn)換為英文輸入搜索框后，Light直接給出了正確答案——2011年05月25日，答案后面標(biāo)注的可信度超過90%，點(diǎn)擊該答案則可以查看Light推斷出是這一天的“證據(jù)”，也就是很多英文媒體的報(bào)道鏈接。

接下來，研究員韋福如又展示了幾個(gè)難度更大的問題。其中一個(gè)翻譯成中文是“1917年瓊斯法案給了這個(gè)加勒比島嶼的居民美國(guó)公民地位”，Light給出了正確答案“波多黎各”；另一個(gè)是“如何成為一名足球裁判”，Light給出的最佳答案來自問答社區(qū)Answers.com，原問題是“成為足球裁判需要哪些要求？”韋福如向我們強(qiáng)調(diào)，“Light真的讀懂了這些復(fù)雜的問題。”對(duì)于Light的表現(xiàn)，周明不無自豪地稱，Light集合了微軟領(lǐng)先的自然語(yǔ)言處理、信息檢索和機(jī)器學(xué)習(xí)等技術(shù)，“如果拿Lgiht去參加智力問答節(jié)目Jeopardy！，也可以與人類冠軍一較高下?！?/p>

上述同樣的問題，在目前主流的搜索引擎上只能把帶有關(guān)鍵詞的網(wǎng)頁(yè)搜索出來，然后需要用戶再通過人工找出可能包含具體內(nèi)容的網(wǎng)頁(yè)。這時(shí)候我們就能領(lǐng)會(huì)到Light的奧妙了。演示結(jié)果令我對(duì)Light問答系統(tǒng)刮目相看的另一個(gè)原因是針對(duì)這些冷門的問題，Light并非從知識(shí)數(shù)據(jù)庫(kù)中調(diào)出答案，而是從相關(guān)的Web頁(yè)面或問答社區(qū)中分析出答案的。

負(fù)責(zé)該項(xiàng)目的自然語(yǔ)言計(jì)算組首席研究員周明告訴CHIP，用戶的搜索意圖很難僅通過一兩個(gè)關(guān)鍵詞就表達(dá)出來，作為一個(gè)智能問答系統(tǒng)，Light的首要任務(wù)是理解用戶說的話（自然語(yǔ)言），明確搜索意圖，然后在浩如煙海的互聯(lián)網(wǎng)中把答案找出來。

問答系統(tǒng)是自然人機(jī)交互、搜索引擎和手機(jī)個(gè)人數(shù)字助理等領(lǐng)域的關(guān)鍵技術(shù)。移動(dòng)終端的逐漸普及也讓問答系統(tǒng)的重要性日益凸顯——一方面，因?yàn)樵谑謾C(jī)有限的屏幕空間上，用戶希望能恰到好處地直接獲得答案；另一方面，更便捷的語(yǔ)音輸入方式讓用戶漸漸習(xí)慣于，通過一句話而不是一個(gè)關(guān)鍵詞來表達(dá)自己的搜索意圖。目前主流的搜索引擎也在發(fā)現(xiàn)并適應(yīng)用戶的需求，但做得還不夠好。

“Light問答系統(tǒng)的目標(biāo)并不是完全取代基于關(guān)鍵詞的、成熟的搜索技術(shù)，而是與之互為補(bǔ)充，無縫提升用戶的搜索體驗(yàn)。”Light項(xiàng)目的負(fù)責(zé)人周明表示，“針對(duì)用戶的問題，如果找到了特別可信的答案，Light就會(huì)把它放在搜索結(jié)果的最前面給用戶看；如果沒有可信度足夠高的答案，那么就提供普通的搜索結(jié)果?！?/p>

Light背后的3個(gè)引擎

目前主流的搜索引擎都正在向搜索結(jié)果中導(dǎo)入更多的“知識(shí)圖譜”，在回答用戶一些不需要推理的事實(shí)和常識(shí)性問題時(shí)可以直接給出答案，例如某個(gè)國(guó)家的國(guó)慶日和姚明的身高等。

Light問答引擎并沒有止步于此，而是開發(fā)出了更先進(jìn)的系統(tǒng)。據(jù)研發(fā)人員介紹，Light背后使用了3個(gè)QA引擎，分別是知識(shí)庫(kù)、Web內(nèi)容挖掘和各種問答社區(qū)的內(nèi)容整合。Light會(huì)根據(jù)問題類型的不同將其導(dǎo)入不同的QA引擎——首先在知識(shí)庫(kù)中查找，因?yàn)橹R(shí)庫(kù)中保存的是結(jié)構(gòu)化的數(shù)據(jù)，機(jī)器容易識(shí)別；如果知識(shí)庫(kù)里找不到，就通過Web內(nèi)容來挖掘；對(duì)于一些偏主觀的問題，Light會(huì)去雅虎問答和百度知道這樣的問答社區(qū)尋找答案，因?yàn)檫@些問題機(jī)器太難回答了，必須要有人的參與。

在被問到Light與蘋果Siri、Facebook Graph Search相比的區(qū)別和優(yōu)勢(shì)時(shí)，周明說，一般的公司可能做了一個(gè)QA引擎，很少有公司擁有把3個(gè)QA引擎集合在一起的實(shí)力。在每個(gè)QA引擎都能做出規(guī)模的前提下，盡管背后有很復(fù)雜的推理和執(zhí)行邏輯，但Light問答系統(tǒng)的運(yùn)行速度仍然很快，這方面是他們比較滿意的地方。

但他也清楚地認(rèn)識(shí)到，要想真正讓用戶廣泛地使用Light問答系統(tǒng)，還要投入很多工作，其中最關(guān)鍵的任務(wù)就是擴(kuò)大問題的覆蓋面。目前Light可以回答的問題類型主要是“用戶經(jīng)常問的”，但是在實(shí)際運(yùn)用中，有很多不常出現(xiàn)的“長(zhǎng)尾”問題會(huì)被人問到。具體到知識(shí)庫(kù)方面，周明告訴我們，目前Light問答系統(tǒng)的知識(shí)庫(kù)對(duì)“一階”問題掌握比較好，“二階”和“三階”問題的掌握仍需要改進(jìn)。通俗地解釋，“一階”問題就是只包含一層關(guān)系的知識(shí)，例如姚明的身高是多少?！岸A”和“三階”問題就需要包含2層或3層關(guān)系的知識(shí)，例如姚明母親的身高是多少以及姚明的母親比妻子高多少。

目前Light主要基于英文語(yǔ)言和內(nèi)容，但研究人員表示他們具備了漢語(yǔ)處理的關(guān)鍵技術(shù)，加入另一種語(yǔ)言更多地是與現(xiàn)有的系統(tǒng)進(jìn)行磨合。目前漢語(yǔ)的知識(shí)庫(kù)量還比較小，需要花些功夫做儲(chǔ)備。最后整個(gè)系統(tǒng)要不斷地磨合、測(cè)試、反饋和改進(jìn)，這個(gè)過程要花很長(zhǎng)的時(shí)間。

突破人類的極限

作為一個(gè)研究機(jī)構(gòu)，在周明看來，微軟亞洲研究院的優(yōu)勢(shì)是眼光更遠(yuǎn)、更寬?！拔覀兊难芯坎粫?huì)局限在一兩個(gè)產(chǎn)品上，也不追求非得贏了哪個(gè)公司，我們真的想通過突破人類知識(shí)和技術(shù)的局限性，使我們的研究成果成為人類知識(shí)和技術(shù)寶庫(kù)的一部分。同時(shí)我們的研究成果可以為微軟的產(chǎn)品和服務(wù)提供動(dòng)力，或者提高原有產(chǎn)品的水平，最終造福用戶?！?/p>