研究開發(fā)基于多人對(duì)話的學(xué)習(xí)型智能答疑機(jī)器人

朱哲人 劉敏 陳鵬

[摘? ? 要]銀行業(yè)是典型的知識(shí)密集領(lǐng)域，各部門因業(yè)務(wù)規(guī)則及系統(tǒng)的持續(xù)更新、各層級(jí)人員流動(dòng)等因素產(chǎn)生了對(duì)業(yè)務(wù)答疑的知識(shí)復(fù)用需求。隨著深度學(xué)習(xí)、機(jī)器學(xué)習(xí)在自然語(yǔ)言處理（NLP）、智能圖像分析等領(lǐng)域的發(fā)展，郵儲(chǔ)銀行正研究開發(fā)一種基于多人對(duì)話的“U星”學(xué)習(xí)型智能答疑機(jī)器人。通過(guò)運(yùn)用AI應(yīng)用能力框架，引入“@”、“引用”等多人對(duì)話機(jī)制，實(shí)現(xiàn)了線上答疑流程創(chuàng)新，減少重復(fù)答疑并持續(xù)提高答疑準(zhǔn)確性，結(jié)合智能交互、實(shí)時(shí)交互、圖文交互，不斷強(qiáng)化答疑能力，助力業(yè)務(wù)發(fā)展。

[關(guān)鍵詞]多人對(duì)話;答疑;自然語(yǔ)言處理

[中圖分類號(hào)]TP242.6 [文獻(xiàn)標(biāo)志碼]A [文章編號(hào)]2095–6487（2021）11–0–02

Research and Develop a Learning Intelligent Answering

Robot Based on Multi-Person Dialogue

Zhu Zhe-ren， Liu Min， Chen Peng

[Abstract]The banking industry is a typical knowledge-intensive field. Due to factors such as the continuous updating of business rules and systems， and the flow of personnel at all levels， various departments have generated the need for knowledge reuse for business answering. With the development of deep learning and machine learning in natural language processing （NLP）， intelligent image analysis and other fields， Postal Savings Bank is researching and developing a "U-star" learning intelligent answering robot based on multi-person dialogue. Through the use of the AI application capability framework and the introduction of multi-person dialogue mechanisms such as “@” and “quotation”， the innovation of online Q&A process is realized， repeated Q&A is reduced and the accuracy of Q&A is continuously improved， combined with intelligent interaction， real-time interaction， and image-text interaction， Continuously strengthen the ability to answer questions and help business development.

[Keywords]multi-person dialogue; question answering; natural language processing

1 將機(jī)器人引入多人對(duì)話答疑的背景

銀行業(yè)是典型的知識(shí)密集領(lǐng)域，大型商業(yè)銀行往往具有龐大的組織結(jié)構(gòu)、復(fù)雜的系統(tǒng)功能以及豐富的業(yè)務(wù)產(chǎn)品種類。同時(shí)，各級(jí)機(jī)構(gòu)人員時(shí)常進(jìn)行崗位輪換，需要學(xué)習(xí)各項(xiàng)業(yè)務(wù)、產(chǎn)品或系統(tǒng)應(yīng)用。隨著行內(nèi)各項(xiàng)業(yè)務(wù)規(guī)則及系統(tǒng)功能不斷更新，銀行業(yè)從業(yè)人員內(nèi)部的知識(shí)共享、復(fù)用等需要知識(shí)服務(wù)的場(chǎng)景極為多見。根據(jù)調(diào)研反饋，為增強(qiáng)業(yè)務(wù)學(xué)習(xí)能力，郵儲(chǔ)銀行總行業(yè)務(wù)專家需要在即時(shí)通信軟件建立各種溝通群，花費(fèi)大量時(shí)間精力為各級(jí)分支機(jī)構(gòu)提供答疑，溝通效率和效果亟待提升。

近年來(lái)，以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)極大地推進(jìn)了產(chǎn)業(yè)界技術(shù)革新，同時(shí)重塑了銀行業(yè)的業(yè)務(wù)模式。深度學(xué)習(xí)、機(jī)器學(xué)習(xí)方法在自然語(yǔ)言處理、智能圖像分析等領(lǐng)域取得了長(zhǎng)足進(jìn)步，進(jìn)而也帶動(dòng)了信息技術(shù)的發(fā)展。

在此背景下，郵儲(chǔ)銀行正探索開發(fā)學(xué)習(xí)型智能答疑機(jī)器人“U星”，將模塊化、原子化的NLP能力與結(jié)構(gòu)化、流程化的銀行業(yè)務(wù)相結(jié)合，通過(guò)即時(shí)通信軟件以多人對(duì)話、問(wèn)答的形式提供不同業(yè)務(wù)領(lǐng)域的知識(shí)服務(wù)。

2 “U星”機(jī)器人的應(yīng)用方法

2.1 建群

在企業(yè)即時(shí)通信軟件中（以郵E聯(lián)為例），根據(jù)需要建立總分行專項(xiàng)業(yè)務(wù)溝通群，并將“U星”作為一個(gè)“虛擬人”植入群中。

2.2 拉人

將總行及各級(jí)分支行該業(yè)務(wù)條線的相關(guān)員工拉入群中，并將總行特定業(yè)務(wù)專家設(shè)為系統(tǒng)角色“老師”，其他群內(nèi)成員默認(rèn)為“學(xué)生”角色。

2.3 提問(wèn)

當(dāng)學(xué)生有問(wèn)題需咨詢時(shí)，可在群內(nèi)@“U星”觸發(fā)其回答具體問(wèn)題，“U星”通過(guò)索引知識(shí)庫(kù)及時(shí)解答。

2.4 訓(xùn)練

老師通過(guò)觀察群聊，可監(jiān)督“U星”答疑情況。如“U星”解答失敗或解答錯(cuò)誤，老師可通過(guò)群聊中的“引用”機(jī)制，對(duì)“U星”的解答進(jìn)行補(bǔ)充或糾正。

2.5 迭代

通過(guò)日常工作中的反復(fù)問(wèn)答，自動(dòng)完善擴(kuò)充語(yǔ)料庫(kù)、知識(shí)庫(kù)，對(duì)“U星”進(jìn)行大量訓(xùn)練，使“U星”在持續(xù)迭代的過(guò)程中變得越來(lái)越智能。隨著“U星”回答問(wèn)題的準(zhǔn)確性不斷提升，老師可逐步減少答疑工作量，投入更多時(shí)間精力到更重要的工作中去。

3 技術(shù)實(shí)現(xiàn)要點(diǎn)

3.1 場(chǎng)景構(gòu)建與知識(shí)維護(hù)

在設(shè)計(jì)完善“U星”的過(guò)程中，邀請(qǐng)了郵儲(chǔ)銀行總行業(yè)務(wù)專家及分行從業(yè)經(jīng)驗(yàn)豐富的業(yè)務(wù)人員，按照條線板塊、業(yè)務(wù)邏輯抽象服務(wù)場(chǎng)景。如設(shè)置個(gè)人儲(chǔ)蓄、手機(jī)銀行、公司業(yè)務(wù)等一級(jí)主題，并可針對(duì)公司業(yè)務(wù)等一級(jí)主題，設(shè)置國(guó)內(nèi)保理、融資租賃、電子簽章等二級(jí)主題。由于“U星”主要面向細(xì)分領(lǐng)域的答疑工作，其場(chǎng)景構(gòu)建與高質(zhì)量知識(shí)的積累、維護(hù)過(guò)程更為復(fù)雜。

在初始階段，需根據(jù)應(yīng)用場(chǎng)景與業(yè)務(wù)主題，確定聊天群的設(shè)置。本階段知識(shí)庫(kù)的主要內(nèi)容為前期積累的問(wèn)題庫(kù)與業(yè)務(wù)文檔。“U星”設(shè)計(jì)了易用的導(dǎo)航菜單，用于知識(shí)庫(kù)的冷啟動(dòng)與預(yù)置答案推送。初步階段，“答疑群”里的“學(xué)生”以提問(wèn)形式為“U星”積累形式多樣的問(wèn)題及問(wèn)句，“老師”則以回答、糾正問(wèn)題的形式補(bǔ)全知識(shí)庫(kù)。答疑群積累的語(yǔ)料由“老師”與“學(xué)生”相互協(xié)作，定期篩選、積累維護(hù)，將高質(zhì)量問(wèn)答補(bǔ)充至知識(shí)庫(kù)中。

初始運(yùn)行后，語(yǔ)料、知識(shí)的積累趨于完善，經(jīng)過(guò)恰當(dāng)訓(xùn)練的“U星”可被進(jìn)一步推廣到不同的多人對(duì)話場(chǎng)景中，針對(duì)不同的業(yè)務(wù)流程，完成可信答疑與知識(shí)服務(wù)?！癠星”以“眾包”形式，通過(guò)多人對(duì)話積累語(yǔ)料，完成知識(shí)積累、更新與維護(hù)的過(guò)程。

3.2 算法適配與模型開發(fā)

“U星”的開發(fā)主要針對(duì)細(xì)分領(lǐng)域的答疑場(chǎng)景。在對(duì)話過(guò)程中，可能涉及主題分類、意圖識(shí)別、實(shí)體識(shí)別、問(wèn)句匹配、答案檢索、答案生成等多種復(fù)雜的自然語(yǔ)言處理任務(wù)?！癠星”的設(shè)計(jì)與實(shí)現(xiàn)，需結(jié)合業(yè)務(wù)場(chǎng)景，選取恰當(dāng)?shù)淖匀徽Z(yǔ)言處理模型，并進(jìn)行適配、改良、調(diào)優(yōu)。

在冷啟動(dòng)階段，“U星”采用基于規(guī)則與模板的對(duì)話策略，通過(guò)關(guān)鍵字和主題詞的提取、導(dǎo)航菜單等形式，為多人對(duì)話參與方提供準(zhǔn)確但形式較為固定的答疑服務(wù)。

隨著多人對(duì)話的持續(xù)進(jìn)行，“U星”可積累豐富、形式多樣的對(duì)話語(yǔ)料，這些語(yǔ)料可用于訓(xùn)練深度學(xué)習(xí)模型。在算法選擇方面，“U星”核心算法將重點(diǎn)參考文本分類模型如TextCNN[1]、預(yù)訓(xùn)練語(yǔ)言模型如ERNIE[2]等形式，進(jìn)行契合業(yè)務(wù)場(chǎng)景的算法設(shè)計(jì)與定制化開發(fā)，搭建自然語(yǔ)言處理產(chǎn)線，將模型拼裝為服務(wù)。在模型結(jié)構(gòu)方面，“U星”可采用問(wèn)句匹配、文本相似度計(jì)算等形式，將學(xué)生的問(wèn)題引導(dǎo)至標(biāo)準(zhǔn)答案。在此基礎(chǔ)上，還可進(jìn)一步設(shè)計(jì)開發(fā)編碼器-解碼器（Encoder-Decoder）結(jié)構(gòu)[3]與文本生成方法[4]，根據(jù)問(wèn)句生成答案。

在模型開發(fā)與實(shí)現(xiàn)方面，“U星”擬與郵儲(chǔ)銀行在建“郵儲(chǔ)大腦”機(jī)器學(xué)習(xí)平臺(tái)對(duì)接，實(shí)現(xiàn)模型訓(xùn)練、驗(yàn)證與開發(fā)。“郵儲(chǔ)大腦”定位為企業(yè)級(jí)的機(jī)器學(xué)習(xí)建模集成及人工智能能力輸出平臺(tái)，支持深度學(xué)習(xí)、機(jī)器學(xué)習(xí)建模。以平臺(tái)為核心，輸出語(yǔ)言語(yǔ)音、生物識(shí)別、智能圖像、智能文本、知識(shí)圖譜等能力。依托“郵儲(chǔ)大腦”機(jī)器學(xué)習(xí)平臺(tái)，“U星”可快速實(shí)現(xiàn)算法設(shè)計(jì)、模型訓(xùn)練與迭代。

3.3 服務(wù)編排與統(tǒng)一管理

在系統(tǒng)落地方面，“U星”擬采用微服務(wù)的設(shè)計(jì)理念與基本架構(gòu)，結(jié)合具體的對(duì)話場(chǎng)景，將模型進(jìn)行拼裝與統(tǒng)一管理，并以服務(wù)的形式發(fā)布上線。

在探索開發(fā)階段，“U星”主要采用vue+webpack 搭建vue項(xiàng)目以實(shí)現(xiàn)前端界面，同時(shí)采用Nodejs+WebSocket創(chuàng)建后臺(tái)服務(wù)器功能。

在服務(wù)應(yīng)用階段，“U星”擬采用Docker容器技術(shù)將模型服務(wù)落地實(shí)現(xiàn)，依托“郵儲(chǔ)大腦”機(jī)器學(xué)習(xí)平臺(tái)，實(shí)現(xiàn)部署和服務(wù)管理?！癠星”擬采用Kubernetes服務(wù)編排框架，在Docker技術(shù)的基礎(chǔ)上，管理容器化的應(yīng)用，實(shí)現(xiàn)高效部署實(shí)施、運(yùn)行、服務(wù)輸出。

3.4 知識(shí)圖譜

知識(shí)圖譜為“U星”的附加功能。在與“U星”配套的主題圖譜、業(yè)務(wù)圖譜、共性知識(shí)圖譜的設(shè)計(jì)與實(shí)現(xiàn)方面，可依托郵儲(chǔ)銀行在建“郵儲(chǔ)大腦知識(shí)圖譜”系統(tǒng)，實(shí)現(xiàn)問(wèn)句主題詞映射、匹配與查詢、基于知識(shí)庫(kù)的問(wèn)答及知識(shí)可視化等功能。

4 “U星”機(jī)器人的主要?jiǎng)?chuàng)新點(diǎn)

4.1 框架先進(jìn)性

運(yùn)用AI應(yīng)用能力框架，將智能問(wèn)答系統(tǒng)的能力，分為基礎(chǔ)能力、業(yè)務(wù)積累及智能技術(shù)三部分?；A(chǔ)能力是指智能問(wèn)答系統(tǒng)中，相對(duì)基礎(chǔ)的通用自然語(yǔ)言處理能力;業(yè)務(wù)積累主要是指針對(duì)具體的問(wèn)答領(lǐng)域，在業(yè)務(wù)上所需積累的經(jīng)驗(yàn)，如業(yè)務(wù)流程的梳理、問(wèn)題的細(xì)粒度分析，答案的置信度評(píng)價(jià)等;智能技術(shù)主要為面向復(fù)雜應(yīng)用的技術(shù)，如問(wèn)句匹配、知識(shí)圖譜映射、文本生成、多輪對(duì)話等，這也是本項(xiàng)目的創(chuàng)新點(diǎn)。

4.2 技術(shù)創(chuàng)新性

該項(xiàng)目主要基于認(rèn)知、自然語(yǔ)言處理的解決方案，設(shè)計(jì)開放域問(wèn)答、意圖識(shí)別、智能問(wèn)答、知識(shí)積累、模型訓(xùn)練、知識(shí)可視化等功能模塊，結(jié)合知識(shí)圖譜和深度學(xué)習(xí)的技術(shù)優(yōu)勢(shì)，可實(shí)現(xiàn)對(duì)特定領(lǐng)域銀行業(yè)務(wù)及產(chǎn)品問(wèn)題的解答功能。在算法層面，“U星”擬采用基于深度學(xué)習(xí)的NLP技術(shù)。在服務(wù)落地實(shí)現(xiàn)層面，“U星”在探索開發(fā)階段擬采用vue + webpack 搭建vue項(xiàng)目以實(shí)現(xiàn)前端界面，同時(shí)采用Nodejs+WebSocket創(chuàng)建后臺(tái)服務(wù)器功能。在服務(wù)應(yīng)用階段，“U星”擬采用容器技術(shù)，依托“郵儲(chǔ)大腦”機(jī)器學(xué)習(xí)平臺(tái)進(jìn)行模型開發(fā)與服務(wù)管理。

4.3 業(yè)務(wù)前瞻性

通過(guò)多人對(duì)話、學(xué)生向U星提問(wèn)、老師回答校正、答案積累、自學(xué)習(xí)訓(xùn)練的全流程：①可在模型設(shè)計(jì)角度進(jìn)行改良，汲取專業(yè)老師的經(jīng)驗(yàn)和知識(shí);②可為深度學(xué)習(xí)模型積累可觀的學(xué)習(xí)樣本，豐富不同形式的問(wèn)題—答案集合。這種學(xué)生老師群體參與的“眾包”模式，有望緩解深度學(xué)習(xí)模型訓(xùn)練所面臨的數(shù)據(jù)瓶頸，彌合知識(shí)密集領(lǐng)域智能對(duì)話模型實(shí)施落地過(guò)程中，由數(shù)據(jù)到知識(shí)、由知識(shí)到業(yè)務(wù)服務(wù)的鴻溝。

5 結(jié)束語(yǔ)

郵儲(chǔ)銀行根據(jù)內(nèi)部知識(shí)服務(wù)現(xiàn)狀及業(yè)務(wù)答疑中的痛點(diǎn)問(wèn)題，充分運(yùn)用AI應(yīng)用能力框架，采用NLP、知識(shí)圖譜等創(chuàng)新技術(shù)，創(chuàng)造性地提出基于多人對(duì)話的學(xué)習(xí)型智能答疑機(jī)器人概念?！癠星”可以分擔(dān)答疑工作，普及新的業(yè)務(wù)知識(shí)，解決反復(fù)答疑、無(wú)法及時(shí)響應(yīng)等現(xiàn)實(shí)問(wèn)題。通過(guò)引入多人對(duì)話機(jī)制，可使業(yè)務(wù)人員在內(nèi)部即時(shí)通信工具方便快捷地提問(wèn)、補(bǔ)充和糾正“U星”的答復(fù)，讓模型訓(xùn)練簡(jiǎn)單易行。下一步，郵儲(chǔ)銀行將繼續(xù)研究、探索知識(shí)服務(wù)領(lǐng)域的創(chuàng)新設(shè)計(jì)，切實(shí)提高內(nèi)部答疑服務(wù)體驗(yàn)，支撐郵儲(chǔ)銀行信息化建設(shè)再上新臺(tái)階。

參考文獻(xiàn)

[1] Kim Y.Convolutional Neural Networks for Sentence Classification[C].In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP），2014.

[2] Sun Y，Wang S，Li Y，et al.ERNIE：Enhanced Representation through Knowledge Integration[J].2019（4）：19.

[3] Cho，K.，Merrienboer，B.V.，Gulcehre，et al. Learning phrase representations using rnn encoder-decoder for statistical machine translation[C].In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP），2014.

[4] 徐聰，李擎，張德政，等.文本生成領(lǐng)域的深度強(qiáng)化學(xué)習(xí)研究進(jìn)展[J].工程科學(xué)學(xué)報(bào)，2020，42（4）：399-411.