智能客服系統(tǒng)測(cè)評(píng)分析

顧麗燕 望俊成 高 騰 胡艤緣

（1. 中國(guó)科學(xué)技術(shù)信息研究所，北京 100038；2. 武漢大學(xué)，湖北武漢 430072；3.中國(guó)人民大學(xué)，北京 100872）

0 引言

客服系統(tǒng)從電話咨詢到即時(shí)通訊咨詢，再到具有人工智能的自然語(yǔ)言處理的問(wèn)答系統(tǒng)，經(jīng)歷了漫長(zhǎng)的發(fā)展過(guò)程?；谡Z(yǔ)言智能處理技術(shù)的智能客服解決了服務(wù)需求增加和客戶來(lái)源分散降低了傳統(tǒng)客服對(duì)客戶服務(wù)需求的響應(yīng)速度和處理效率的問(wèn)題，突破了客服發(fā)展的瓶頸[1]，推動(dòng)服務(wù)方式的轉(zhuǎn)型，進(jìn)一步優(yōu)化客戶體驗(yàn)。作為自動(dòng)問(wèn)答的一個(gè)新興發(fā)展方向，智能客服系統(tǒng)是一種面向行業(yè)的基于大規(guī)模知識(shí)處理的自動(dòng)問(wèn)答系統(tǒng)，涉及知識(shí)管理、自然語(yǔ)言理解、邏輯推理等技術(shù)，可為企業(yè)與海量用戶之間的溝通提供一種有效的技術(shù)手段[2]。除此之外，智能客服系統(tǒng)能夠有效減少人工成本、增強(qiáng)用戶體驗(yàn)[4]，為用戶提供更加便捷、舒適的服務(wù)[3]。還能為企業(yè)與海量用戶之間的溝通建立一種基于自然語(yǔ)言的快捷有效的技術(shù)手段和提供精益化管理所需的統(tǒng)計(jì)分析信息[5]。智能客服系統(tǒng)提供的智能客服機(jī)器人可以對(duì)客戶簡(jiǎn)單服務(wù)需求進(jìn)行自動(dòng)應(yīng)答，實(shí)現(xiàn)擬人化人機(jī)對(duì)話體驗(yàn)，分流人工話務(wù)、減輕客服壓力[6]，提高回復(fù)率從而提升客戶滿意度，正越來(lái)越受到企業(yè)的關(guān)注。

為了積極響應(yīng)相關(guān)的國(guó)家科技創(chuàng)新政策，由中國(guó)科學(xué)技術(shù)信息研究所建設(shè)的“國(guó)家科技管理信息系統(tǒng)公共服務(wù)平臺(tái)”于2015年9月正式上線服務(wù)。作為國(guó)家科研項(xiàng)目的對(duì)外窗口和服務(wù)平臺(tái)，該系統(tǒng)需要應(yīng)對(duì)科研人員的各類問(wèn)題，但隨著項(xiàng)目的增多以及政策的快速更新，人工客服很難應(yīng)對(duì)各種問(wèn)題，所以為該平臺(tái)搭建智能問(wèn)答系統(tǒng)是有效的解決途徑之一。

據(jù)移動(dòng)信息化研究中心發(fā)布的《2017年中國(guó)云客服市場(chǎng)研究報(bào)告》所提及的國(guó)內(nèi)主流的智能客服系統(tǒng)，綜合考慮其知名度、企業(yè)規(guī)模、客戶數(shù)量、提供智能客服機(jī)器人在線體驗(yàn)等信息，從中挑選出云問(wèn)科技和網(wǎng)易七魚(yú)，再?gòu)木W(wǎng)絡(luò)上搜索相關(guān)的智能客服系統(tǒng)，通過(guò)對(duì)比相應(yīng)的客服機(jī)器人的智能化程度，又選取V5 客服和AiKF愛(ài)客服。這4 個(gè)智能客服系統(tǒng)具有一定的代表性和典型性，在國(guó)內(nèi)智能客服市場(chǎng)上發(fā)揮著示范作用，這些智能客服系統(tǒng)的發(fā)展也推動(dòng)了我國(guó)智能服務(wù)行業(yè)的發(fā)展。

本文將對(duì)這4 個(gè)典型的智能客服系統(tǒng)進(jìn)行比較分析，選取一些測(cè)試題進(jìn)行問(wèn)答測(cè)試，并對(duì)選取的指標(biāo)進(jìn)行評(píng)價(jià)。

1 典型智能客服系統(tǒng)概況

云問(wèn)科技、網(wǎng)易七魚(yú)、V5 客服和AiKF愛(ài)客服基本概況如表1所示。

從概況對(duì)比中可以看出，智能客服是在近幾年才上線的，正是應(yīng)人工智能的發(fā)展而興起的。從智能客服系統(tǒng)的所屬公司名稱中可以看出，公司所在地主要集中在一些經(jīng)濟(jì)發(fā)達(dá)的城市，說(shuō)明這些經(jīng)濟(jì)發(fā)達(dá)地區(qū)更早地關(guān)注和研發(fā)智能客服系統(tǒng)。這4 個(gè)智能客服系統(tǒng)定位的側(cè)重點(diǎn)各有不同，各自的優(yōu)勢(shì)也很突出，都努力致力于為用戶提供更智能的客戶服務(wù)。服務(wù)的客戶群體主要涉及互聯(lián)網(wǎng)金融、教育培訓(xùn)、媒體、電商、政府及公共事業(yè)、企業(yè)服務(wù)等領(lǐng)域，說(shuō)明越來(lái)越多的行業(yè)開(kāi)始選擇智能客服系統(tǒng)來(lái)幫助其為用戶提供更好的服務(wù)。

2 接入渠道與界面

在使用智能客服系統(tǒng)之前需要進(jìn)行接入渠道的部署，可以通過(guò)微博、微信、網(wǎng)站、APP等渠道使智能客服系統(tǒng)能夠更全面地接收和管理各平臺(tái)上的用戶反饋，在用戶與智能客服系統(tǒng)之間建立了一種聯(lián)系。云問(wèn)科技、網(wǎng)易七魚(yú)、V5 客服、AiKF愛(ài)客服4 個(gè)智能客服系統(tǒng)的接入渠道如表2所示。

表1 四大智能客服系統(tǒng)概況

表2主要羅列了一些比較常用的接入渠道。除此之外，還有幾個(gè)比較有特色的渠道。比如，云問(wèn)科技還支持支付寶和釘釘這兩種方式，網(wǎng)易七魚(yú)還設(shè)有自定義消息窗口的接入渠道，V5 客服還支持支付寶、QQ和易信等平臺(tái)的接入。從表2可以看出，各家的覆蓋渠道之間有些差距，其中只有AiKF愛(ài)客服在渠道接入方面覆蓋得比較全，網(wǎng)易七魚(yú)和V5 客服相對(duì)而言接入渠道的選擇少一點(diǎn)，但使用率最高的幾個(gè)渠道都已包含在內(nèi)。

界面是人機(jī)交互的媒介，是人和系統(tǒng)互動(dòng)過(guò)程中的一個(gè)支持層面[7]。問(wèn)答界面的友好程度以及功能的齊全程度會(huì)直接影響到用戶對(duì)智能客服機(jī)器人的使用感受，所以一個(gè)好的界面設(shè)計(jì)可以提高用戶的行為效率以及提升用戶使用體驗(yàn)[8]。云問(wèn)科技、網(wǎng)易七魚(yú)、V5 客服和AiKF愛(ài)客服4個(gè)智能客服系統(tǒng)的界面情況如表3所示。

從用戶體驗(yàn)的角度來(lái)說(shuō)，表3所羅列的界面功能都有各自的價(jià)值，比如，用戶在輸入問(wèn)題的過(guò)程中，如果客服機(jī)器人可以根據(jù)現(xiàn)有提問(wèn)的關(guān)鍵詞從系統(tǒng)知識(shí)庫(kù)中找到相關(guān)度較高的幾個(gè)問(wèn)題供用戶選擇，這樣可以提高問(wèn)答的準(zhǔn)確率。從界面對(duì)比后可以看出，V5 客服和AiKF愛(ài)客服的界面功能相對(duì)齊全，如果各個(gè)智能客服系統(tǒng)可以進(jìn)一步完善問(wèn)答界面的功能以及友好性，這樣可以讓用戶獲得更好的體驗(yàn)，也可以為智能客服系統(tǒng)吸引更多的用戶。

表2 智能客服系統(tǒng)接入渠道

3 問(wèn)答測(cè)試

智能客服機(jī)器人在回答用戶的提問(wèn)之前，首先要分析問(wèn)題，并對(duì)問(wèn)題進(jìn)行歸類，再進(jìn)行下一步的理解[9]。根據(jù)生活中常見(jiàn)的問(wèn)題類型對(duì)智能客服機(jī)器人進(jìn)行提問(wèn)，具體的問(wèn)題類型如表4所示。

每個(gè)人都有不同的語(yǔ)言習(xí)慣和思維方式，所以對(duì)同一問(wèn)題的表達(dá)不盡相同。下面列舉的3 個(gè)測(cè)試問(wèn)句，雖然是同一種意思，但可以用不同的方式表達(dá)[11]。

測(cè)試問(wèn)句1：你們公司的位置在哪？

測(cè)試問(wèn)句2：我想去你們公司，該怎么走？

測(cè)試問(wèn)句3：你們公司的地址是什么？

有些句子雖然在句型結(jié)構(gòu)上相似，但在語(yǔ)義上有細(xì)微的差別。下面列舉的兩個(gè)測(cè)試問(wèn)句，雖然句型相似，但語(yǔ)義不同。

測(cè)試問(wèn)句1：你在干嘛？

測(cè)試問(wèn)句2：你會(huì)干嘛？

用戶有時(shí)在提問(wèn)時(shí)，會(huì)省略在之前的對(duì)話中已經(jīng)提到過(guò)的內(nèi)容。這正是交互式問(wèn)答的特點(diǎn)，問(wèn)句的提出基于上文已給出的信息[12]。下面的第二個(gè)測(cè)試問(wèn)句省略了具體的提問(wèn)意圖，需要客服機(jī)器人根據(jù)上下文的語(yǔ)境自動(dòng)識(shí)別用戶的意圖。

表3 智能客服機(jī)器人界面對(duì)比

表4 常見(jiàn)的問(wèn)題類型[10]

測(cè)試問(wèn)句1：北京明天天氣如何？

測(cè)試問(wèn)句2：后天呢？

問(wèn)答測(cè)試表明，智能客服機(jī)器人處理交互式問(wèn)答的能力不強(qiáng)，在語(yǔ)義理解方面還有待提高，如果能夠在這些方面取得技術(shù)上的進(jìn)步，那么就可以提高智能客服機(jī)器人的智能化水平，為用戶帶來(lái)更好的問(wèn)答體驗(yàn)。此外，V5 客服、云問(wèn)科技和AiKF愛(ài)客服主要采用直接回答的方式，可以減少用戶與AiKF客服機(jī)器人之間的交互次數(shù)，而網(wǎng)易七魚(yú)主要采用推薦回答的方式，在用戶提出問(wèn)題后，返回相關(guān)度最高的幾個(gè)問(wèn)題讓用戶做出進(jìn)一步的選擇，這樣雖然可以提高問(wèn)答的準(zhǔn)確度，但也會(huì)影響用戶的體驗(yàn)感受。所以，智能客服系統(tǒng)在能夠確保問(wèn)題識(shí)別準(zhǔn)確率的情況下，采用直接回答的方式更可取，反之可以采用推薦回答的方式來(lái)提高應(yīng)答的準(zhǔn)確率。

4 指標(biāo)評(píng)價(jià)

目前，關(guān)于智能客服機(jī)器人應(yīng)答情況的評(píng)價(jià)指標(biāo)的研究還比較少，缺乏一套完整的評(píng)價(jià)指標(biāo)體系。曾有學(xué)者從用戶、運(yùn)營(yíng)和技術(shù)[13]3 個(gè)維度建立了智能客服機(jī)器人的評(píng)價(jià)體系。通過(guò)這3 個(gè)維度對(duì)智能客服機(jī)器人進(jìn)行評(píng)價(jià)相對(duì)來(lái)講比較寬泛。因此，在此研究的基礎(chǔ)上，本文從用戶滿意度、運(yùn)營(yíng)狀況、智能水平和技術(shù)的先進(jìn)性4 個(gè)維度對(duì)智能客服機(jī)器人進(jìn)行評(píng)價(jià)。從用戶滿意度來(lái)說(shuō)，用戶希望提出的問(wèn)題可以盡可能多地得到解決，而且在人機(jī)交互的過(guò)程中用戶的滿意度也影響著用戶的體驗(yàn)，所以這一方面的核心評(píng)價(jià)指標(biāo)是用戶提出的問(wèn)題的解決率以及用戶對(duì)答案的滿意度。從運(yùn)營(yíng)狀況來(lái)說(shuō)，客服機(jī)器人能夠解答的問(wèn)題越多，所需要的人工客服的成本越低，整體的運(yùn)營(yíng)效果越好，因此客服機(jī)器人的召回率也是一項(xiàng)很重要的評(píng)價(jià)指標(biāo)。從智能水平來(lái)說(shuō)，智能客服機(jī)器人在回答用戶提問(wèn)之前，只有準(zhǔn)確識(shí)別用戶的提問(wèn)意圖，才能提高問(wèn)答的準(zhǔn)確度，而且為了提高用戶的體驗(yàn)效果，情緒識(shí)別的準(zhǔn)確度也是需要考慮的指標(biāo)。從技術(shù)的先進(jìn)性來(lái)說(shuō)，用戶希望在最短的時(shí)間內(nèi)獲得最精準(zhǔn)、最直接的答案，所以應(yīng)答的簡(jiǎn)潔程度、響應(yīng)時(shí)間間隔以及交互次數(shù)也是整個(gè)評(píng)價(jià)指標(biāo)體系中不可或缺的指標(biāo)（表5）。用這些評(píng)價(jià)指標(biāo)分別對(duì)這4 個(gè)典型的智能客服機(jī)器人進(jìn)行評(píng)價(jià)，如表6所示。根據(jù)表6中的數(shù)據(jù)，分別對(duì)智能客服機(jī)器人的各項(xiàng)評(píng)價(jià)指標(biāo)進(jìn)行打分，具體分值如表7所示。

表5 評(píng)價(jià)指標(biāo)體系及相關(guān)內(nèi)容

上述的指標(biāo)評(píng)價(jià)表明，每個(gè)智能客服機(jī)器人各有優(yōu)劣勢(shì)。其中，云問(wèn)客服機(jī)器人在響應(yīng)時(shí)間間隔上有明顯優(yōu)勢(shì)；網(wǎng)易七魚(yú)在應(yīng)答簡(jiǎn)潔率上占優(yōu)勢(shì)，但其他幾個(gè)方面相對(duì)而言弱一些；V5 客服的響應(yīng)速度和應(yīng)答簡(jiǎn)潔程度有待提高，其他幾個(gè)方面相對(duì)而言都不錯(cuò)；AiKF愛(ài)客服在各個(gè)方面的優(yōu)勢(shì)都比較明顯。從以上的體驗(yàn)和打分來(lái)看，V5 客服和愛(ài)客服的智能客服機(jī)器人的總體優(yōu)勢(shì)較為突出。所以，可以通過(guò)提高智能客服機(jī)器人的智能化程度來(lái)提高用戶的問(wèn)答體驗(yàn)，為用戶提供更好的服務(wù)。

5 結(jié)語(yǔ)與建議

我國(guó)智能客服系統(tǒng)是近幾年才逐漸興起的，本文主要對(duì)目前市場(chǎng)上比較有代表性的4 個(gè)智能客服系統(tǒng)進(jìn)行了測(cè)評(píng)分析。從接入渠道的覆蓋面可以看出，智能客服系統(tǒng)的接入渠道向更加多元化的方向發(fā)展，更方便用戶與企業(yè)建立聯(lián)系，從而為不同來(lái)源的用戶解決實(shí)際的問(wèn)答需求；從界面對(duì)比可以看出，智能客服機(jī)器人的問(wèn)答界面功能還有待完善，完備的界面功能可以為用戶帶來(lái)更好的問(wèn)答體驗(yàn)。從智能客服機(jī)器人的問(wèn)答測(cè)試可以看出，客服機(jī)器人比較擅長(zhǎng)的是一問(wèn)一答的方式，在交互性問(wèn)答上相對(duì)較弱，對(duì)于一些相似性問(wèn)題的識(shí)別能力以及對(duì)語(yǔ)義的理解能力還有待提高。目前，智能客服系統(tǒng)尚不完善，對(duì)于今后的發(fā)展提出以下兩點(diǎn)建議。

一是在接入渠道方面，一些主流的接入渠道可以滿足大多數(shù)用戶的需求，而擴(kuò)大接入渠道的覆蓋面可以更加全面、系統(tǒng)地收集和處理各個(gè)渠道的用戶問(wèn)題，但同時(shí)也會(huì)增加成本，所以可根據(jù)實(shí)際情況來(lái)選擇客服系統(tǒng)接入渠道的覆蓋面。

二是可以通過(guò)完善問(wèn)答界面的功能、保持智能客服機(jī)器人的優(yōu)勢(shì)以及不斷完善相關(guān)的人工智能技術(shù)將智能客服機(jī)器人的劣勢(shì)轉(zhuǎn)化為優(yōu)勢(shì)，從而提升智能客服系統(tǒng)的競(jìng)爭(zhēng)力，推動(dòng)智能客服行業(yè)的向前發(fā)展。

表6 各個(gè)評(píng)價(jià)指標(biāo)的數(shù)值

表7 各個(gè)評(píng)價(jià)指標(biāo)的得分