基于客服對話的產(chǎn)品和服務(wù)質(zhì)量分析

張家菊，林慧蘋

基于客服對話的產(chǎn)品和服務(wù)質(zhì)量分析

張家菊，林慧蘋*

（北京大學(xué) 軟件與微電子學(xué)院，北京，102600）（?通信作者電子郵箱linhp@ss.pku.edu.cn）

現(xiàn)有的產(chǎn)品和服務(wù)質(zhì)量分析常通過問卷調(diào)查或利用商品評論，但存在問卷收集難度大、商品評論中存在無效數(shù)據(jù)等問題?？头υ捵鳛轭櫩团c商家之間溝通的橋梁，包含了豐富的顧客意見，覆蓋了從產(chǎn)品到服務(wù)的多個方面，然而現(xiàn)在利用客服對話分析產(chǎn)品和服務(wù)質(zhì)量的研究還較少。提出了一種基于客服對話的產(chǎn)品和服務(wù)質(zhì)量分析方法，首先結(jié)合產(chǎn)品特征和服務(wù)藍圖，確定產(chǎn)品和服務(wù)質(zhì)量的評價要素，并結(jié)合重要性?滿意度分析（IPA）法定義評價要素的重要性和滿意度指標(biāo)；然后對客服對話進行主題提取和情感分析，定量分析產(chǎn)品和服務(wù)的重要性和滿意度。以某消毒除菌產(chǎn)品淘寶旗艦店的真實客服對話為例應(yīng)用了該方法，建立了18個評價要素，并基于90余萬條真實的歷史客服對話對評價要素的重要性和滿意度進行了量化，從而分析旗艦店產(chǎn)品和服務(wù)的質(zhì)量。最后通過對專業(yè)客服的問卷調(diào)研，驗證了所提方法的有效性。

客服對話；質(zhì)量分析；重要性；滿意度；主題提?。磺楦蟹治?/p>

0 引言

隨著企業(yè)競爭的日趨激烈，商家只有不斷提升自身產(chǎn)品和服務(wù)的質(zhì)量，才能夠獲得顧客的青睞。因此，如何發(fā)現(xiàn)產(chǎn)品和服務(wù)中存在的問題，成為研究學(xué)者和商家共同關(guān)注的問題。

目前，人們常常通過向顧客發(fā)放調(diào)查問卷，從而獲得顧客對產(chǎn)品和服務(wù)的意見或建議。隨著自然語言處理技術(shù)的蓬勃發(fā)展，人們也不斷嘗試從商品評論文本中抽取用戶需求［1］、產(chǎn)品特征［2］以分析用戶對產(chǎn)品的偏好程度，或者來改進產(chǎn)品設(shè)計［3］。然而，采用問卷調(diào)研或者利用商品評論數(shù)據(jù)分析，存在一定的局限性：

1）問卷發(fā)放和收集難度大，難以全面收集問題。

2）商品評論中有關(guān)產(chǎn)品質(zhì)量的評價較多，而涉及服務(wù)質(zhì)量的評價較少，且相對集中于售后問題。

3）研究表明，受各種評論激勵策略的影響，商品評論中存在無效數(shù)據(jù)或虛假數(shù)據(jù)，容易對分析結(jié)果產(chǎn)生干擾［4］。

電商客服是顧客與店鋪溝通的橋梁，顧客在網(wǎng)購任何環(huán)節(jié)遇到問題，都會與客服溝通。因此，客服對話中包含了豐富的、有關(guān)產(chǎn)品和服務(wù)的“第一手”信息。與商品評論數(shù)據(jù)相比，客服對話數(shù)據(jù)具有如下的特點：

1）對話內(nèi)容覆蓋范圍廣?？头υ捸灤┚W(wǎng)絡(luò)購物流程的所有環(huán)節(jié)，包含售前、售中、售后等各個階段。無論是對產(chǎn)品價格的疑惑，對產(chǎn)品的咨詢或不滿，還是對物流運輸速度的吐槽，都會在客服對話中有所提及。

2）蘊含豐富的顧客情緒。顧客在與客服溝通時往往非常直率，言語中包含大量的情感詞、語氣詞，能夠反映出顧客對產(chǎn)品和服務(wù)的態(tài)度。

3）數(shù)據(jù)真實性高。與商品評論常常受評論激勵策略影響不同，客服對話往往更能反映顧客對產(chǎn)品或服務(wù)的真實態(tài)度。

因此，基于客服對話數(shù)據(jù)分析產(chǎn)品和服務(wù)質(zhì)量，是對基于問卷和基于商品評論進行分析的有益補充，具有積極意義。

目前，利用客服對話分析產(chǎn)品和服務(wù)質(zhì)量的研究仍較少，研究面臨兩個挑戰(zhàn)：一是缺少相適應(yīng)的評價體系；二是客服對話呈現(xiàn)為問答方式，且具有口語化嚴(yán)重、用詞多樣性高、文本長度較短等特點，經(jīng)實驗發(fā)現(xiàn)傳統(tǒng)的隱含狄利克雷分布（Latent Dirichlet Allocation， LDA）等方法不適用于客服對話的主題提取。

本文利用主題提取技術(shù)和情感分析技術(shù)對客服對話進行挖掘，提出一種定量分析產(chǎn)品和服務(wù)質(zhì)量的方法。首先，結(jié)合產(chǎn)品特征分析和服務(wù)特征分析，確定了面向產(chǎn)品特征和服務(wù)特征的評價要素，結(jié)合重要性?滿意度分析（Importance? Performance Analysis， IPA）理論定義了各評價要素重要性指標(biāo)和滿意度指標(biāo)；然后，采用基于CorEx模型的半監(jiān)督主題提取方法和基于DialogueRNN模型的情感分析方法對客服對話進行挖掘，對重要性和滿意度指標(biāo)進行量化；最后以某消毒除菌產(chǎn)品淘寶旗艦店一年的真實客服對話數(shù)據(jù)為例，對其產(chǎn)品和服務(wù)質(zhì)量進行定量分析，并通過專家問卷調(diào)研，驗證了本文方法的有效性。

1 相關(guān)工作

1.1　產(chǎn)品和服務(wù)質(zhì)量分析

服務(wù)質(zhì)量分析以服務(wù)質(zhì)量SERVQUAL模型［5］應(yīng)用最為廣泛，從設(shè)施、可靠性、響應(yīng)性、保障性、情感投入等五個方面評價服務(wù)質(zhì)量。在此基礎(chǔ)上，研究學(xué)者又進一步提出了擴展的服務(wù)績效（SERVPERF）模型［6］。這些模型通常以調(diào)查問卷量表的形式進行分析研究。

在評價指標(biāo)的度量方面，加權(quán)方法、層次分析法（Analytic Hierarchy Process， AHP）等都是常用的方法。例如，賀可太等［7］針對云制造服務(wù)提出了一套從需求者利益和風(fēng)險兩個方面建立的分級服務(wù)考核指標(biāo)，并采用加權(quán)的方式進行量化。

對于產(chǎn)品質(zhì)量的分析，除了問卷調(diào)研，研究學(xué)者們還基于產(chǎn)品評論數(shù)據(jù)集開展了廣泛的研究。例如，Qi等［1］和Chen等［8］都從在線評論中挖掘客戶對產(chǎn)品特征的意見，并和質(zhì)量模型KNAO相結(jié)合，來優(yōu)化產(chǎn)品策略。Kauffmann等［2］從產(chǎn)品評論中抽取出產(chǎn)品特征以及用戶對這些特征的情感態(tài)度，對產(chǎn)品特征打分，結(jié)合產(chǎn)品星級、情感評分、價格等其他指標(biāo)綜合排名，幫助銷售經(jīng)理和消費者進行決策。

大多數(shù)研究多關(guān)注產(chǎn)品或者服務(wù)單方面的質(zhì)量。由于客服對話既包含產(chǎn)品咨詢信息，又包括對產(chǎn)品提供全過程服務(wù)的反饋，為同時分析兩者提供了可能。然而，現(xiàn)有的SERVQUAL、SERVPERF等模型中的評價維度不完全適用于客服對話分析。此外，針對產(chǎn)品和服務(wù)，也需要建立一套相對一致的指標(biāo)體系。Martilla等［9］提出的重要性?滿意度分析（IPA）法在識別了識別評價要素后，從重要程度（Importance）和滿意度（Performance）兩個方面來衡量評價要素。該方法自提出以來，已經(jīng)在餐飲業(yè)［10］、旅游業(yè)［11］、民航業(yè)［12］、金融業(yè)［13］等不同領(lǐng)域得到了廣泛的應(yīng)用和驗證。因此，分別為產(chǎn)品和服務(wù)質(zhì)量確定評價要素，采用重要性和滿意度指標(biāo)，是同時分析產(chǎn)品和服務(wù)質(zhì)量的一種可行途徑。

1.2　主題提取技術(shù)

在主題提取技術(shù)方面，經(jīng)典的主題模型有潛在語義分析（Latent Semantic Analysis， LSA）模型［14］、概率潛在語義分析（Probabilistic Latent Semantic Analysis， PLSA）模型［15］和LDA模型［16］，其中，LDA模型應(yīng)用廣泛。除經(jīng)典LDA模型外，研究學(xué)者不斷提出適用于不同場景的LDA改進模型。例如，在短文本主題建模的場景下，Yan等［17］提出了詞對主題模型（Biterm Topic Model， BTM），使用詞對特征代替LDA模型中原有的單個詞特征。除了經(jīng)典無監(jiān)督模型，為了引導(dǎo)主題朝著預(yù)期的方向生成，研究學(xué)者們提出了多種半監(jiān)督主題模型。例如Andrzejewski等［18-19］提出了兩種半監(jiān)督主題模型。

Gallagher等［20］進一步提出了基于CorEx錨定詞的半監(jiān)督主題模型，允許用戶預(yù)先定義一組或多組詞匯，并將詞匯錨定到一個或多個預(yù)定義的主題，從而引導(dǎo)主題朝著錨定詞的方向去生成。由于效果好，CorEx主題模型得到了廣泛應(yīng)用，其中，錨定詞的生成是其應(yīng)用效果的關(guān)鍵。

1.3　情感分析技術(shù)

在情感分析技術(shù)方面，常用的方法有基于情感詞典與規(guī)則的方法、基于機器學(xué)習(xí)的方法和基于深度學(xué)習(xí)的方法；其中，基于深度學(xué)習(xí)的方法在近年來得到了廣泛應(yīng)用。例如，Hameed等［21］將雙向長短期記憶（Bi?directional Long Short?Term Memory， BiLSTM）模型用于電影評論的情感極性分類，Yuan等［22］使用TextCNN模型對財經(jīng)文本的情感極性進行分類，Biswas等［23］使用BERT（Bidirectional Encoder Representations from Transformers）模型識別StackOverflow上發(fā)帖人的情感，de Sousa等［24］將BERT模型應(yīng)用到股票新聞的情感傾向性識別任務(wù)上，均獲得較好效果。

特別地，2019年Majumder等［25］提出了一個專門針對對話場景的情感分析模型——DialogueRNN模型。該模型核心思想是：說話者在某一時刻的情感不僅與當(dāng)前的發(fā)言內(nèi)容有關(guān)，還受到之前的發(fā)言內(nèi)容和之前的情感狀態(tài)的影響。實驗結(jié)果表明，DialogueRNN模型在對話情感分析方面取得了較為理想的效果。

2 本文方法

本文結(jié)合IPA理論、文本挖掘技術(shù)和情感分析技術(shù)，提出了一種利用客服對話數(shù)據(jù)定量評價產(chǎn)品和服務(wù)質(zhì)量的方法。該方法分為評價體系建立和產(chǎn)品與服務(wù)定量分析兩個階段，分析流程如圖1所示。

圖1　產(chǎn)品和服務(wù)質(zhì)量分析流程

2.1　評價體系建立

這一階段的主要任務(wù)是確定產(chǎn)品和服務(wù)的質(zhì)量評價要素和評價指標(biāo)。

1）評價要素：經(jīng)過與領(lǐng)域?qū)＜矣懻摚a(chǎn)品質(zhì)量的評價要素通常與其功能特征、制造特征和銷售特征相關(guān)。

a）功能特征：包括產(chǎn)品的功能、使用方法等與產(chǎn)品功能密切相關(guān)的評價要素。

b）制造特征：包括產(chǎn)品的生產(chǎn)日期、保質(zhì)期等產(chǎn)品在制造過程中被賦予的要素。

c）銷售特征：包括產(chǎn)品的定價、優(yōu)惠活動、銷售規(guī)格等產(chǎn)品在銷售過程中被賦予的要素。

服務(wù)質(zhì)量的評價要素是指商家提供服務(wù)過程中涉及的因素，例如，商家發(fā)貨速度、快遞運輸速度等。本文面向服務(wù)過程，以Shostack［26］的研究為基礎(chǔ)，建立電商服務(wù)藍圖，如圖2所示，根據(jù)售前、售中、售后三個階段的服務(wù)接觸點來確定服務(wù)質(zhì)量的評價要素：

a）售前階段：包括瀏覽商品時對商品問題的咨詢以及將商品加入購物車、提交訂單并支付訂單等一系列下單操作。因此，售前的服務(wù)質(zhì)量評價要素為：對顧客咨詢的響應(yīng)速度以及下單操作的快捷程度。

b）售中階段：包括商家揀貨發(fā)貨以及物流公司快遞運輸這兩個環(huán)節(jié)。因此，本階段評價要素為：商家發(fā)貨的及時性與發(fā)貨的正確性、物流運輸速度、終端配送服務(wù)水平以及商品簽收時的完好性。

c）售后階段：包括用戶發(fā)起售后申請。因此，本階段評價要素為：對用戶售后申請的響應(yīng)性以及補償性。

圖2　電商服務(wù)藍圖

2）評價指標(biāo)。評價指標(biāo)包括重要性指標(biāo)和滿意度指標(biāo)。通過主題提取模型可以獲得每段對話的主題，進而根據(jù)顧客提及各產(chǎn)品服務(wù)要素的頻率，可以定量計算出要素的重要性得分。

其中：n表示要素k在全部對話語料中被提及的次數(shù)；表示對話語料庫中的總對話數(shù)量。

進一步地，以顧客的情感態(tài)度來表征滿意度。具體做法是：通過情感分析方法獲得每段對話的顧客情感，根據(jù)顧客提及各產(chǎn)品服務(wù)要素時的情緒，定量計算評價要素的滿意度得分。

2.2　產(chǎn)品和服務(wù)定量分析

在定量分析階段，利用主題提取和情感分析技術(shù)對客服對話進行挖掘，計算重要性指標(biāo)和滿意度指標(biāo)。

1）客服對話主題提取。

經(jīng)過對比分析，本文采用基于CorEx模型的半監(jiān)督主題提取客服對話主題詞。由于錨定詞集設(shè)定直接影響主題詞提取效果，因此本文結(jié)合產(chǎn)品和服務(wù)要素定義，提出一種錨定詞預(yù)設(shè)與擴展方法，如圖3所示。

a）錨定詞預(yù)設(shè)。依據(jù)產(chǎn)品和服務(wù)評價素以及各個要素的含義說明，人工地為每個要素給出1～5個關(guān)鍵詞，構(gòu)成該主題的預(yù)設(shè)錨定詞集。

b）錨定詞擴展?；谡鎸嵉目头υ挃?shù)據(jù)對預(yù)設(shè)錨定詞集進行擴充，使其能夠更好地反映客服語料特征。首先對客服語料進行分詞與詞性標(biāo)注，篩選出詞性為名詞、動詞或形容詞、并且詞頻高于閾值的詞匯，構(gòu)成候選錨定詞集。接著，計算候選錨定詞集中的詞匯與預(yù)設(shè)錨定詞的相似度，挑選出相似度高于閾值的候選詞匯，將其加入擴展錨定詞集。

c）主題提取?；跀U展的錨定詞集和CorEx半監(jiān)督主題提取模型［20］從客服對話中提取出與產(chǎn)品和服務(wù)評價要素相一致的主題。

圖3　基于擴展錨定詞集的客服對話主題提取流程

2）客服對話情感分析。

客服對話上下文交互緊密，且對話語句較短，部分語句表意不明，上下文詞匯缺省問題嚴(yán)重，為此，本文采用適用于對話場景情感分析的DialogueRNN模型來計算對話的情感。

3 實例應(yīng)用與分析

本文基于某經(jīng)營消毒除菌產(chǎn)品的淘寶旗艦店所提供的真實客服對話開展應(yīng)用研究。該旗艦店的產(chǎn)品主要包括消毒液、衣物除菌洗滌劑和除菌洗手液等。

3.1　數(shù)據(jù)收集和預(yù)處理

本文收集了自2018年1月1日至2018年12月31日、為期一年的歷史客服對話數(shù)據(jù)，共包含25 734段對話，913 265條數(shù)據(jù)。其中，客服和顧客一次完整的對話記錄視為一段對話，每條發(fā)言記錄計為一條數(shù)據(jù)。

在分析評價之前，首先對數(shù)據(jù)進行了必要的預(yù)處理，包括數(shù)據(jù)脫敏、過濾無意義的過短對話、對話分詞、去停用詞等。

3.2　評價要素確定

表1　某旗艦店的產(chǎn)品和服務(wù)質(zhì)量評價要素定義

3.3　主題提取

采用主題一致性作為評價指標(biāo)，三種模型的實驗結(jié)果如圖4所示。實驗表明：當(dāng)主題數(shù)量大于15時，CorEx半監(jiān)督模型的主題一致性高于其他兩個模型，比BTM高約0.11，比LDA模型高約0.15。實際應(yīng)用中，主題的數(shù)量與產(chǎn)品服務(wù)評價要素的數(shù)量一致，往往多于15（在本例中為18），因此CorEx模型是三者之中效果最優(yōu)的。

圖4　不同主題模型的實驗結(jié)果對比

進一步地，統(tǒng)計客服對話中與各評價要素相關(guān)的對話數(shù)量，結(jié)果如表2所示。

3.4　情感分析

為了驗證DialogueRNN模型的效果，以經(jīng)典的BERT模型、BiLSTM模型和TextCNN模型作為基準(zhǔn)，基于旗艦店真實對話數(shù)據(jù)設(shè)計對比實驗。模型參數(shù)設(shè)置如下：迭代次數(shù)epoch設(shè)置為30，batch_size設(shè)置為128，dropout_rate設(shè)置為0.05，Adam優(yōu)化器的學(xué)習(xí)率設(shè)置為0.001。

采用精確率（Precision）、召回率（Recall）和F1值（F1-measure）值作為評價指標(biāo)，四種模型的實驗結(jié)果如表3所示。由表3可知：與BiLSTM模型、TextCNN模型和BERT模型相比，DialogueRNN模型在面向客服對話的情感分析任務(wù)中表現(xiàn)最優(yōu)。

使用基于DialogueRNN模型的客服對話情感分析方法獲得每個對話語句的滿意度得分。以k產(chǎn)品氣味為例，表4中展示了部分計算結(jié)果。滿意度得分越接近于1，說明顧客情緒越差；越接近于0，說明顧客情緒越好。

表2　各評價要素的對話數(shù)量

表3　不同情感分析模型的實驗結(jié)果對比

表4　對話滿意度得分計算結(jié)果示例

3.5　產(chǎn)品和服務(wù)質(zhì)量分析

根據(jù)2.1節(jié)中的式（1）、（2），計算出各產(chǎn)品和服務(wù)評價要素的重要性得分和滿意度得分，結(jié)果如表5所示。

由實驗結(jié)果可知：

1）第一象限（右上）內(nèi)，“產(chǎn)品價格”這個要素的值和值都非常大，這表明顧客對“產(chǎn)品價格”非常重視，且對當(dāng)前的“產(chǎn)品價格”感到非常不滿意。結(jié)合主題提取方法所提取出的真實對話樣例，分析出顧客對“產(chǎn)品價格”感到不滿的主要原因是：剛買完就降價導(dǎo)致心理不平衡、經(jīng)常購買的老顧客卻沒有得到專屬優(yōu)惠、嫌棄產(chǎn)品價格太高等。

2）第二象限（左上）內(nèi)，存在“產(chǎn)品氣味”“生產(chǎn)日期”“產(chǎn)品顏色”三個要素。表明關(guān)注這三個要素的顧客人數(shù)不多，但是非常不滿意。結(jié)合主題模型提取出的對話樣例分析發(fā)現(xiàn)，顧客對“產(chǎn)品氣味”的不滿主要是由于氣味太重、氣味刺鼻、氣味太沖等。顧客對“生產(chǎn)日期”的不滿主要體現(xiàn)在：生產(chǎn)日期太過久遠、在瓶身上找不到生產(chǎn)日期標(biāo)識等。顧客對“產(chǎn)品顏色”的不滿主要體現(xiàn)在：消毒產(chǎn)品自帶的顏色容易污染白色衣物。

3）第三象限（左下）內(nèi)，存在“產(chǎn)品包裝”“產(chǎn)品功效”“保質(zhì)期”“產(chǎn)品規(guī)格”四個要素，屬于顧客提及較少且較為滿意的部分，商家無須刻意關(guān)注。

4）第四象限（右下）內(nèi)，存在“產(chǎn)品用法”一個評價要素。結(jié)合具體語料發(fā)現(xiàn)，顧客提及“產(chǎn)品用法”時，主要與客服探討的是用法用量及適用環(huán)境，最后都會以感謝結(jié)尾，極少出現(xiàn)不滿情緒，商家只需繼續(xù)保持該優(yōu)勢即可。

表5　各評價要素的重要性得分和滿意度的計算結(jié)果

圖5　產(chǎn)品質(zhì)量的IPA象限圖

1）第一象限（右上）內(nèi)，存在“貨品完好性”“運輸時效性”“發(fā)貨正確性”三個服務(wù)質(zhì)量評價要素，表明A店鋪這三項服務(wù)的水平急需改進。結(jié)合具體語料分析發(fā)現(xiàn)，顧客對“貨物完好性”感到不滿的主要原因是：在快遞運輸過程中，經(jīng)常發(fā)生包裝破損、瓶子碎裂、液體漏出等問題。顧客對“發(fā)貨正確性”感到不滿的主要原因是：貨物發(fā)錯、發(fā)少、與實際訂單不一致以及沒有附送贈品等問題。顧客對“運輸時效性”感到不滿的主要原因是：物流運輸速度慢、物流信息更新不及時等。

2）在第二象限（左上）內(nèi)，存在“配送服務(wù)水平”“系統(tǒng)穩(wěn)定性”兩個要素。結(jié)合語料分析，顧客對“配送服務(wù)水平”感到不滿的主要原因是：配送員的服務(wù)態(tài)度惡劣。顧客對“系統(tǒng)穩(wěn)定性”感到不滿的主要原因是：某些操作按鈕點擊后無響應(yīng)。由于該要素出現(xiàn)頻數(shù)極低，可能是由于顧客自身網(wǎng)絡(luò)環(huán)境差導(dǎo)致的，屬于極個別現(xiàn)象，暫時無須關(guān)注。

3）在第三象限（左下）內(nèi)，存在“咨詢響應(yīng)性”、“發(fā)貨及時性”、“補償性”三個要素，屬于顧客提及較少且較為滿意的部分，因此，無需刻意關(guān)注。

4）在第四象限（右下）內(nèi)，存在“退換貨響應(yīng)性”一個要素。售后服務(wù)質(zhì)量較高，對顧客退換貨申請的處理較好。

圖6　服務(wù)質(zhì)量的IPA象限圖

3.6　方法驗證

我們通過問卷調(diào)研的方式來檢驗分析結(jié)果是否有效。如果問卷發(fā)放給顧客，因評論顧客和問卷顧客的不同對檢驗會帶來影響，而專業(yè)客服對于顧客意見有著相對客觀、整體的認(rèn)識，因此，邀請旗艦店46名專業(yè)客服填寫調(diào)查問卷，基于她們的工作經(jīng)驗對本文提出的18個評價要素的重要性和滿意度給出評價。問卷設(shè)計為各評價要素重要性和滿意度的1～10分的矩陣量表。問卷結(jié)果收集回來后，對矩陣量表進行統(tǒng)計分析，并等比例映射到同一坐標(biāo)系中，如圖7、8所示。

圖7　本文方法與問卷調(diào)研得到的重要性對比

分析表明，本文方法計算得到的重要性和滿意度指標(biāo)與專家的經(jīng)驗看法基本保持一致，這表明本文提出的基于客服對話的產(chǎn)品服務(wù)分析方法是有效的。

“產(chǎn)品氣味”滿意度的情感計算結(jié)果比問卷結(jié)果略好。與客服專家深入討論后發(fā)現(xiàn)，顧客在提及氣味時，往往是在抱怨氣味刺鼻，因此客服給出了較差的情緒。而在算法中，在做主題提取時，區(qū)分了抱怨氣味刺鼻的對話和咨詢產(chǎn)品香型的對話，顧客在咨詢產(chǎn)品香型時的情緒是較為中性的，綜合之后顧客對氣味的整體情緒得分比問卷結(jié)果略好。

圖8　本文方法與問卷調(diào)研得到的滿意度對比

4 結(jié)語

本文基于客服對話，借助主題提取技術(shù)和情感分析技術(shù)，設(shè)計了一種產(chǎn)品和服務(wù)質(zhì)量的定量分析方法，并在某企業(yè)真實場景下進行了應(yīng)用驗證。結(jié)果表明，客服對話與評論相比，情緒表達更強烈。顧客遇到問題時，一般會找客服溝通；偶爾特別滿意時，也會向客服傾訴。因此，客服對話分析，比較適合于發(fā)現(xiàn)存在的問題，以及顧客特別滿意的方面，是對其他的方法，例如基于用戶評論的質(zhì)量分析方法的有益補充。

[1] QI J Y， ZHANG Z P， JEON S， et al. Mining customer requirements from online reviews： a product improvement perspective［J］. Information and Management， 2016，53（8）： 951-963.

[2] KAUFFMANN E， PERAL J， GIL D， et al. Managing marketing decision?making with sentiment analysis： an evaluation of the main product features using text data mining［J］. Sustainability， 2019， 11（15）： No.4235.

[3] WANG Y， MO D Y， TSENG M M. Mapping customer needs to design parameters in the front end of product design by applying deep learning［J］. CIRP Annals — Manufacturing Technology， 2018， 67（1）： 145-148.

[4] 李璐旸，秦兵，劉挺. 虛假評論檢測研究綜述［J］. 計算機學(xué)報， 2018， 41（4）： 946-968.（LI L Y， QIN B， LIU T. Survey on fake review detection research［J］. Chinese Journal of Computers， 2018， 41（4）： 946-968.）

[5] PARASURAMAN A， ZEITHAML V A， BERRY L L. A conceptual model of service quality and its implications for future research［J］. Journal of Marketing， 1985， 49（4）：41-50

[6] CORNIN J J， Jr.， TAYLOR S A. Measuring service quality： a reexamination and extension［J］. Journal of Marketing， 1992， 56（3）：55-68.

[7] 賀可太，朱道云. 云制造服務(wù)質(zhì)量評價［J］. 計算機集成制造系統(tǒng)， 2018， 24（1）：53-62.（HE K T， ZHU D Y. Quality evaluation of cloud manufacturing service［J］. Computer Integrated Manufacturing Systems， 2018， 24（1）：53-62.）

[8] CHEN D D， ZHANG D W， LIU A. Intelligent Kano classification of product features based on customer reviews［J］. CIRP Annals — Manufacturing Technology， 2019， 68（1）：149-152.

[9] MARTILLA J A， JAMES J C. Importance?performance analysis［J］. Journal of Marketing， 1977， 41（1）： 77-79.

[10] IRMA， RIDWAN M， KASIM K. Implementation of Importance Performance Analysis （IPA） towards the quality of duck products in a begos restaurant［J］. Hasanuddin Journal of Animal Science， 2020， 2（1）： 34-42.

[11] LI S， XIAO Q. Classification and improvement strategy for design features of mobile tourist guide application： a Kano?IPA approach［J］. Mobile Information Systems， 2020， 2020： No.8816130.

[12] 孔祥芬，陳鵬. 改進的Kano模型和IPA模型的綜合應(yīng)用探索——以民航航班延誤服務(wù)為例［J］. 工業(yè)工程， 2017， 20（3）：9-14.（KONG X F， CHEN P. Comprehensive application of improved Kano model and IPA model — taking the civil aviation flight delay service as an example［J］. Industrial Engineering Journal， 2017， 20（3）： 9-14.）

[13] MAZZA BASYA M， UTAMI B S A. Analisis SWOT dengan model Importance Performance Analysis （IPA） pada layanan fintech bank Syariah di Indonesia［J］. el?Qist： Journal of Islamic Economics and Business， 2020， 10（2）： 179-191.

[14] LANDAUER T K， FOLTZ P W， LAHAM D. An introduction to latent semantic analysis［J］. Discourse Processes， 1998， 25（2/3）： 259-284.

[15] HOFMANN T. Unsupervised learning by probabilistic latent semantic analysis［J］. Machine Learning， 2001， 42（1/2）： 177-196.

[16] BLEI D M， NG A Y， JORDAN M I. Latent Dirichlet allocation［J］. Journal of Machine Learning Research， 2003， 3： 993-1022.

[17] YAN X H， GUO J F， LAN Y Y， et al. A biterm topic model for short texts［C］// Proceedings of the 22nd International Conference on World Wide Web. New York： ACM， 2013：1445-1456.

[18] ANDRZEJEWSKI D， ZHU X J， CRAVEN M. Incorporating domain knowledge into topic modeling via Dirichlet forest priors［C］// Proceedings of the 26th International Conference on Machine Learning. New York： ACM， 2009： 25-32.

[19] ANDRZEJEWSKI D， ZHU X J. Latent Dirichlet allocation with topic?in?set knowledge［C］// Proceedings of the NAACL HLT 2009 Workshop on Semi?Supervised Learning for Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2009： 43-48.

[20] GALLAGHER R J， REING K， KALE D， et al. Anchored correlation explanation： topic modeling with minimal domain knowledge［J］. Transactions of the Association for Computational Linguistics， 2017， 5： 529-542.

[21] HAMEED Z， GARCíA?ZAPIRAIN B. Sentiment classification using a single?layered BiLSTM model［J］. IEEE Access， 2020， 8： 73992-74001.

[22] YUAN X P， LI Y W， XUE Z， et al. Financial sentiment analysis based on pre?training and TextCNN［C］// Proceedings of the 2020 Chinese Intelligent Systems Conference， LNEE 706. Singapore： Springer， 2021： 48-56.

[23] BISWAS E， KARABULUT M E， POLLOCK L， et al. Achieving reliable sentiment analysis in the software engineering domain using BERT［C］// Proceedings of the 2020 IEEE International Conference on Software Maintenance and Evolution. Piscataway： IEEE， 2020： 162-173.

[24] DE SOUSA M G， SAKIYAMA K， RODRIGUES L D S， et al. BERT for stock market sentiment analysis［C］// Proceedings of the IEEE 31st International Conference on Tools with Artificial Intelligence. Piscataway： IEEE， 2019： 1589-1593.

[25] MAJUMDER N， PORIA S， HAZARIKA D， et al. DialogueRNN： an attentive RNN for emotion detection in conversations［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 6818-6825.

[26] LYNN SHOSTACK G. How to design a service［J］. European Journal of Marketing， 1982， 16（1）：49-63.

Product and service quality analysis based on customer service dialogues

ZHANG Jiaju， LIN Huiping*

（，，102600，）

Existing product and service quality analysis is often based on questionnaire survey or product reviews， but there are problems such as difficulty in questionnaire collection and invalid data in product reviews. As a bridge between customers and businesses， the customer service dialogue contains rich customer opinions from product to service perspective， however， there are still few studies using customer service dialogues to analyze product and service quality. A product and service quality analysis method based on customer service dialogues was proposed， which firstly combined the product features and service blueprint to determine product and service quality evaluation factors， and used the Important?Performance Analysis （IPA） method to define the importance and performance index of evaluation factors. Then， quantitative analysis of the importance and satisfaction of products and services was performed by using the dialogue topic extraction and sentiment analysis. The method was applied on the real customer service dialogues of a Taobao flagship store which sells disinfection and sterilization products， and 18 evaluation factors were established， whose importance and performance were quantified based on more than 900 thousand real historical customer service dialogues， thereby analyzing the quality of products and services of the flagship store. Finally， a questionnaire on the professional customer service employees was carried out to verify the effectiveness of the proposed method.

customer service dialogue; quality analysis; importance; performance; topic extraction; sentiment analysis

This work is partially supported by National Key Research and Development Program of China （2018YFB1702900）.

ZHANG Jiaju， born in 1996， M. S. candidate. Her research interests include data mining， service quality analysis， natural language processing

LIN Huiping， born in 1974， Ph. D.， associate professor. Her research interests include data mining， intelligent manufacturing.

1001-9081（2022）11-3527-07

10.11772/j.issn.1001-9081.2022010073

2022?01?20；

2022?04?15；

2022?04?21。

國家重點研發(fā)計劃項目（2018YFB1702900）。

TP311

A

張家菊（1996—），女，吉林榆樹人，碩士研究生，主要研究方向：數(shù)據(jù)挖掘、服務(wù)質(zhì)量分析、自然語言處理；林慧蘋（1974—），女，福建仙游人，副教授，博士，CCF會員，主要研究方向：數(shù)據(jù)挖掘、智能制造。