基于人臉表情識(shí)別的呼叫中心座席服務(wù)質(zhì)量監(jiān)控應(yīng)用研究

楊曉藝，謝俊武，張 峰

（廣東電網(wǎng)有限責(zé)任公司江門(mén)供電局 廣東 江門(mén)529000）

基于人臉表情識(shí)別的呼叫中心座席服務(wù)質(zhì)量監(jiān)控應(yīng)用研究

楊曉藝，謝俊武，張 峰

（廣東電網(wǎng)有限責(zé)任公司江門(mén)供電局 廣東 江門(mén)529000）

針對(duì)江門(mén)供電局對(duì)于座席服務(wù)過(guò)程中的表情信息、情緒信息等管理的空白處境和難以對(duì)坐席服務(wù)過(guò)程對(duì)客戶(hù)的體驗(yàn)進(jìn)行全面有效的評(píng)估問(wèn)題，本研究采用了屏幕圖像監(jiān)控技術(shù)以及人臉表情識(shí)別技術(shù)的方法，搭建座席客戶(hù)服務(wù)質(zhì)量智能監(jiān)控應(yīng)用。通過(guò)使用電腦的界面操作信息、座席的表情信息、座席的情緒信息、交互錄音信息可視化的管理界面的實(shí)際試驗(yàn)，進(jìn)行統(tǒng)一管控及綜合分析，為管理者進(jìn)行座席服務(wù)監(jiān)控、質(zhì)檢、提升座席服務(wù)技能提供全面的信息支持，滿足實(shí)際要求。

表情信息；監(jiān)控技術(shù)；面部表情；管理

視頻監(jiān)控系統(tǒng)大致經(jīng)歷了3個(gè)發(fā)展階段，第一階段是百分之百的模擬視頻監(jiān)控系統(tǒng)（VCR）；第二階段是部分?jǐn)?shù)字化的視頻監(jiān)控系統(tǒng)（DVR/NVR）；第三階段是完全數(shù)字化的視頻監(jiān)控系統(tǒng)。近年來(lái)，隨著網(wǎng)絡(luò)帶寬、計(jì)算機(jī)處理能力和存儲(chǔ)容量的迅速提高，以及各種視頻信息處理技術(shù)的出現(xiàn)，全程數(shù)字化、網(wǎng)絡(luò)化的視頻監(jiān)控系統(tǒng)優(yōu)勢(shì)愈發(fā)明顯[1-2]，其高度的開(kāi)放性、集成性和靈活性為智能視頻監(jiān)控系統(tǒng)的發(fā)展創(chuàng)造了必要的條件。目前，95598熱線作為用電客戶(hù)服務(wù)的重要渠道，全面的座席服務(wù)過(guò)程監(jiān)控是逐步提升客戶(hù)服務(wù)體驗(yàn)的重要環(huán)節(jié)。所謂基于人臉識(shí)別的智能視頻監(jiān)控系統(tǒng)是以數(shù)字化、網(wǎng)絡(luò)化視頻監(jiān)控為基礎(chǔ)，但又有別于一般的網(wǎng)絡(luò)化視頻監(jiān)控，他是一種更高端的視頻監(jiān)控應(yīng)用[3]。智能視頻監(jiān)控系統(tǒng)能夠識(shí)別不同的物體，發(fā)現(xiàn)監(jiān)控畫(huà)面中的異常情況，并能夠以最快和最佳的方式發(fā)出警報(bào)和提供有用信息，從而能夠更加有效地協(xié)助安全人員處理危機(jī)[4]，并最大限度地降低誤報(bào)和漏報(bào)現(xiàn)象。

1 系統(tǒng)主要功能

1.1 座席表情智能分析

人的面部表情，作為一種信息傳遞工具，在人與人之間的溝通和交流方面起著重要的作用，心理學(xué)家J.A.Russell曾研究指出，在人們交流中，只有7%的信息是通過(guò)語(yǔ)言來(lái)傳遞，而通過(guò)面部表情傳遞的信息量卻達(dá)到了55%，正因?yàn)橛辛嗣娌勘砬檫@樣一種信息傳遞途徑，人與人之間的關(guān)系才更緊密。

臉識(shí)別技術(shù)亦稱(chēng)面像識(shí)別是人類(lèi)視覺(jué)系統(tǒng)的基本功能[5-6]，也是人類(lèi)互相辨識(shí)的最直接手段，因此他是生物特征識(shí)別中的重要研究?jī)?nèi)容。人臉識(shí)別技術(shù)作為一種新興的生物特征識(shí)別技術(shù)，簡(jiǎn)單說(shuō)，它是一種基于人的面部特征的自動(dòng)身份鑒別技術(shù)。人臉識(shí)別綜合運(yùn)用了數(shù)字圖像/視頻處理、模式識(shí)別、計(jì)算機(jī)視覺(jué)等多種技術(shù)[7]。人臉識(shí)別原理如圖1所示。

圖1 人臉識(shí)別原理圖

下面以眼部區(qū)域粗定位為例分析。

1）人臉左右邊界的確定

設(shè)原始圖像為 I（x，y），其大小為 M×N，則該圖像的垂直灰度投影函數(shù)為：

上式中，PV即為垂直灰度投影曲線。依據(jù)先驗(yàn)知識(shí)，人臉?biāo)趨^(qū)域?qū)⑹勾怪被叶韧队扒€形成一個(gè)具有一定寬度的凸峰；相對(duì)背景來(lái)說(shuō)，人臉區(qū)域往往具有較高的亮度；在人臉左右邊界處，垂直方向上亮度值的總和迅速減小，從而形成一個(gè)明顯的凸峰。因此，只需確定垂直灰度投影曲線中主要凸峰的左右邊界，即可得到人臉的左右邊界。

為了去除噪聲的影響，采用中值濾波對(duì)垂直灰度投影曲線進(jìn)行平滑處理，平滑處理函數(shù)如下：

上式中K是濾波窗口的寬度，取值跟人臉在圖像中的大小有關(guān)，經(jīng)過(guò)多次反復(fù)實(shí)驗(yàn)，當(dāng)K取值為16時(shí)效果最佳。

通常沿凸峰上升梯度值最大的點(diǎn)即為人臉的左邊界，沿凸峰下降梯度值最小的點(diǎn)即為人臉的右邊界。 設(shè)人臉的左邊界點(diǎn)不超出 [O，aN]（a＜1），取a=0.55，求出曲線在x∈[O，aN]段上具有最大梯度值的點(diǎn)，記為 xl，即人臉的左邊界；再求曲線 x∈[xl，N]段的最小梯度值點(diǎn)，記為x2，即人臉的右邊界。人臉的左右邊界定位算法至此結(jié)束。

2）水平眉眼區(qū)域預(yù)估

當(dāng)人臉的左右邊界確定之后，設(shè)左右邊界之大小為m，則此時(shí)的圖像大小為m×N，同理對(duì)該圖像區(qū)域的水平灰度投影函數(shù)是：

上式中，PH即為水平灰度投影曲線。同樣對(duì)PH進(jìn)行平滑，即：

L的取值跟人臉在圖像中的大小有關(guān)，反復(fù)實(shí)驗(yàn)后取L=12。平滑前后的水平灰度投影曲線和垂直灰度投影如圖2所示。由平滑后的水平灰度投影曲線可知，此曲線的第一個(gè)極小值點(diǎn)對(duì)應(yīng)人的頭頂，因?yàn)轭^發(fā)的低灰度產(chǎn)生了水平投影曲線的低谷；而曲線的最大值點(diǎn)和次最大值點(diǎn)分別對(duì)應(yīng)人的額頭部位和人的鼻中部。通過(guò)分析該曲線的極大和極小值，易求得人眼所處的水平區(qū)域。

圖2 平滑前后的水平灰度投影曲線

1.2 異常表情截取

當(dāng)前，對(duì)坐席通話記錄的考核僅限于抽檢，不僅費(fèi)時(shí)費(fèi)力，且不容易暴露問(wèn)題，通過(guò)表情面部智能分析系統(tǒng)，可對(duì)異常表情發(fā)生時(shí)的通話記錄進(jìn)行重點(diǎn)截取，并以坐席為單位進(jìn)行儲(chǔ)存，考核時(shí)可重點(diǎn)對(duì)此類(lèi)錄音重點(diǎn)抽調(diào)聽(tīng)取，可極大的提高檢查效率和效果。特定情感的七種基本面部表情如圖3所示。

圖3 7種基本面部表情

特定情感的7種基本面部表情：從左向右依次為厭惡、恐懼、生氣、高興、悲傷、驚奇、平靜。

1.3 座席同屏監(jiān)控

可針對(duì)某個(gè)座席進(jìn)行屏幕監(jiān)控，從而可以實(shí)時(shí)了解和監(jiān)督座席的工作狀態(tài)、工作內(nèi)容和工作過(guò)程，查找薄弱環(huán)節(jié)，在需要時(shí)可以干預(yù)其操作，發(fā)送提示或告警信息。

該坐席同屏監(jiān)控功能如下：

可針對(duì)某個(gè)座席發(fā)起實(shí)時(shí)屏幕監(jiān)控[9-10]，實(shí)時(shí)了解座席的工作內(nèi)容；對(duì)監(jiān)控的座席可發(fā)送提示、評(píng)價(jià)或告警信息，并可對(duì)座席發(fā)起干預(yù)操作；可隨時(shí)中斷監(jiān)控和對(duì)監(jiān)控端的干預(yù)操作，并且對(duì)座席端的監(jiān)控或干預(yù)操作不影響座席端；具備嚴(yán)格的權(quán)限控制，具有同屏監(jiān)控權(quán)限的人員可監(jiān)控其監(jiān)控權(quán)限范圍內(nèi)的座席，座席端不可拒絕同屏監(jiān)控端的控制和干預(yù)；系統(tǒng)必須具有穩(wěn)定性，對(duì)座席端的監(jiān)控或干預(yù)操作不會(huì)造成座席端故障。

1.4 監(jiān)控客戶(hù)端

監(jiān)控客戶(hù)端相當(dāng)于整體系統(tǒng)的“眼睛”，用戶(hù)可通過(guò)電腦終端隨時(shí)隨地對(duì)座席人員進(jìn)行監(jiān)控[11]，并可在終端上進(jìn)行如下操作：

提供座席人員實(shí)時(shí)行為及表情監(jiān)控；提供座席人員錄音抽檢功能；可回放指定時(shí)刻的監(jiān)控視頻；座席情緒監(jiān)控預(yù)警；座席情緒監(jiān)控統(tǒng)計(jì)報(bào)表；對(duì)報(bào)警事件存檔；支持用戶(hù)數(shù)據(jù)備份、檢索、修復(fù)；能同時(shí)預(yù)覽和監(jiān)控多路座席。

2 平臺(tái)搭建原理

2.1 表情分析原理

本文采用日本某公司研發(fā)的HVC-C2W多功能攝像頭，可在自然光線環(huán)境下，對(duì)人體面部表情進(jìn)行識(shí)別，其識(shí)別原理如下：

原始圖像預(yù)處理定位人眼，利用直方圖均衡化對(duì)表情圖像進(jìn)行光照補(bǔ)償，繼而根據(jù)雙眼坐標(biāo)點(diǎn)的連線和水平軸的夾角，進(jìn)行幾何歸一化處理。

2.2 提取表情特征

對(duì)人臉的器官特征、紋理區(qū)域和預(yù)定義的特征點(diǎn)進(jìn)行定位和提取，由于人臉圖像具有信息量大和模式復(fù)雜等性質(zhì)，需要進(jìn)行圖像降維和去相關(guān)變換（如PCA、ICA、小波分析、對(duì)稱(chēng)變換、光流分析等方法）。

2.3 表情分類(lèi)

基于SVM的表情分類(lèi)，支持向量機(jī)是目前主流的算法，因此我們也將其引入面部表情識(shí)別中來(lái)解決這一非線性模式下的小樣本問(wèn)題，提出一種改進(jìn)的決策樹(shù)多分類(lèi)器模型實(shí)現(xiàn)了SVM分類(lèi)器良好的核泛化性能優(yōu)勢(shì)，可以順利實(shí)現(xiàn)高識(shí)別率的表情分類(lèi)。

2.4 表情數(shù)據(jù)庫(kù)比對(duì)

采用數(shù)據(jù)庫(kù)為2010面發(fā)布的The Extended Cohn-Kanade Dataset（CK+），其中包含 123個(gè)subjects，593 個(gè) image sequence，每個(gè) image sequence的最后一張F(tuán)rame都有action units的label，而在這593個(gè)image sequence中，有327個(gè)sequence有emotion的label。 這個(gè)數(shù)據(jù)庫(kù)是人臉表情識(shí)別中比較流行的一個(gè)數(shù)據(jù)庫(kù)。我們將之前獲得的表情特征與該數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，返回一個(gè)對(duì)應(yīng)喜怒哀樂(lè)的數(shù)據(jù)。

2.5 深度處理

我們沒(méi)有止步于識(shí)別表情，而是對(duì)其進(jìn)行深度處理。在獲得數(shù)據(jù)后，我們?yōu)槊糠N表情（喜悅、驚訝、憤怒、悲傷、嚴(yán)肅）劃分一個(gè)0～100的分?jǐn)?shù)域，盡可能減少誤判，同時(shí)可以設(shè)定分?jǐn)?shù)警戒線，當(dāng)某種情緒到達(dá)一定分?jǐn)?shù)時(shí)，輸出警報(bào)信號(hào)。

3 系統(tǒng)技術(shù)方案

3.1 總體技術(shù)要求

1）便捷性要求：以B/S架構(gòu)設(shè)計(jì)應(yīng)用系統(tǒng)，使操作人員可直接在瀏覽器中訪問(wèn)應(yīng)用系統(tǒng)，方便用戶(hù)操作，簡(jiǎn)化系統(tǒng)發(fā)布過(guò)程，做到系統(tǒng)操作簡(jiǎn)單易懂，發(fā)布快捷簡(jiǎn)易。

2）可擴(kuò)展性要求：本項(xiàng)目產(chǎn)生的應(yīng)用系統(tǒng)將來(lái)需要擴(kuò)展或與其它應(yīng)用時(shí)，不影響已有系統(tǒng)的應(yīng)用和性能；

3）標(biāo)準(zhǔn)化要求：功能開(kāi)發(fā)（修改）符合我國(guó)國(guó)家標(biāo)準(zhǔn)、信息產(chǎn)業(yè)部部頒標(biāo)準(zhǔn)、電力行業(yè)相關(guān)技術(shù)規(guī)范和要求；

4）可靠性要求：系統(tǒng)建設(shè)完成后，應(yīng)能夠滿足客服中心7×24小時(shí)的運(yùn)作模式，系統(tǒng)故障重啟的時(shí)間不超過(guò)30分鐘；

5）業(yè)務(wù)連續(xù)性要求：當(dāng)系統(tǒng)上線運(yùn)行時(shí)，不影響江門(mén)供電局現(xiàn)有系統(tǒng)及業(yè)務(wù)的運(yùn)作；

6）項(xiàng)目建設(shè)的應(yīng)用系統(tǒng)必須考慮江門(mén)供電局的網(wǎng)絡(luò)環(huán)境和安全防護(hù)體系[12]，確保系統(tǒng)的正常運(yùn)行；

3.2 系統(tǒng)設(shè)計(jì)原則

1）系統(tǒng)性原則

呼叫中心各支撐平臺(tái)之間關(guān)系密切，數(shù)據(jù)信息相互交錯(cuò)、共享，它們是一個(gè)整體，因此，本項(xiàng)目的實(shí)施是一個(gè)系統(tǒng)工程。技術(shù)人員在系統(tǒng)實(shí)施過(guò)程中[13]，應(yīng)進(jìn)行全局的系統(tǒng)化考慮，從整體上進(jìn)行可行性分析、規(guī)劃和設(shè)計(jì)。

2）發(fā)展性原則

隨著客服中心規(guī)模的擴(kuò)大和座席模式的更加合理化，座席接入功能和管理功能等也會(huì)隨著客戶(hù)服務(wù)改革的發(fā)展、技術(shù)的進(jìn)步以及網(wǎng)絡(luò)基礎(chǔ)設(shè)施的逐步完善而不斷豐富，因此要求在設(shè)計(jì)系統(tǒng)時(shí)，需要充分考慮系統(tǒng)的靈活性和可擴(kuò)展性。

3）實(shí)用性原則

為保證系統(tǒng)的高度實(shí)用性和可用性，系統(tǒng)應(yīng)支持通用的操作系統(tǒng)，如Windows、Linux和Unix等。軟件版本應(yīng)能向下兼容，軟件版本易于升級(jí)，且升級(jí)的過(guò)程中不影響網(wǎng)路的性能與運(yùn)行。在實(shí)施的整個(gè)過(guò)程中，應(yīng)本著技術(shù)為客戶(hù)服務(wù)的指導(dǎo)思想，盡量滿足客戶(hù)服務(wù)及管理的要求，避免技術(shù)實(shí)現(xiàn)與客戶(hù)服務(wù)需求脫節(jié)等情況的發(fā)生。

實(shí)用性原則的另一個(gè)方面是注意系統(tǒng)功能的操作方便性。為了使系統(tǒng)更趨實(shí)用，還必須注意對(duì)操作細(xì)節(jié)的設(shè)計(jì)應(yīng)符合操作人員的操作習(xí)慣。

4）穩(wěn)定性原則

由于系統(tǒng)應(yīng)用于95598客服中心，因此必須保證7*24不間斷的穩(wěn)定的運(yùn)行，必須避免因軟件的故障而造成客服系統(tǒng)的運(yùn)行癱瘓和客戶(hù)服務(wù)的中斷。軟件必須是模塊化設(shè)計(jì)，并且保證任何功能模塊的維護(hù)和更新都不影響其他功能模塊，系統(tǒng)具有一定的容錯(cuò)能力。

3.3 系統(tǒng)總體架構(gòu)

為了系統(tǒng)設(shè)計(jì)符合系統(tǒng)性、發(fā)展性、實(shí)用性和穩(wěn)定性等技術(shù)原則，要采用先進(jìn)的技術(shù)對(duì)系統(tǒng)進(jìn)行構(gòu)建，如圖4所示。

圖4 系統(tǒng)總體架構(gòu)

值得一提的是：與CTI服務(wù)器進(jìn)行對(duì)接是用于控制監(jiān)控在座席接聽(tīng)電話時(shí)啟動(dòng)監(jiān)控錄像；與錄音服務(wù)器對(duì)接是用于客戶(hù)端進(jìn)行錄音調(diào)用抽檢。

3.4 表情識(shí)別流程

自動(dòng)人臉表情識(shí)別包括人臉檢測(cè)，人臉特征定位與提取人臉表情的情感分類(lèi)3個(gè)關(guān)鍵環(huán)節(jié)。

3.5 表情特征提取方法

本研究的人臉面部表情特征提取方法所用到的識(shí)別特征主要有：灰度特征、運(yùn)動(dòng)特征和頻率特征3種[14]。

1）灰度特征是從表情圖像的灰度值上來(lái)處理，利用不同表情有不同灰度值來(lái)得到識(shí)別的依據(jù)。

2）運(yùn)動(dòng)特征，是利用不同表情情況下人臉的主要表情點(diǎn)的運(yùn)動(dòng)信息來(lái)進(jìn)行識(shí)別。

3）頻域特征主要是利用了表情圖像在不同的頻率分解下的差別，速度快是其顯著特點(diǎn)。

在具體的表情識(shí)別方法上，分類(lèi)方向主要有3個(gè)：整體識(shí)別法和局部識(shí)別法、形變提取法和運(yùn)動(dòng)提取法、幾何特征法和容貌特征法[15]。整體識(shí)別法中，無(wú)論是從臉部的變形出發(fā)還是從臉部的運(yùn)動(dòng)出發(fā)，都是將表情人臉作為一個(gè)整體來(lái)分析，找出各種表情下的圖像差別。本項(xiàng)目計(jì)劃運(yùn)用特征臉的主成分分析法（PCA原理）作為算法支撐實(shí)現(xiàn)表情分析。

4 結(jié) 論

通過(guò)監(jiān)控分析人臉表情特征的提取，進(jìn)行分類(lèi)，將所得到的信號(hào)傳遞給計(jì)算機(jī)進(jìn)行分析，然后在界面上顯示得到信號(hào)，最終完成呼叫中心座席服務(wù)監(jiān)控。該系統(tǒng)填補(bǔ)了江門(mén)供電局對(duì)于座席服務(wù)過(guò)程中的表情信息、情緒信息等管理的空白，實(shí)現(xiàn)了對(duì)于坐席服務(wù)過(guò)程對(duì)客戶(hù)的體驗(yàn)全面有效的評(píng)估，大大提高了服務(wù)質(zhì)量，具有很強(qiáng)的現(xiàn)實(shí)意義。

[1]劉帥師，田彥濤，萬(wàn)川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識(shí)別方法[J].自動(dòng)化學(xué)報(bào)，2011，37（12）:1455-1463.

[2]王大偉，周軍，梅紅，等.巖人臉表情識(shí)別綜述[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（20）:149-157.

[3]蔣斌，賈克斌，楊國(guó)勝，等.人臉表情識(shí)別的研究進(jìn)展[J].計(jì)算機(jī)科學(xué)，2011，38（4）:25-31.

[4]Zou Bin，Li Luoqing，Xu Zongbin，et al.Generalization performance of Fisher linear discriminantbased on Markov sampling[J].IEEE Transactions on Neural Networks and Learning Systems，2013，24（2）:288-300.

[5]劉偉鋒，李樹(shù)娟，王延江.人臉表情的LBP特征分析[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（2）:149-152.

[6]萬(wàn)賢美，金小剛.真實(shí)感3D人臉表情合成技術(shù)研究進(jìn)展[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26（2）:167-178.

[7]Wan X M，Jin X G.Data-driven facial expressions synthesis via Laplacian deformation[J].Multimedia a Tools and Applications，2012，58（1）:109-203.

[8]Qiao L S，Chen S C，Tan X Y.Sparsity preserving projections with applications to face recognition[J].PatternRecognition，2010，43（1）:331-341．

[9]崔靜安，黃瑩，謝雙澤.電力呼叫中心的建設(shè)與使用[J].電力信息化，2006，4（3）:52-55.

[10]李明東.省級(jí)集中的95598客戶(hù)服務(wù)系統(tǒng)建設(shè)思路與實(shí)現(xiàn)方式[J].電力信息化，2011，9（7）:45-49.

[11]馬小虎，譚延琪.基于鑒別稀疏保持嵌入的人臉識(shí)別算法[J].自動(dòng)化學(xué)報(bào)，2014，40（1）:73-82.

[12]王勇，盧桂馥.基于最大間距MFA的鑒別分析[J].光電工程，2011，38（2）:102-107.

[13]唐哲紅，李青，汪少敏.云呼叫中心體系架構(gòu)研究與設(shè)計(jì)[J].電信科學(xué)，2013，（6）:57-63.

[14]LiH，Jiang T，Zhang K.Efficientand robust feature extraction by maximum margin criterion[J].IEEE Trans.Neural Networks，2006，17（1）:157-165.

[15]楊利平，龔衛(wèi)國(guó)，辜小花，等.完備鑒別保局投影人臉識(shí)別算法[J].軟件學(xué)報(bào)，2010，21（6）:1277-1286.

Research of call center seat service quality monitoring application based on facial expression recognition

YANG Xiao-yi，XIE Jun-wu，ZHANG Feng
（Guangdong Power Supply Bureau of Jiangmen Power Grid Co.，Ltd.Jiangmen 529000，China）

For Power Supply Bureau of Jiangmen，for the blank position of seat in the process of expression information，emotional information management，it is difficult to for seating service process of customer experience of effective and comprehensive evaluation.Therefore，this paper is through introducing the screen image monitoring technology and facial expression analysis technology，build seat quality customer service in intelligent surveillance applications.Through the use of computer interface operation information，the expression of position information，the position of emotional information，interactive recording information visualization management interface of the practical test，make unified control and comprehensive analysis，as a manager for seating service monitoring，quality control，improve position provides the comprehensive information support service skills，meet the actual requirements.

facial expression information； monitoring technology；facial expression； management

TN85

：A

：1674－6236（2017）14-0127-04

2016-07-14稿件編號(hào)：201607105

楊曉藝（1973—），女，江西瑞金人，碩士，高級(jí)工程師。研究方向：電力營(yíng)銷(xiāo)。