基于Tex-RCNN的電力營銷語音服務(wù)用戶意圖識別模型

覃浩， 劉振華， 蘇立偉， 楊秋勇， 胡如樂

(1.廣東電網(wǎng)有限責(zé)任公司客戶服務(wù)中心， 廣東， 廣州 510000;2.廣東電網(wǎng)有限責(zé)任公司信息中心， 廣東， 廣州 510000;3.南方電網(wǎng)公司數(shù)字研究院有限公司， 廣東， 廣州 510000)

0 引言

電力營銷是電力系統(tǒng)中的主要任務(wù)，在日常的電力服務(wù)支持下，用戶通過撥打熱線的方式咨詢?nèi)粘Ｉ钪杏龅降母黜?xiàng)電力問題[1]。從管理角度出發(fā)，如何高效地解決電力營銷過程中遇到的問題成為了當(dāng)前信息咨詢工作中的重點(diǎn)[2]。在現(xiàn)代化智能算法支持下，電力工作者建立了語音服務(wù)用戶識別過程，通過辨別語音用戶中的言語構(gòu)成，將其處理為不同的類別[3]，并針對設(shè)定的類別對應(yīng)不同的解決方式。為此，設(shè)計(jì)電力營銷的語音服務(wù)用戶意圖識別模型具有很大的研究價(jià)值。

國外研究意圖識別起步較早，在人工智能技術(shù)的支持下，研究設(shè)定了面向任務(wù)以及聊天的對話系統(tǒng)[4]，并將其拓展應(yīng)用到多個領(lǐng)域當(dāng)中。國內(nèi)研究意圖識別技術(shù)起步較晚，研究人員采用了模塊化的處理技術(shù)，將意圖任務(wù)處理為分布式架構(gòu)[5]，通過架構(gòu)之間形成的交互完成意圖信息的交換。文獻(xiàn)[6]中的意圖識別模型采用了雙向長短時(shí)記憶網(wǎng)絡(luò)，將用戶意圖處理為標(biāo)簽形式，在標(biāo)簽形式內(nèi)加入條件隨機(jī)場景，構(gòu)建成語言與用戶意圖之間的依賴關(guān)系。文獻(xiàn)[7]中的意圖識別模型采用了神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練了語義意圖，并采用特征建模的方式將語音數(shù)據(jù)與識別輸出建立數(shù)值關(guān)系，構(gòu)建了智能化的意圖識別模型。

通過對階段性研究的應(yīng)用可知，現(xiàn)有的意圖識別模型存在輸出識別數(shù)據(jù)質(zhì)量較差的問題，為此，將Tex-RCNN作為技術(shù)支持，構(gòu)建電力營銷語音服務(wù)用戶意圖識別模型。

1 電力營銷語音服務(wù)用戶意圖識別模型

1.1 利用Tex-RCNN獲取電力營銷語音服務(wù)數(shù)據(jù)

Tex-RCNN處理方法分為三部分，第一部分采用Bi-RNN來獲取文本的上下文特征表示，第二部分采用max-pooling進(jìn)一步提取特征信息，第三部分采用全連接層來獲取類別概率。Tex-RCNN方法架構(gòu)如圖1所示。

圖1 Tex-RCNN架構(gòu)

調(diào)用Tex-RCNN處理方法中的兩層感知結(jié)構(gòu)處理電力營銷數(shù)據(jù)，根據(jù)電力營銷數(shù)據(jù)獲得的數(shù)據(jù)層，在第一層感知結(jié)構(gòu)內(nèi)設(shè)置一層輸出，設(shè)置的輸出可表示為

(1)

其中，H1、H2表示設(shè)置的輸出層，φ表示輸出的數(shù)據(jù)層節(jié)點(diǎn)，W1、W2表示神經(jīng)網(wǎng)絡(luò)中設(shè)置的感知參數(shù)，X表示電力營銷數(shù)據(jù)層，m表示輸出參數(shù)。經(jīng)過兩層結(jié)構(gòu)的處理后，激活的營銷數(shù)據(jù)存在部分?jǐn)?shù)據(jù)冗余，為了消除營銷語音數(shù)據(jù)產(chǎn)生的冗余[8]，計(jì)算輸出的數(shù)據(jù)的權(quán)重，并設(shè)定一個固定的偏移量。此時(shí)輸出的語音服務(wù)數(shù)據(jù)可表示為

(2)

其中，yi表示輸出的語音服務(wù)數(shù)據(jù)集，s表示正則化參數(shù)，r表示設(shè)定的固定偏移量。根據(jù)上述計(jì)算得到的數(shù)據(jù)權(quán)重可知，語音服務(wù)數(shù)據(jù)存在多個類別，所以在控制多個數(shù)值輸出時(shí)，采用Softmax將其映射處理為多個神經(jīng)輸出，并采用交叉熵代價(jià)處理過程將其處理為概率形式，處理過程可表示為

(3)

其中，Lc表示交叉熵代價(jià)函數(shù)，N表示分類類別，其余參數(shù)含義不變。在概率形式的營銷服務(wù)數(shù)據(jù)中，意圖屬性內(nèi)存在多種不確定性[9]，故采用主動樣本熵的形式將數(shù)據(jù)處理為熵概率的形式，處理過程可表示為

(4)

其中，arg表示計(jì)算得到的熵概率數(shù)值，xi表示式(3)中得到的概率數(shù)據(jù)集，Ne表示處理類別總數(shù)。整理上述處理得到的熵概率數(shù)值后，利用BvSB處理技術(shù)不斷挑選語音服務(wù)熵概率。并定義其為標(biāo)注樣本集合，不斷輸出樣本集合中的樣本后，將其處理為營銷語音服務(wù)數(shù)據(jù)集，根據(jù)該數(shù)據(jù)集，構(gòu)建意圖依賴的數(shù)值關(guān)系。

1.2 構(gòu)建意圖依賴數(shù)值關(guān)系

使用上述獲取得到的意圖數(shù)值關(guān)系，在學(xué)習(xí)算法當(dāng)中構(gòu)建一個學(xué)習(xí)評估過程[10]，構(gòu)建的學(xué)習(xí)評估可表示為

(5)

其中，Qc表示構(gòu)建的學(xué)習(xí)評估函數(shù)，ct表示選擇意圖參數(shù)，ε表示迭代參數(shù)，χ表示完全參數(shù)。經(jīng)學(xué)習(xí)評估后，聯(lián)系上下數(shù)據(jù)類型，設(shè)定學(xué)習(xí)評估的初始值，數(shù)值關(guān)系可表示為

(6)

其中，Ut表示構(gòu)建的評估初始值，ct+1表示最優(yōu)語音服務(wù)未來數(shù)值，α(s)表示下個意圖的有效參數(shù)。利用上述計(jì)算得到的初始值，采用前后概率驗(yàn)證的方式構(gòu)建依賴數(shù)值關(guān)系，可表示為

(7)

其中，Pi表示構(gòu)建的依賴數(shù)值關(guān)系，αi表示構(gòu)建的觀測驗(yàn)證參數(shù)，Aj+1表示使用的初始意圖矩陣，di表示混淆矩陣。結(jié)合上述構(gòu)建的數(shù)值關(guān)系可知，觀測驗(yàn)證參數(shù)內(nèi)存在多個意圖發(fā)生條件，故將依賴數(shù)值關(guān)系進(jìn)行如圖2所示的處理過程。

圖2 多個發(fā)生條件的依賴數(shù)值關(guān)系

由圖2所示的依賴數(shù)值關(guān)系可知，不同的發(fā)生條件內(nèi)存在多個數(shù)值關(guān)系，將觀測驗(yàn)證參數(shù)作為依賴類別，對應(yīng)的數(shù)值處理為語義意圖，形成一個數(shù)值化的依賴關(guān)系[11]。結(jié)合上述構(gòu)建的依賴數(shù)值關(guān)系，將其標(biāo)定為序列參數(shù)，搭建意識識別模型。

1.3 意圖識別模型的構(gòu)建

使用上述構(gòu)建的意圖依賴數(shù)值關(guān)系，將其編碼處理為參數(shù)表征，并映射處理為意圖特征參數(shù)，形成的特征空間可表示為

(8)

其中，eQ、ek、ev分別表示對應(yīng)意圖特征參數(shù)的嵌入向量，WQ、Wk、Wv表示意圖特征加權(quán)參數(shù)，ei表示序位的上下感知向量。在整理后的特征向量處理為意圖感知機(jī)制，并將其處理為感知知識參數(shù)，參數(shù)數(shù)值關(guān)系可表示為

(9)

其中，r表示感知知識參數(shù)，zi表示意圖注意力函數(shù)，T表示意圖顯示的信息周期。不同電力營銷支持網(wǎng)絡(luò)中存在多個意圖[12]，在構(gòu)建處理為意圖識別模型時(shí)，應(yīng)將感知參數(shù)替換處理為多個形式的填充更新，處理過程可表示為

(10)

其中，SS表示填充更新函數(shù)，Vs表示補(bǔ)正函數(shù)，Ws表示設(shè)定的數(shù)值迭代參數(shù)，其余參數(shù)含義不變。在構(gòu)建的感知空間內(nèi)，形成的填充處理過程如圖3所示。

圖3 形成的填充處理過程

由圖3所示的填充處理過程可知，重復(fù)迭代處理后，所構(gòu)建的意圖向量處理空間不斷減小，最終在感知區(qū)間內(nèi)成功定位意圖目標(biāo)[13]，完成一次意圖識別過程。綜合上述分析處理，最終完成對基于Tex-RCNN的電力營銷語音服務(wù)用戶意圖識別模型的構(gòu)建。

2 仿真實(shí)驗(yàn)

2.1 用戶數(shù)據(jù)集

采集電力營銷語音服務(wù)的用戶數(shù)據(jù)，不同的語音服務(wù)個體有著不同的服務(wù)風(fēng)格，采用網(wǎng)絡(luò)爬蟲程序獲取電力營銷系統(tǒng)內(nèi)的數(shù)據(jù)，按照數(shù)據(jù)的屬性，將其劃分為不同的類別，準(zhǔn)備的語音服務(wù)用戶數(shù)據(jù)如表1所示。

使用表1所示的語音服務(wù)用戶數(shù)據(jù)，采用一個可訓(xùn)練的詞嵌入矩陣將服務(wù)用戶數(shù)據(jù)處理為數(shù)據(jù)嵌入向量，處理過程可表示為

表1 準(zhǔn)備的語音服務(wù)用戶數(shù)據(jù)

(11)

其中，bj表示構(gòu)建的處理函數(shù)，γ(t)表示隨機(jī)初始迭代參數(shù)，λi表示使用的可訓(xùn)練詞嵌入矩陣。將實(shí)驗(yàn)準(zhǔn)備的各項(xiàng)語音服務(wù)數(shù)據(jù)處理為嵌入向量后，準(zhǔn)備基于改進(jìn)金字塔的識別模型、基于時(shí)間序列的識別模型以及所設(shè)計(jì)的識別模型進(jìn)行實(shí)驗(yàn)，采用不同的隨機(jī)初始參數(shù)運(yùn)行整理參與識別的模型，控制識別模型實(shí)際生成的數(shù)據(jù)與初始數(shù)據(jù)成線性比例，調(diào)用相同的編碼器將識別模型的狀態(tài)維數(shù)處理為向量表征，設(shè)定模型的時(shí)間步，設(shè)定3種識別模型的初始學(xué)習(xí)率為0.001后，選定相同的模型指標(biāo)，對比3種識別模型的使用性能。

2.2 結(jié)果及分析

基于上述實(shí)驗(yàn)準(zhǔn)備，使用嵌入向量處理后的數(shù)據(jù)，采用單向的LSTM來控制3種識別模型的隱藏狀態(tài)，以3種識別模型處理數(shù)據(jù)文本轉(zhuǎn)化過程作為處理對象，定義3種識別模型處理過程中產(chǎn)生的數(shù)據(jù)增強(qiáng)，數(shù)值關(guān)系可表示為

(12)

其中，r表示計(jì)算得到的數(shù)據(jù)增強(qiáng)參數(shù)，wT表示周期范圍內(nèi)語音服務(wù)數(shù)據(jù)的訓(xùn)練集，w表示二分類參數(shù)，其余參數(shù)含義不變。以上述定義的數(shù)值關(guān)系處理表1中的各項(xiàng)數(shù)據(jù)，并以該參數(shù)作為增強(qiáng)標(biāo)準(zhǔn)，在平面范圍內(nèi)將該參數(shù)數(shù)值處理為線性關(guān)系，處理過程可表示為

(13)

其中，xi表示上述處理過程產(chǎn)生的增強(qiáng)參數(shù)集，b表示增強(qiáng)參數(shù)產(chǎn)生的對偶，其余參數(shù)含義不變。根據(jù)上述定義的線性數(shù)值關(guān)系，在平面范圍內(nèi)以該線性關(guān)系作為對比標(biāo)準(zhǔn)，整理3種不同識別模型產(chǎn)生的增強(qiáng)參數(shù)，結(jié)果如圖4所示。

在上述數(shù)值關(guān)系定義下，整理3種識別模型產(chǎn)生的數(shù)據(jù)增強(qiáng)參數(shù)，控制3種識別模型重復(fù)迭代100次，當(dāng)識別模型得到的增強(qiáng)參數(shù)點(diǎn)無線趨近于標(biāo)準(zhǔn)增強(qiáng)參數(shù)數(shù)值線時(shí)，則表示該種識別模型能夠增強(qiáng)識別數(shù)據(jù)的意圖，根據(jù)圖4所示的參數(shù)結(jié)果可知，基于改進(jìn)金字塔的識別模型得到的增強(qiáng)參數(shù)偏離計(jì)算得到的標(biāo)準(zhǔn)增強(qiáng)參數(shù)，基于時(shí)間序列的識別模型得到的增強(qiáng)參數(shù)遠(yuǎn)遠(yuǎn)偏離計(jì)算得到的標(biāo)準(zhǔn)增強(qiáng)參數(shù)，而所設(shè)計(jì)的識別模型得到的增強(qiáng)參數(shù)點(diǎn)均勻分布在標(biāo)準(zhǔn)增強(qiáng)參數(shù)數(shù)值線周圍，計(jì)算得到的增強(qiáng)參數(shù)與標(biāo)準(zhǔn)參數(shù)相差不大，能夠增強(qiáng)識別數(shù)據(jù)的意圖。

圖4 3種識別模型產(chǎn)生的增強(qiáng)參數(shù)

在上述實(shí)驗(yàn)環(huán)境下，整理3種識別模型生成數(shù)據(jù)的變動性來評判識別模型生成識別數(shù)據(jù)的質(zhì)量，整理上表1對應(yīng)的向量表征后，定義意圖識別模型實(shí)際的生成分布，并將其處理為意圖標(biāo)簽，處理過程可表示為

(14)

其中，Q表示意圖標(biāo)簽處理函數(shù)，σ表示識別模型的折扣因子，L表示收斂標(biāo)準(zhǔn)誤差。對應(yīng)上述設(shè)定的語音服務(wù)序號，采用隨機(jī)采樣處理方法將意圖標(biāo)簽生成為質(zhì)量數(shù)值，數(shù)值關(guān)系可表示為

(15)

其中，Z表示識別模型輸出數(shù)據(jù)的質(zhì)量數(shù)值，Qi表示意圖函數(shù)，N表示參與識別的語音服務(wù)數(shù)量，P(k)表示服務(wù)類別的并列數(shù)值關(guān)系。對應(yīng)上述構(gòu)建的數(shù)值關(guān)系，整理3種意圖識別模型輸出的質(zhì)量數(shù)值，結(jié)果如圖5所示。

圖5 3種識別模型輸出數(shù)據(jù)質(zhì)量結(jié)果

根據(jù)定義的模型輸出數(shù)據(jù)質(zhì)量數(shù)值關(guān)系控制下，對應(yīng)計(jì)算三種不同識別模型的輸出質(zhì)量參數(shù)，定義識別模型的質(zhì)量參數(shù)越大則表示該種識別模型實(shí)際應(yīng)用性最強(qiáng)。根據(jù)上圖所示的數(shù)值結(jié)果可知，基于改進(jìn)金字塔的識別模型輸出的識別數(shù)據(jù)質(zhì)量參數(shù)在30%～40%之間，實(shí)際輸出的數(shù)據(jù)質(zhì)量最低?；跁r(shí)間序列的識別模型得到的識別質(zhì)量參數(shù)在50%～60%之間，該種識別模型輸出的意圖數(shù)據(jù)質(zhì)量較佳。而所設(shè)計(jì)的識別模型輸出的質(zhì)量參數(shù)在90%～100%之間，與兩種選定的識別模型相比，所設(shè)計(jì)的識別模型輸出的識別數(shù)據(jù)質(zhì)量最佳，模型的實(shí)際應(yīng)用價(jià)值最高。

保持上述實(shí)驗(yàn)環(huán)境不變，將語音服務(wù)數(shù)據(jù)生成n-gram片段，以該片段在語音服務(wù)數(shù)據(jù)上的片段比例作為模型的復(fù)雜度結(jié)果，數(shù)值關(guān)系可表示為

(16)

其中，c(n|z)表示構(gòu)建的復(fù)雜度數(shù)值關(guān)系，Ln-gram表示語音服務(wù)數(shù)據(jù)生成片段的長度，Lz表示語義服務(wù)數(shù)據(jù)的原始長度。在上述數(shù)值關(guān)系控制下，整理不同服務(wù)用戶意圖數(shù)據(jù)集產(chǎn)生的模型復(fù)雜度數(shù)值，以復(fù)雜度數(shù)值的均值作為處理對象，最終3種意圖識別模型的復(fù)雜度結(jié)果如圖6所示。

圖6 3種意圖識別模型復(fù)雜度結(jié)果

根據(jù)上述定義的識別模型復(fù)雜度數(shù)值關(guān)系，對應(yīng)整理不同語音服務(wù)數(shù)據(jù)集后，對應(yīng)上圖所示的復(fù)雜度結(jié)果，基于改進(jìn)金字塔的識別模型運(yùn)行處理用戶意圖數(shù)據(jù)時(shí)產(chǎn)生的復(fù)雜度在0.8左右，實(shí)際識別模型的應(yīng)用復(fù)雜度最高?；跁r(shí)間序列的識別模型產(chǎn)生的復(fù)雜度數(shù)值在0.5左右，識別模型實(shí)際應(yīng)用時(shí)產(chǎn)生的復(fù)雜度較低。而所設(shè)計(jì)的識別模型的應(yīng)用復(fù)雜度在0.2左右，與選定應(yīng)用的兩種識別模型相比，所設(shè)計(jì)的識別模型在實(shí)際應(yīng)用過程中，產(chǎn)生的復(fù)雜度最小，適合識別語音服務(wù)用戶的意圖。

3 總結(jié)

實(shí)現(xiàn)電力營銷的語音服務(wù)用戶意圖識別模型，能夠整合語音服務(wù)數(shù)據(jù)，構(gòu)建意圖依賴關(guān)系。針對語音服務(wù)數(shù)據(jù)冗雜的不足，設(shè)定了固定數(shù)值偏移量。經(jīng)實(shí)驗(yàn)驗(yàn)證可知，所設(shè)計(jì)的意圖識別模型能夠降低現(xiàn)有識別模型復(fù)雜度數(shù)值較低的問題。在未來工作當(dāng)中，希望所構(gòu)建的意圖識別模型能夠?yàn)樽R別用戶意圖提供支持。