基于AT_CNN與Attention-BiGRU融合網(wǎng)絡(luò)的電網(wǎng)故障報(bào)修信息的自動(dòng)分類(lèi)研究

曹渝昆 趙 田

(上海電力大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 上海 200093)

0 引 言

電力工業(yè)作為國(guó)家重大的能源支撐體系，隨著經(jīng)濟(jì)發(fā)展和社會(huì)生活對(duì)電能需求的不斷增長(zhǎng)，電網(wǎng)的規(guī)模在不斷擴(kuò)大，用戶(hù)數(shù)量也在不斷增多。這一現(xiàn)狀使電力系統(tǒng)工況變得更加復(fù)雜，電網(wǎng)用戶(hù)的故障報(bào)修數(shù)據(jù)量也隨之增加。傳統(tǒng)上，電網(wǎng)故障報(bào)修工單主要依靠人工進(jìn)行手動(dòng)分類(lèi)。這種處理方式不僅效率低下，而且極易出錯(cuò)，尤其是在面對(duì)海量數(shù)據(jù)時(shí)，更顯得力不從心。因此如何科學(xué)地對(duì)電網(wǎng)故障報(bào)修信息進(jìn)行自動(dòng)化分類(lèi)，并采取一定策略進(jìn)行優(yōu)化在當(dāng)前就顯得極為迫切和重要。現(xiàn)階段，基于電網(wǎng)故障報(bào)修工單信息的文本分類(lèi)技術(shù)的研究少之又少。鑒于此，本文充分利用現(xiàn)有的電網(wǎng)故障報(bào)修數(shù)據(jù)資源信息，分析居民用戶(hù)的報(bào)修故障類(lèi)型并進(jìn)行電力系統(tǒng)故障類(lèi)型建模，從而實(shí)現(xiàn)故障報(bào)修文本的自動(dòng)分類(lèi)，幫助電網(wǎng)部門(mén)更加合理地配置各種應(yīng)急維修資源，縮短故障維修時(shí)間，進(jìn)一步提高故障搶修效率和服務(wù)質(zhì)量。

文本分類(lèi)作為自然語(yǔ)言處理的一項(xiàng)重要任務(wù)，在情感分析[1]、觀點(diǎn)挖掘[2]、詞性標(biāo)注[3]、垃圾郵件過(guò)濾[4]等多個(gè)領(lǐng)域均具有廣泛應(yīng)用。文本分類(lèi)的本質(zhì)是從文本中抽取出能夠體現(xiàn)文本特點(diǎn)的關(guān)鍵特征，然后找出特征到類(lèi)別之間的映射關(guān)系。傳統(tǒng)的文本分類(lèi)技術(shù)一般基于向量空間模型。

首先利用TF-IDF、互信息、信息增益等方法構(gòu)建特征工程，然后將提取的關(guān)鍵詞特征送入詞袋，最后使用K近鄰、樸素貝葉斯、支持向量機(jī)等分類(lèi)器進(jìn)行分類(lèi)。文獻(xiàn)[5]提出一種基于Hubness與類(lèi)加權(quán)的k最近鄰文本分類(lèi)方法。文獻(xiàn)[6]提出一種基于情感傾向和SVM混合極的短文本分類(lèi)模型。文獻(xiàn)[7]提出一種基于KNN和TF-IDF的改進(jìn)文本分類(lèi)方法。這類(lèi)方法雖然比較簡(jiǎn)單直觀，但忽略了文本中詞出現(xiàn)的先后順序信息。每個(gè)特征詞之間相互獨(dú)立，缺乏語(yǔ)義關(guān)聯(lián)度。這些傳統(tǒng)方法難以對(duì)詞序及上下文依賴(lài)信息進(jìn)行有效編碼，并且普遍具有維度災(zāi)難、特征稀疏等問(wèn)題。

近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)[8]和語(yǔ)音識(shí)別[9]等多個(gè)領(lǐng)域上都表現(xiàn)出卓越的性能。得益于神經(jīng)語(yǔ)言模型[10-12]的提出，深度神經(jīng)網(wǎng)絡(luò)在NLP領(lǐng)域取得突破性進(jìn)展。并且在許多工作中，卷積神經(jīng)網(wǎng)絡(luò)CNN和循環(huán)神經(jīng)網(wǎng)絡(luò)RNN已被證實(shí)在文本分類(lèi)方面具有強(qiáng)大的特征提取能力。文獻(xiàn)[13]使用雙向長(zhǎng)短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行文本情感分析。文獻(xiàn)[14]提出基于余弦相似度的LSTM網(wǎng)絡(luò)用于解決文本分類(lèi)問(wèn)題。文獻(xiàn)[15]提出了一種可變卷積的文本分類(lèi)方法。文獻(xiàn)[16]提出一種基于CNN與詞語(yǔ)鄰近特征的情感分類(lèi)模型。

CNN模型在文本建模和分類(lèi)時(shí)，易忽略長(zhǎng)距離依存關(guān)系中的句法結(jié)構(gòu)和語(yǔ)義信息。RNN模型會(huì)發(fā)生梯度爆炸且易忽略局部特征信息。關(guān)于二者結(jié)合的模型結(jié)構(gòu)相繼被提出。文獻(xiàn)[17]提出一種多層網(wǎng)絡(luò)H-RNN-CNN，用于處理中文文本情感分類(lèi)任務(wù)。文獻(xiàn)[18]提出一種超深卷積神經(jīng)網(wǎng)絡(luò)VDCNN與長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM相結(jié)合的混合模型。文獻(xiàn)[19]基于CNN和BiLSTM網(wǎng)絡(luò)的融合模型進(jìn)行文本情感分析。文獻(xiàn)[20]提出一種基于卷積RNN的文本建?；旌峡蚣?。以上方法雖然在一定程度上可提高分類(lèi)準(zhǔn)確率，但未能從根本上解決CNN和RNN網(wǎng)絡(luò)在文本分類(lèi)上的缺陷問(wèn)題。

考慮到電網(wǎng)故障報(bào)修文本信息內(nèi)容簡(jiǎn)短、特征稀疏的問(wèn)題，本文提出一種改進(jìn)的CNN算法，采用Attention池化和Top k池化結(jié)合的方法來(lái)替代CNN的傳統(tǒng)池化方法。該方法既可以凸顯出重要的卷積特征，又可以更充分地提取上下文的句法結(jié)構(gòu)和語(yǔ)義信息。其次，在Bi-GRU中引入注意力機(jī)制的思想。注意力機(jī)制的加入能夠使Bi-GRU在計(jì)算歷史節(jié)點(diǎn)時(shí)根據(jù)其重要程度賦予不同的權(quán)重，使模型在保留文本特征的最有效信息的基礎(chǔ)上，最大限度解決信息冗余的問(wèn)題，從而優(yōu)化文本特征向量。本文方法可以利用Attention-BiGRU與改進(jìn)的AT_CNN的融合網(wǎng)絡(luò)從文本時(shí)序和空間兩個(gè)層次上提取電網(wǎng)報(bào)修文本特征，該方法對(duì)于優(yōu)化電網(wǎng)報(bào)修文本特征表示、提升故障分類(lèi)的精度有很大幫助。

1 改進(jìn)的AT_CNN網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

CNN通過(guò)卷積層和池化層對(duì)文本進(jìn)行卷積和池化操作，從文本中提取抽象特征以及相關(guān)的語(yǔ)義信息，能夠很好地解決文本的處理與分類(lèi)問(wèn)題。本文提出改進(jìn)的AT_CNN網(wǎng)絡(luò)，采用Attention池化和Top k池化結(jié)合的方式替代CNN傳統(tǒng)的池化層，可以更好地提取文本上下文特征。本文方法的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 改進(jìn)AT_CNN網(wǎng)絡(luò)

1.2 卷積層

卷積層使用窗口大小為h的卷積核Wf∈Rh×k進(jìn)行卷積操作，其中k表示詞向量的維度大小。通過(guò)卷積操作得到一個(gè)新的特征ci：

ci=f(Wf?xi:i+h-1+b)

(1)

式中：xi:i+h-1∈Rh×k表示高為h，寬為1的矩陣，xi為句子中第i個(gè)單詞的k維詞向量;b∈R是偏差項(xiàng)。符號(hào)?指的是點(diǎn)積;f表示非線性激活函數(shù)ReLU。

對(duì)長(zhǎng)度為n的句子進(jìn)行卷積，隨著窗口的滑動(dòng)，作用在卷積核窗口中的單詞[x1:h,x2:h+1,…,xn-h+1:n]上，產(chǎn)生一個(gè)特征映射：

c=[c1,c2,…,cn-h+1]

(2)

總之，卷積層的作用是提取輸入文本的特征，通過(guò)卷積核進(jìn)行卷積以獲得所需的卷積特征向量。

1.3 基于Attention池化和Top k池化相結(jié)合的池化層

傳統(tǒng)的池化方法一般包括最大池化[21]和平均池化[22]兩種。然而，最大池化在操作時(shí)會(huì)將池化域內(nèi)非最大激活值全部舍棄，從而容易導(dǎo)致嚴(yán)重的信息損失[23]。同樣地，平均池化取池化域內(nèi)的所有激活值進(jìn)行平均，高的正的激活值可能與低的負(fù)的激活值相互抵消，容易導(dǎo)致判別性信息的損失。因此，本文使用Attention池化和Top k池化對(duì)CNN的池化層進(jìn)行了改進(jìn)，可有效緩解傳統(tǒng)在的信息丟失問(wèn)題。

首先，本文采用Attention機(jī)制來(lái)對(duì)CNN的池化策略進(jìn)行改進(jìn)。采用Attention機(jī)制進(jìn)行池化的目的在于消除輸入數(shù)據(jù)對(duì)于輸出數(shù)據(jù)的不合理影響力，從而強(qiáng)調(diào)關(guān)鍵信息對(duì)于分類(lèi)結(jié)果的作用。與平均池化方法相比，基于Attention的池化方法可以保留局部特征的強(qiáng)度信息。利用Attention池化對(duì)卷積操作得到的特征表示重新加權(quán)，通過(guò)計(jì)算不同特征的影響力權(quán)重來(lái)衡量特征的重要程度。注意力池化的計(jì)算公式如式(3)-式(6)所示。第一階段利用式(3)中的非線性激活函數(shù)tanh計(jì)算得到C的隱藏單元Ut，其中C為卷積操作得到的卷積特征向量。第二階段使用Softmax的計(jì)算方式對(duì)第一階段的隱藏單元Ut進(jìn)行數(shù)值轉(zhuǎn)換得到at，其中at表示在t時(shí)刻下的輸出數(shù)據(jù)對(duì)于最終狀態(tài)的注意力概率。一方面可以進(jìn)行歸一化，將原始計(jì)算值整理成所有元素權(quán)重之和為1的概率分布；另一方面也可以通過(guò)Softmax的內(nèi)在機(jī)制更加突出重要元素的權(quán)重。第三階段對(duì)權(quán)重系數(shù)加權(quán)求和即可得到Attention池化的數(shù)值，如式(5)所示。最后利用全連接層得到式(6)中的特征向量pa。

Ut=tanh(UwC+bw)

(3)

(4)

(5)

pa=[pa1,pa2,…,pan]

(6)

其次，在此基礎(chǔ)上再進(jìn)行Top k池化。Top k池化即選取每一個(gè)注意力池化層輸出的前k個(gè)最大值作為最終的輸出特征。與最大池化方法相比，基于Top k的池化策略可以保留更多重要的局部卷積特征信息。本文將k值的大小設(shè)定為2。Top k池化得到的最終特征表示用U表示，計(jì)算公式如式(7)和式(8)所示。

pti=top_k(pa)

(7)

U=[pt1,pt2,…,ptn]

(8)

2 基于融合網(wǎng)絡(luò)的文本分類(lèi)方法

2.1 數(shù)據(jù)預(yù)處理

本節(jié)將介紹本文所設(shè)計(jì)的用于電網(wǎng)報(bào)修文本分類(lèi)的特征融合模型的具體流程。該設(shè)計(jì)是模塊化的，通過(guò)反向傳播獲得梯度進(jìn)行優(yōu)化。

實(shí)驗(yàn)數(shù)據(jù)集為某省份電力公司接收到的用戶(hù)來(lái)電反饋的電網(wǎng)故障報(bào)修文本信息，該數(shù)據(jù)集中共有44 186條數(shù)據(jù)，其中65%的數(shù)據(jù)集用作訓(xùn)練集，其余的作測(cè)試集。故障類(lèi)型主要有七類(lèi),表1中分別列舉了各個(gè)類(lèi)別的示例。

表1 故障報(bào)修類(lèi)別示例

同時(shí)，為了驗(yàn)證本文模型的有效性，我們還在標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)所用數(shù)據(jù)集為搜狗實(shí)驗(yàn)室整理的新聞數(shù)據(jù)集(Sogou CS)，該數(shù)據(jù)集收集了搜狐新聞2012年6月至7月期間國(guó)內(nèi)外在體育、財(cái)經(jīng)、科技、社會(huì)等18個(gè)頻道的新聞數(shù)據(jù)。數(shù)據(jù)大小約2 GB，由于該數(shù)據(jù)集過(guò)于龐大，本實(shí)驗(yàn)只選取了其中6個(gè)類(lèi)別進(jìn)行實(shí)驗(yàn)。每個(gè)類(lèi)別各取5 000條，其中80%作訓(xùn)練集，20%作測(cè)試集。

分別對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行分詞，停用詞過(guò)濾以及詞向量訓(xùn)練。輸入為N個(gè)可變長(zhǎng)度的句子及其相應(yīng)的標(biāo)簽P，標(biāo)簽由one-hot方式表示。利用Word2vec模型中的skip-gram算法將輸入文本中的每個(gè)詞語(yǔ)wi轉(zhuǎn)化為對(duì)應(yīng)的詞向量v(wi)，用矩陣S表示由詞wi組成的句子映射。v(wi)∈Rk代表矩陣S中第i個(gè)k維詞向量。

2.2 基于注意力機(jī)制的雙向GRU網(wǎng)絡(luò)

2.2.1 BiGRU網(wǎng)絡(luò)

zt=σ(Wz·[ht-1,xt])

(9)

(10)

rt=σ(Wi·[ht-1,xt])

(11)

(12)

本文采用雙向GRU網(wǎng)絡(luò)，該網(wǎng)絡(luò)可從前、后兩個(gè)方向全面捕捉文本語(yǔ)義特征，能夠在一定程度上消除傳統(tǒng)GRU中輸入信息的順序?qū)τ谧罱K狀態(tài)的額外影響力。

BiGRU網(wǎng)絡(luò)將其上下文相關(guān)信息結(jié)合起來(lái)可以獲得隱藏層的輸出，如式(13)-式(15)所示，其中ht為雙向GRU得到的向量化表示。

(13)

(14)

(15)

2.2.2注意力機(jī)制

注意力機(jī)制一般附著在Encoder-Decoder框架之下，Encoder是對(duì)輸入句子〈x1,x2,…,xn〉進(jìn)行編碼。同樣Decoder經(jīng)過(guò)一定的變換后輸出數(shù)據(jù)〈y1,y2,…,yn〉。對(duì)于第i個(gè)時(shí)間步的輸出值由當(dāng)前值的上下文特征Ci和之前已經(jīng)生成的歷史信息〈y1,y2,…,yi-1〉共同決定。

yi=F(Ci,y1,y2,…,yi-1)

(16)

(17)

式中：hj表示編碼器在第j個(gè)時(shí)間步的隱藏狀態(tài);n示輸入句子的長(zhǎng)度;aij表示在j時(shí)刻，對(duì)輸出yi的注意力分配概率，使用Softmax方法計(jì)算。其計(jì)算公式如下：

(18)

(19)

式中:eij表示在第j個(gè)時(shí)間步，對(duì)第i個(gè)輸出的影響力評(píng)價(jià)分?jǐn)?shù);si-1表示解碼器前一個(gè)時(shí)間步的隱藏狀態(tài);Va、Wa、Ua為權(quán)重矩陣。

2.2.3 Attention-BiGRU網(wǎng)絡(luò)

融合注意力機(jī)制后的Bi-GRU模型能夠通過(guò)計(jì)算中間狀態(tài)與最終狀態(tài)之間的相關(guān)關(guān)系得到關(guān)于注意力的概率分布。網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。其目的在于對(duì)每一時(shí)刻下的狀態(tài)加以不同的權(quán)重，能夠在保留有效信息的基礎(chǔ)上，最大限度解決信息冗余的問(wèn)題，通過(guò)優(yōu)化文本特征向量進(jìn)一步提升文本分類(lèi)的精度。

圖2 基于注意力機(jī)制的BiGRU網(wǎng)絡(luò)

本文為了表示出故電網(wǎng)障報(bào)修文本中不同特征的重要性，使用注意力機(jī)制改進(jìn)BiGRU網(wǎng)絡(luò)。計(jì)算公式如下：

Ut=tanh(Uwht+bw)

(20)

(21)

(22)

式中：Ut為ht的隱藏單元;Uw為上下文向量;at為注意力向量;S為經(jīng)過(guò)注意力機(jī)制的輸出向量。Uw隨機(jī)初始化并在訓(xùn)練過(guò)程中不斷學(xué)習(xí)。

2.3 基于電網(wǎng)故障報(bào)修文本的特征融合模型

本文的融合模型由改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)AT_CNN和基于注意力機(jī)制的雙向GRU網(wǎng)絡(luò)兩部分組成。模型結(jié)構(gòu)如圖3所示，輸入為訓(xùn)練好的詞向量矩陣，其中行表示句子的長(zhǎng)度，列表示詞向量的維度。首先，AT_CNN網(wǎng)絡(luò)通過(guò)卷積層，進(jìn)行卷積操作，提取句子的局部特征。然后進(jìn)行池化操作，以提取文本中的關(guān)鍵特征，得到特征向量。本文主要利用Attention池化對(duì)卷積操作得到的特征表示重新加權(quán)，通過(guò)計(jì)算不同特征的影響力權(quán)重來(lái)衡量特征的重要程度。進(jìn)一步地，利用Top k池化對(duì)Attention池化提取的特征進(jìn)行處理，選取每一個(gè)注意力池化層輸出的前k個(gè)最大值作為最終的輸出特征。

圖3 融合模型結(jié)構(gòu)

第二部分是基于注意力機(jī)制的雙向GRU網(wǎng)絡(luò)， 同樣地，輸入為訓(xùn)練好的詞向量矩陣。該網(wǎng)絡(luò)可從前、后兩個(gè)方向全面提取文本特征，并結(jié)合前、后兩個(gè)方向的相關(guān)信息作為隱藏層的輸出。利用雙向GRU可以提取文本中句子的全局特征。在此基礎(chǔ)上，融合了注意力機(jī)制的Bi-GRU模型能夠通過(guò)計(jì)算注意力權(quán)重突出保留文本中的重要信息。

本文使用TensorFlow框架中的concat()方法對(duì)以上兩個(gè)網(wǎng)絡(luò)提取的文本特征進(jìn)行融合，代碼如下：

self.output=tf.layers.dense(tf.concat([self.cnn_logits,self.bgru_logits],axis=1),self.config.num_classes)

利用self.output保存融合特征，并輸入到全連接層中。另外本文采用shuffle操作打亂詞序和隨機(jī)drop的方法防止模型過(guò)擬合。最后輸入到Softmax 分類(lèi)器輸出分類(lèi)結(jié)果。

Y=Softmax(WcS1+b)

(23)

式中：Wc和b為待訓(xùn)練的參數(shù)；S1表示由Attention-BiGRU網(wǎng)絡(luò)輸出的文本特征。

另外，本文采用交叉熵作為損失函數(shù)，定義如下：

(24)

3 實(shí) 驗(yàn)

3.1 參數(shù)設(shè)置

本文使用Word2vec預(yù)訓(xùn)練詞向量，每個(gè)詞向量的維度大小設(shè)置為100維。句子最大長(zhǎng)度設(shè)置為600，大于該值時(shí)，對(duì)句子進(jìn)行截?cái)嗖僮?；小于該值時(shí)，對(duì)句子進(jìn)行補(bǔ)零操作。初始化學(xué)習(xí)率為5e-4。在模型訓(xùn)練階段，使用Adam優(yōu)化算法更新規(guī)則。AT_CNN網(wǎng)絡(luò)中卷積核數(shù)量為256，卷積核尺寸大小為5，隱藏層節(jié)點(diǎn)數(shù)為128。Attention-BiGRU網(wǎng)絡(luò)中Bi-GRU的隱藏層節(jié)點(diǎn)數(shù)為256，Attention 層的維度為100。模型訓(xùn)練批量大小設(shè)置為32。

3.2 評(píng)價(jià)指標(biāo)

現(xiàn)有的評(píng)價(jià)文本分類(lèi)方法主要是通過(guò)模型對(duì)文本標(biāo)簽預(yù)測(cè)正確情況來(lái)判斷。本文采用準(zhǔn)確率(P)作為模型的衡量指標(biāo)。

(25)

式中：TP表示被正確地劃分為正例的個(gè)數(shù);FP表示被錯(cuò)誤地劃分為正例的個(gè)數(shù)。

3.3 實(shí)驗(yàn)結(jié)果分析

3.3.1 AT_CNN的對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文模型的有效性，分別在標(biāo)準(zhǔn)數(shù)據(jù)集上對(duì)傳統(tǒng)的CNN網(wǎng)絡(luò)、基于Attention池化的CNN網(wǎng)絡(luò)、本文提出的改進(jìn)的AT_CNN網(wǎng)絡(luò)進(jìn)行了比較，分類(lèi)結(jié)果如圖4和圖5所示。

圖4 各模型準(zhǔn)確率對(duì)比

圖5 各模型損失率對(duì)比

從圖4中可以看出，改進(jìn)CNN網(wǎng)絡(luò)的文本分類(lèi)準(zhǔn)確率均高于CNN和CNN-attention。同樣地，在圖5中，改進(jìn)的AT_CNN網(wǎng)絡(luò)大大降低了文本分類(lèi)的損失率。迭代次數(shù)為1 000次時(shí)，損失率比CNN降低了約0.47；迭代次數(shù)為2 000次時(shí)，損失率比CNN降低了約0.13。

實(shí)驗(yàn)結(jié)果不僅驗(yàn)證了通過(guò)改進(jìn)池化層來(lái)提高分類(lèi)效果這一想法的正確性，而且證明利用Attention池化和Top k池化兩種池化方式結(jié)合的方法可有效降低損失，提高模型分類(lèi)準(zhǔn)確率。

3.3.2基于AT_CNN與Attention-BiGRU融合網(wǎng)絡(luò)的對(duì)比實(shí)驗(yàn)

本文將提出的融合模型與其他算法進(jìn)行對(duì)比，結(jié)果如表2所示?？梢钥闯?，本文模型分類(lèi)在標(biāo)準(zhǔn)數(shù)據(jù)集上的分類(lèi)準(zhǔn)確率優(yōu)于單CNN、單 BiGRU模型。此外本文還與傳統(tǒng)機(jī)器學(xué)習(xí)模型SVM及其他深度學(xué)習(xí)模型進(jìn)行了比較，結(jié)果表明本文模型在分類(lèi)準(zhǔn)確率上均優(yōu)于其他對(duì)比模型，顯著地提升了文本分類(lèi)的準(zhǔn)確率。

表2 模型準(zhǔn)確率對(duì)比(Sogou CS)

3.3.3基于AT_CNN與Attention-BiGRU融合網(wǎng)絡(luò)的電網(wǎng)用戶(hù)故障報(bào)修類(lèi)型分類(lèi)

利用本文提出的模型對(duì)電網(wǎng)故障報(bào)修工單信息進(jìn)行建模，分類(lèi)結(jié)果如表3所示。可以看出，本文模型在電網(wǎng)用戶(hù)故障報(bào)修數(shù)據(jù)上的分類(lèi)準(zhǔn)確率大大提高，可達(dá)到95.71%。

表3 模型準(zhǔn)確率對(duì)比(電網(wǎng)故障報(bào)修數(shù)據(jù))

此外，通過(guò)設(shè)置不同的迭代次數(shù)記錄了BiGRU、CNN、CNN-BiGRU和本文模型在電網(wǎng)故障報(bào)修數(shù)據(jù)上的分類(lèi)準(zhǔn)確率變化情況，如圖6所示。結(jié)果表明各模型的分類(lèi)準(zhǔn)確率隨著迭代次數(shù)的增加而增加，并且在不同的迭代次數(shù)下，本文融合模型的分類(lèi)準(zhǔn)確率均高于其他三種模型。該實(shí)驗(yàn)證明本文模型在解決電網(wǎng)故障報(bào)修文本數(shù)據(jù)的特征提取與特征建模方面相較其他模型具有更強(qiáng)的學(xué)習(xí)能力，在文本分類(lèi)方面展示出的性能更加優(yōu)良。

圖6 不同迭代次數(shù)對(duì)分類(lèi)結(jié)果的影響

4 結(jié) 語(yǔ)

基于電網(wǎng)大數(shù)據(jù)的背景，為實(shí)現(xiàn)電網(wǎng)故障報(bào)修數(shù)據(jù)的自動(dòng)分類(lèi)，本文提出一種基于AT_CNN與Attention-BiGRU融合網(wǎng)絡(luò)的文本分類(lèi)方法。利用該方法可解決傳統(tǒng)模型提取特征不足的缺陷，從文本時(shí)序和空間兩個(gè)層次上提取特征，進(jìn)一步優(yōu)化文本特征表示，提升文本分類(lèi)的精度。基于本文模型，分別在標(biāo)準(zhǔn)數(shù)據(jù)集和電網(wǎng)故障報(bào)修工單數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果證明本文對(duì)電網(wǎng)部門(mén)更加合理地配置維修資源，縮短故障維修時(shí)間，進(jìn)一步提升故障搶修效率具有很大的借鑒意義。