基于時(shí)序生成對(duì)抗網(wǎng)絡(luò)和注意力機(jī)制的電器數(shù)據(jù)生成方法

摘" 要： 在智能電網(wǎng)中，非侵入式負(fù)荷檢測(cè)等技術(shù)的實(shí)現(xiàn)都需要使用大量標(biāo)記過(guò)的電器功率數(shù)據(jù)，而這類(lèi)數(shù)據(jù)的收集和標(biāo)注十分昂貴、耗時(shí)并且容易侵犯用戶(hù)的安全隱私。為了應(yīng)對(duì)數(shù)據(jù)收集的挑戰(zhàn)，文中提出一種將時(shí)序生成對(duì)抗網(wǎng)絡(luò)和通道空間雙注意力機(jī)制相結(jié)合的數(shù)據(jù)生成方法，用來(lái)合成與實(shí)際電器功率數(shù)據(jù)相似的合成數(shù)據(jù)。時(shí)序生成對(duì)抗網(wǎng)絡(luò)結(jié)合無(wú)監(jiān)督的靈活性和有監(jiān)督的可控性，能夠進(jìn)行家用電器數(shù)據(jù)生成，注意力機(jī)制又能夠使時(shí)序生成對(duì)抗網(wǎng)絡(luò)注重電器啟動(dòng)時(shí)的波形，忽略電器未啟動(dòng)時(shí)的干擾，構(gòu)建一個(gè)符合真實(shí)工況且隨機(jī)的數(shù)據(jù)生成模型。文中使用五種性能度量指標(biāo)對(duì)該模型生成的數(shù)據(jù)進(jìn)行評(píng)估，并且使用主成分分析（PCA）降維進(jìn)行可視化分析。實(shí)驗(yàn)結(jié)果表明，使用該方法生成的合成數(shù)據(jù)具有與真實(shí)數(shù)據(jù)非常相似的特征，并有較高的精度。

關(guān)鍵詞： 數(shù)據(jù)生成； 時(shí)序生成對(duì)抗網(wǎng)絡(luò)； 注意力機(jī)制； 深度神經(jīng)網(wǎng)絡(luò)； 數(shù)據(jù)收集； 電器波形

中圖分類(lèi)號(hào)： TN919?34" " " " " " " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " " " " " 文章編號(hào)： 1004?373X（2024）11?0161?07

Appliance data generation method based on TimeGAN and attention mechanism

SHI Qingyi， WANG Wei， AN Siguang， ZOU Guoping

（College of Mechanical and Electrical Engineering， China Jiliang University， Hangzhou 310018， China）

Abstract： In smart grids， the implementation of technologies such as non?intrusive load detection requires the use of a large amount of labeled appliance power data， and the collection and labeling of such data is expensive， time?consuming， and prone to violating users′ security and privacy. In order to address the challenge of data collection， a data generation method that combines TimeGAN and channel space dual attention mechanism is proposed to generate the synthesized data that is similar to the actual appliance power data. TimeGAN combines the unsupervised flexibility and the supervised controllability， which is able to perform data generation for household appliances， while the attention mechanism enables TimeGAN to focus on waveforms when appliances are activated and ignore disturbances when appliances are unactivated， so as to construct a stochastic data generation model that conforms to the real working conditions. The data generated by this model is evaluated by five performance indexes and visualized with principal component analysis （PCA） dimensionality reduction. Experimental results show that the synthetic data generated by this method has very similar characteristics to the real data and has high accuracy.

Keywords： data generation; TimeGAN; attention mechanism; deep neural network; data collection; appliance waveform

0" 引" 言

21世紀(jì)，智能電網(wǎng)成為人們生活中不可或缺的一部分，它能夠利用先進(jìn)的信息和通信技術(shù)實(shí)時(shí)監(jiān)測(cè)、控制和優(yōu)化電力系統(tǒng)的運(yùn)行，這有助于提高電網(wǎng)的運(yùn)行效率、減少能源浪費(fèi)、降低電網(wǎng)損耗。智能電網(wǎng)不僅直接關(guān)聯(lián)著人們的用電需求，還對(duì)經(jīng)濟(jì)發(fā)展和國(guó)家安全具有重要影響。

智能電網(wǎng)中有許多技術(shù)需要使用大量的數(shù)據(jù)進(jìn)行訓(xùn)練才能得到，比如非侵入式負(fù)荷檢測(cè)[1]、用電負(fù)荷預(yù)測(cè)[2]、防竊電監(jiān)測(cè)[3]等。這些數(shù)據(jù)的收集需要在用戶(hù)用電入口處安裝智能電表，不僅收集和標(biāo)注費(fèi)時(shí)費(fèi)力，而且在處理敏感數(shù)據(jù)時(shí)可能會(huì)面臨數(shù)據(jù)安全的挑戰(zhàn)。然而通過(guò)算法在短時(shí)間內(nèi)生成大量的合成數(shù)據(jù)可以減少此類(lèi)問(wèn)題，對(duì)于家庭中使用頻率較低導(dǎo)致采集量較小的電器，如烤箱、吸塵器、烘干機(jī)等，合成數(shù)據(jù)尤為重要。在合成數(shù)據(jù)的基礎(chǔ)上還可以設(shè)置算法，數(shù)據(jù)創(chuàng)建時(shí)自動(dòng)進(jìn)行電器標(biāo)注，從而減少標(biāo)注過(guò)程的耗時(shí)，提高效率。

為了合成數(shù)據(jù)以解決收集信息所面臨的一系列挑戰(zhàn)，文獻(xiàn)[4]提出了一種生成對(duì)抗網(wǎng)絡(luò)模型（GAN），它是一類(lèi)功能強(qiáng)大的神經(jīng)網(wǎng)絡(luò)，由兩個(gè)相互競(jìng)爭(zhēng)的神經(jīng)網(wǎng)絡(luò)模型組成，兩部分相互競(jìng)爭(zhēng)、相互制衡，分析、捕獲和復(fù)制數(shù)據(jù)集中的變化，以合成數(shù)據(jù)。文獻(xiàn)[5]中使用CycleGAN框架將LSTM?RNN模型作為生成器和鑒別器框架，在韓國(guó)熱電廠提供的真實(shí)發(fā)電廠數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集共包含691 200個(gè)數(shù)據(jù)點(diǎn)，收集時(shí)間超過(guò)18天。文獻(xiàn)[6]提出了一種合成電器簽名的生成器TraceGAN，它是基于有條件的、逐步增長(zhǎng)的一維Wasserstein GAN改進(jìn)得來(lái)的，能夠很好地合成家用電器數(shù)據(jù)。文獻(xiàn)[7]創(chuàng)建的TimeGAN框架除了真實(shí)序列和合成序列上的無(wú)監(jiān)督對(duì)抗損失之外，還使用原始數(shù)據(jù)作為監(jiān)督引入了逐步監(jiān)督損失，減少對(duì)抗性學(xué)習(xí)空間的高維性，通過(guò)聯(lián)合訓(xùn)練嵌入網(wǎng)絡(luò)和生成器網(wǎng)絡(luò)，可以將監(jiān)督損失最小化。

為了更好地捕捉圖像的視覺(jué)結(jié)構(gòu)，文獻(xiàn)[8]提出了一種注意力機(jī)制，可以使模型選擇性地聚焦于圖像擁有較為明顯的特征上。文獻(xiàn)[9]提出了一種可以使用編碼器解碼器的注意力模塊，通過(guò)改進(jìn)特征映射使模型不僅表現(xiàn)良好，而且對(duì)于噪聲輸入的抗干擾能力也較強(qiáng)。在文獻(xiàn)[10]中提出了一個(gè)利用通道間關(guān)系的模塊，他們使用全局平均池化特征來(lái)計(jì)算通道注意力。文獻(xiàn)[11]提出卷積注意力模塊（Convolutional Block Attention Module），是一種前饋卷積神經(jīng)網(wǎng)絡(luò)，此模塊沿兩個(gè)獨(dú)立的維度（通道和空間）將注意力乘以輸入特征來(lái)細(xì)化特征，是一種適配性極高的注意力機(jī)制。

起初生成對(duì)抗網(wǎng)絡(luò)用于圖像識(shí)別領(lǐng)域，此類(lèi)數(shù)據(jù)不隨時(shí)間動(dòng)態(tài)變化，與其他變量呈簡(jiǎn)單或線(xiàn)性關(guān)系。然而，智能電網(wǎng)中常用的家用電器序列為時(shí)間序列，在分解時(shí)需要處理大量的時(shí)間序列數(shù)據(jù)。對(duì)于此類(lèi)數(shù)據(jù)，時(shí)序生成對(duì)抗網(wǎng)絡(luò)能夠捕獲家用電器序列隨時(shí)間的動(dòng)態(tài)變化，同時(shí)在生成合成數(shù)據(jù)時(shí)保留變量之間的復(fù)雜關(guān)系。空間通道注意力機(jī)制是一種輕量的注意力模塊，可以在空間和通道上同時(shí)使用注意力機(jī)制，相較于其他注意力模塊，更適合于識(shí)別家用電器序列。

本文的創(chuàng)新點(diǎn)如下：

1） 使用時(shí)序生成對(duì)抗網(wǎng)絡(luò)來(lái)合成智能電網(wǎng)中所使用的電器數(shù)據(jù)，其設(shè)計(jì)目的是捕捉真實(shí)數(shù)據(jù)的特征以及這些特征隨時(shí)間的復(fù)雜動(dòng)態(tài)變化。新引入的嵌入網(wǎng)絡(luò)提供了特征和潛在表示之間的可逆映射，嵌入網(wǎng)絡(luò)和恢復(fù)網(wǎng)絡(luò)保持了潛在空間中潛在向量和特征之間的關(guān)系，而生成器和鑒別器網(wǎng)絡(luò)的工作保持不變。

2） 在1）的基礎(chǔ)上加入注意力機(jī)制以提升生成數(shù)據(jù)的質(zhì)量，空間通道注意力機(jī)制是一種輕量的注意力模塊，可以在空間和通道上同時(shí)使用注意力機(jī)制，通過(guò)將TimeGAN和注意力機(jī)制相結(jié)合來(lái)增加網(wǎng)絡(luò)的表征力，分別在嵌入網(wǎng)絡(luò)和生成網(wǎng)絡(luò)后加入注意力機(jī)制，能夠幫助網(wǎng)絡(luò)更好地捕捉到時(shí)間序列中全局與局部特征間的依賴(lài)關(guān)系，讓模型能夠關(guān)注到重要特征，抑制不必要特征，從而生成與原有數(shù)據(jù)集相近的高質(zhì)量數(shù)據(jù)。

1" 研究設(shè)計(jì)與方法論

1.1" 融合TimeGAN和CBAM的模型

時(shí)序生成對(duì)抗網(wǎng)絡(luò)不是在特征空間中生成數(shù)據(jù)，而是在嵌入空間中生成數(shù)據(jù)，并且作為生成器輸入的隨機(jī)矢量是由高斯分布采樣得到的，所生成的數(shù)據(jù)經(jīng)過(guò)通道空間注意力機(jī)制進(jìn)行進(jìn)一步的處理，使模型關(guān)注主要數(shù)據(jù)，忽視次要數(shù)據(jù)，并將生成器通過(guò)生成損失函數(shù)形成反饋，進(jìn)一步調(diào)整生成數(shù)據(jù)的合理性，生成函數(shù)采用靜態(tài)潛伏向量和時(shí)間潛伏向量的元組來(lái)生成嵌入空間中的合成潛伏向量。在這一步中進(jìn)行特征與潛在表示之間的可逆映射，并計(jì)算監(jiān)督損失。在接下來(lái)的步驟中，鑒別從嵌入空間接收靜態(tài)代碼和時(shí)間代碼并進(jìn)行分類(lèi)，從而獲得無(wú)監(jiān)督損失的值。

此外，鑒別器網(wǎng)絡(luò)還與鑒別器損失函數(shù)相關(guān)聯(lián)，該損失函數(shù)通過(guò)更新層權(quán)值到最優(yōu)解，從而幫助鑒別器網(wǎng)絡(luò)對(duì)假數(shù)據(jù)和原始數(shù)據(jù)進(jìn)行無(wú)偏分類(lèi)。發(fā)生器和鑒別器采用循環(huán)網(wǎng)絡(luò)（GRU），它是循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）的一種，和LSTM（Long Short?term Memory）一樣，也是為了解決長(zhǎng)期記憶和反向傳播中的梯度等問(wèn)題而提出來(lái)的。在生成器網(wǎng)絡(luò)中，使用梯度上升技術(shù)來(lái)尋找全局極大值，在鑒別器函數(shù)中使用梯度下降技術(shù)來(lái)尋找全局極小值。生成器網(wǎng)絡(luò)試圖最小化對(duì)抗損失，而判別函數(shù)試圖在最小?最大博弈中使其最大化。這個(gè)過(guò)程在循環(huán)中進(jìn)行多次迭代，直到該模型學(xué)習(xí)動(dòng)態(tài)能耗模式，生成與真實(shí)數(shù)據(jù)特征相似的合成數(shù)據(jù)。

在生成器網(wǎng)絡(luò)中，使用梯度上升技術(shù)來(lái)尋找全局極大值，在鑒別器函數(shù)中使用梯度下降技術(shù)來(lái)尋找全局極小值。生成器網(wǎng)絡(luò)試圖最小化對(duì)抗損失，而判別函數(shù)試圖在最小?最大博弈中使其最大化。這個(gè)過(guò)程在循環(huán)中進(jìn)行多次迭代，生成與真實(shí)數(shù)據(jù)特征相似的合成數(shù)據(jù)，其訓(xùn)練流程如圖1所示。

1.2" GAN與TimeGAN

1.2.1" 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)是深度學(xué)習(xí)領(lǐng)域中最新提出的網(wǎng)絡(luò)結(jié)構(gòu)，生成器和鑒別器的原理是在零和博弈理論基礎(chǔ)上提出的，其工作原理如圖2所示。生成器的輸入為隨機(jī)向量，并負(fù)責(zé)生成合成數(shù)據(jù)，鑒別器的任務(wù)是將生成器生成的數(shù)據(jù)和實(shí)際數(shù)據(jù)區(qū)分開(kāi)。在模型訓(xùn)練過(guò)程中，兩者相互對(duì)抗、共同進(jìn)步，使生成器生成的數(shù)據(jù)更接近真實(shí)數(shù)據(jù)，從而獲得所需的數(shù)據(jù)。

假設(shè)某個(gè)先驗(yàn)分布[Z～Pzz]，想要學(xué)習(xí)一個(gè)生成器函數(shù)[G]，使得[G（Z）～Pdata（x）]。為了達(dá)到這個(gè)目標(biāo)，引入一個(gè)鑒別函數(shù)[D]，讓[G]和[D]使用函數(shù)[V（G，D）]按照式（1）進(jìn)行極小極大博弈。

[minGmaxDV（G，D）=Ex～Pdata （x）[logD（x）]+EZ～Pz（z）[log（1-D（G（z）））]] （1）

式中：[E]表示真實(shí)數(shù)據(jù)[x]和隨機(jī)向量[Z]的數(shù)學(xué)期望；生成器函數(shù)[G]可以是全連接神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)等模型。通過(guò)噪點(diǎn)分布[P（z）]（一般是高斯分布），得到一個(gè)生成數(shù)據(jù)的分布[Pg（x）]，希望[Pg（x）]非?？拷黐Pdata（x）]，其目的是擬合逼近真實(shí)分布。判別函數(shù)[D]需要解決傳統(tǒng)的二分類(lèi)問(wèn)題，其目的是有效地區(qū)分真實(shí)分布和生成分布，即衡量[Pg（x）]和[Pdata（x）]之間的差距，并通過(guò)反復(fù)的迭代訓(xùn)練得到結(jié)果。

1.2.2" 時(shí)序生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成，而時(shí)序生成對(duì)抗網(wǎng)絡(luò)除了生成網(wǎng)絡(luò)和鑒別網(wǎng)絡(luò)之外，還引入了兩個(gè)新的模塊，即嵌入網(wǎng)絡(luò)和恢復(fù)網(wǎng)絡(luò)，這兩個(gè)新網(wǎng)絡(luò)統(tǒng)稱(chēng)為自動(dòng)編碼器。時(shí)序生成對(duì)抗網(wǎng)絡(luò)能夠捕捉真實(shí)時(shí)間序列的特征規(guī)律和未知局限性，新引入的嵌入網(wǎng)絡(luò)提供了特征和潛在表示之間的可逆映射，嵌入網(wǎng)絡(luò)和恢復(fù)網(wǎng)絡(luò)保持了潛在空間中潛在向量和特征之間的關(guān)系，而生成器和鑒別器網(wǎng)絡(luò)的工作保持不變。與傳統(tǒng)的對(duì)抗網(wǎng)絡(luò)類(lèi)似，生成器和鑒別器都與各自的損耗函數(shù)相關(guān)聯(lián)，也稱(chēng)為無(wú)監(jiān)督損失。除了無(wú)監(jiān)督損失，TimeGAN還有另外兩個(gè)損失函數(shù)，稱(chēng)為監(jiān)督損失和重建損失，這兩個(gè)函數(shù)與自動(dòng)編碼器相關(guān)聯(lián)。模型的總體架構(gòu)概述如圖3所示。

1.3" 空間通道雙注意力機(jī)制

空間通道雙注意力機(jī)制是一種結(jié)構(gòu)精煉且效率高的前饋卷積神經(jīng)網(wǎng)絡(luò)，起初使用在圖像處理領(lǐng)域，但現(xiàn)在可以延伸到其他領(lǐng)域，如處理時(shí)間序列數(shù)據(jù)。CBAM是由通道注意力模塊（Channel Attention Module， CAM）和空間注意力模塊（Spartial Attention Module， SAM）兩個(gè)獨(dú)立模塊組成，預(yù)先通過(guò)通道注意力機(jī)制加權(quán)后，再經(jīng)過(guò)空間注意力模塊，最終進(jìn)行加權(quán)得到結(jié)果。這樣能夠節(jié)約參數(shù)和計(jì)算力，并且保證了能夠作為即插即用的模塊集成到現(xiàn)有的網(wǎng)絡(luò)架構(gòu)中去，整體流程如圖4所示。

1.3.1" 通道注意力模塊

通道注意力模塊將輸入的三維特征[F（H×W×C）]分別經(jīng)過(guò)最大池化層和平均池化層，得到[FCavg]和[FCmax]兩個(gè)維度為[1×1×C]的特征，再將兩個(gè)特征分別送入一個(gè)共享網(wǎng)絡(luò)MLP之后，對(duì)輸出的特征進(jìn)行加和運(yùn)算，再通過(guò)Sigmoid激活函數(shù)，最終生成的通道注意力特征[MC∈R1×1×C]為空間注意力模塊提供需要的輸入特征，其計(jì)算公式見(jiàn)式（2），具體結(jié)構(gòu)如圖5所示。

[MC（F）=σ（MLP（AvgPool（F））+MLP（MaxPool（F）））]

[=σW1W0FCavg +W1W0FCmax]" " " （2）

式中：[σ]表示Sigmoid函數(shù)；[W0∈RC/r×C]，[W1∈RC×C/r]，并且共享網(wǎng)絡(luò)MLP的權(quán)重[W0]和[W1]是共享的。

通道注意力模塊是將特征在空間維度上進(jìn)行壓縮，得到一個(gè)一維矢量后再進(jìn)行操作。在壓縮時(shí)，平均池化層和最大池化層可用來(lái)聚合特征映射的信息，送到共享網(wǎng)絡(luò)MLP后，壓縮輸入特征的空間維數(shù)，逐元素求和合并以產(chǎn)生通道注意力特征。對(duì)于輸入的特征，通道注意力模塊關(guān)注的是輸入特征上哪些內(nèi)容是有重要作用的，平均池化層對(duì)特征上的每一個(gè)像素點(diǎn)都有反饋，而最大值池化在進(jìn)行梯度反向傳播計(jì)算時(shí)，只有特征圖中響應(yīng)最大的地方有梯度的反饋。

1.3.2" 空間注意力模塊

空間注意力模塊將通道注意力模塊輸出的特征[MC]作為本模塊的輸入，首先經(jīng)過(guò)最大池化層和平均池化層，得到兩個(gè)二維映射特征：[FSavg∈R1×H×W]和[FSmax∈R1×H×W]，將這兩個(gè)特征進(jìn)行通道拼接操作之后，再經(jīng)過(guò)一個(gè)7×7的標(biāo)準(zhǔn)卷積層，降維為1后，經(jīng)過(guò)Sigmoid激活函數(shù)生成空間注意力特征[MS]，其公式如式（3）所示，具體結(jié)構(gòu)如圖6所示。最后將該特征和該模塊的輸入做乘法，最終生成整個(gè)注意力機(jī)制的特征。

[MS（F）=σf7×7（[AvgPool（F）;MaxPool（F）]）=σf7×7FSavg;FSmax]" （3）

式中：[σ]表示Sigmoid函數(shù)；[f7×7]表示濾波大小為7×7的卷積運(yùn)算。

空間注意力機(jī)制是對(duì)通道進(jìn)行壓縮，在通道維度中分別進(jìn)行了平均值池化和最大值池化，最大池化的操作就是在通道上提取最大值，平均池化的操作就是在通道上提取平均值，接著將前面提取到的特征（通道數(shù)都為1）合并得到一個(gè)雙通道的特征。

2" 實(shí)驗(yàn)和評(píng)估

2.1" 數(shù)據(jù)集信息及選用電器

本文使用的數(shù)據(jù)集來(lái)自于常用數(shù)據(jù)集REDD，此數(shù)據(jù)集為幾個(gè)月內(nèi)的眾多真實(shí)房屋內(nèi)的特定電器的用電量，每個(gè)房屋都記錄了低頻功率數(shù)據(jù)和高頻電壓電流數(shù)據(jù)，低頻功率數(shù)據(jù)總共有6個(gè)家庭的數(shù)據(jù)，本文選用低頻功率第一個(gè)家庭中的冰箱、洗碗機(jī)、微波爐、水壺4種電器進(jìn)行數(shù)據(jù)生成實(shí)驗(yàn)。

2.2" 評(píng)估指標(biāo)

本文使用了五種常用性能指標(biāo)對(duì)生成的數(shù)據(jù)進(jìn)行評(píng)估，分別是準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、[F1]分?jǐn)?shù)（[F1]?score）、AUC值。其中，AUC值指的是ROC曲線(xiàn)下的面積，它常常被用來(lái)作為判別生成數(shù)據(jù)好壞的指標(biāo)，AUC可以看作是隨機(jī)從正負(fù)樣本中選取一對(duì)樣本后，其中正樣本的得分大于負(fù)樣本的概率。其他合成數(shù)據(jù)的評(píng)估指標(biāo)采用準(zhǔn)確率、精確率、召回率、[F1]分?jǐn)?shù)，表達(dá)式分別如下：

[Accuracy=1-n=1∞et2×n=1∞ true ×100%] （4）

[Precision=True?PositivesTrue?Positives+False?Positives] （5）

[Recall=True?PositivesTrue?Positives+False?Negatives] （6）

[F1?score=2×Precision×RecallPrecision+Recall] （7）

式中：[n]是樣本數(shù)；[et=predicted load-actual load]；[true=actual load]。將評(píng)估生成數(shù)據(jù)的好壞看作二分類(lèi)問(wèn)題，生成的數(shù)據(jù)被分為兩類(lèi)（設(shè)他們分別是正、反類(lèi)或0、1類(lèi)），而在經(jīng)過(guò)分類(lèi)器分類(lèi)之后，每一個(gè)數(shù)據(jù)樣本都會(huì)被分類(lèi)器認(rèn)定為某一類(lèi)（正（Positive）或反（Negative）），這也就是分類(lèi)結(jié)果，最終判斷其分類(lèi)結(jié)果正確與否（True和False）。

在使用傳統(tǒng)數(shù)據(jù)評(píng)估指標(biāo)的基礎(chǔ)上，本文還使用了主成分分析算法（PCA）進(jìn)行數(shù)據(jù)評(píng)估，主成分分析算法是最常用的線(xiàn)性降維方法，它的目標(biāo)是通過(guò)某種線(xiàn)性投影，將高維的數(shù)據(jù)映射到低維的空間中，并期望在所投影的維度上數(shù)據(jù)的信息量最大（方差最大），以此使用較少的數(shù)據(jù)維度，同時(shí)保留住較多的原數(shù)據(jù)點(diǎn)的特性。PCA降維的目的就是在盡量保證信息量不丟失的情況下，對(duì)原始特征進(jìn)行降維，也就是盡可能將原始特征往具有最大投影信息量的維度上進(jìn)行投影，將原特征投影到這些維度上，使降維后信息量損失最小。

2.3" 模型對(duì)照以及實(shí)驗(yàn)超參數(shù)設(shè)置

存儲(chǔ)電器數(shù)據(jù)的數(shù)據(jù)集以CSV的格式進(jìn)行儲(chǔ)存，電器數(shù)據(jù)經(jīng)過(guò)預(yù)處理，使用“Min?Max標(biāo)量”對(duì)數(shù)據(jù)進(jìn)行歸一化處理，將數(shù)據(jù)處理到0～1之間的值，再使用滑動(dòng)窗口算法將數(shù)據(jù)切割成更小的數(shù)據(jù)載荷，再進(jìn)行隨機(jī)排列，之后作為輸入傳遞給帶注意力的TimeGAN進(jìn)行模型訓(xùn)練。使用Python語(yǔ)言實(shí)現(xiàn)帶注意力的TimeGAN框架，搭建的環(huán)境中各種數(shù)據(jù)包的版本如表1所示。

3" 結(jié)果與討論

3.1" 實(shí)驗(yàn)結(jié)果對(duì)比

在對(duì)數(shù)據(jù)進(jìn)行歸一化處理后，使用滑動(dòng)窗口算法對(duì)真實(shí)的電器序列數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，取一個(gè)大小為24的窗口，并沿著數(shù)據(jù)集的行運(yùn)行，每次移動(dòng)一個(gè)位置，獲得一定數(shù)量的2D矩陣，每個(gè)矩陣的長(zhǎng)度為24，并具有所有列特征。之后將處理好的數(shù)據(jù)輸入到TimeGAN和CBAM混合模型中進(jìn)行訓(xùn)練得到合成數(shù)據(jù)，訓(xùn)練中的損失函數(shù)如圖7所示，真實(shí)數(shù)據(jù)與其合成電器的對(duì)比如圖8所示。

為驗(yàn)證模型的準(zhǔn)確性，本文選取兩種其他模型作為對(duì)比模型，其中，一個(gè)為不帶注意力機(jī)制的時(shí)序生成對(duì)抗網(wǎng)絡(luò)，另一個(gè)為同樣可以進(jìn)行數(shù)據(jù)生成的TraceGAN。使用這兩種模型在相同的環(huán)境下對(duì)所選的4種電器進(jìn)行數(shù)據(jù)生成，并選用Accuracy、Precision、Recall、[F1]?score、AUC五種評(píng)估指標(biāo)進(jìn)行對(duì)比，對(duì)比結(jié)果如表2所示。

從表2中可以看出，改進(jìn)后的TimeGAN在數(shù)據(jù)相似性、數(shù)據(jù)時(shí)序一致性、數(shù)據(jù)質(zhì)量等方面，均比原始的TimeGAN有了明顯的提升，改進(jìn)后的TimeGAN可以生成更加真實(shí)和高質(zhì)量的數(shù)據(jù)，相比于原始的TimeGAN在數(shù)據(jù)重構(gòu)方面和泛化能力方面都有所提高。相較于同樣能夠進(jìn)行數(shù)據(jù)生成的TraceGAN來(lái)說(shuō)，在Accuracy、Recall、[F1]?score、AUC指標(biāo)上有更好的表現(xiàn)，這表明改進(jìn)后的TimeGAN可以更好地模擬原始數(shù)據(jù)的分布和時(shí)序特征，進(jìn)而生成更加真實(shí)、高質(zhì)量和多樣性的數(shù)據(jù)。

3.2" 可視化結(jié)果對(duì)比

為了更加準(zhǔn)確地對(duì)三種模型進(jìn)行對(duì)比，本文還使用了主成分分析算法（PCA）對(duì)生成的數(shù)據(jù)進(jìn)行比對(duì)，圖9～圖11為三種模型的PCA對(duì)比圖。其中灰色為真實(shí)數(shù)據(jù)，黑色為合成數(shù)據(jù)。

由圖9～圖11可知，與使用PCA進(jìn)行可視化的其他模型相比，改進(jìn)后的TimeGAN生成的合成數(shù)據(jù)集與原始數(shù)據(jù)的重疊程度明顯更好，其本質(zhì)為改進(jìn)后的TimeGAN能夠生成更加貼近真實(shí)數(shù)據(jù)的樣本，證明當(dāng)深度學(xué)習(xí)的數(shù)據(jù)量不夠時(shí)，可以通過(guò)此模型來(lái)合成新的數(shù)據(jù)以供使用。

4" 結(jié)" 論

在本文中，使用時(shí)序生成對(duì)抗網(wǎng)絡(luò)進(jìn)行電器運(yùn)行數(shù)據(jù)生成，并加入了通道空間雙注意力機(jī)制，將無(wú)監(jiān)督GAN的多功能性與監(jiān)督自回歸模型的時(shí)間動(dòng)態(tài)控制相結(jié)合，使用監(jiān)督損失和聯(lián)合訓(xùn)練的嵌入網(wǎng)絡(luò)，使構(gòu)建模型在生成時(shí)間序列數(shù)據(jù)方面有顯著改進(jìn)。利用REDD數(shù)據(jù)集中4種電器來(lái)訓(xùn)練所提出的模型，使用Accuracy、Precision、Recall、[F1]?score、AUC五種評(píng)估指標(biāo)進(jìn)行對(duì)比，并使用主成分分析法具象化生成數(shù)據(jù)與真實(shí)數(shù)據(jù)之間的相似程度，證明提出的TimeGAN和注意力機(jī)制的數(shù)據(jù)生成方法在原有框架上有很大提升。

注：本文通訊作者為汪偉。

參考文獻(xiàn)

[1] HART G W. Non intrusive appliance load monitoring [J]. Proceedings of the IEEE， 1992， 80（2）： 1870?1891.

[2] 穆晨宇，薛文斌，穆羨瑛，等.基于VMD?LSTM?Attention模型的短期負(fù)荷預(yù)測(cè)研究[J].現(xiàn)代電子技術(shù)，2023，46（17）：174?178.

[3] 梁鍵，何江海，楊海濤.基于聚類(lèi)算法的感應(yīng)式機(jī)械電能表防竊電監(jiān)測(cè)方法[J].自動(dòng)化與儀表，2023，38（10）：81?85.

[4] GOODFELLOW I， POUGET?ABADIE J. Generative adversarial nets [C]// Advances in Neural Information Processing Systems. [S.l.： s.n.]， 2014： 2672?2680.

[5] GIOVANNI B， FABRIZIO C. Load identification system for residential applications based on the NILM technique [C]// 2020 IEEE International Instrumentation and Measurement Technology Conference. New York： IEEE， 2020： 1?6.

[6] ALON H， RICHARD J， STEPHEN M， et al. TraceGAN： Synthesizing appliance power signatures using generative adversarial networks [J]. IEEE transactions on smart grid， 2021， 12（5）： 4553?4563.

[7] JINSUNG Y， DANIEL J. Time?series generative adversarial networks [C]// Proceedings of the 33rd International Conference on Neural Information Processing. [S.l.： s.n.]， 2019： 5485?5495.

[8] HU J， SHEN L， SUN G. Squeeze?and?excitation networks [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 7132?7141.

[9] WANG F， JIANG M T， QIAN C， et al. Residual attention network for image classification [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 6450?6458.

[10] LONG C， HANWANG Z， JUN X， et al. SCA?CNN： Spatial and channel?wise attention in convolutional networks for image captioning [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 6298?6306.

[11] SANGHYUN W， JONGCHAN P， JOON?YOUNG L. CBAM： Convolutional block attention module [C]// 15th European Conference on Computer Vision. Heidelberg， Germany： Springer， 2018： 3?19.

[12] 燕續(xù)峰，翟少鵬，王治華，等.深度神經(jīng)網(wǎng)絡(luò)在非侵入式負(fù)荷分解中的應(yīng)用[J].電力系統(tǒng)自動(dòng)化，2019，43（1）：126?132．

[13] 周明，宋旭帆，涂京，等.基于非侵入式負(fù)荷監(jiān)測(cè)的居民用電行為分析[J].電網(wǎng)技術(shù)，2018，42（10）：3268?3276．

[14] 徐曉會(huì)，趙書(shū)濤，崔克彬.基于卷積塊注意力模型的非侵入式負(fù)荷分解算法[J].電網(wǎng)技術(shù)，2021，45（9）：3700?3706.

[15] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 770?778.

[16] ZHOU G， LI Z， FU M， et al. Sequence?to?sequence load disaggregation using multiscale residual neural network [J]. IEEE transactions on instrumentation and measurement， 2021， 70： 1?10.

[17] RAFIQ H， ZHANG H X， LI H M， et al. Regularized LSTM based deep learning model： First step towards real?time non?intrusive load monitoring [C]// IEEE International Conference on Smart Energy Grid Engineering. New York： IEEE， 2018： 234?239.

[18] 王瑩，項(xiàng)雯，張群，等.泛在電力物聯(lián)網(wǎng)下基于DPSO?Kmeans的客戶(hù)用電行為分析[J].哈爾濱理工大學(xué)學(xué)報(bào)，2022，27（2）：106?113.

[19] DEVLIN J， CHANG M W， LEE K， et al. BERT： Pre?training of deep bidirectional transformers for language understanding [C]// Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. [S.l.： s.n.]， 2019： 4171?4186.

[20] 孫林，張一曼，張辰珂，等.基于改進(jìn)粒子群和K?means聚類(lèi)的優(yōu)化算法[J].江蘇科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，37（3）：81?90.

[21] KELLY J， KNOTTENBELT W. The UK?DALE dataset， domestic appliance?level electricity demand and whole?house demand from five UK homes [J]. Scientific data， 2015， 2（1）： 1?14.

[22] 林順富，詹銀楓，李毅，等.基于CNN?BiLSTM與DTW的非侵入式住宅負(fù)荷監(jiān)測(cè)方法[J].電網(wǎng)技術(shù)，2022，46（5）：1973?1981．

作者簡(jiǎn)介：施清譯（1998—），男，山東煙臺(tái)人，碩士，研究方向?yàn)榉乔秩胧截?fù)荷監(jiān)測(cè)。

汪" 偉（1964—），男，浙江杭州人，教授，研究方向?yàn)榉乔秩胧截?fù)荷監(jiān)測(cè)、鋰電池狀態(tài)估計(jì)及容量預(yù)測(cè)。

安斯光（1981—），女，吉林吉林人，教授，研究方向?yàn)殡姶艌?chǎng)數(shù)值計(jì)算。

鄒國(guó)平（1982—），男，浙江杭州人，博士，高級(jí)工程師，研究方向?yàn)槎辔锢眈詈蠄?chǎng)、電氣檢測(cè)技術(shù)。