基于注意力與長(zhǎng)短期記憶網(wǎng)絡(luò)的變壓器代理模型

金 亮 馮裕霖 曹佳豪 王艷陽

基于注意力與長(zhǎng)短期記憶網(wǎng)絡(luò)的變壓器代理模型

金 亮1,2馮裕霖1曹佳豪1王艷陽1

（1. 天津市電工電能新技術(shù)重點(diǎn)實(shí)驗(yàn)室（天津工業(yè)大學(xué)），天津 300387； 2. 省部共建電工裝備可靠性與智能化國家重點(diǎn)實(shí)驗(yàn)室（河北工業(yè)大學(xué)），天津 300130）

由于需要考慮換能效率、噪聲、體積和質(zhì)量等因素，電力變壓器的設(shè)計(jì)參數(shù)和性能數(shù)據(jù)往往十分復(fù)雜，因此，如何建立變壓器代理模型是亟需解決的問題。采用代理模型的優(yōu)化算法（SBO）能有效解決數(shù)值模擬直接優(yōu)化耗時(shí)長(zhǎng)的問題。本文用深度學(xué)習(xí)建立變壓器設(shè)計(jì)參數(shù)和性能數(shù)據(jù)的代理模型，實(shí)現(xiàn)變壓器性能優(yōu)化目標(biāo)的高精度預(yù)測(cè)，有效降低變壓器性能分析與優(yōu)化所需時(shí)間。首先基于長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）的深度學(xué)習(xí)模型，建立非晶合金變壓器各個(gè)參數(shù)間的非線性映射，并加入注意力機(jī)制來增強(qiáng)模型的預(yù)測(cè)效果。最后，通過有限元仿真實(shí)驗(yàn)對(duì)提出的深度學(xué)習(xí)代理模型進(jìn)行驗(yàn)證，并與其他常用的代理模型進(jìn)行比較，證明了注意力機(jī)制與長(zhǎng)短期記憶網(wǎng)絡(luò)代理模型在預(yù)測(cè)精度方面的優(yōu)越性。

非晶合金變壓器；有限元方法；代理模型；深度學(xué)習(xí)；長(zhǎng)短期記憶網(wǎng)絡(luò)；注意力

0 引言

電力變壓器作為電網(wǎng)中能量轉(zhuǎn)換、傳輸?shù)暮诵模湫阅苤苯雨P(guān)系到電力系統(tǒng)運(yùn)行的可靠性和經(jīng)濟(jì)性。隨著我國經(jīng)濟(jì)水平的不斷提高，人們對(duì)于電力能源的需求日益增加。由于人類生產(chǎn)生活對(duì)供電量的需求不斷增長(zhǎng)，對(duì)電力變壓器的設(shè)計(jì)、制造和優(yōu)化也有了更高的要求。電力變壓器優(yōu)化設(shè)計(jì)作為一個(gè)多學(xué)科設(shè)計(jì)優(yōu)化問題（multidisciplinary design optimization, MDO），通常由電、磁、熱、機(jī)械和力學(xué)等多個(gè)物理場(chǎng)組合而成。在復(fù)雜的工作環(huán)境下，受線路條件、空氣、溫度等影響，變壓器內(nèi)部與外部的相互作用加劇，很難找到設(shè)計(jì)參數(shù)與優(yōu)化目標(biāo)之間的變化規(guī)律。因此，如何針對(duì)電力變壓器龐大而復(fù)雜的非線性數(shù)據(jù)進(jìn)行優(yōu)化設(shè)計(jì)成為一個(gè)值得關(guān)注的問題。

傳統(tǒng)變壓器設(shè)計(jì)方法主要包含磁場(chǎng)分析法和解析法[1]。磁場(chǎng)分析法和解析法因與經(jīng)典電磁理論結(jié)合緊密被廣泛應(yīng)用。傳統(tǒng)的變壓器設(shè)計(jì)在尋求本系統(tǒng)最優(yōu)解的時(shí)候，很少考慮不同部件之間相互影響的問題。按照這種設(shè)計(jì)模式得到的結(jié)果往往只是局部最優(yōu)，而非全局最優(yōu)。隨著有限元計(jì)算與仿真技術(shù)的發(fā)展，計(jì)算機(jī)仿真技術(shù)廣泛應(yīng)用于實(shí)際產(chǎn)品設(shè)計(jì)中，通過有限元軟件對(duì)變壓器系統(tǒng)進(jìn)行全方位數(shù)字化建模與仿真，再輔之以物理樣機(jī)的驗(yàn)證形式，從而加快設(shè)計(jì)進(jìn)度，降低設(shè)計(jì)成本，減少設(shè)計(jì)反復(fù)等。但是復(fù)雜電力變壓器系統(tǒng)涉及機(jī)械、電氣、力學(xué)等多學(xué)科領(lǐng)域，設(shè)計(jì)變量、目標(biāo)函數(shù)和約束邊界眾多，模型的迭代次數(shù)和計(jì)算時(shí)間會(huì)隨著數(shù)據(jù)維度和物理場(chǎng)的增加呈現(xiàn)幾何級(jí)數(shù)的增長(zhǎng)[2]。變壓器優(yōu)化設(shè)計(jì)問題通常采用現(xiàn)代啟發(fā)式優(yōu)化算法進(jìn)行全局尋優(yōu)，比如遺傳算法[3]、模擬退火算法[4]、粒子群算法[5]和差分進(jìn)化算法[6]等。這些優(yōu)化算法能夠獲得理想結(jié)果，但需要的仿真次數(shù)多，計(jì)算時(shí)間長(zhǎng)，影響電力變壓器的設(shè)計(jì)周期。

基于代理模型的優(yōu)化算法（surrogate-based optimization, SBO）只需少數(shù)樣本數(shù)據(jù)即可建立擬合目標(biāo)值與輸入變量之間數(shù)學(xué)關(guān)系的代理模型，再借助現(xiàn)代啟發(fā)式優(yōu)化算法快速尋找到全局最優(yōu)值[7]。該算法可以在很大程度上減少仿真次數(shù)，適合有限元仿真和電力變壓器性能預(yù)測(cè)等高計(jì)算成本的應(yīng)用場(chǎng)合[8]。代理模型主要包括克里金模型[9]、神經(jīng)網(wǎng)絡(luò)模型[10]、徑向基函數(shù)[11]、支持向量回歸模型[12]等。常用的代理模型面對(duì)愈加復(fù)雜的變壓器優(yōu)化設(shè)計(jì)問題，預(yù)測(cè)效果并不能令人滿意[13]。伴隨深度學(xué)習(xí)模型的興起，深度學(xué)習(xí)模型作為一種新形式代理模型受到廣泛關(guān)注。深度學(xué)習(xí)模型具有結(jié)構(gòu)簡(jiǎn)單、映射能力強(qiáng)的特點(diǎn)，一旦結(jié)構(gòu)的初值被賦予后，訓(xùn)練過程則可自動(dòng)完成。邵振峰開發(fā)一種基于深度學(xué)習(xí)的工作流程來繪制森林生物估計(jì)量，其預(yù)測(cè)精度和擬合程度均超過其他模型[14]。Gao開發(fā)了一種基于深度學(xué)習(xí)的代理模型以取代與最大傳輸能力（total transfer capability, TTC）相關(guān)的耗時(shí)的微分代數(shù)計(jì) 算[15]。Barmada S. 提出了使用兩種不同的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)一步減少電磁設(shè)備優(yōu)化過程中的總體計(jì)算時(shí)間[16]。綜上所述，深度學(xué)習(xí)相比傳統(tǒng)的代理模型方法，通過堆疊多層神經(jīng)網(wǎng)絡(luò)自動(dòng)提取深層次特征，大大降低了對(duì)算法設(shè)計(jì)人員經(jīng)驗(yàn)的依賴，增強(qiáng)了預(yù)測(cè)結(jié)果的準(zhǔn)確度。

本文考慮到長(zhǎng)短期記憶網(wǎng)絡(luò)（long-short term memory, LSTM）對(duì)復(fù)雜數(shù)據(jù)進(jìn)行深層次特征提取的特點(diǎn)，提出一種新的電力變壓器性能預(yù)測(cè)方法。首先，本文通過搭建非晶合金電力變壓器模型，對(duì)變壓器中電磁、力學(xué)等多物理場(chǎng)進(jìn)行仿真分析。然后，基于LSTM模型建立一種基于Attention-LSTM的變壓器的代理模型，通過注意力（Attention）機(jī)制提高代理模型的預(yù)測(cè)精度，并且有效降低代理模型訓(xùn)練所需的時(shí)間。最后，采用有限元方法對(duì)變壓器進(jìn)行仿真，驗(yàn)證算法的可靠性。

1 基于深度學(xué)習(xí)的代理模型

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)工作原理

循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural networks, RNN）是一種具有記憶功能的深度神經(jīng)網(wǎng)絡(luò)，可用于處理具有前后非獨(dú)立特征的序列數(shù)據(jù)，是深度網(wǎng)絡(luò)模型之一。單個(gè)隱藏層的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。圖1中，x、s、o分別為時(shí)刻輸入層、隱藏層、輸出層的值，為輸入層到隱藏層的權(quán)重矩陣，為輸入層到隱藏層的權(quán)重矩陣，為隱藏層至其自身的權(quán)重矩陣。雖然RNN可以很好地解決性能參數(shù)預(yù)測(cè)問題，但是循環(huán)神經(jīng)網(wǎng)絡(luò)存在梯度下降快、很難訓(xùn)練、無法收斂到最優(yōu)解等問題。而LSTM有選擇性地保存信息，并且對(duì)于復(fù)雜數(shù)據(jù)可提高預(yù)測(cè)效率，往往表現(xiàn)出比RNN更好的預(yù)測(cè)效果。

1.2 長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型

傳統(tǒng)代理模型的共同特點(diǎn)是將復(fù)雜數(shù)據(jù)作為模型的輸入，通過預(yù)處理等方法選擇主要特征來最大化地保證代理模型的精度。在處理后，復(fù)雜數(shù)據(jù)中的原有特征常常會(huì)出現(xiàn)缺失的情況。LSTM是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，只要有適當(dāng)?shù)臋?quán)重矩陣和足夠的網(wǎng)絡(luò)單元，就可以在保證合適精度的前提下，作為代理模型使用。

圖1 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

LSTM是基于RNN改進(jìn)的一種算法，將RNN中的神經(jīng)元替換為一個(gè)擁有記憶能力的線性神經(jīng)元即為L(zhǎng)STM模型。在LSTM記憶神經(jīng)元內(nèi)部加入遺忘門、輸入門和輸出門，目的是實(shí)現(xiàn)保存、寫入和讀取的特殊功能，這些門都是邏輯單元，根據(jù)輸入序列，所有記憶單元被連接，解決了循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度下降快、無法收斂到最優(yōu)解等問題，在性能參數(shù)預(yù)測(cè)中取得了很好的效果，LSTM模型結(jié)構(gòu)如圖2所示。

圖2 單個(gè)隱藏層的LSTM模型結(jié)構(gòu)

計(jì)算節(jié)點(diǎn)由輸入門、輸出門、遺忘門和cell組成，其中cell是計(jì)算節(jié)點(diǎn)核心，用以記錄當(dāng)前時(shí)刻狀態(tài)，根據(jù)圖2描述記憶模塊中各單元的具體運(yùn)算關(guān)系如下。

遺忘門：使模型有選擇性地遺忘一些數(shù)據(jù)。

輸入門：管理模型新輸入信號(hào)數(shù)據(jù)。

輸出門：使模型可以有選擇性的輸出結(jié)果。

更新神經(jīng)元的記憶狀態(tài)：由遺忘門保留的記憶數(shù)據(jù)和輸入門輸入的數(shù)據(jù)組成。

模型總輸出：分別輸出到下個(gè)神經(jīng)元部分和輸出到下一層網(wǎng)絡(luò)對(duì)應(yīng)位置。

式中：為外界的輸入數(shù)據(jù)；為上一個(gè)神經(jīng)元需要遺忘的數(shù)據(jù)；為神經(jīng)元新輸入的數(shù)據(jù)；為該神經(jīng)元對(duì)外的輸出結(jié)果；為神經(jīng)元更新后的記憶狀態(tài)；為該模型的總輸出；為sigmoid函數(shù)；tanh為雙曲正切函數(shù)；f為遺忘門，決定哪些歷史信息從細(xì)胞狀態(tài)中丟棄，控制是否遺忘；a為輸入門，負(fù)責(zé)處理當(dāng)前序列位置的輸入，決定哪個(gè)狀態(tài)將被更新；o為輸出門，決定輸出部分單元狀態(tài)；fio分別為與x和h-1對(duì)應(yīng)的遺忘門、輸入門、輸出門轉(zhuǎn)換的權(quán)重矩陣；fa、o分別為遺忘門、輸入門、輸出門轉(zhuǎn)換的偏移向量。

1.3 注意力機(jī)制

注意力機(jī)制通過對(duì)模型輸入變量進(jìn)行計(jì)算，賦予輸入變量不同的權(quán)重，對(duì)關(guān)鍵影響因素賦予更高的權(quán)重，以幫助模型做出更準(zhǔn)確的判斷。同時(shí)，由于Attention機(jī)制可以高度并行的計(jì)算，因此計(jì)算時(shí)間幾乎不受影響。因此，在LSTM模型中引入Attention機(jī)制如圖3所示，突出了重要因素，提高了預(yù)測(cè)效果。

圖3 Attention機(jī)制結(jié)構(gòu)

式中：為節(jié)點(diǎn)對(duì)輸出的注意力概率權(quán)重；為第個(gè)輸入元素對(duì)應(yīng)的隱藏層狀態(tài)值；為輸入變量的個(gè)數(shù)。

通過計(jì)算每個(gè)隱層向量的得分，評(píng)估向量對(duì)輸出結(jié)構(gòu)的影響程度，分析各個(gè)隱藏層數(shù)據(jù)的相關(guān)程度，計(jì)算出每一個(gè)輸入數(shù)據(jù)對(duì)輸出結(jié)果的注意力概率權(quán)重，計(jì)算公式為

式中：為輸出結(jié)果與隱藏層數(shù)值的相關(guān)程度；、分別為權(quán)重矩陣和偏置向量。

2 電磁仿真計(jì)算與代理模型構(gòu)建

2.1 非晶合金變壓器模型

本文選取一臺(tái)小型非晶合金變壓器作為研究對(duì)象，通過在鐵心上繞制勵(lì)磁繞組，制成一個(gè)單相非晶合金變壓器樣機(jī)，有限元方法建立的非晶合金變壓器的三維仿真模型，如圖4所示。其主要參數(shù)見表1。

圖4 變壓器三維仿真模型

表1 非晶合金變壓器參數(shù)

變壓器的設(shè)計(jì)需考慮體積和振動(dòng)等問題。變壓器的大小主要由磁心尺寸確定，磁心的尺寸取決于窗口面積和磁心有效截面積的乘積，用p來表示。

式中：w為窗口面積；e為磁心有效截面積。

式中：1為一次側(cè)有效值電壓；p為匝數(shù)；AC為磁通密度；為磁通量；f為波形因數(shù)。

設(shè)繞組的電流密度為，導(dǎo)線的截面積1/。令窗口面積利用系數(shù)為w。一次、二次繞組的有效值電流分別為1、2，繞組面積全部利用時(shí)，有

由式（11）推出

式中：2為二次側(cè)有效值電壓；為頻率。

式中：1、0分別為一次側(cè)、二次側(cè)功率；為變壓器效率。

由式（13）分析可知變壓器大小受到鐵心長(zhǎng)度、窗口高度、窗口寬度、線圈匝數(shù)和線圈導(dǎo)線截面積等多個(gè)參數(shù)影響，并且是非線性相關(guān)的。

通常情況下，非晶變壓器鐵心區(qū)域中交變磁場(chǎng)產(chǎn)生感應(yīng)電場(chǎng)，該電場(chǎng)產(chǎn)生感應(yīng)電流即渦流，而工頻交流激勵(lì)下，位移電流可忽略不計(jì)，麥克斯韋方程組可表示為

式中：為磁場(chǎng)強(qiáng)度（A/m）；為電場(chǎng)強(qiáng)度（V/m）；為磁通密度（T）；為電流密度（A/m2）。

引入磁矢位定義矢量磁位，可得到求解鐵心電磁場(chǎng)的微分方程

在交變磁場(chǎng)作用下，非晶鐵心產(chǎn)生磁致伸縮效應(yīng)為

變壓器鐵心內(nèi)某點(diǎn)的振動(dòng)方程表示為

式中：為質(zhì)量矩陣；為阻尼矩陣；為剛度矩陣；為節(jié)點(diǎn)位移；主要包括麥克斯韋力和磁致伸縮力。鐵心振動(dòng)主要來自于磁致伸縮效應(yīng)，采用加速度作為分析鐵心振動(dòng)的研究目標(biāo)。由上面分析可知變壓器鐵心振動(dòng)中的電磁計(jì)算是變壓器內(nèi)的電、磁和力學(xué)相互之間高度耦合問題，輸入與輸出之間的關(guān)系具有非線性的特性。

2.2 樣本建立

本文選取5個(gè)結(jié)構(gòu)參數(shù)作為輸入變量{1,2,3,4,5}，每個(gè)變量各取4個(gè)值，變壓器鐵心體積、振動(dòng)加速度z為輸出變量，采用全面試驗(yàn)設(shè)計(jì)方法來獲取樣本數(shù)據(jù)，這樣可以獲得具有很強(qiáng)代表性的樣本數(shù)據(jù)點(diǎn)，且滿足回歸建模所需的樣本數(shù)量。經(jīng)有限元方法計(jì)算得到結(jié)構(gòu)參數(shù)與目標(biāo)函數(shù)的數(shù)據(jù)共1 024組。5個(gè)結(jié)構(gòu)參數(shù)的取值水平見表2。

表2 5個(gè)結(jié)構(gòu)參數(shù)的取值水平

采用歸一化方法將有限元軟件計(jì)算得到的樣本數(shù)據(jù)集的輸入變量歸一化為均值為0、方差為1的數(shù)據(jù)集。利用交叉驗(yàn)證的方法將歸一化后數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，其占比分別為80%和20%。

2.3 預(yù)測(cè)評(píng)價(jià)指標(biāo)

選取平均絕對(duì)百分誤差（mean absolute percentage error, MAPE）作為L(zhǎng)STM模型預(yù)測(cè)效果的評(píng)價(jià)指標(biāo)，MAPE值越小表示代理模型的精確度越高，即

2.4 有限元計(jì)算結(jié)果與實(shí)驗(yàn)對(duì)比

為驗(yàn)證非晶合金鐵心振動(dòng)有限元計(jì)算結(jié)果的準(zhǔn)確性，采用振動(dòng)測(cè)量分析儀對(duì)非晶變壓器小型樣機(jī)的鐵心振動(dòng)加速度進(jìn)行測(cè)量。三軸加速度傳感器探頭粘貼在樣機(jī)上部與模型參考相近處，將供電頻率設(shè)置為50Hz，調(diào)節(jié)勵(lì)磁電流使非晶變壓器鐵心在其運(yùn)行穩(wěn)定時(shí)由振動(dòng)分析儀測(cè)量并記錄振動(dòng)數(shù)據(jù)。變壓器樣機(jī)的振動(dòng)測(cè)量采用振動(dòng)噪聲分析儀作為信號(hào)采集裝置，具體實(shí)驗(yàn)裝置如圖5所示。

圖5 變壓器樣機(jī)振動(dòng)實(shí)驗(yàn)裝置

非晶鐵心樣機(jī)的振動(dòng)加速度實(shí)驗(yàn)測(cè)量結(jié)果與有限元仿真計(jì)算結(jié)果分別如圖6和圖7所示。實(shí)測(cè)振動(dòng)數(shù)據(jù)為：軸振動(dòng)加速度峰值約為1m/s2；軸振動(dòng)加速度峰值約為0.27m/s2；軸振動(dòng)加速度峰值為0.15m/s2，與有限元模型的計(jì)算結(jié)果相近。由于有限元模型中對(duì)變壓器樣機(jī)底部加有固定約束，而實(shí)驗(yàn)測(cè)試時(shí)，樣機(jī)體積較小其底部直接放于地面，難以達(dá)到理想的固定約束要求，因此實(shí)驗(yàn)測(cè)試值與有限元仿真計(jì)算結(jié)果波形會(huì)存在一定差異。實(shí)驗(yàn)測(cè)量與有限元計(jì)算結(jié)果的振動(dòng)周期同為0.01s，因此可驗(yàn)證有限元模型的正確性，其可以用于非晶合金變壓器空間樣本點(diǎn)的計(jì)算。

圖6 振動(dòng)加速度實(shí)驗(yàn)測(cè)量結(jié)果

圖7 振動(dòng)加速度有限元計(jì)算結(jié)果

3 代理模型預(yù)測(cè)結(jié)果分析

3.1 代理模型預(yù)測(cè)結(jié)果

為驗(yàn)證所提出方法的合理性，在得到的最優(yōu)Attention-LSTM模型的預(yù)測(cè)結(jié)果中隨機(jī)選取100組測(cè)試集預(yù)測(cè)結(jié)果與有限元計(jì)算結(jié)果進(jìn)行對(duì)比，鐵心體積和振動(dòng)加速度的相對(duì)百分誤差（MAPE）如圖8所示。鐵心體積的預(yù)測(cè)結(jié)果MAPE普遍在2.5%以下，振動(dòng)加速度的MAPE大多在5%以下。可以證明本文提出的Attention-LSTM預(yù)測(cè)模型具有優(yōu)異的預(yù)測(cè)效果，能夠準(zhǔn)確地表達(dá)出非晶合金變壓器的5個(gè)結(jié)構(gòu)參數(shù)與振動(dòng)、體積之間的非線性關(guān)系，從而避免了復(fù)雜的電磁分析計(jì)算。

3.2 代理模型效果對(duì)比分析

主成分分析（principal component analysis, PCA）法常用于傳統(tǒng)代理模型處理復(fù)雜數(shù)據(jù)問題前的數(shù)據(jù)預(yù)處理。因此，采用傳統(tǒng)代理模型BP神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)（radial basis function, RBF）、支持向量機(jī)（support vector machine, SVM）對(duì)使用PCA方法降維后的數(shù)據(jù)進(jìn)行訓(xùn)練和預(yù)測(cè)。使用PCA方法對(duì)傳統(tǒng)代理模型的影響如圖9所示。使用PCA方法對(duì)原有數(shù)據(jù)降維后，幾種代理模型的預(yù)測(cè)精度均有提升。使用PCA方法可以有效提升傳統(tǒng)代理模型處理復(fù)雜數(shù)據(jù)的能力。

圖9 PCA對(duì)傳統(tǒng)代理模型的影響

不同于傳統(tǒng)代理模型，Attention-LSTM模型具有多層神經(jīng)網(wǎng)絡(luò)自動(dòng)提取深層次特征的能力。因此，Attention-LSTM模型在處理復(fù)雜數(shù)據(jù)問題時(shí)并不需要使用PCA方法進(jìn)行預(yù)處理。PCA對(duì)LSTM模型的影響如圖10所示。PCA方法對(duì)于Attention-LSTM模型的預(yù)測(cè)效果并沒有明顯的提升。證明Attention- LSTM模型在處理復(fù)雜數(shù)據(jù)問題時(shí)，并不依賴PCA方法，因而降低了模型的復(fù)雜程度。

圖10 PCA對(duì)LSTM代理模型的影響

為驗(yàn)證Attention-LSTM模型的有效性，將Attention-LSTM模型與傳統(tǒng)代理模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比，不同代理模型的預(yù)測(cè)精度對(duì)比見表3。

表3 不同代理模型對(duì)比

將復(fù)雜數(shù)據(jù)經(jīng)過PCA預(yù)處理后的BP神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)和支持向量機(jī)方法與Attention-LSTM算法對(duì)200組測(cè)試數(shù)據(jù)集的預(yù)測(cè)精度數(shù)據(jù)進(jìn)行對(duì)比，結(jié)果見表3?？梢钥闯?，Attention-LSTM模型的預(yù)測(cè)精度最高，并且相較于其他經(jīng)過PCA處理的代理模型，LSTM模型在引入Attention機(jī)制后，增強(qiáng)了數(shù)據(jù)的預(yù)測(cè)精度。使用有限元仿真計(jì)算模型計(jì)算變壓器樣機(jī)的時(shí)間約為12min（720s），而Attention- LSTM模型的運(yùn)算時(shí)間僅為33s，約為有限元模型計(jì)算時(shí)間的1/20，極大減少了樣機(jī)的計(jì)算時(shí)間，提高了該類工程問題的計(jì)算效率。

4 結(jié)論

本文基于Attention-LSTM建立了用于非晶合金變壓器性能參數(shù)預(yù)測(cè)的代理模型。根據(jù)變壓器結(jié)構(gòu)與實(shí)際應(yīng)用中需要解決的問題，建立典型的變壓器樣本數(shù)據(jù)，通過合理的分析策略完成了模型參數(shù)的確定及案例驗(yàn)證。實(shí)驗(yàn)結(jié)果證明，Attention-LSTM作為變壓器代理模型具有很好的預(yù)測(cè)精度，可以準(zhǔn)確地表達(dá)變壓器結(jié)構(gòu)參數(shù)與振動(dòng)之間的非線性關(guān)系，并與有限元分析方法可以相互驗(yàn)證。這為處理變壓器優(yōu)化設(shè)計(jì)中的復(fù)雜數(shù)據(jù)問題提供了一種新的代理模型建立方法。

[1] 王輝. 變壓器磁場(chǎng)分析法與解析法的應(yīng)用對(duì)比[J]. 變壓器, 2000, 37(8): 22-26.

[2] 李冰, 王澤忠, 劉恪, 等. 特高壓變壓器直流偏磁對(duì)繞組電流的影響[J]. 電工技術(shù)學(xué)報(bào), 2020, 35(7): 1422-1431.

[3] 陳偉根, 滕黎, 劉軍, 等. 基于遺傳優(yōu)化支持向量機(jī)的變壓器繞組熱點(diǎn)溫度預(yù)測(cè)模型[J]. 電工技術(shù)學(xué)報(bào), 2014, 29(1): 44-51.

[4] DANESHMAND S V, HEYDARI H. A diversified multiobjective simulated annealing and genetic algo- rithm for optimizing a three-phase HTS transformer[J]. IEEE Transactions on Applied Superconductivity, 2016, 26(2): 1-10.

[5] 潘再平, 張震, 潘曉弘. 基于QPSO算法的電力變壓器優(yōu)化設(shè)計(jì)[J]. 電工技術(shù)學(xué)報(bào), 2013, 28(11): 42-47.

[6] TRIA L R, ZHANG D, FLETCHER J. High-frequency planar transformer parameter estimation using differ- ential evolution[C]//2015 IEEE International Magnetics Conference (INTERMAG), Beijing, 2015.

[7] FORRESTER A I J, KEANE A J. Recent advances in surrogate-based optimization[J]. Progress in Aerospace Sciences, 2009, 45(1): 50-79.

[8] 張劍. 基于代理模型技術(shù)的高速列車性能參數(shù)設(shè)計(jì)及優(yōu)化[D]. 成都: 西南交通大學(xué), 2015.

[9] XIA Bin, REN Ziyan, KOH C S. Utilizing kriging surrogate models for multi-objective robust optimi- zation of electromagnetic devices[J]. IEEE Transa- ctions on Magnetics, 2014, 50(2): 693-696.

[10] 陳亞, 李萍. 基于神經(jīng)網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)仿真研究[J]. 電氣技術(shù), 2017, 18(1): 26-29.

[11] 楊杰, 黃晨, 石恒. 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)補(bǔ)償?shù)膽腋∏驊腋「叨茸赃m應(yīng)滑?？刂芠J]. 電氣技術(shù), 2020, 21(2): 26-30.

[12] 彭珍瑞, 鄭捷, 白鈺, 等. 一種基于改進(jìn)MCMC算法的模型修正方法[J]. 振動(dòng)與沖擊, 2020, 39(4): 236- 245.

[13] ACAR E, RAIS-ROHANI M. Ensemble of meta- models with optimized weight factors[J]. Structural and Multidisciplinary Optimization, 2009, 37(3): 279- 294.

[14] SHAO Zhenfeng, ZHANG Linjing, WANG Lei. Stacked sparse autoencoder modeling using the synergy of airborne LiDAR and satellite optical and SAR data to map forest above-ground biomass[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(12): 5569-5582.

[15] QIU Gao, LIU Youbo, LIU Junyong, et al. Analytic deep learning-based surrogate model for operational planning with dynamic TTC constraints[J]. IEEE Transactions on Power Systems, 2020: 1-8.

[16] BARMADA S, FONTANA N, SANI L, et al. Deep learning and reduced models for fast optimization in electromagnetics[J]. IEEE Transactions on Magnetics, 2020, 56(3): 1-4.

Transformer surrogate model based on attention and long-short term memory

JIN Liang1,2FENG Yulin1CAO Jiahao1WANG Yanyang1

(1. Tianjin Key Laboratory of Advanced Technology of Electrical Engineering and Energy, Tiangong University, Tianjin 300387; 2. State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology, Tianjin 300130)

The design parameters and performance data of power transformers are often very complex considering many factors such as energy exchange efficiency, noise, volume and weight. Therefore, how to establish transformer surrogate model is an urgent problem to be solved. The surrogate-based optimization (SBO) can effectively solve the problem of long optimization time. In this paper, the surrogate model of transformer design parameters and performance data is established by deep learning to achieve high precision prediction of transformer performance optimization objectives and effectively reduce the time required for transformer performance analysis and optimization. Firstly, based on the deep learning model of long-short term memory network (LSTM), the nonlinear mapping between various parameters of amorphous alloy transformer is established, and the attention mechanism is added to enhance the prediction effect of the model. Finally, the proposed deep learning surrogate model is verified by finite element simulation experiment and compared with other commonly used surrogate models. The results show that the attention and long-short term memory surrogate model is superior in prediction accuracy.

amorphous alloy transformer; finite element method; surrogate model; deep learning; long-short term memory (LSTM); attention

國家自然科學(xué)基金面上項(xiàng)目（51977148）

2020-12-12

2020-12-29

金 亮（1982—），男，博士，副教授，主要研究方向?yàn)楣こ屉姶艌?chǎng)與磁技術(shù)、電磁場(chǎng)云計(jì)算和電磁無損檢測(cè)等。