基于對抗性持續(xù)學習模型的輸電線路部件缺陷分類

趙振兵 蔣志鋼 熊 靜 聶禮強 呂雪純

①(華北電力大學電子與通信工程系 保定 071003)

②(華北電力大學河北省電力物聯(lián)網技術重點實驗室 保定 071003)

③(復雜能源系統(tǒng)智能計算教育部工程研究中心 保定 071003)

④(山東大學計算機科學與技術學院 青島 266237)

1 引言

隨著我國電網系統(tǒng)的不斷發(fā)展，中國已進入一個“特高壓，大電網”時代，但輸電線路故障率仍然較高，因此應及時有效地預防電網的停電事故，預測電網的安全運行狀態(tài)，即對電網的安全態(tài)勢進行感知[1]。態(tài)勢感知起源于20世紀80年代，定義為在特定的時間和空間下，對環(huán)境中各元素或對象的察覺、理解以及對未來狀態(tài)的預測[2]。對于電網而言，環(huán)境中各元素指的是電網內各電氣設備以及輸電線路的運行狀態(tài)。電網安全態(tài)勢感知技術由3個階段組成：首先是電網中各態(tài)勢要素的監(jiān)測與提取，其次是態(tài)勢的評估與理解，最后是對態(tài)勢的發(fā)展進行預測。電網中各態(tài)勢要素準確、及時、高效的監(jiān)測，是電網安全態(tài)勢感知的基礎，也是重中之重。

對輸電線路上部件進行定期巡檢的過程，就是電網安全態(tài)勢感知的態(tài)勢要素提取環(huán)節(jié)。目前電力系統(tǒng)已經廣泛采用直升機和無人機對輸電線路拍照，再由巡檢人員借助自身專業(yè)知識根據(jù)航拍圖像提取輸電線路態(tài)勢要素的方式。但依賴人工進行態(tài)勢要素提取的方式效率低、成本高且受巡檢人員主觀因素限制[3]。因此，對輸電線路部件缺陷的自動化與智能化態(tài)勢感知技術的需求越來越迫切。

目前已有的輸電線路部件缺陷分類研究大多集中于防震錘、均壓環(huán)、絕緣子、防鳥刺等的缺陷分類與檢測。文獻[4]提出了一種基于R-FCN的金具目標檢測方法，在全卷積網絡的基礎上，使用在線困難樣本挖掘、軟性非極大值抑制、樣本優(yōu)化等方法改進，不僅提高檢測精度，還使得模型可以適應多類型、多尺度的目標檢測任務，不過該方法對數(shù)據(jù)集要求較高，檢測精度不穩(wěn)定。文獻[5]針對輸電線路航拍圖像上各目標之間、目標與背景之間存在相互干擾的問題，利用KL散度替代Faster R-CNN模型中原有的Smooth L1損失函數(shù)；并且考慮到不同金具目標具有不同形狀特征，將形狀特征作為約束加入到損失函數(shù)中，提高了模型的檢測精度。文獻[6]通過構建符合因果關系學習的輸入特征集，進行金具缺陷特征與標簽之間的因果關系學習，構建符合金具特點的因果邏輯回歸模型，完成金具缺陷分類，但該方法只針對單類金具缺陷進行分類，具有一定的局限性。文獻[7]使用SCNet替換原始Faster R-CNN模型上的特征提取網絡，并提出了PinFPN網絡，以增強模型的底層語義信息和位置信息提取能力，但同時造成了參數(shù)量和運算量的增加，提高了對設備的要求。文獻[8]提出運用經過多尺度訓練的YOLOv3目標檢測網絡框選并截取出經過銳化處理的電力巡檢圖像中的防鳥刺區(qū)域，再處理截取出的防鳥刺區(qū)域，實現(xiàn)防鳥刺故障檢測，不過該方法處理過程較為繁雜，計算量顯著上升。文獻[9]利用角度旋轉參數(shù)和更換損失函數(shù)實現(xiàn)了絕緣子的精確定位，但該算法仍然存在對于密集小目標會出現(xiàn)漏檢、檢測精度低的問題。

雖然上述模型在輸電線路某些部件缺陷分類上取得了不錯的效果，但都是在有限數(shù)據(jù)集條件下的研究，而忽略了現(xiàn)實中無限數(shù)據(jù)流條件下模型欠缺持續(xù)學習能力的問題。持續(xù)學習研究的是從無限增長的數(shù)據(jù)流中，逐步擴展已經獲得的知識，并將其用于未來學習的任務[10]。目前電網在役金具超過1900種，同種部件存在多種型號且型號間外觀也存在差異[11]，而現(xiàn)今的模型大多只采集部分金具數(shù)據(jù)集同時訓練，訓練完成后，模型只能對學習過的金具進行分類。當需要增加新的待分類任務時，如果直接使用新的待分類數(shù)據(jù)集對原模型進行訓練，會導致模型對舊任務的分類準確率斷崖式下降，出現(xiàn)災難性遺忘的問題[12]，而將新舊數(shù)據(jù)集混合重新訓練模型會導致時間成本巨幅增加，因此亟需針對深度學習模型的可持續(xù)學習能力進行研究。

本文的工作主要包含：

(1)針對目前輸電線路部件缺陷分類模型無法解決現(xiàn)實情況中無限數(shù)據(jù)流的問題，本文提出一種基于對抗性持續(xù)學習的輸電線路部件及其缺陷分類方法，緩解了災難性遺忘的問題。

(2)為解決待分類任務類間差異過小導致分類準確率低的問題，通過在可持續(xù)學習模型中融入注意力機制，融入注意力機制后的可持續(xù)學習分類網絡較加入之前平均準確率從92.58%提升到94.01%。

(3)L3損失函數(shù)的加入使得模型的準確率提升了2.25%。

(4)可持續(xù)學習任務具有排序不可知性。本文提出了分別基于數(shù)據(jù)集數(shù)量、離散度以及難易度影響進行排序的方法，并設計多組對照實驗，實現(xiàn)了持續(xù)學習分類模型在已獲取輸電線路部件缺陷分類數(shù)據(jù)集上的最優(yōu)利用。

2 輸電線路部件及缺陷分類模型

現(xiàn)階段的持續(xù)學習主要通過3種方式來實現(xiàn)。第1種是基于正則化的方法，通過限制模型參數(shù)偏離先前的解太遠來防止遺忘，但是同時會限制模型適應新任務的能力，導致模型很難，甚至無法找到最優(yōu)解[12–14]。第2種是基于數(shù)據(jù)集重放的方法，通過保存以前任務的數(shù)據(jù)進行多次重放來使模型記住曾經學習過的任務的特征，該方法雖然在防止災難性遺忘方面很有效，但該方法的性能高度依賴緩沖內存區(qū)的大小和重放內容的選擇，在某些情況中，保存任何數(shù)據(jù)可能都不是最佳選項[15,16]。第3種方法是基于模型結構擴增的方法，通過對每個任務設置增長模型來對抗遺忘，并且可以容易地添加額外的必要容量來容納新任務。這種不需要保存任何數(shù)據(jù)就能實現(xiàn)持續(xù)學習的能力給擴增方法提供了在大規(guī)模數(shù)據(jù)環(huán)境設置中成功的可能性。但是隨著任務量的增加，如何將模型參數(shù)量的增長保持在可接受范圍是需要解決的問題[17–19]。

2.1 可持續(xù)學習分類模型

本文受基于模型結構擴增的可持續(xù)學習模型方法的啟發(fā)，針對需要學習的每個序列任務構建增長模型來對抗災難性遺忘。與傳統(tǒng)的基于模型結構擴增的方法不同，本文方法通過將模型提取特征空間分解為共享特征模塊和特有知識模塊來限制模型參數(shù)的增加。該方法受服務器絕對容量的限制較小并且不需要保存先前序列任務數(shù)據(jù)，因此該方法能在無限數(shù)據(jù)流的復雜現(xiàn)實環(huán)境中應用成功。

本文將深度網絡學習到的特征劃分成共享特征和特有特征，因此在本文的基于對抗性持續(xù)學習分類模型中，包含基于ResNet網絡構建的共享特征提取模塊S和特有特征提取模塊P，對兩種特征分別進行提取。訓練時共享特征提取模塊S將會采用對抗性訓練的方式學習所有分類任務中(假設共有T個任務)的所有種類訓練集的共有特征，而特有特征提取模塊P則只是針對學習具體某序列分類任務(T個任務中的某一個)的特有特征，同時特有特征提取模塊P將會隨著總分類任務的增加而增加，而共享特征提取模塊網絡則只更新但不會增加參數(shù)。在對輸入的測試集圖像進行分類時則只會調用共享特征提取模塊S以及相對應的特有特征提取模塊P。與傳統(tǒng)的基于模型結構擴增的可持續(xù)學習不同，由于共享特征提取模塊S的設計，模型參數(shù)大幅度減少。在實現(xiàn)分類模型的可持續(xù)學習能力的同時，保證模型的參數(shù)量不會巨幅增長。同時，采用正交約束保證共享模塊中學到的特征知識與特有模塊學習到的特征知識盡可能不相同，從而提高分類準確率。模型整體結構如圖1所示。

圖1 基于對抗性持續(xù)學習分類模型整體結構

首先將金具缺陷數(shù)據(jù)集d按照不同種類金具劃分為 d1, d2,···, dT，之后以各金具的具體缺陷狀態(tài)為子類再次劃分，例如提包線夾數(shù)據(jù)集中包括提包線夾銹蝕數(shù)據(jù)、提包線夾臟污數(shù)據(jù)等類別

式(3)中，xi為輸入圖像，yi為類別標簽，ti為任務標簽，為樣本數(shù)。

在訓練可持續(xù)學習分類模型時，首先學習同一任務中不同類別圖像的不相似的特征，并針對每一個任務單獨保存一個子模型P。對于一個包含q種類別圖像的任務而言，實際上就是一個共q類的分類任務，損失函數(shù)為

其中，yei表示數(shù)據(jù)對應真實標簽，是模型預測值。

接下來學習各不同任務中的相似特征，構建特征映射生成器S和對抗判別器D，并通過對抗性訓練的方式對S進行訓練，損失函數(shù)為

當S能夠生成D不能再正確預測任務標簽的圖像時，生成器S的訓練就完成了。其中T為總的任務數(shù)量。

為了保障共享模塊中學到的特征知識與特有模塊學習到的特征知識盡可能不相同，通過使用正交約束方法對兩個模塊的特征知識進行因式分解，計算其差異為

其中，| |F為F-范數(shù)，Pk表示第k個P模塊。

最后，將3個損失函數(shù)相加則獲得了可持續(xù)學習分類模型的總損失為

2.2 融入注意力機制

如圖2所示，在輸電線路部件缺陷分類任務中，正常部件和某些缺陷部件的圖像極為相似，分類任務類間差異過小，導致分類準確率不高，因此有必要對模型的細微特征提取能力進行增強。針對待分類任務類間差異過小導致分類準確率低的問題，本文通過在可持續(xù)學習分類網絡模型的特征提取網絡融入結合通道注意力和空間注意力的注意力機制[20]來增強模型對細微特征提取能力，提高分類準確率。

圖2 正常圖像與缺陷圖像對照

特征圖的每一個通道都被視為一個專門特征檢測器，因此為了獲得更詳細的通道特征信息，同時采用了平均池化和最大池化兩種池化方式。對于輸入為M×H×W的特征圖F，將其壓縮成為M×1×1大小的通道注意力特征圖。

計算如式(8)所示

其中，σ表示sigmoid函數(shù)，MLP(MultiLayer Perceptron)表示多層感知器，Avg表示平均池化，Max表示最大池化，感知器中的W1和W0分別設置為RC×C/r, RC/r×C。和分別表示平均池化特征和最大池化特征。

之后使用空間注意力模塊對特征圖F'進行空間信息提取，計算式為

其中，σ表示sigmoid函數(shù)，f7×7表示7×7的卷積運算，和分別表示通道上的平均池化特征和最大池化特征，其中∈R1×H×W,∈R1×H×W，注意力機制模塊如圖3所示。

圖3 注意力機制模塊

本文所采用的主干網絡為ResNet網絡，因此為了增強可持續(xù)學習分類模型對細微特征提取能力，本文在殘差模塊中融入注意力機制，改進后ResNet-18網絡整體結構如圖4所示。

圖4 改進后ResNet-18網絡整體結構

2.3 模型最優(yōu)利用

由于持續(xù)學習任務應用場景的特殊性，在訓練分類模型時需要對待分類任務訓練的先后順序進行排序。因此與普通分類任務相比，基于持續(xù)學習的研究還面臨著如何實現(xiàn)模型最優(yōu)利用的問題。不同的訓練任務順序排列勢必對模型的準確率造成不同程度的影響。因此很有必要研究各類輸電線路金具缺陷圖像分類任務的訓練順序。令所有數(shù)據(jù)集總集合為d，d中共含有T個q分類任務，則I中共含有T× q類數(shù)據(jù)集，nk,e表示第k類分類任務中第e類數(shù)據(jù)的數(shù)量。深度學習模型的核心驅動是數(shù)據(jù)，由于無法將各類數(shù)據(jù)的具體圖像質量、圖形特征等客觀因素作為排序的依據(jù)，因此考慮將數(shù)據(jù)分布作為排序的首要因素。首先考慮每個分類任務訓練集數(shù)量對模型的影響，如

其中，nk,t表示數(shù)據(jù)集I中第k類任務總數(shù)據(jù)量，根據(jù)nk,t的大小作為對任務訓練順序進行排序的依據(jù)。

對于持續(xù)學習分類任務而言，各類數(shù)據(jù)集之間離散度也將對持續(xù)學習模型準確率產生影響。如

其中，nk,m表示數(shù)據(jù)集I中第k類任務中數(shù)據(jù)的離散度，離散度大小作為對任務訓練順序進行排序的依據(jù)。

除了數(shù)據(jù)量和離散度之外，任務的難易程度也會影響模型準確率，因此本文將模型對T個分類任務分別訓練時的準確率作為任務難易度的等同替換，準確率高則說明任務簡單。

3 實驗驗證與結果分析

3.1 數(shù)據(jù)集構建與模型評價標準

由于目前并沒有公開的輸電線路部件及缺陷的數(shù)據(jù)集，因此本文采集了正常均壓環(huán)及均壓環(huán)損壞等共計10類圖像建立了輸電線路部件及缺陷數(shù)據(jù)集，如圖5所示。其中各類數(shù)據(jù)的數(shù)量如表1所示。

表1 數(shù)據(jù)種類及數(shù)量(張)

圖5 自建數(shù)據(jù)集樣例展示

與普通分類模型不同，為了測試可持續(xù)學習分類模型的性能，在學習新的序列任務之后，需要再次對先前學習的序列任務的分類效果進行評估。本文使用平均準確度(ACCuracy, ACC)作為檢驗模型準確率的指標，計算式如式(14)所示。同時，為了描述模型對抗遺忘的能力，本文使用BWT(Back-Ward Transfer)來描述模型在學習新分類任務之后對先前學習任務的影響，當BWT>0時表示學習新的任務有助于提高舊任務的準確率，當BWT＜0時意味著模型受到了災難性遺忘的影響，計算如式(15)所示。除此之外，同時考慮模型占用空間大小(Parameter)和模型訓練時間(Time)的影響。其中Parameter的單位為MB，時間的單位為min。其中，RT,k表示在模型依次學習第T個任務之后對任務k的分類測試準確率。

3.2 可持續(xù)學習分類模型訓練

本文所用的實驗環(huán)境為ubuntu 16.04操作系統(tǒng)，Python3.6，PyTorch 1.3.1，GPU為NVIDIA Quadro K600。

在可持續(xù)學習分類模型訓練過程中，將輸入的部件及其缺陷圖像大小調整為32×32，本文采用隨機梯度下降法進行訓練，沖量設置為0.9，batch_size設置為64，訓練輪數(shù)設置為200，初始學習率為0.001，權重衰減正則項設置為0.01，式(7)中的λ1,λ2,λ3分別設置為1, 0.05和0.1。

為了模擬現(xiàn)實中無限數(shù)據(jù)流條件，基于持續(xù)學習的模型采用了與傳統(tǒng)分類模型不同的訓練方式。以本文自建數(shù)據(jù)集舉例，首先將鳥巢與異物分類數(shù)據(jù)集作為訓練集，訓練完成之后模型可進行鳥巢與異物分類；再將均壓環(huán)缺陷分類數(shù)據(jù)集作為訓練集，在原模型權重上進行訓練，完成后模型可同時對鳥巢、異物、正常均壓環(huán)和損壞均壓環(huán)進行分類，以此類推，直到完成所有分類任務的訓練。

3.3 實驗結果與分析

3.3.1 可持續(xù)學習分類模型泛化能力研究

為了確定泛化能力最優(yōu)的主干網絡，本文選取了AlexNet, ResNet-18, ResNet-34, ResNet-50共4種網絡分別作為可持續(xù)學習分類模型的主干網絡進行實驗。在3.1節(jié)中所提到的自建輸電線路部件及其缺陷數(shù)據(jù)集上進行驗證。將包含10類的分類任務劃分為5個序列任務，每個序列任務包含一個二分類任務，任務學習的先后順序為鳥巢與異物分類、均壓環(huán)缺陷分類、絕緣子缺陷分類、屏蔽環(huán)缺陷分類、防震錘缺陷分類。實驗結果如表2所示。

AlexNet網絡結構相對簡單，因此訓練時間較短，模型占用空間較小，但是模型準確率僅為90.86%，低于ResNet-18網絡和ResNet-34網絡；而對于ResNet網絡，由表2可知，隨著網絡的逐漸加深，模型訓練的時間延長，模型參數(shù)量增多，基于ResNet-18網絡的可持續(xù)學習分類模型的分類準確率、訓練時間、模型大小以及BWT都顯著優(yōu)于基于ResNet-34網絡和基于ResNet-50網絡的模型。因此，本文選擇ResNet-18網絡作為可持續(xù)學習分類模型的主干網絡。

表2 不同主干網絡對照實驗

3.3.2 模型各部分消融實驗

對抗性持續(xù)學習模型由多任務共享特征生成器及對抗判別器、多任務特有特征模塊等部分構成。因此為了確定各部分對模型準確率的影響，進行了消融實驗，實驗結果如表3所示。

表3中，S表示共享特征提取模塊，D表示判別器，P表示特有特征提取模塊。從表3可以看出，單獨的多任務共享特征生成器及對抗判別器和多任務特有特征模塊的準確率都較低，當兩部分同時使用時可使模型準確率和抗災難性遺忘能力獲得顯著提升。

表3 模型各部分消融實驗

3.3.3 改進網絡前后模型對比

使用本文2.2節(jié)所提出的注意力機制對ResNet-18網絡進行改進之后，標記為ResNet-18-att，分別在自建數(shù)據(jù)集和CIFAR-100公共數(shù)據(jù)集上進行驗證。自建數(shù)據(jù)集共5個分類任務，任務學習的先后順序為鳥巢與異物分類、均壓環(huán)缺陷分類、絕緣子缺陷分類、屏蔽環(huán)缺陷分類、防震錘缺陷分類。實驗結果如表4所示。

表4 改進網絡前后模型性能對比(自建數(shù)據(jù)集)

與ResNet-18網絡相比，融入注意力機制后，模型在5個二分類序列任務上的平均準確率提高了1.43%；BWT值從–0.43%提升到了–0.20%，說明改進后的模型盡管仍然受到了災難性遺忘的影響，但是具有相對更強的抗遺忘能力；不過訓練時長增加了287.9 min，模型占用內存也增加了1.2 MB。

CIFAR-100公共數(shù)據(jù)集分為20個分類任務，每個任務包括5種類別物體的分類，實驗結果如表5所示。

表5 改進網絡前后模型性能對比(CIFAR-100)

在公共數(shù)據(jù)集上的實驗結果依然證明本文提出的融入注意力機制的方法在減輕災難性遺忘的影響和提高分類準確率上有效。

3.3.4 L3損失函數(shù)對實驗結果影響

為了驗證損失函數(shù)L3的有效性，本文分別使用3種主干網絡構成的可持續(xù)學習分類模型進行對比實驗，實驗結果如表6所示。從表6可以看出，使用損失函數(shù)L3使得3種模型的分類準確率都有所提升，特別是對于改進的ResNet-18網絡，ACC提高了2.25%，同時，BWT值也都有不同程度的減小，說明損失函數(shù)L3在提升模型準確率和提高模型抗遺忘能力方面都效果顯著。

表6 L3損失函數(shù)消融實驗

3.3.5 任務序列排序影響

在持續(xù)學習問題中，待學習的任務如何排序也將對模型準確率和抗遺忘能力產生影響，但是目前并沒有針對任務排序問題的研究，持續(xù)學習表現(xiàn)出排序不可知性。因此本文分別以數(shù)據(jù)比例、數(shù)據(jù)量以及任務難易度為排序依據(jù)，研究了輸電線路部件缺陷分類任務的排序不可知性。

本文將鳥巢與異物分類編為任務1，均壓環(huán)缺陷分類編為任務2，絕緣子缺陷分類編為任務3，屏蔽環(huán)缺陷分類編為任務4，防震錘缺陷分類編為任務5。

首先對待學習任務的學習順序進行完全隨機排列兩次，排序結果為1-2-3-4-5(編號a)和4-1-2-3-5(編號b)實驗。

考慮數(shù)據(jù)比例的影響，以任務中數(shù)據(jù)離散度作為排序依據(jù)，由表1可知，各分類任務中數(shù)據(jù)離散度最小的是任務2(均壓環(huán)缺陷分類，比例為142:159)，依次類推，最后確定訓練排序為2-3-1-4-5(編號c)，再將倒序5-4-1-3-2(編號d)作為訓練順序實驗。

接著以任務總數(shù)據(jù)規(guī)模大小作為排序依據(jù)。由表1可知，任務3總數(shù)據(jù)量最多，任務2總數(shù)據(jù)量最少，分別按2-4-1-5-3(編號e)和3-5-1-4-2(編號f)的訓練順序實驗。

在實驗a—實驗f中，本文分別將5個任務作為第1序列任務進行訓練，即在學習該分類任務時模型處于原始狀態(tài)?？沙掷m(xù)學習分類模型對5個任務的準確率依次為89.38%，90.85%，95.54%，92.65%，98.70%。分類準確率高即說明該分類任務較為簡單。因此，按照任務難易程度進行排序，分別為5-3-4-2-1(編號g)和1-2-4-3-5(編h)。

實驗完成后，統(tǒng)計每組實驗中各任務準確率，結果如表7所示。

從表7可以看出，學習任務的排序對某些任務準確率影響很大。以任務(2)為例，在實驗a、實驗b、實驗c、實驗d、實驗g中，其分別出現(xiàn)在5個不同的排序位置上，準確率相差較大。實驗b中任務(2)訓練排序為3，準確率為89.93%；實驗d中訓練排序為5。準確率為97.81%，準確率相差高達7.88%。也有一些任務受到排序影響不大，如任務(1)、任務(3)和任務(5)。任務(2)(均壓環(huán)分類)和任務(4)(屏蔽環(huán)分類)分類準確率受任務排序影響較為明顯的主要原因是圖像背景較為復雜，鑒于其呈環(huán)狀的特殊形態(tài)特征，圖像數(shù)據(jù)中往往還包含著其他金具的某些部分，因此這兩類任務在不同排序中準確率差異較大，而任務(1)、任務(3)、任務(5)的數(shù)據(jù)集中則不存在該問題，因此差異較小。同時，任務(2)和任務(4)的數(shù)據(jù)量較為稀缺也是造成該情況的原因之一。

表7 8組對照實驗準確率結果

隨著學習的任務的增多，已學習任務的準確率也會變化，如圖6所示。

從圖6可以看出，在本文的可持續(xù)學習模型中災難性遺忘的問題得到了顯著改善。甚至在某些任務排序條件下，學習新任務使得模型對舊任務分類準確率略有提高，這是由本文的可持續(xù)學習分類模型的特殊結構決定的。在某些特定任務排序中，曾被用于訓練的數(shù)據(jù)集中與待訓練的數(shù)據(jù)集中的部分共享特征相似，因此在學習新任務訓練特征映射生成器S時，起到了加強分類效果的作用，導致學習新任務使得模型對舊任務分類準確率有所提高。

圖6 已學習任務準確率變化圖

8組實驗所有實驗結果如表8所示。

表8 8組實驗結果

在實驗d中，可持續(xù)學習模型達到最高的準確率，為95.25%，實驗c中，可持續(xù)學習模型達到最低的準確率，為92.74%，說明基于本實驗數(shù)據(jù)集的可持續(xù)學習任務中以數(shù)據(jù)離散度作為排序依據(jù)對模型準確率影響最大。而其他排序方式對模型影響相對較小，但是依然存在影響。總的來說，持續(xù)學習任務排序具有不可知性。

受限于采集數(shù)據(jù)集的困難，本實驗無法在改變數(shù)據(jù)比例變量的同時控制數(shù)據(jù)量總數(shù)不變，但是本實驗證明改變待學習任務的順序會對可持續(xù)學習模型產生不同的影響。對于自建的輸電線路部件缺陷分類數(shù)據(jù)集和可持續(xù)學習模型，更改訓練時任務的先后順序，模型的準確率相差高達2.51%。而BWT值從–0.20%提高到0.80%，意味著任務的排序會影響模型的抗遺忘能力，減少災難性遺忘的影響，甚至學習新的任務有助于提高舊任務的準確率。

4 結束語

針對目前輸電線路部件缺陷分類模型無法解決現(xiàn)實情況中無限數(shù)據(jù)流的問題，本文設計了一種基于對抗性持續(xù)學習的輸電線路部件及其缺陷分類方法。首先將持續(xù)學習技術引入到輸電線路部件缺陷分類任務中，使得分類模型在保證分類準確率的同時，可以從無限增長的數(shù)據(jù)流中不斷學習新的分類任務。為解決待分類任務類間差異過小導致分類準確率低的問題，通過在可持續(xù)學習模型中融入注意力機制，以增強模型對細微特征提取能力從而提高分類準確率。針對持續(xù)學習任務中的排序不可知性問題，提出基于數(shù)據(jù)集的數(shù)量、離散度以及難易度進行排序的方法，設計多組對照實驗，以實現(xiàn)持續(xù)學習分類模型的最優(yōu)利用。最后，設計進行了實驗驗證，并對模型的各種性能進行分析與比較。結果表明本文提出的方法實現(xiàn)了輸電線路部件及其缺陷分類任務的可持續(xù)學習，緩解了災難性遺忘的問題；融入注意力機制和使用L3損失函數(shù)使分類準確率分別提高了1.43%和2.25%；并且實現(xiàn)了持續(xù)學習分類模型的最優(yōu)利用。

盡管如此，受限于輸電線路上部件種類過多和數(shù)據(jù)難以采集的問題，并且目前尚沒有一個明確、統(tǒng)一的對任務難易度量化的標準，基于持續(xù)學習的輸電線路部件缺陷分類任務排序具有不可知性。不可否認的是，該模型的另一個限制是無法解決已訓練過的任務數(shù)據(jù)集變化的問題。因此，這也是本文后續(xù)將要進行的研究。