基于分層粒度對(duì)比網(wǎng)絡(luò)的鋼鐵燃?xì)庹{(diào)度知識(shí)獲取與建模

王天宇 趙 珺 王 偉 王天鑫

鋼鐵生產(chǎn)是高耗能和高排放的生產(chǎn)過程,能源介質(zhì)的發(fā)生與消耗在其中起到了至關(guān)重要的作用.隨著煤炭、石油等一次能源的緊缺,充分利用鋼鐵生產(chǎn)過程中產(chǎn)生的副產(chǎn)煤氣不但可以提高企業(yè)節(jié)能降耗水平,還可減少煤氣放散對(duì)環(huán)境的污染[1].而在生產(chǎn)工藝和設(shè)備狀態(tài)相對(duì)固定的情況下,對(duì)于能源系統(tǒng)的優(yōu)化調(diào)度逐漸成為實(shí)現(xiàn)節(jié)能降耗的重要手段.

一些現(xiàn)有的能源優(yōu)化調(diào)度研究已經(jīng)在文獻(xiàn)中有所報(bào)道,包括強(qiáng)化學(xué)習(xí)[2]、基于數(shù)學(xué)規(guī)劃方法[3-4]、案例推理[5]以及因果關(guān)系建模[6]等.其中,文獻(xiàn)[2]提出了一種結(jié)合專家經(jīng)驗(yàn)和生產(chǎn)計(jì)劃的能源動(dòng)態(tài)調(diào)度策略.文獻(xiàn)[3]采用預(yù)測-調(diào)度兩階段方法,首先利用高斯過程回歸對(duì)不確定條件下的能源需求進(jìn)行預(yù)測,從而建立關(guān)于容量約束的優(yōu)化調(diào)度模型.文獻(xiàn)[4]提出了一種新穎的數(shù)學(xué)規(guī)劃模型,研究了燃?xì)庀到y(tǒng)緩沖用戶中富余煤氣的優(yōu)化配置.針對(duì)連續(xù)生產(chǎn)過程建模,文獻(xiàn)[5]設(shè)計(jì)了一種稀疏模糊推理方法,用于推測具有動(dòng)態(tài)特征的調(diào)度知識(shí).此外,一種基于粒度因果關(guān)系的方法被用來挖掘間歇性生產(chǎn)特征下能源產(chǎn)消過程的因果關(guān)系,進(jìn)而建立基于因果推理調(diào)度模型[6].在智能學(xué)習(xí)與優(yōu)化調(diào)控方面,文獻(xiàn)[7]針對(duì)離散時(shí)間最優(yōu)控制設(shè)計(jì),介紹了集成學(xué)習(xí)逼近器和強(qiáng)化公式的評(píng)價(jià)智能方法.文獻(xiàn)[8]設(shè)計(jì)了一種基于折扣廣義值迭代的智能算法,有效解決了一類復(fù)雜非線性系統(tǒng)的最優(yōu)跟蹤控制問題.文獻(xiàn)[9]結(jié)合神經(jīng)標(biāo)識(shí)符學(xué)習(xí)和啟發(fā)式動(dòng)態(tài)規(guī)劃算法,解決了非仿射離散時(shí)間系統(tǒng)的最優(yōu)跟蹤控制問題.上述方法在智能優(yōu)化控制領(lǐng)域提出了創(chuàng)新性的思路.然而,由于生產(chǎn)工況的多樣性,能源系統(tǒng)的運(yùn)行條件可能會(huì)實(shí)時(shí)變化,需對(duì)能源發(fā)生、消耗和存儲(chǔ)過程中所包含的多工況知識(shí)進(jìn)行有效表示,并衡量它們對(duì)調(diào)度模型的影響,進(jìn)而實(shí)現(xiàn)對(duì)于調(diào)整方向和調(diào)度量的有效判斷.

針對(duì)包含多工況特性的建模方法,文獻(xiàn)[10]結(jié)合條件指示變量(專家知識(shí)) 和條件驅(qū)動(dòng)聚類建立工況劃分模型,可將時(shí)間尺度的非平穩(wěn)和瞬態(tài)過程巧妙地還原到不同的條件切片中,在同一條件切片內(nèi)揭示相似的過程特征.文獻(xiàn)[11]針對(duì)操作條件切換和生產(chǎn)產(chǎn)品變化,提出一種條件判別自編碼器來表征穩(wěn)態(tài)模式,并設(shè)計(jì)了基于注意力的評(píng)估器對(duì)暫態(tài)特征進(jìn)行描述.此外,文獻(xiàn)[12]提出了一種具有魯棒性的指數(shù)平穩(wěn)子空間分析算法,探索用于非平穩(wěn)過程監(jiān)控的自適應(yīng)策略.上述研究可以有效結(jié)合專家經(jīng)驗(yàn)和實(shí)際數(shù)據(jù),提出了面向多工況特性的精確建模方法.然而其主要針對(duì)工業(yè)暫態(tài)特性和過程監(jiān)控問題進(jìn)行分析,而本文方法側(cè)重于研究工業(yè)能源產(chǎn)消變化的穩(wěn)態(tài)過程.

近年來,基于深度網(wǎng)絡(luò)的表征學(xué)習(xí)技術(shù)受到廣泛關(guān)注.通過以低維向量的形式表達(dá)研究對(duì)象的語義信息,可以提高知識(shí)獲取、表示和推理的性能.其中,對(duì)比學(xué)習(xí)側(cè)重于從大規(guī)模數(shù)據(jù)中挖掘潛在信息,提高下游任務(wù)的數(shù)據(jù)表示能力.例如,文獻(xiàn)[13]通過預(yù)先訓(xùn)練的教師模型學(xué)習(xí)知識(shí)表示,并采用聚類方法將其簡化為偽標(biāo)簽,然后使用偽標(biāo)簽訓(xùn)練下游學(xué)生網(wǎng)絡(luò),以提升圖像分類精度.文獻(xiàn)[14]采用動(dòng)量對(duì)比學(xué)習(xí)實(shí)現(xiàn)新冠病毒的CT 圖像快速診斷.目前,對(duì)比學(xué)習(xí)方法還被廣泛應(yīng)用于語義分析[15]、推薦系統(tǒng)[16]和視覺表示[17]等研究領(lǐng)域,但在能源系統(tǒng)知識(shí)型工作中應(yīng)用較少.而由于能源系統(tǒng)優(yōu)化調(diào)度過程需結(jié)合機(jī)理知識(shí)、專家領(lǐng)域知識(shí)和運(yùn)行數(shù)據(jù)中的隱含知識(shí),包含復(fù)雜工況條件,因此采用深度對(duì)比網(wǎng)絡(luò)獲取顯性/隱性知識(shí)將是有益的嘗試.

粒度計(jì)算理論是通過粒度化的方式對(duì)不同尺度和層級(jí)的數(shù)據(jù)進(jìn)行統(tǒng)一描述,促進(jìn)了可用數(shù)據(jù)和存在性關(guān)系的知識(shí)組織方式[18].針對(duì)副產(chǎn)能源系統(tǒng)調(diào)度問題,通過時(shí)間跨度、幅值和線型等三維特征構(gòu)建能源數(shù)據(jù)的粒度知識(shí)表示,提出了基于協(xié)同條件聚類的長期預(yù)測模型[19].針對(duì)工業(yè)實(shí)際對(duì)于建?？煽啃缘男枨?分層粒度計(jì)算方法[20]被用來建立區(qū)間形式的預(yù)測模型.以設(shè)備變量信息粒為基本處理單元,粒度計(jì)算還結(jié)合了模糊邏輯和強(qiáng)化學(xué)習(xí)來獲得動(dòng)態(tài)調(diào)度策略[21-22].考慮到目前對(duì)比學(xué)習(xí)主要應(yīng)用于具有顯式語義描述的領(lǐng)域,因此對(duì)于工業(yè)能源系統(tǒng)的知識(shí)型工作,可采用粒度計(jì)算方法從能源數(shù)據(jù)中提取語義特征,為深度網(wǎng)絡(luò)提供更為豐富的數(shù)據(jù)信息.

本文面向鋼鐵燃?xì)猱a(chǎn)消過程的多工況特征,提出了一種基于分層粒度對(duì)比網(wǎng)絡(luò)的調(diào)度知識(shí)獲取與建模方法.首先通過粒度化的方式劃分和描述能源數(shù)據(jù),形成多維度特征語義表示.為了提取多工況調(diào)度知識(shí),利用專家經(jīng)驗(yàn)數(shù)據(jù)劃分樣本,構(gòu)建基于粒度對(duì)比學(xué)習(xí)的知識(shí)表征網(wǎng)絡(luò),并采用多層次的學(xué)習(xí)策略來學(xué)習(xí)經(jīng)驗(yàn)數(shù)據(jù)具有的多工況類別特性.為進(jìn)一步挖掘出深層次的隱藏信息,提出了一種基于閉環(huán)反饋機(jī)制的分層對(duì)比網(wǎng)絡(luò)模型.據(jù)我們所知,本文工作是對(duì)比學(xué)習(xí)首次應(yīng)用于鋼鐵工業(yè)能源系統(tǒng)的知識(shí)提取與優(yōu)化調(diào)度領(lǐng)域.實(shí)驗(yàn)部分結(jié)果表明了本文方法獲得的知識(shí)表示可擬合出專家水平的調(diào)度策略,并能夠有效提高燃?xì)庀到y(tǒng)的建模精度.

本文結(jié)構(gòu)如下: 第1 節(jié)就典型燃?xì)庀到y(tǒng)結(jié)構(gòu)和優(yōu)化調(diào)度過程中涉及的知識(shí)型工作作出簡單介紹及分析;第2 節(jié)描述基于分層粒度對(duì)比網(wǎng)絡(luò)的知識(shí)獲取及建模方法;第3 節(jié)給出大量的仿真實(shí)驗(yàn),充分驗(yàn)證所提方法的有效性;第4 節(jié)對(duì)全文進(jìn)行了總結(jié)和展望.

1 問題描述

鋼鐵燃?xì)庀到y(tǒng)是工業(yè)生產(chǎn)與能源消耗相互耦合的主體.圖1 所示為一個(gè)典型能源系統(tǒng)(高爐煤氣系統(tǒng)) 結(jié)構(gòu)圖,主要由煤氣發(fā)生用戶(高爐)、傳輸管網(wǎng)、煤氣柜以及一系列煤氣消耗用戶4 部分組成.其中,4 座高爐作為發(fā)生單元,每小時(shí)可以向傳輸管網(wǎng)輸送約180 萬立方米煤氣.傳輸系統(tǒng)包括管網(wǎng)、混合站和壓力站.消耗用戶主要包括煉焦?fàn)t、熱軋廠、冷軋廠、化工產(chǎn)品回收(Chemical product recycling,CPR)、低壓鍋爐(Low pressure boiler,LPB)、合成單元(Synthesis unit,SU) 和發(fā)電機(jī).由于4 座高爐在產(chǎn)生高爐煤氣的同時(shí),其自身配備的熱風(fēng)爐在切換過程中會(huì)消耗大量高爐煤氣,導(dǎo)致流入管網(wǎng)的煤氣流量頻繁波動(dòng).此外,在生產(chǎn)過程中還會(huì)出現(xiàn)諸多異常狀態(tài),如高爐減風(fēng)、設(shè)備參數(shù)變化等.為維持能源系統(tǒng)的平衡穩(wěn)定,現(xiàn)場操作人員需要監(jiān)控各能源用戶的運(yùn)行狀態(tài),進(jìn)而作出能源產(chǎn)消的工況判斷,在必要的情況下對(duì)一些可調(diào)整用戶(如電廠、低壓鍋爐等) 的煤氣消耗量做出調(diào)整(如圖2 所示),以保證煤氣柜的安全運(yùn)行,達(dá)到節(jié)能減排的目的.

圖1 典型鋼鐵工業(yè)燃?xì)庀到y(tǒng)結(jié)構(gòu)圖Fig.1 A typical structure of the gas system in steel industry

圖2 燃?xì)猱a(chǎn)消多工況特征及調(diào)度過程Fig.2 The multi-condition characteristics and their scheduling process of gas generation and consumption

考慮到燃?xì)庀到y(tǒng)的復(fù)雜結(jié)構(gòu),導(dǎo)致很難對(duì)整個(gè)系統(tǒng)的能源產(chǎn)消過程建立機(jī)理模型.另一方面,單純基于數(shù)據(jù)的方法無法區(qū)分出不同調(diào)度工況下的系統(tǒng)運(yùn)行狀態(tài)及差異.而知識(shí)型工作自動(dòng)化能夠?qū)⒔?jīng)驗(yàn)和數(shù)據(jù)緊密聯(lián)系,有針對(duì)性地提取不同工況條件下的深層次調(diào)度知識(shí),并通過知識(shí)的表示及處理方法實(shí)現(xiàn)精準(zhǔn)的判斷和創(chuàng)新性的決策任務(wù)[23].因此,如何從數(shù)據(jù)中提取出與調(diào)度工況和系統(tǒng)狀態(tài)相關(guān)的知識(shí),構(gòu)建關(guān)于鋼鐵副產(chǎn)能源系統(tǒng)的知識(shí)獲取及表示方法,對(duì)于其優(yōu)化調(diào)度工作具有重要意義.

2 基于分層粒度對(duì)比網(wǎng)絡(luò)知識(shí)獲取與表示

考慮到燃?xì)猱a(chǎn)消過程的復(fù)雜工況及其對(duì)于調(diào)度決策的影響,本文提出一種基于分層粒度對(duì)比網(wǎng)絡(luò)的調(diào)度知識(shí)獲取與表示方法.整體架構(gòu)如圖3 所示,可分為三個(gè)階段,即數(shù)據(jù)預(yù)處理與粒度化、分層粒度對(duì)比網(wǎng)絡(luò)構(gòu)建及調(diào)度實(shí)施階段.

圖3 所提方法整體框架圖Fig.3 The overall framework of the proposed method

第一階段將主要用戶數(shù)據(jù)進(jìn)行濾波處理,根據(jù)能源數(shù)據(jù)的波動(dòng)語義構(gòu)建特征信息粒.第二階段利用專家經(jīng)驗(yàn)知識(shí)建立粒度對(duì)比網(wǎng)絡(luò),形成定性的工況知識(shí)表示.而后通過定義輸出層得到現(xiàn)有知識(shí)表示的評(píng)價(jià)函數(shù),依據(jù)定量的評(píng)價(jià)反饋結(jié)果添加表示層,并利用分層對(duì)比學(xué)習(xí)模型細(xì)化工況特征表示.

第三階段,首先根據(jù)能源用戶的實(shí)時(shí)狀態(tài),根據(jù)建立的分層對(duì)比網(wǎng)絡(luò)獲得多工況特征的組合向量,而后根據(jù)不同的下游任務(wù)建立相關(guān)預(yù)測及調(diào)度模型,獲得完整的調(diào)度方案.

2.1 基于生產(chǎn)語義的數(shù)據(jù)粒度化

目前深度對(duì)比學(xué)習(xí)主要用于處理文本、圖像等具有顯式語義描述的領(lǐng)域,通過對(duì)圖片數(shù)據(jù)的增強(qiáng)(如隨機(jī)剪切、隨機(jī)顏色失真等) 來構(gòu)建適用于處理圖像信息的表示形式.針對(duì)包含時(shí)變信息和多因素影響的工業(yè)能源系統(tǒng)數(shù)據(jù),采用粒度計(jì)算的方式提取語義信息,形成適合于下游深度網(wǎng)絡(luò)的數(shù)據(jù)表示形式.考慮到能源數(shù)據(jù)的波動(dòng)趨勢包含豐富的生產(chǎn)實(shí)際意義,不同的趨勢特征往往對(duì)應(yīng)不同的設(shè)備運(yùn)行或能源產(chǎn)消工況,本文首先根據(jù)數(shù)據(jù)的趨勢特征劃分?jǐn)?shù)據(jù)粒,并建立相對(duì)應(yīng)的特征描述方式.

在一般情況下,工業(yè)時(shí)間序列可以劃分為時(shí)間維度上的一系列連續(xù)趨勢片段(信息粒),這些片段可由一組原型基底通過橫向和縱向的伸縮變換進(jìn)行近似[19].本文構(gòu)建了1/4 周期的正弦曲線作為基底(如式(1)所示),每組基底可以代表一類典型的波動(dòng)趨勢(單調(diào)性和凹凸性).此外,采用直線來描述曲線為單調(diào)線性的特殊情況.

其中,φ代表不同的正弦周期.這樣一來,可通過基底的橫向和縱向的伸縮變換來近似任意的趨勢片段,如y=Asin((2/π)Dx+φ)表示對(duì)基底進(jìn)行了橫向伸縮尺度D(時(shí)間跨度) 和縱向伸縮尺度A(波動(dòng)幅值) 之后的近似曲線.

為了匹配原始時(shí)間序列并獲得基于趨勢的粒度,本文根據(jù)單調(diào)和凹凸特性對(duì)數(shù)據(jù)序列進(jìn)行劃分.借鑒文獻(xiàn)[19]中的方式,給定序列X={x1,x2,···,xn},首先需要判斷X中每個(gè)數(shù)據(jù)點(diǎn)xi領(lǐng)域內(nèi)小段曲線的趨勢特征(單調(diào)性、凹凸性),記為數(shù)據(jù)點(diǎn)xi的標(biāo)識(shí)Fi.考慮時(shí)間序列的一階和二階動(dòng)態(tài)特性,命名為{Δ2,Δ3,···,ΔN}和{E3,E4,···,EN},其中Δi=xi-xi-1,Ei=Δi-Δi-1.根據(jù)單調(diào)性、凹凸性定義,Δi及 ΔiΔi-1分別表示數(shù)據(jù)點(diǎn)xi與xi-1之間小段曲線的單調(diào)性及時(shí)間序列在點(diǎn)xi-1處的單調(diào)性變化,同時(shí)Ei表示該段曲線的凹凸性.具體的數(shù)據(jù)點(diǎn)標(biāo)識(shí)判斷標(biāo)準(zhǔn)如下所示,其中i=3,4,···,N.為了實(shí)現(xiàn)信息粒的語義劃分,依次檢索X中每個(gè)數(shù)據(jù)點(diǎn)的標(biāo)識(shí)Fi,在數(shù)據(jù)點(diǎn)標(biāo)識(shí)發(fā)生改變處劃分?jǐn)?shù)據(jù).

在實(shí)際應(yīng)用中,可根據(jù)運(yùn)行過程中不斷產(chǎn)生的能源數(shù)據(jù)判斷當(dāng)前序列的趨勢特性是否發(fā)生變化,以此來劃分?jǐn)?shù)據(jù)序列,并構(gòu)建在線樣本的粒度化輸入.需要注意的是在信息粒劃分之前,本文采用經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical mode decomposition,EMD)對(duì)原始的訓(xùn)練數(shù)據(jù)進(jìn)行濾波.由于EMD 過程需要計(jì)算由各個(gè)極值點(diǎn)形成的包絡(luò)線,因此需等待數(shù)據(jù)到達(dá)極值之后再進(jìn)行濾波.若需要立即給出調(diào)度策略,亦可將當(dāng)前時(shí)刻作為極值點(diǎn),并結(jié)合歷史數(shù)據(jù)來進(jìn)行濾波計(jì)算.

為反映能源用戶運(yùn)行狀態(tài)的語義特征,劃分后的數(shù)據(jù)粒G被進(jìn)一步描述為三維特征向量的形式,包括其對(duì)應(yīng)的橫向和縱向伸縮尺度D和A,以及代表基底類型的線型特征L[19],記為G={D,A,L}.

2.2 基于粒度對(duì)比網(wǎng)絡(luò)的知識(shí)粗獲取

本文基于第2.1 節(jié)中的信息粒的語義描述,利用調(diào)度過程中的專家經(jīng)驗(yàn)知識(shí)(如調(diào)整方向、調(diào)整量大小等) 劃分潛在空間的對(duì)比學(xué)習(xí)樣本,提出粒度對(duì)比網(wǎng)絡(luò)模型實(shí)現(xiàn)副產(chǎn)能源系統(tǒng)的調(diào)度知識(shí)粗提取.

對(duì)比學(xué)習(xí)通過潛在空間中的對(duì)比損失來最大化相似工況樣本不同隱性特征之間的一致性,從而學(xué)習(xí)知識(shí)的表示形式[17].傳統(tǒng)對(duì)比學(xué)習(xí)方法通過吸引或排斥來構(gòu)建類似于二分類的處理方式.考慮到由專家經(jīng)驗(yàn)知識(shí)帶來多分類情況,因此不同于傳統(tǒng)方法,本文對(duì)所建立的模型執(zhí)行多個(gè)訓(xùn)練步驟.在訓(xùn)練過程中首先根據(jù)調(diào)整方向進(jìn)行二分類的對(duì)比學(xué)習(xí),之后通過構(gòu)建具有不同調(diào)整量大小的輸入樣本再進(jìn)行多次學(xué)習(xí),使得輸出的表示向量能夠區(qū)分多類別的專家知識(shí).

對(duì)比網(wǎng)絡(luò)模型的輸入為能源發(fā)生、消耗以及存儲(chǔ)等流量數(shù)據(jù),即其中e表示不同調(diào)度事件,n為輸入因素個(gè)數(shù).該網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示,可分為以下5 個(gè)部分:

圖4 粒度對(duì)比網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 The structure of the granular contrastive network

1) 首先根據(jù)歷史時(shí)刻的專家經(jīng)驗(yàn)κ(調(diào)整方向、調(diào)整量大小等) 將數(shù)據(jù)樣本定性地劃分為不同的子集 {si1,si2,···},{sj1,sj2,···},···.

2)采用第2.1節(jié)中的粒度化方式對(duì)樣本子集中的各輸入因素?cái)?shù)據(jù)進(jìn)行語義增強(qiáng),即

3) 基于神經(jīng)網(wǎng)絡(luò)的編碼器f(·)從數(shù)據(jù)的粒度化特征描述中提取表示向量.為了學(xué)習(xí)各輸入因素粒度變量的時(shí)變特性,本文采用長短時(shí)記憶(Longshort-term memory,LSTM)網(wǎng)絡(luò)[24]來獲得he,τ=,其中τ為數(shù)據(jù)劃分后信息粒序列的時(shí)間步.為網(wǎng)絡(luò)的隱藏表示,計(jì)算為

其中,T為LSTM 時(shí)間步長.在LSTM 中,采用門控機(jī)制調(diào)節(jié)內(nèi)部記憶單元的輸出以學(xué)習(xí)輸入序列數(shù)據(jù)的復(fù)雜表示[25].其中存儲(chǔ)單元可記憶任意時(shí)間間隔的信息,并且由3 種門管理出入單元的信息流.輸出(簡化為hτ) 可被看作為輸入、隱層狀態(tài)hτ-1以及存儲(chǔ)單元狀態(tài)cτ-1的加權(quán)組合.其中,遺忘門fτ,輸入門iτ,存儲(chǔ)單元cτ,輸出門oτ和隱層狀態(tài)hτ可被計(jì)算為

其中,fti表示信息粒G中的特征描述,即{D,A,L}.可以看出式(4)～ 式(6)依賴于hτ-1和當(dāng)前的輸入,并且式(6)中的cτ和式(8)中的hτ與它們前一時(shí)間步的值相關(guān).將式(6)代入式(8)得到關(guān)于歷史值的加權(quán)形式,即

從式(9)可以看出,hτ不僅包含了先前時(shí)間步的信息,還與各粒度特征的加權(quán)信息相關(guān).而傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的非線性預(yù)測器,其輸出是輸入的簡單加權(quán)組合,使得權(quán)值未能隨著序列而改變,無法考慮到燃?xì)庀到y(tǒng)產(chǎn)、消、儲(chǔ)數(shù)據(jù)所包含的時(shí)序關(guān)聯(lián)和粒度語義特征之間的協(xié)同關(guān)系.因此,本文采用LSTM可更為靈活地計(jì)算非線性權(quán)值,將能源產(chǎn)消用戶的時(shí)間依賴關(guān)系及特征語義關(guān)聯(lián)反映到hτ和cτ中.

圖5 樣本數(shù)據(jù)知識(shí)表征的計(jì)算過程描述Fig.5 The calculation process of the knowledge representation of sample data

5) 為對(duì)比學(xué)習(xí)任務(wù)定義損失函數(shù).給定輸入樣本集{se},假設(shè)樣本集中包含屬于不同潛在空間的樣本si和sk,粒度對(duì)比學(xué)習(xí)的任務(wù)旨在通過知識(shí)表示向量zi,zk對(duì)樣本進(jìn)行區(qū)分.

損失函數(shù)使得同一潛在空間樣本(i,j)的表示向量相近,而區(qū)分不同空間樣本(i,k)的表示.本文定義損失函數(shù)如下

其中,p表示與zi屬于同一潛在空間的樣本個(gè)數(shù);q為不同空間樣本個(gè)數(shù);d(u,v)表示向量間的距離,這里采用余弦相似度來衡量.從式(10)中可以看出,假設(shè)樣本數(shù)量為N,若在訓(xùn)練模型時(shí)使用了所有可能的數(shù)據(jù)對(duì),則用于訓(xùn)練的數(shù)據(jù)信息量可達(dá)到N(N-1)/2.也就是說相比于經(jīng)典的有監(jiān)督學(xué)習(xí)方法,對(duì)比學(xué)習(xí)模型的訓(xùn)練過程要多出近似于(N-1)/2個(gè)樣本,因此能夠更為高效地利用相對(duì)稀疏的專家調(diào)度數(shù)據(jù).

2.3 基于分層粒度對(duì)比學(xué)習(xí)的知識(shí)精煉

上述過程獲得的工況表示雖然可以涵蓋大部分系統(tǒng)運(yùn)行情況,但是無法獲取經(jīng)驗(yàn)數(shù)據(jù)中更深層次的隱性知識(shí),本節(jié)進(jìn)一步提出一種分層粒度對(duì)比學(xué)習(xí)模型實(shí)現(xiàn)知識(shí)的細(xì)化表示.

定義驗(yàn)證集{s1,s2,···,sl},根據(jù)第2.2 節(jié)學(xué)習(xí)到的模型得到相應(yīng)的工況表示{z1,z2,···,zl}.在此基礎(chǔ)上,添加輸出層來學(xué)習(xí)下游任務(wù),對(duì)獲取的知識(shí)表示進(jìn)行評(píng)價(jià).本文通過在工況表示的基礎(chǔ)上增加MLP 層來擬合能源系統(tǒng)調(diào)度時(shí)刻的調(diào)整量,進(jìn)而判斷當(dāng)前的工況表示是否能夠滿足實(shí)際應(yīng)用條件.若樣本數(shù)據(jù)集的誤差高于某一設(shè)定的閾值,即

其中,ye為真實(shí)調(diào)整量.說明當(dāng)前的空間表示無法覆蓋該樣本集中所隱含的工況知識(shí).這種情況下需進(jìn)一步采用對(duì)比學(xué)習(xí)的方式擴(kuò)展空間表示,以區(qū)分與驗(yàn)證集中的其他樣本,直到所有的樣本均滿足評(píng)價(jià)函數(shù)條件為止,因此,較小的閾值θ會(huì)增加對(duì)比網(wǎng)絡(luò)的層數(shù).本文在知識(shí)粗提取的基礎(chǔ)上,通過選擇合適的閾值,使得模型能夠有效覆蓋隱含的調(diào)度工況和特征.分層粒度對(duì)比學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)如圖6 所示.

圖6 分層粒度對(duì)比網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 The structure of hierarchical granular contrastive network

圖6 中最底層所示的網(wǎng)絡(luò)為傳統(tǒng)的LSTM 網(wǎng)絡(luò),在知識(shí)細(xì)化過程中LSTM 的層數(shù)不斷增多,以提取更深層次的隱藏信息.中間層為采用MLP 的特征映射層,用于獲得工況知識(shí)的表示向量,并在此基礎(chǔ)上構(gòu)建對(duì)比學(xué)習(xí)損失函數(shù).在實(shí)際應(yīng)用過程中,共增加了2 層對(duì)比網(wǎng)絡(luò),以權(quán)衡知識(shí)獲取表現(xiàn)和網(wǎng)絡(luò)模型復(fù)雜度.需要注意的是,由于多層網(wǎng)絡(luò)中當(dāng)前層級(jí)需要學(xué)習(xí)與上一層級(jí)不同的隱性特征,因此損失函數(shù)中各個(gè)層級(jí)的特征表示均為相互排斥.本文定義第i層粒度對(duì)比網(wǎng)絡(luò)的損失函數(shù)如下

其中,r為未滿足條件的樣本數(shù),l為驗(yàn)證集樣本總數(shù).

在訓(xùn)練過程中,采用一種批次訓(xùn)練方式,從低層次到高層次依次訓(xùn)練LSTMi及MLPi,即在完成低層級(jí)的網(wǎng)絡(luò)訓(xùn)練后,若根據(jù)判斷條件需進(jìn)一步增添對(duì)比學(xué)習(xí)層,則在保持現(xiàn)有層級(jí)權(quán)值參數(shù)不變的情況下訓(xùn)練下一層級(jí)的網(wǎng)絡(luò)模型.因此,本文提出的分層粒度對(duì)比網(wǎng)絡(luò)在訓(xùn)練過程可有效避免由深層網(wǎng)絡(luò)結(jié)構(gòu)帶來的梯度消失影響.

分層粒度對(duì)比網(wǎng)絡(luò)的實(shí)施過程如圖7 所示,輸入樣本se到模型中得到多層級(jí)的工況知識(shí)表示{z1,z2,···,zn},將n個(gè)知識(shí)表示拼接為行向量[z1,z2,···,zn]以整合不同層級(jí)的特征,并定義輸出層來實(shí)現(xiàn)知識(shí)表示的加權(quán)和選擇.

圖7 分層粒度對(duì)比網(wǎng)絡(luò)實(shí)施過程Fig.7 The implement process of the hierarchical granular contrastive network

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)定

為了驗(yàn)證本文方法的有效性,采用國內(nèi)某鋼鐵企業(yè)高爐煤氣系統(tǒng)2019 年4 月的實(shí)際運(yùn)行數(shù)據(jù),從中選取了200 組調(diào)度時(shí)刻(來自現(xiàn)場人工記錄).數(shù)據(jù)采樣間隔為1 分鐘.按照5 : 4 : 1 的比例將樣本隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測試集.訓(xùn)練集和驗(yàn)證集分別用于知識(shí)粗提取和知識(shí)精煉過程,測試集用于測試模型效果.每個(gè)數(shù)據(jù)集均包含煤氣過剩和短缺情況(通過人工調(diào)度量進(jìn)行區(qū)分),代表不同的能源系統(tǒng)運(yùn)行狀態(tài).考慮由數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)(Supervisory control and data acquisition,SCADA)采集的工業(yè)數(shù)據(jù)本身包含異常點(diǎn)、噪聲及缺失數(shù)據(jù),因此在建模之前需要進(jìn)行數(shù)據(jù)預(yù)處理過程,包括對(duì)原始數(shù)據(jù)進(jìn)行異常點(diǎn)刪除、缺失數(shù)據(jù)填補(bǔ)和濾波去噪.此外,在數(shù)據(jù)輸入到分層對(duì)比網(wǎng)絡(luò)之前,需對(duì)粒度化的特征輸入進(jìn)行歸一化處理,以提升網(wǎng)絡(luò)模型的收斂速度.

采用Tensorflow 深度學(xué)習(xí)平臺(tái)和NVIDIA TITAN Xp 圖形處理單元執(zhí)行實(shí)驗(yàn),模型中LSTM 單元和MLP 均為單隱層結(jié)構(gòu)(每層包含128 個(gè)節(jié)點(diǎn)),通過隨機(jī)正態(tài)分布初始化網(wǎng)絡(luò)權(quán)重,并選取均方誤差作為最小化的損失函數(shù).訓(xùn)練過程中采用Adam 算法優(yōu)化求解,其他主要參數(shù)設(shè)置如下: 用于每次訓(xùn)練過程的數(shù)據(jù)批尺寸batch_size=10;訓(xùn)練回合數(shù)training_epoch=40;優(yōu)化算法學(xué)習(xí)率learning_rate=5 × 10-4.

3.2 能源調(diào)度量估計(jì)結(jié)果

鋼鐵燃?xì)庀到y(tǒng)的調(diào)度過程需通過對(duì)能源存儲(chǔ)量的實(shí)時(shí)估計(jì)來確定調(diào)整時(shí)刻,并根據(jù)調(diào)度模型計(jì)算出系統(tǒng)調(diào)整量.本文基于多層粒度對(duì)比學(xué)習(xí)訓(xùn)練得到的特征表示,通過定義不同的輸出層來實(shí)現(xiàn)對(duì)于系統(tǒng)調(diào)整量的估計(jì)任務(wù).

圖8(a)比較了不同學(xué)習(xí)階段的調(diào)度量計(jì)算結(jié)果.其中以人工調(diào)度數(shù)據(jù)作為基準(zhǔn)參照,對(duì)比了專家知識(shí)的二分類、多分類對(duì)比學(xué)習(xí)以及提出的分層網(wǎng)絡(luò)模型結(jié)果.調(diào)度量為正數(shù)表示煤氣剩余,此時(shí)操作員制定合理的調(diào)度方案,通過增加一些可調(diào)用戶的消耗量以降低柜位高度;否則視為煤氣短缺情況.從圖8(a)中可以看出,基于專家知識(shí)的學(xué)習(xí)過程無法判斷出第5 個(gè)測試樣本的系統(tǒng)運(yùn)行狀態(tài)(如圖8(a)圓圈中所示),給出了錯(cuò)誤的調(diào)度方向.而經(jīng)過多層對(duì)比學(xué)習(xí)后,這些狀態(tài)可被所提出的模型準(zhǔn)確辨識(shí),說明了本文方法對(duì)于深層次調(diào)度工況知識(shí)獲取的有效性.

圖8 調(diào)度量結(jié)果對(duì)比Fig.8 Comparative results of scheduling amount

此外,圖9 給出了各階段對(duì)比模型的計(jì)算結(jié)果對(duì)于專家調(diào)整量的絕對(duì)誤差.以平均絕對(duì)誤差(Mean absolute error,MAE),平均絕對(duì)百分誤差(Mean absolute percentage error,MAPE) 和均方根誤差(Root mean square error,RMSE) 作為評(píng)價(jià)指標(biāo),這些指標(biāo)通過下式計(jì)算

圖9 各階段對(duì)比學(xué)習(xí)模型的誤差比較Fig.9 Absolute error of the scheduling amount during different contrastive learning phases

其中,n為測試樣本數(shù)量,yi為真實(shí)值,y?i為估計(jì)值.此外,表1 列出了詳細(xì)的誤差統(tǒng)計(jì)結(jié)果.從圖9和表1 中可以看出,基于專家知識(shí)的多分類模型相比于二分類模型在擬合效果方面無明顯提高,這說明僅利用定性或顯性知識(shí)構(gòu)建的對(duì)比學(xué)習(xí)模型不足以覆蓋隱含的調(diào)度工況或特征.而進(jìn)一步建立的分層次粒度對(duì)比網(wǎng)絡(luò)可通過多層次的定量學(xué)習(xí)幫助模型達(dá)到與調(diào)度專家類似的水平,表明所提分層次結(jié)構(gòu)對(duì)于隱性調(diào)度知識(shí)具有學(xué)習(xí)能力.

表1 各對(duì)比學(xué)習(xí)階段的誤差統(tǒng)計(jì)Table 1 Error statistical results of different contrastive learning phases

為了說明本文所建立的多工況知識(shí)模型的有效性,選取一些常見的數(shù)值擬合和調(diào)度方法,即深度學(xué)習(xí)方法(LSTM)[26]、強(qiáng)化學(xué)習(xí)調(diào)度方法(Actorcritic)[22]和核函數(shù)方法(最小二乘支持向量機(jī),Leastsquares support-vector machine,LSSVM)[27]作為對(duì)比,所用方法的參數(shù)均通過試錯(cuò)的方式進(jìn)行優(yōu)化調(diào)整.類似地,圖8(b)、圖10 以及表2 給出了各方法對(duì)于調(diào)整量的計(jì)算結(jié)果及誤差和耗時(shí)比較.如圖8(b)中圓圈部分所示,LSSVM 和LSTM 方法對(duì)于調(diào)度方向的判斷存在偏差,這可能是因?yàn)檫@兩種方法僅通過輸入與輸出數(shù)據(jù)的非線性關(guān)系進(jìn)行建模和擬合,無法考慮到能源系統(tǒng)多工況運(yùn)行場景.由于采用關(guān)于調(diào)度評(píng)價(jià)指標(biāo)的優(yōu)化模型,Actor-critic 方法能夠準(zhǔn)確判斷出測試樣本的調(diào)度方向,但從圖10和表2 中的結(jié)果可以看出,其對(duì)于人工經(jīng)驗(yàn)的擬合結(jié)果不及本文方法.表2 中還給出了提出方法與各對(duì)比方法的計(jì)算耗時(shí)(Time consumption,TC) 統(tǒng)計(jì).由于采用核學(xué)習(xí)的方式,LSSVM 的計(jì)算耗時(shí)最短;與傳統(tǒng)有監(jiān)督學(xué)習(xí)方式不同,Actor-critic 需要從環(huán)境中學(xué)習(xí)相關(guān)特征,因此其學(xué)習(xí)過程需要更長的時(shí)間;而所提方法的訓(xùn)練過程包含了知識(shí)粗提取和知識(shí)精煉兩部分且網(wǎng)絡(luò)結(jié)構(gòu)更為復(fù)雜,因此相比于經(jīng)典的LSTM 方法更為耗時(shí).考慮到由于副產(chǎn)能源調(diào)度具有事件驅(qū)動(dòng)特征,相鄰調(diào)度過程往往間隔數(shù)小時(shí)以上,因此所提方法不足1 分鐘的訓(xùn)練代價(jià)能夠滿足工業(yè)現(xiàn)場的調(diào)度需求.

圖10 不同方法獲得的調(diào)度量絕對(duì)誤差對(duì)比Fig.10 Absolute error of the scheduling amount obtained by the comparative algorithms

進(jìn)一步地,比較表1 中二分類和多分類知識(shí)學(xué)習(xí)與表2 中對(duì)比方法的擬合精度可以發(fā)現(xiàn),無論是否進(jìn)行分層次學(xué)習(xí),采用專家經(jīng)驗(yàn)知識(shí)構(gòu)建表征學(xué)習(xí)模型相比于傳統(tǒng)方法對(duì)于調(diào)度量估計(jì)方面具有優(yōu)勢,這也說明了知識(shí)-數(shù)據(jù)協(xié)同建模相比于單純的數(shù)據(jù)驅(qū)動(dòng)方法在能源調(diào)度方面的優(yōu)勢.

表2 各對(duì)比方法的誤差及耗時(shí)統(tǒng)計(jì)Table 2 Statistical results of error and time consumption of the comparative algorithms

3.3 能源存儲(chǔ)量的預(yù)測建模比較

鑒于鋼鐵燃?xì)庹{(diào)度屬于一類事件驅(qū)動(dòng)的決策過程,因此對(duì)于調(diào)度時(shí)刻的準(zhǔn)確判斷亦十分重要.現(xiàn)有的調(diào)度方法大多采用預(yù)測建模的方式來估計(jì)能源存儲(chǔ)量的變化趨勢,進(jìn)而作出調(diào)度判斷和決策.本文選取LSSVM 作為柜位預(yù)測模型,分別采用單工況建模和多工況模型(基于知識(shí)表示劃分訓(xùn)練樣本后,建立組合預(yù)測模型) 來驗(yàn)證所獲得調(diào)度知識(shí)的有效性.根據(jù)生產(chǎn)現(xiàn)場的長期調(diào)研可知,由于生產(chǎn)作業(yè)部門在日間需要進(jìn)行方案制定、計(jì)劃調(diào)整、檢測分析等會(huì)議,導(dǎo)致其生產(chǎn)頻率比夜間的頻率低,因此柜位多接近于存儲(chǔ)上限,而夜間場景的柜位相對(duì)較低,本文分別考慮了這兩種場景下的預(yù)測建模精度.

圖11 所示為不同場景下的對(duì)比結(jié)果.表3 中進(jìn)一步給出了結(jié)果的誤差統(tǒng)計(jì).很顯然根據(jù)所提出的調(diào)度知識(shí)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)進(jìn)行工況劃分后,所建立的組合模型相比于單工況模型具有更高的預(yù)測精度.上述結(jié)果表明,本文所提出的分層粒度對(duì)比網(wǎng)絡(luò)能夠?qū)φ{(diào)度過程中包含的多工況知識(shí)進(jìn)行認(rèn)知和表示,而對(duì)于知識(shí)的有效運(yùn)用則有助于提高燃?xì)庀到y(tǒng)的建模精度.

表3 不同場景下的煤氣柜位預(yù)測誤差統(tǒng)計(jì)Table 3 The error statistics of the gas tank level prediction under different situations

圖11 通過知識(shí)表示構(gòu)建多工況組合模型與單一預(yù)測建模的結(jié)果對(duì)比Fig.11 Prediction modeling results with and without using the granular contrastive learning model for extracting multiple working-condition knowledge

4 結(jié)論

對(duì)于鋼鐵燃?xì)庀到y(tǒng)的實(shí)時(shí)有效調(diào)度是實(shí)現(xiàn)企業(yè)節(jié)能降耗和智能制造的關(guān)鍵.考慮到燃?xì)猱a(chǎn)消過程包含多工況特征,本文通過粒度計(jì)算的方式提取能源數(shù)據(jù)語義特征,提出了一種基于多層粒度對(duì)比網(wǎng)絡(luò)的知識(shí)獲取與建模方法.其優(yōu)勢在于能夠有效獲取多工況及深層次的調(diào)度知識(shí),從而有助于能源系統(tǒng)的建模過程和調(diào)度判斷.實(shí)驗(yàn)部分計(jì)算和對(duì)比了不同工況下的預(yù)測精度及調(diào)度策略,結(jié)果表明提出方法獲得的知識(shí)表示可進(jìn)一步提高建模精度,并達(dá)到與人類專家一致的決策水平.

另一方面,由于所提方法尚無法實(shí)現(xiàn)基于調(diào)度評(píng)價(jià)的知識(shí)和策略優(yōu)化過程,因此一些相關(guān)的改進(jìn)工作值得進(jìn)一步關(guān)注.首先,可建立相關(guān)評(píng)估體系來指導(dǎo)對(duì)比學(xué)習(xí)中潛在空間的劃分,進(jìn)一步實(shí)現(xiàn)知識(shí)發(fā)現(xiàn)、更新知識(shí)表示.其次,所提出的知識(shí)表示架構(gòu)還可結(jié)合強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)對(duì)于調(diào)度策略的優(yōu)化過程,將對(duì)比學(xué)習(xí)獲得的知識(shí)表示作為強(qiáng)化學(xué)習(xí)狀態(tài)來約束學(xué)習(xí)環(huán)境,可簡化狀態(tài)空間,以提升學(xué)習(xí)表現(xiàn)和收斂能力,獲得更優(yōu)的調(diào)度策略.