基于深度強(qiáng)化學(xué)習(xí)的煉鋼計(jì)劃調(diào)度系統(tǒng)設(shè)計(jì)與應(yīng)用

宮曉磊

（承德承鋼工程技術(shù)有限公司，河北 承德 067001）

鋼鐵行業(yè)是帶動(dòng)國民經(jīng)濟(jì)發(fā)展的基礎(chǔ)行業(yè)，我國已經(jīng)成為世界鋼鐵生產(chǎn)大國，每年的粗鋼產(chǎn)量均位居世界第一。同時(shí)，在這樣的行業(yè)背景下，我國內(nèi)部鋼鐵企業(yè)的競爭壓力也在逐漸提高，需要針對各類特殊鋼種，對其加工工藝及生產(chǎn)工藝進(jìn)行不斷研發(fā)，從而緊跟鋼鐵企業(yè)信息化建設(shè)的步伐。近幾年，鋼鐵行業(yè)在發(fā)展過程中，經(jīng)歷了淘汰落后產(chǎn)能，限制粗鋼產(chǎn)量等各項(xiàng)調(diào)控階段，使得目前鋼鐵行業(yè)得以煥然一新。煉鋼計(jì)劃調(diào)度是鋼鐵企業(yè)組織和生產(chǎn)活動(dòng)中十分重要的一個(gè)環(huán)節(jié)，許多規(guī)模較大的企業(yè)均已經(jīng)具備了較為完善的ERP企業(yè)資源計(jì)劃系統(tǒng)，同時(shí)該系統(tǒng)也逐步從商業(yè)訂單轉(zhuǎn)變?yōu)獒槍ιa(chǎn)訂單進(jìn)行管理的系統(tǒng)[1]。但目前這一系統(tǒng)針對車間中煉鋼計(jì)劃的調(diào)度水平較低，并且無法根據(jù)煉鋼計(jì)劃需要實(shí)現(xiàn)對調(diào)度的快速響應(yīng)，導(dǎo)致最終鋼鐵企業(yè)的煉鋼質(zhì)量和發(fā)展水平受到嚴(yán)重限制。深度強(qiáng)化學(xué)習(xí)是一種將深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合的方法，結(jié)合兩種學(xué)習(xí)方法的應(yīng)用，進(jìn)一步提高其感知能力和決策能力。當(dāng)前這一方法在機(jī)器人領(lǐng)域中的應(yīng)用十分廣泛，但在鋼鐵行業(yè)當(dāng)中并未涉及。因此，針對當(dāng)前煉鋼計(jì)劃調(diào)度存在的問題，基于深度強(qiáng)化學(xué)習(xí)的應(yīng)用優(yōu)勢，開展對煉鋼計(jì)劃調(diào)度系統(tǒng)的設(shè)計(jì)與應(yīng)用研究。

1 基于深度強(qiáng)化學(xué)習(xí)的煉鋼計(jì)劃調(diào)度系統(tǒng)硬件

由于在煉鋼的過程中煉鋼設(shè)備直接受到鋼包的制約，因此在煉鋼計(jì)劃調(diào)度系統(tǒng)當(dāng)中，應(yīng)當(dāng)將煉鋼設(shè)備調(diào)度系統(tǒng)作為整個(gè)煉鋼計(jì)劃調(diào)度的子系統(tǒng)[2]。圖1為本文基于深度強(qiáng)化學(xué)習(xí)的煉鋼計(jì)劃調(diào)度系統(tǒng)硬件組成示意圖。

圖1 基于深度強(qiáng)化學(xué)習(xí)的煉鋼計(jì)劃調(diào)度系統(tǒng)硬件組成

結(jié)合圖1中所示的硬件組成，考慮到煉鋼計(jì)劃調(diào)度需要，針對MES接口、數(shù)據(jù)采集器進(jìn)行優(yōu)化選型。針對MES接口選擇，需要確保接口能夠?qū)崿F(xiàn)對連崗計(jì)劃調(diào)度各類相關(guān)數(shù)據(jù)信息的傳輸，基于此本文選用MAXIM452-50型號(hào)MES接口。該型號(hào)接口的技術(shù)參數(shù)如表1所示。

表1 MAXIM452-50型號(hào)MES接口技術(shù)參數(shù)表

將上述MAXIM452-50型號(hào)接口作為本文調(diào)度系統(tǒng)當(dāng)中的MES接口。完成對MES接口的選擇后，針對數(shù)據(jù)采集裝置進(jìn)行選擇，選用X8AT16-5610型號(hào)移動(dòng)終端數(shù)據(jù)采集器作為本文系統(tǒng)當(dāng)中的數(shù)據(jù)采集裝置，該型號(hào)數(shù)據(jù)采集器配有802.11a/b/g/nWLAN無線模塊，可根據(jù)系統(tǒng)不同運(yùn)行環(huán)境改變數(shù)據(jù)采集方式[3]。同時(shí)，該型號(hào)數(shù)據(jù)采集器可以提供更加穩(wěn)定的網(wǎng)絡(luò)連接，實(shí)現(xiàn)響應(yīng)速度更快的數(shù)據(jù)采集，即使在信號(hào)較弱或通信不暢通的情況下依然能夠保證數(shù)據(jù)采集的質(zhì)量。除此之外，該型號(hào)數(shù)據(jù)采集器具備工業(yè)級防護(hù)能力，達(dá)到IP65防護(hù)等級和多次1.5米高度跌落混凝土地面標(biāo)準(zhǔn)，因此能夠充分適應(yīng)煉鋼復(fù)雜環(huán)境。

2 基于深度強(qiáng)化學(xué)習(xí)的煉鋼計(jì)劃調(diào)度系統(tǒng)軟件

2.1 煉鋼計(jì)劃調(diào)度生產(chǎn)數(shù)據(jù)庫建立

煉鋼計(jì)劃調(diào)度行為實(shí)施過程中，會(huì)產(chǎn)生大量的數(shù)據(jù)，為了避免系統(tǒng)軟件功能的開發(fā)受到大量冗余數(shù)據(jù)的干擾，可在完成系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)的基礎(chǔ)上，采用構(gòu)建煉鋼計(jì)劃調(diào)度生產(chǎn)數(shù)據(jù)庫的方式，進(jìn)行調(diào)度信息與相關(guān)資源的存儲(chǔ)。數(shù)據(jù)庫與系統(tǒng)信息采用接口進(jìn)行連接，在此過程中，使用ODBC技術(shù)，根據(jù)數(shù)據(jù)包信息標(biāo)志，將對應(yīng)的調(diào)度生產(chǎn)信息導(dǎo)入數(shù)據(jù)庫內(nèi)[4]。點(diǎn)擊數(shù)據(jù)庫的數(shù)據(jù)表生成功能鍵，將真實(shí)的數(shù)據(jù)存儲(chǔ)在計(jì)劃范圍內(nèi)，為了確保系統(tǒng)中的外部數(shù)據(jù)表與內(nèi)部生產(chǎn)調(diào)度數(shù)據(jù)表呈現(xiàn)一種連通狀態(tài)，可在內(nèi)部數(shù)據(jù)表中集成一個(gè)SQL觸發(fā)器，當(dāng)識(shí)別到內(nèi)部表中含有外圍數(shù)據(jù)時(shí)，可采用直接獲取的方式進(jìn)行數(shù)據(jù)信息的調(diào)用。綜合上述分析，生產(chǎn)數(shù)據(jù)庫的內(nèi)部數(shù)據(jù)表可表示為表2。

表2 數(shù)據(jù)庫內(nèi)部數(shù)據(jù)表

將表2中內(nèi)容與外部信息表進(jìn)行對接，將匹配成功的數(shù)據(jù)全部導(dǎo)入數(shù)據(jù)庫，以此種方式，完成對數(shù)據(jù)庫的構(gòu)建。

2.2 基于深度強(qiáng)化學(xué)習(xí)的實(shí)時(shí)調(diào)度流程設(shè)計(jì)

在完成對計(jì)劃調(diào)度數(shù)據(jù)庫的構(gòu)建后，考慮到煉鋼的連續(xù)生產(chǎn)行為對于時(shí)間與溫度的要求較高，且生產(chǎn)行為中存在較多的因素對連續(xù)作業(yè)行為存在干擾，因此，在本章的研究中，引進(jìn)深度強(qiáng)化學(xué)習(xí)理論，對實(shí)時(shí)調(diào)度流程進(jìn)行設(shè)計(jì)[5]。實(shí)時(shí)調(diào)度流程如下圖2所示。

圖2 基于深度強(qiáng)化學(xué)習(xí)的實(shí)時(shí)調(diào)度流程

在圖2提出的流程中，可利用深度強(qiáng)化學(xué)習(xí)理論作為指導(dǎo)，進(jìn)行可行性調(diào)度方法的生成，并在對數(shù)據(jù)反復(fù)迭代處理的過程中，對現(xiàn)場擾動(dòng)觸發(fā)情況進(jìn)行識(shí)別，識(shí)別過程中，無論是人工調(diào)整方案還是自動(dòng)調(diào)度方案，均可根據(jù)現(xiàn)有數(shù)據(jù)生成一個(gè)Gantt圖示，結(jié)合生成的圖示信息，可以確定調(diào)度過程中對其行為造成干擾的干擾源。定位干擾源的發(fā)生點(diǎn)，由集成在系統(tǒng)內(nèi)的智能算法進(jìn)行調(diào)度方案的及時(shí)調(diào)整，輸出調(diào)整與優(yōu)化后的調(diào)度方案，實(shí)現(xiàn)對煉鋼計(jì)劃的實(shí)時(shí)調(diào)度。綜上所述，完成對系統(tǒng)軟件功能的開發(fā)。

3 應(yīng)用效果對比分析

通過上述論述，從硬件和軟件兩方面完成對基于深度強(qiáng)化學(xué)習(xí)的煉鋼計(jì)劃調(diào)度系統(tǒng)設(shè)計(jì)，為了進(jìn)一步驗(yàn)證該系統(tǒng)在實(shí)際應(yīng)用中的效果，選擇將基于多智能體仿真的調(diào)度系統(tǒng)作為對照組，通過設(shè)置對照組和對照條件的方式，完成下述對比實(shí)驗(yàn)，并對實(shí)驗(yàn)應(yīng)用效果進(jìn)行對比分析。分別將兩種調(diào)度系統(tǒng)應(yīng)用到真實(shí)的煉鋼環(huán)境當(dāng)中，在該環(huán)境下包含1#、2#、3#、4#和5#，共五臺(tái)鑄機(jī)；#6、#7，共兩臺(tái)轉(zhuǎn)爐。為系統(tǒng)運(yùn)行內(nèi)容設(shè)置多組鑄機(jī)斷澆和煉鋼設(shè)備檢修兩種調(diào)度任務(wù)，第一組：1#鑄機(jī)斷澆；第二組：2#鑄機(jī)斷澆；第三組：4#鑄機(jī)斷澆；第四組：6#轉(zhuǎn)爐檢修；第五組為7#轉(zhuǎn)爐檢修。兩種調(diào)度系統(tǒng)均在同一時(shí)間（6:30）開始運(yùn)行，將達(dá)到調(diào)度運(yùn)行標(biāo)準(zhǔn)時(shí)的時(shí)間記錄，并繪制成如表3所示。

表3 兩種調(diào)度系統(tǒng)應(yīng)用效果分析表

從表3中記錄時(shí)間可以看出，在同一時(shí)間開始后，兩種調(diào)度系統(tǒng)均能夠完整實(shí)驗(yàn)設(shè)置的調(diào)度任務(wù)，但明顯本文調(diào)度系統(tǒng)完成調(diào)度任務(wù)的時(shí)間更短，而傳統(tǒng)調(diào)度系統(tǒng)完成調(diào)度任務(wù)的時(shí)間更長。因此，結(jié)合上述應(yīng)用效果分析得出，本文提出的基于深度強(qiáng)化學(xué)習(xí)的煉鋼計(jì)劃調(diào)度系統(tǒng)在應(yīng)用到真實(shí)煉鋼環(huán)境當(dāng)中，可實(shí)現(xiàn)更高效計(jì)劃調(diào)度，提高煉鋼效率和質(zhì)量。

4 結(jié)語

通過本文上述研究，從硬件和軟件兩方面對調(diào)度系統(tǒng)進(jìn)行設(shè)計(jì)，并結(jié)合實(shí)驗(yàn)證明了該調(diào)度系統(tǒng)的應(yīng)用效果。在后續(xù)的研究中，本文還將在充分考慮整個(gè)煉鋼所有工序環(huán)節(jié)的基礎(chǔ)上，將各類預(yù)處理工作融合到計(jì)劃調(diào)度當(dāng)中，從而進(jìn)一步實(shí)現(xiàn)計(jì)劃調(diào)度系統(tǒng)的集成化。