基于深度強(qiáng)化學(xué)習(xí)的流水線預(yù)測(cè)性維護(hù)決策

崔鵬浩，王軍強(qiáng)，張文沛，李 洋+

(1.西北工業(yè)大學(xué) 生產(chǎn)與運(yùn)作系統(tǒng)性能分析中心，陜西 西安 710072；2.西北工業(yè)大學(xué) 機(jī)電學(xué)院工業(yè)工程系，陜西 西安 710072)

0 引言

隨著物聯(lián)網(wǎng)(Internet of Things，IoT)、數(shù)字孿生(Digital Twins,DT)和人工智能(Artificial Intelligence,AI)等高新技術(shù)的發(fā)展，智能制造環(huán)境為生產(chǎn)數(shù)據(jù)獲取提供了便利，使得產(chǎn)線運(yùn)行的過程數(shù)據(jù)實(shí)時(shí)采集成為可能[1-2]。流水線是現(xiàn)代化生產(chǎn)中廣泛采用的生產(chǎn)組織形式，由機(jī)器和緩沖區(qū)依次交替串聯(lián)組成。機(jī)器在加工過程中，隨著運(yùn)行時(shí)間的增加會(huì)從健康狀態(tài)持續(xù)劣化，最后到達(dá)故障狀態(tài)，即機(jī)器運(yùn)行狀態(tài)存在一定的劣化特征。機(jī)器運(yùn)行狀態(tài)的劣化過程不僅會(huì)降低機(jī)器獨(dú)立運(yùn)行效率，還會(huì)打破整個(gè)流水線的原有平衡性，影響流水線有效產(chǎn)出，造成系統(tǒng)產(chǎn)能浪費(fèi)。

設(shè)備維護(hù)在降低故障頻率、提升運(yùn)行效率和保障產(chǎn)品質(zhì)量等方面起著至關(guān)重要的作用。預(yù)測(cè)性維護(hù)(predictive maintenance)決策是一種以設(shè)備工作狀態(tài)為依據(jù)的維護(hù)決策方式，旨在降低維護(hù)成本的同時(shí)，提高設(shè)備乃至生產(chǎn)系統(tǒng)的運(yùn)作效率，保證生產(chǎn)系統(tǒng)持續(xù)高效運(yùn)行[3]。具體地，通過持續(xù)監(jiān)測(cè)設(shè)備運(yùn)行狀態(tài)，預(yù)判故障可能發(fā)生的時(shí)間，在故障發(fā)生之前確定成本效益最優(yōu)的維護(hù)時(shí)機(jī)，并采用合適的維護(hù)活動(dòng)，阻止設(shè)備運(yùn)行狀態(tài)的劣化，最大限度地減少設(shè)備的計(jì)劃外停機(jī)時(shí)間并降低維護(hù)成本[4]。

在實(shí)施預(yù)測(cè)性維護(hù)過程中，雖然都是計(jì)劃內(nèi)停機(jī)，但是在不同機(jī)器、不同劣化狀態(tài)下進(jìn)行維護(hù)，將產(chǎn)生不同的成本投入與生產(chǎn)收益。不合理的維護(hù)停機(jī)不僅會(huì)降低機(jī)器效率、增加維護(hù)成本，還會(huì)造成其他機(jī)器的非故障停機(jī)。非故障停機(jī)還會(huì)沿著上游和下游兩個(gè)方向進(jìn)行傳播，造成生產(chǎn)線其他機(jī)器的阻塞或者饑餓，進(jìn)而影響生產(chǎn)系統(tǒng)的整體性能。因此，需要對(duì)機(jī)器維護(hù)停機(jī)時(shí)機(jī)進(jìn)行決策。

現(xiàn)有研究維護(hù)決策直接聚焦于產(chǎn)生故障的機(jī)器，并對(duì)其進(jìn)行單機(jī)維護(hù)決策，旨在提高該故障機(jī)器的獨(dú)立運(yùn)行效率。對(duì)于流水線等多機(jī)系統(tǒng)，若采用單機(jī)情形下獨(dú)立優(yōu)化思路進(jìn)行決策，只能提高單個(gè)機(jī)器的獨(dú)立運(yùn)行效率，不一定能提升系統(tǒng)的整體性能，致使維護(hù)投入未能發(fā)揮出更大的系統(tǒng)收益。因此，面向多機(jī)系統(tǒng)進(jìn)行維護(hù)決策時(shí)，不能將維護(hù)決策看成單個(gè)機(jī)器獨(dú)立決策再進(jìn)行迭代形成多機(jī)維護(hù)決策的問題，而應(yīng)該考慮單臺(tái)機(jī)器運(yùn)行效率與系統(tǒng)整體性能之間的關(guān)系，并將產(chǎn)線作為一個(gè)系統(tǒng)進(jìn)行整體決策。

本文針對(duì)考慮預(yù)測(cè)性維護(hù)的流水線，改變以提升機(jī)器獨(dú)立運(yùn)行效率提升為導(dǎo)向的維護(hù)決策方式，探索以系統(tǒng)整體性能提升為目標(biāo)的維護(hù)決策方法。本文利用數(shù)字孿生環(huán)境下生產(chǎn)數(shù)據(jù)采集的實(shí)時(shí)性與便捷性，在全面掌握車間生產(chǎn)運(yùn)行狀態(tài)、生產(chǎn)過程數(shù)據(jù)的基礎(chǔ)上，探究隨機(jī)擾動(dòng)對(duì)生產(chǎn)系統(tǒng)動(dòng)態(tài)運(yùn)行過程的影響，挖掘系統(tǒng)中機(jī)器最佳維護(hù)停機(jī)時(shí)機(jī)，實(shí)現(xiàn)流水線預(yù)測(cè)性維護(hù)的合理決策，以期在降低維護(hù)成本的同時(shí)提高系統(tǒng)整體的運(yùn)作效率。具體地，基于馬爾科夫鏈構(gòu)建流水線瞬態(tài)性能評(píng)估模型，揭示機(jī)器故障和預(yù)測(cè)性維護(hù)對(duì)生產(chǎn)過程影響的作用機(jī)理，量化系統(tǒng)瞬態(tài)產(chǎn)出和在制品水平等性能指標(biāo)。在此基礎(chǔ)上，基于馬爾科夫決策過程建立流水線預(yù)測(cè)性維護(hù)決策模型，并利用深度強(qiáng)化學(xué)習(xí)方法獲得有效的流水線預(yù)測(cè)性維護(hù)決策方案。本文研究流水線預(yù)測(cè)性維護(hù)決策問題，以期為智能制造環(huán)境下產(chǎn)線過程管控、性能提升與持續(xù)改進(jìn)提供科學(xué)的理論依據(jù)、創(chuàng)新的研究方法和輔助的決策依據(jù)。

1 文獻(xiàn)綜述

生產(chǎn)系統(tǒng)性能分析利用隨機(jī)過程等數(shù)學(xué)工具刻畫物料流與機(jī)器狀態(tài)和緩沖容量的交互關(guān)系，基于機(jī)器和緩沖區(qū)特征參數(shù)量化系統(tǒng)產(chǎn)出、在制品水平等性能指標(biāo)，旨在探索生產(chǎn)系統(tǒng)運(yùn)作的基本法則和運(yùn)行規(guī)律[5-7]。GERSHWIN[8]提出一種基于馬爾科夫鏈的兩機(jī)器單緩沖流水線性能分析模型，在此基礎(chǔ)上提出一種用于求解多機(jī)器流水線的分解方法。LI等[9]對(duì)由伯努利機(jī)器和有限緩沖區(qū)組成的流水線進(jìn)行了性能分析，提出了求解多機(jī)器流水線的聚合方法。ALTIOK等[10]利用馬爾科夫鏈對(duì)流水線進(jìn)行了性能分析，進(jìn)一步研究了流水線緩沖區(qū)能力分配問題。KANG等[11]利用馬爾科夫鏈模型對(duì)機(jī)器具有劣化現(xiàn)象的流水線進(jìn)行了性能分析，在此基礎(chǔ)上研究了流水線瓶頸識(shí)別和持續(xù)改善問題。ZHANG等[12]針對(duì)由伯努利機(jī)器和有限緩沖區(qū)組成的流水線，基于馬爾科夫鏈提出一種瞬態(tài)性能分析方法。JIA等[13]針對(duì)由伯努利機(jī)器和有限緩沖區(qū)組成的裝配系統(tǒng)，在系統(tǒng)投料有限的情況下研究了系統(tǒng)瞬態(tài)性能分析問題，并對(duì)系統(tǒng)單調(diào)性及可逆性等性質(zhì)進(jìn)行了討論。JIA等[14]針對(duì)由伯努利機(jī)器和有限緩沖區(qū)組成的流水線，在系統(tǒng)投料有限的情況下研究了系統(tǒng)性能分析和持續(xù)改善問題，基于馬爾科夫鏈模型提出了系統(tǒng)瞬態(tài)性能分析和瓶頸識(shí)別方法。JIA等[15]針對(duì)由3臺(tái)幾何機(jī)器和有限緩沖組成的裝配系統(tǒng)，分別提出了系統(tǒng)投料有限和投料無限兩種情況下的瞬態(tài)性能分析方法，進(jìn)一步將該方法擴(kuò)展到多機(jī)器裝配系統(tǒng)。

維護(hù)決策直接影響設(shè)備乃至生產(chǎn)系統(tǒng)的運(yùn)作效率，不合理的維護(hù)決策不僅會(huì)影響機(jī)器自身的產(chǎn)出，還會(huì)引起其他機(jī)器的饑餓或阻塞導(dǎo)致系統(tǒng)產(chǎn)能的浪費(fèi)。因此，生產(chǎn)系統(tǒng)維修決策問題受到學(xué)者的廣泛關(guān)注。然而，現(xiàn)有研究多集中在單機(jī)維護(hù)決策層面。例如，IRAVANI等[16]針對(duì)考慮機(jī)器能力退化的單機(jī)生產(chǎn)-庫存系統(tǒng)，基于馬爾科夫決策過程建立了預(yù)測(cè)性維修決策模型，并利用雙閾值策略近似最優(yōu)預(yù)測(cè)性維修決策。RAUSCH等[17]針對(duì)考慮備件庫存的單機(jī)情形，以最小化系統(tǒng)運(yùn)行成本研究了備件庫存控制問題。BOUSLAH等[18]針對(duì)考慮機(jī)器可靠性和產(chǎn)品質(zhì)量惡化的單機(jī)情形，以生產(chǎn)批量、庫存閾值、抽樣計(jì)劃參數(shù)和維修閾值等參數(shù)作為決策變量，以產(chǎn)品質(zhì)量滿足出廠質(zhì)量限制為約束，研究了定期維護(hù)決策問題。ZHANG等[19]針對(duì)考慮組件間經(jīng)濟(jì)依賴性的多組件單機(jī)情形，以最小化系統(tǒng)運(yùn)行成本為目標(biāo)，利用強(qiáng)化學(xué)習(xí)方法求得了系統(tǒng)柔性維護(hù)決策方案。YOUSEFI等[20]針對(duì)考慮各組件獨(dú)立惡化效應(yīng)的多組件單機(jī)情形，將維護(hù)決策問題構(gòu)建為馬爾科夫決策過程，利用強(qiáng)化學(xué)習(xí)方法求得了動(dòng)態(tài)維護(hù)決策方案。PARASCHOS等[21]針對(duì)考慮產(chǎn)品質(zhì)量隨機(jī)器運(yùn)行狀態(tài)惡化的單機(jī)生產(chǎn)—庫存系統(tǒng)，提出了生產(chǎn)、預(yù)測(cè)性維護(hù)和質(zhì)量集成控制策略，以最大化系統(tǒng)收益為目標(biāo)，利用強(qiáng)化學(xué)習(xí)方法對(duì)集成控制策略相應(yīng)參數(shù)進(jìn)行了優(yōu)化。

目前，多機(jī)維護(hù)決策研究相對(duì)較少。王瀟等[22]針對(duì)考慮產(chǎn)品質(zhì)量受機(jī)器運(yùn)行狀態(tài)影響的兩機(jī)器單緩沖流水線，以最小化系統(tǒng)的運(yùn)行成本為目標(biāo)，提出一種分布式多Agent強(qiáng)化學(xué)習(xí)方法，求得維護(hù)資源有限條件下流水線預(yù)防維護(hù)策略。該研究假設(shè)流水線由兩臺(tái)機(jī)器組成，所提預(yù)防性維護(hù)決策方法難以直接擴(kuò)展到多機(jī)器流水線。XIA等[23]針對(duì)考慮預(yù)測(cè)性維護(hù)的流水線，分別研究了單臺(tái)機(jī)器層面和流水線系統(tǒng)層面的預(yù)測(cè)性維護(hù)決策問題。該研究假設(shè)單臺(tái)機(jī)器的維護(hù)需要流水線中所有機(jī)器停機(jī)。CHANG等[24]針對(duì)考慮預(yù)防性維護(hù)的流水線，提出一種基于維修機(jī)會(huì)窗口的預(yù)防性維護(hù)決策方法。該方法利用機(jī)器故障停機(jī)產(chǎn)生的機(jī)會(huì)窗口對(duì)流水線中其他機(jī)器進(jìn)行預(yù)防性維護(hù)，力求在滿足維修需求的同時(shí)減少對(duì)產(chǎn)出的不利影響。該研究假設(shè)流水線中當(dāng)機(jī)器故障發(fā)生時(shí)，故障的持續(xù)時(shí)長(zhǎng)為已知信息。由以上分析可知，現(xiàn)有研究均基于特定的簡(jiǎn)化性假設(shè)，研究成果具有一定的局限性。

綜上所述，目前流水線維修決策相關(guān)研究主要集中在單機(jī)維護(hù)決策層面，較少涉及多機(jī)維護(hù)決策層面。另外，現(xiàn)有研究大多基于概率分布假設(shè)或仿真數(shù)據(jù)，未有效利用智能制造環(huán)境下數(shù)據(jù)獲取的實(shí)時(shí)性與便捷性。本文以流水線實(shí)時(shí)運(yùn)行狀態(tài)信息為驅(qū)動(dòng)，以系統(tǒng)整體運(yùn)行性能提升為目標(biāo)，以系統(tǒng)性能量化評(píng)估為支撐，研究多機(jī)預(yù)測(cè)性維護(hù)決策方法。

2 問題提出

2.1 問題描述

本文研究對(duì)象為由L臺(tái)機(jī)器和L個(gè)緩沖區(qū)組成的流水線，如圖1所示。具體地Ml(1≤l≤L)表示第l臺(tái)機(jī)器，bl(1≤l

流水線中的機(jī)器為不可靠機(jī)器，具有若干個(gè)依次劣化的離散運(yùn)行狀態(tài)。機(jī)器在不執(zhí)行維護(hù)活動(dòng)的情況下，運(yùn)行狀態(tài)會(huì)不斷劣化，最終到達(dá)故障狀態(tài)。當(dāng)機(jī)器發(fā)生故障前，執(zhí)行預(yù)測(cè)性維護(hù)使機(jī)器恢復(fù)到更健康的運(yùn)行狀態(tài)，阻止機(jī)器運(yùn)行狀態(tài)的劣化。當(dāng)機(jī)器處于故障狀態(tài)時(shí)，需要執(zhí)行事后維修，使機(jī)器恢復(fù)到非故障狀態(tài)。

在流水線上實(shí)施預(yù)測(cè)性維護(hù)的過程中，機(jī)器維護(hù)時(shí)機(jī)合理與否直接關(guān)系到流水線的運(yùn)行效率。若維護(hù)時(shí)機(jī)選擇得當(dāng)，緩沖區(qū)足以應(yīng)對(duì)上下游機(jī)器生產(chǎn)需求，則機(jī)器的維護(hù)停機(jī)并不會(huì)對(duì)其他機(jī)器的產(chǎn)出造成影響。此時(shí)，修復(fù)該機(jī)器的運(yùn)行狀態(tài)，不僅使得機(jī)器的狀態(tài)恢復(fù)到更好的狀態(tài)，還避免了對(duì)整個(gè)產(chǎn)線正常運(yùn)行造成影響。若錯(cuò)過了最佳維護(hù)時(shí)機(jī)，則機(jī)器狀態(tài)不斷劣化，機(jī)器產(chǎn)出不斷降低，進(jìn)而影響整個(gè)產(chǎn)線的產(chǎn)出，不可避免地造成系統(tǒng)的產(chǎn)能損失。若再不進(jìn)行機(jī)器運(yùn)行狀態(tài)的修復(fù)，則系統(tǒng)性能會(huì)再次惡化。此時(shí)機(jī)器維護(hù)是迫不得已進(jìn)行機(jī)器運(yùn)行狀態(tài)的修復(fù)，需要以犧牲系統(tǒng)整體運(yùn)行效能為代價(jià)。因此，需要立足產(chǎn)線實(shí)際情況，研判維護(hù)活動(dòng)對(duì)產(chǎn)線的影響，優(yōu)化維護(hù)活動(dòng)的介入時(shí)機(jī)。

機(jī)器的不可靠性、運(yùn)行狀態(tài)的劣化性使得系統(tǒng)具有隨機(jī)性，緩沖區(qū)的有限容量使得系統(tǒng)中各機(jī)器之間具有相依性，這些因素相耦合使得生產(chǎn)系統(tǒng)各組成部分之間的擾動(dòng)影響傳播演化為非線性關(guān)系，生產(chǎn)系統(tǒng)表現(xiàn)為典型的復(fù)雜動(dòng)態(tài)系統(tǒng)。本文以多機(jī)流水線為研究對(duì)象，考慮機(jī)器運(yùn)行狀態(tài)的劣化特征，分析不同機(jī)器、不同劣化狀態(tài)下，不同的維護(hù)成本及系統(tǒng)收益情況，剖析流水線維護(hù)決策的介入時(shí)機(jī)，研究流水線預(yù)測(cè)性維護(hù)決策問題，以在降低維護(hù)成本的同時(shí)提高系統(tǒng)的運(yùn)作效率。

2.2 問題假設(shè)

本文涉及的相關(guān)假設(shè)如下：

(1)緩沖區(qū)bl(1≤l≤L)的緩沖容量為Bl。bl(t)表示t時(shí)刻緩沖區(qū)bl中的在制品數(shù)量。

(2)所有機(jī)器的加工周期是相同且固定的，加工周期將時(shí)間軸依單位時(shí)間進(jìn)行分段。

(3)機(jī)器Ml(1≤l≤L)具有Nl+1個(gè)依次劣化的離散運(yùn)行狀態(tài)αl，αl∈{0,1,…,Nl}。αl(t)表示機(jī)器Ml在t時(shí)刻所處的運(yùn)行狀態(tài)。αl(t)=0表示機(jī)器Ml在t時(shí)刻處于健康狀態(tài)，αl(t)=Nl表示機(jī)器Ml在t時(shí)刻處于故障狀態(tài)。當(dāng)機(jī)器Ml處于狀態(tài)αl(t)時(shí)，其加工能力為vl(αl(t))。在每個(gè)加工周期內(nèi)，機(jī)器Ml的加工能力vl(αl(t))是指當(dāng)機(jī)器處于狀態(tài)αl(t)時(shí)，可以加工完成的最大工件數(shù)量。具體地，當(dāng)緩沖區(qū)bl-1中剩余工件數(shù)量和緩沖區(qū)bl中剩余空間均大于vl(αl(t))時(shí)，機(jī)器Ml可以加工vl(αl(t))個(gè)工件。

(4)機(jī)器Ml(1≤l≤L)在不執(zhí)行維護(hù)活動(dòng)的情況下運(yùn)行狀態(tài)αl會(huì)不斷劣化，最終到達(dá)故障狀態(tài)。θi,j(i≠Nl)表示在不執(zhí)行維護(hù)活動(dòng)的情況下機(jī)器Ml從狀態(tài)αl=i轉(zhuǎn)移到狀態(tài)αl=j的概率。

(8)pl(αl(t-1),αl(t),cl(t-1))表示在維護(hù)決策cl(t-1)的情況下機(jī)器Ml從狀態(tài)αl(t-1)轉(zhuǎn)移到狀態(tài)αl(t)的概率，具體表達(dá)式為：

pl(αl(t-1),αl(t),cl(t-1))=

(9)市場(chǎng)需求具有NL+1+1個(gè)離散狀態(tài)αL+1，αL+1∈{0,1,…,NL+1}。αL+1(t)表示在t時(shí)刻市場(chǎng)需求所處的狀態(tài)。vL+1(αL+1(t))表示t時(shí)刻市場(chǎng)需求的取值大小。pL+1(i,j)表示市場(chǎng)需求從狀態(tài)αL+1=i轉(zhuǎn)移到狀態(tài)αL+1=j的概率。

(10)THl(t)(1≤l≤L)表示在t時(shí)刻機(jī)器Ml的產(chǎn)出。

(11)gl(cl(t))表示機(jī)器Ml(1≤l≤L)在t時(shí)刻的維護(hù)成本。具體地，gl(cl(t)=0)=0且gl(cl(t)=-1)>gl(cl(t)=1)>0。

本文使用的參數(shù)符號(hào)說明如表1所示。

表1 參數(shù)符號(hào)說明

續(xù)表1αl,1≤l≤L+1機(jī)器和市場(chǎng)需求的狀態(tài)。具體地,αl(t),1≤l≤L表示t時(shí)刻機(jī)器Ml的運(yùn)行狀態(tài),αL+1(t)表示t時(shí)刻市場(chǎng)需求的狀態(tài)。M→(t)M→(t)=[α1(t),…,αL+1(t)]表示t時(shí)刻所有機(jī)器和市場(chǎng)需求的狀態(tài)s→流水線的運(yùn)行狀態(tài),s→(t)表示t時(shí)刻流水線的運(yùn)行狀態(tài)cl(t),1≤l≤L機(jī)器Ml在t時(shí)刻的維護(hù)決策c→所有機(jī)器的維護(hù)決策,c→(t)表示在t時(shí)刻所有機(jī)器的維護(hù)決策r(s→(t),c→(t))當(dāng)流水線處于s→(t)時(shí),執(zhí)行維護(hù)決策c→(t)的成本θ→神經(jīng)網(wǎng)絡(luò)各層的權(quán)重參數(shù)π流水線維護(hù)策略Vπ(s→)流水線在策略π和狀態(tài)s下的狀態(tài)價(jià)值函數(shù),即在策略π下,從狀態(tài)s→開始運(yùn)行得到的累積折扣收益的期望值Qπ(s→,c→)流水線在策略π和狀態(tài)s→下的動(dòng)作狀態(tài)價(jià)值函數(shù),即在策略π下,處于狀態(tài)s→時(shí)執(zhí)行決策c→的最大化狀態(tài)價(jià)值函數(shù)Qπ(s→,c→,θ→)動(dòng)作狀態(tài)價(jià)值函數(shù)的神經(jīng)網(wǎng)絡(luò)近似函數(shù)L(θ→)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程近似值和真實(shí)值的均方差

2.3 研究方案

本文以考慮預(yù)測(cè)性維護(hù)的流水線為研究對(duì)象，改變以提升機(jī)器獨(dú)立運(yùn)行效率為導(dǎo)向的維護(hù)決策方式，探索以提升系統(tǒng)整體運(yùn)行性能為目標(biāo)的維護(hù)決策方法，充分挖掘機(jī)器的維護(hù)停機(jī)時(shí)機(jī)，在降低維護(hù)成本的同時(shí)提高系統(tǒng)整體運(yùn)作效率。在流水線運(yùn)行過程中，鑒于機(jī)器運(yùn)行狀態(tài)的變化性、維護(hù)成效的不確定性，系統(tǒng)性能隨著時(shí)間變化呈現(xiàn)出動(dòng)態(tài)變化的特征。因此，流水線預(yù)測(cè)性維護(hù)決策不是一次性決策問題，需要在每一時(shí)刻根據(jù)流水線當(dāng)前系統(tǒng)狀態(tài)、維護(hù)活動(dòng)成本以及系統(tǒng)瞬態(tài)性能等情況，對(duì)每臺(tái)機(jī)器是否進(jìn)行維護(hù)活動(dòng)進(jìn)行序列決策。

為了解決上述流水線預(yù)測(cè)性維護(hù)決策問題，在預(yù)測(cè)性維護(hù)決策模型構(gòu)建方面，本文基于馬爾科夫鏈構(gòu)建了流水線瞬態(tài)性能評(píng)估模型，量化了系統(tǒng)瞬態(tài)產(chǎn)出和在制品水平等性能指標(biāo)。在此基礎(chǔ)上，考慮系統(tǒng)實(shí)時(shí)產(chǎn)出、在制品水平及預(yù)測(cè)性維護(hù)成本等因素構(gòu)造了收益函數(shù)。剖析流水線預(yù)測(cè)性維護(hù)決策問題呈現(xiàn)的序列決策特點(diǎn)，本文將流水線預(yù)測(cè)性維護(hù)決策問題構(gòu)建為馬爾科夫決策過程。馬爾科夫決策過程的輸入為系統(tǒng)狀態(tài)集合、維護(hù)決策集合、與狀態(tài)和決策相關(guān)的收益函數(shù)、與維護(hù)決策相關(guān)的狀態(tài)轉(zhuǎn)移概率集合，輸出為預(yù)測(cè)性維護(hù)策略，即流水線處于某個(gè)系統(tǒng)狀態(tài)時(shí)作出維護(hù)決策所遵循的規(guī)則。

在馬爾科夫決策過程求解方面，利用深度強(qiáng)化學(xué)習(xí)算法進(jìn)行求解，獲得有效的流水線預(yù)測(cè)性維護(hù)決策方案。深度強(qiáng)化學(xué)習(xí)算法的核心是利用樣本數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其能夠指導(dǎo)流水線的實(shí)時(shí)維護(hù)決策。針對(duì)訓(xùn)練數(shù)據(jù)，本文利用馬爾科夫鏈模型，建立流水線瞬態(tài)性能評(píng)估模型，模擬流水線的實(shí)時(shí)運(yùn)行過程，產(chǎn)生神經(jīng)網(wǎng)絡(luò)訓(xùn)練所需數(shù)據(jù)。針對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，本文采用神經(jīng)網(wǎng)絡(luò)與瞬態(tài)性能評(píng)估模型交互的方式，利用小批量隨機(jī)梯度下降的方法對(duì)每層網(wǎng)絡(luò)的權(quán)重參數(shù)進(jìn)行迭代更新。最終，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)獲得預(yù)測(cè)性維護(hù)策略，通過在流水線上應(yīng)用預(yù)測(cè)性維護(hù)策略獲得有效的預(yù)測(cè)性維護(hù)決策方案。流水線預(yù)測(cè)性維護(hù)決策問題具體研究方案如圖2所示。

3 流水線瞬態(tài)性能評(píng)價(jià)方法

3.1 系統(tǒng)狀態(tài)轉(zhuǎn)移分析

(1)

(2)

算法1流水線狀態(tài)轉(zhuǎn)移概率求解算法。

2. 對(duì)于t+1時(shí)刻所有可能到達(dá)的機(jī)器狀態(tài)組合：

5. 結(jié)束

3.2 系統(tǒng)瞬態(tài)性能指標(biāo)

本節(jié)基于流水線系統(tǒng)狀態(tài)轉(zhuǎn)移過程對(duì)瞬態(tài)性能指標(biāo)進(jìn)行分析，所涉及的性能指標(biāo)主要包括：

(1)產(chǎn)出(TH)t時(shí)刻，機(jī)器Ml(1≤l≤L)加工完成的工件數(shù)量為機(jī)器Ml在t時(shí)刻的產(chǎn)出THl(t)。流水線在t時(shí)刻的產(chǎn)出為最后一臺(tái)機(jī)器ML的產(chǎn)出THL(t)。

首先，對(duì)流水線的產(chǎn)出進(jìn)行分析。對(duì)于機(jī)器M1而言，t時(shí)刻的產(chǎn)出TH1(t)通過比較機(jī)器M1處于狀態(tài)α1(t)時(shí)的加工能力v1(α1(t))和下游緩沖區(qū)b1中剩余存儲(chǔ)空間B1-b1(t-1)+TH2(t)的大小來確定，具體表示如下：

TH1(t)=min{v1(α1(t)),B1-b1(t-1)+TH2(t)}。

對(duì)于機(jī)器ML而言，t時(shí)刻的產(chǎn)出THL(t)通過比較機(jī)器ML處于狀態(tài)αL(t)時(shí)的加工能力vL(αL(t))和下游緩沖區(qū)bL中剩余存儲(chǔ)空間BL-bL(t-1)+min{vL+1(αL+1(t)),bL(t-1)}和上游緩沖區(qū)bL-1中在制品數(shù)量bL-1(t-1)的大小來確定，具體表示如下：

THL(t)=min{vL(αL(t)),bL-1(t-1),BL-bL(t-1)+min{vL+1(αL+1(t)),bL(t-1)}}。

對(duì)于其他機(jī)器Ml(1

THl(t)=min{vl(αl(t)),bl-1(t-1),Bl-bl(t-1)+THl+1(t)},1

因此，流水線中各個(gè)機(jī)器在t時(shí)刻的產(chǎn)出THl(t)表達(dá)式如下：

進(jìn)一步，對(duì)流水線的在制品水平進(jìn)行分析。對(duì)于緩沖區(qū)bL而言，t時(shí)刻的在制品數(shù)量bL(t)通過機(jī)器Ml的產(chǎn)出THl(t)、市場(chǎng)需求vL+1(αL+1(t))和緩沖區(qū)bL的在制品數(shù)量bL(t-1)的關(guān)系進(jìn)行描述，具體表示如下：

bL(t)=bL(t-1)+THL(t)-min{vL+1(αL+1(t)),bL(t-1)}。

對(duì)于其他緩沖區(qū)bl(1≤l

bl(t)=bl(t-1)+THl(t)-THl+1(t)。

因此，流水線中各個(gè)緩沖區(qū)在t時(shí)刻的在制品數(shù)量bl(t)表達(dá)式如下：

(3)

4 預(yù)測(cè)性維護(hù)決策方法

4.1 維護(hù)決策模型

在流水線運(yùn)行過程中，每一時(shí)刻的系統(tǒng)狀態(tài)與所有機(jī)器采取的維護(hù)決策共同決定了下一時(shí)刻的系統(tǒng)狀態(tài)。根據(jù)當(dāng)前狀態(tài)，系統(tǒng)決策機(jī)器是否進(jìn)行維護(hù)活動(dòng)。當(dāng)機(jī)器維護(hù)決策執(zhí)行之后，機(jī)器狀態(tài)會(huì)按照一定概率分布到達(dá)新的狀態(tài)。在下一時(shí)刻，系統(tǒng)同樣面臨著是否對(duì)機(jī)器進(jìn)行維護(hù)活動(dòng)的決策問題。系統(tǒng)下一時(shí)刻的狀態(tài)只依賴于當(dāng)前系統(tǒng)狀態(tài)和所選擇的維護(hù)決策，與過去的系統(tǒng)狀態(tài)與維護(hù)決策無關(guān)。根據(jù)以上分析，該循環(huán)進(jìn)行的維護(hù)決策過程屬于典型的序列決策問題，且狀態(tài)轉(zhuǎn)移過程具有馬爾科夫性，因此滿足馬爾科夫決策過程所需的關(guān)鍵要素。

具體地，收益函數(shù)由在制品庫存成本、缺貨懲罰成本和維修成本組成：

馬爾科夫決策過程的輸出為最優(yōu)維護(hù)策略π*以及對(duì)應(yīng)的最小期望折扣成本。馬爾科夫決策過程求解的核心是貝爾曼最優(yōu)方程(Bellman optimality equation)的求解，貝爾曼最優(yōu)方程的具體表達(dá)式如下：

對(duì)于小規(guī)模馬爾科夫決策過程，傳統(tǒng)動(dòng)態(tài)規(guī)劃方法通過遞歸迭代的方式得到最優(yōu)策略。然而，隨著流水線機(jī)器數(shù)量和緩沖區(qū)容量的增加，會(huì)引起系統(tǒng)狀態(tài)空間和動(dòng)作空間的爆炸式增長(zhǎng)，使得馬爾科夫決策過程的求解遇到“維數(shù)災(zāi)難”的問題，導(dǎo)致動(dòng)態(tài)規(guī)劃求解困難[25-26]。近似動(dòng)態(tài)規(guī)劃方法一般通過值函數(shù)近似的方式對(duì)大規(guī)模馬爾科夫決策過程進(jìn)行求解，能夠有效地應(yīng)對(duì)“維數(shù)災(zāi)難”的問題。深度強(qiáng)化學(xué)習(xí)算法作為一種典型的近似動(dòng)態(tài)規(guī)劃方法，在值函數(shù)的泛化逼近方面具有優(yōu)勢(shì)?？紤]到所研究的流水線預(yù)測(cè)性維護(hù)決策問題屬于典型的大規(guī)模動(dòng)態(tài)決策問題，求解過程中不可避免地遇到“維數(shù)災(zāi)難”的問題。因此，本文采用深度強(qiáng)化學(xué)習(xí)方法對(duì)所建立馬爾科夫決策過程進(jìn)行求解，以獲得流水線的預(yù)測(cè)性維護(hù)策略。

4.2 深度強(qiáng)化學(xué)習(xí)算法

深度強(qiáng)化學(xué)習(xí)是一種以通用的形式將深度學(xué)習(xí)的感知能力與強(qiáng)化學(xué)習(xí)的決策能力相結(jié)合的機(jī)器學(xué)習(xí)方法。本節(jié)采用深度強(qiáng)化學(xué)習(xí)中基于價(jià)值函數(shù)的深度Q網(wǎng)絡(luò)算法(deep Q-network algorithm)對(duì)預(yù)測(cè)性維護(hù)決策模型進(jìn)行求解。

深度強(qiáng)化學(xué)習(xí)算法的核心是利用樣本數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其能夠指導(dǎo)流水線進(jìn)行實(shí)時(shí)維護(hù)決策。針對(duì)訓(xùn)練數(shù)據(jù)，因?yàn)槿狈?shí)際數(shù)據(jù)支持，本文利用所建立的流水線瞬態(tài)性能評(píng)估模型，模擬流水線的實(shí)時(shí)運(yùn)行過程，產(chǎn)生神經(jīng)網(wǎng)絡(luò)訓(xùn)練所需的數(shù)據(jù)。具體地，通過模擬獲得當(dāng)前時(shí)刻流水線的系統(tǒng)狀態(tài)、維護(hù)決策及對(duì)應(yīng)的系統(tǒng)收益等數(shù)據(jù)。根據(jù)當(dāng)前時(shí)刻維護(hù)決策以及狀態(tài)轉(zhuǎn)移概率，得到下一時(shí)刻流水線的系統(tǒng)狀態(tài)。依次進(jìn)行迭代，獲得每一時(shí)刻流水線的系統(tǒng)狀態(tài)、維護(hù)決策及系統(tǒng)收益等數(shù)據(jù)，解決了神經(jīng)網(wǎng)絡(luò)訓(xùn)練遇到的數(shù)據(jù)匱乏問題。

為了提高訓(xùn)練過程的效率，利用經(jīng)驗(yàn)回放和雙網(wǎng)絡(luò)結(jié)構(gòu)兩種機(jī)制提高神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程收斂效果和穩(wěn)定性。①經(jīng)驗(yàn)回放，通過將樣本數(shù)據(jù)儲(chǔ)存在經(jīng)驗(yàn)池，訓(xùn)練過程隨機(jī)從經(jīng)驗(yàn)池抽取樣本來進(jìn)行訓(xùn)練，以此來降低訓(xùn)練數(shù)據(jù)的相關(guān)性，使神經(jīng)網(wǎng)絡(luò)更容易收斂且具有更強(qiáng)的泛化能力；②雙網(wǎng)絡(luò)結(jié)構(gòu)，通過構(gòu)建兩個(gè)相同且獨(dú)立的神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練過程中利用當(dāng)前網(wǎng)絡(luò)參數(shù)更新目標(biāo)網(wǎng)絡(luò)參數(shù)，以此來降低迭代更新前后網(wǎng)絡(luò)參數(shù)之間的相關(guān)性，從而提升訓(xùn)練過程的穩(wěn)定性[27]。最終，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)獲得預(yù)測(cè)性維護(hù)策略，通過將其應(yīng)用到流水線獲得預(yù)測(cè)性維護(hù)決策方案。深度Q網(wǎng)絡(luò)算法的具體實(shí)現(xiàn)步驟如算法2所示。

算法2深度Q網(wǎng)絡(luò)算法。

1. 輸入?yún)?shù)：狀態(tài)空間S，動(dòng)作空間C，折扣因子γ，經(jīng)驗(yàn)回放批量ψ，學(xué)習(xí)率A，網(wǎng)絡(luò)更新步數(shù)a

3. 對(duì)于回合數(shù)episode=1:Θ

5. 對(duì)于時(shí)刻t=1:T

13. 結(jié)束

14. 結(jié)束

5 實(shí)例分析

5.1 實(shí)驗(yàn)設(shè)計(jì)

表2 機(jī)器加工能力參數(shù)

表3 緩沖區(qū)容量參數(shù)

表4 機(jī)器M1在不同維護(hù)決策下的狀態(tài)轉(zhuǎn)移概率

表5 機(jī)器M2在不同維護(hù)決策下的狀態(tài)轉(zhuǎn)移概率

表6 機(jī)器M3在不同維護(hù)決策下的狀態(tài)轉(zhuǎn)移概率

表7 機(jī)器M4在不同維護(hù)決策下的狀態(tài)轉(zhuǎn)移概率

表8 機(jī)器M5在不同維護(hù)決策下的狀態(tài)轉(zhuǎn)移概率

表9 市場(chǎng)需求的狀態(tài)轉(zhuǎn)移概率

表10 相關(guān)成本參數(shù)

5.2 結(jié)果分析

實(shí)驗(yàn)過程中，流水線運(yùn)行采用三班輪休制，每一班組工作時(shí)間為8 h。生產(chǎn)過程的暖機(jī)時(shí)長(zhǎng)為100 d，后續(xù)運(yùn)行時(shí)長(zhǎng)為1 000 d。首先，為了驗(yàn)證預(yù)測(cè)性維護(hù)決策方法的有效性，本節(jié)將所提維護(hù)決策方法與3種現(xiàn)有維護(hù)決策方法進(jìn)行比較。3種維護(hù)決策方法分別為事后維修方法、定期維護(hù)方法和基于狀態(tài)的維護(hù)決策方法：

(1)事后維修方法 僅當(dāng)機(jī)器發(fā)生故障時(shí)，對(duì)機(jī)器執(zhí)行維修活動(dòng)使其恢復(fù)到正常工作狀態(tài)。在本實(shí)驗(yàn)中，當(dāng)機(jī)器處于故障狀態(tài)時(shí)，若執(zhí)行維修活動(dòng)，該機(jī)器從故障狀態(tài)按照概率分布轉(zhuǎn)移到某個(gè)非故障運(yùn)行狀態(tài)。

(2)定期維護(hù)方法 根據(jù)經(jīng)驗(yàn)或設(shè)備維修手冊(cè)，確定合理的時(shí)間間隔對(duì)非故障機(jī)器進(jìn)行維護(hù)。若機(jī)器發(fā)生故障，立即執(zhí)行維修活動(dòng)。定期維護(hù)是一種基于時(shí)間的維修決策。具體地，利用仿真實(shí)驗(yàn)以最小化系統(tǒng)運(yùn)行成本為目標(biāo)，對(duì)每臺(tái)機(jī)器的維護(hù)周期進(jìn)行優(yōu)化。

(3)基于狀態(tài)的維護(hù)決策方法 根據(jù)狀態(tài)檢測(cè)技術(shù)判斷機(jī)器所處的狀態(tài)，并根據(jù)機(jī)器的工作狀態(tài)確定是否對(duì)非故障機(jī)器進(jìn)行維護(hù)。若機(jī)器發(fā)生故障，則執(zhí)行維修活動(dòng)。同樣地，利用仿真實(shí)驗(yàn)以最小化系統(tǒng)運(yùn)行成本為目標(biāo)，確定每臺(tái)機(jī)器實(shí)施維護(hù)活動(dòng)的工作狀態(tài)。

所提預(yù)測(cè)性維護(hù)決策方法與以上3種維護(hù)決策方法的對(duì)比結(jié)果如表11所示。實(shí)驗(yàn)結(jié)果表明，所提維護(hù)決策方法在維護(hù)成本、在制品庫存成本和缺貨成本等方面均優(yōu)于其他策略。具體地，與基于狀態(tài)的維護(hù)決策方法相比，所提維護(hù)決策方法的維護(hù)成本降低了6.61%，在制品庫存成本降低了3.54%，缺貨懲罰成本降低了1.73%；與定期維護(hù)方法相比，維護(hù)成本降低了9.32%，在制品庫存成本降低了13.36%，缺貨懲罰成本降低了2.65%；與事后維修方法相比，維護(hù)成本降低了10.52%，在制品庫存成本降低了13.93%，缺貨懲罰成本降低了3.21%。

表11 不同維護(hù)決策方法執(zhí)行效果對(duì)比 元/d

為了分析預(yù)測(cè)性維護(hù)決策方法的特點(diǎn)，隨機(jī)選擇時(shí)間長(zhǎng)度為2 h的時(shí)間段，該時(shí)段內(nèi)流水線在制品水平、缺貨和典型機(jī)器M1、M3和M5的維護(hù)決策變化情況如圖4所示。

結(jié)果表明，所提預(yù)測(cè)性維護(hù)決策方法能夠有效地確定合理的維護(hù)時(shí)機(jī)，在降低流水線維護(hù)成本的同時(shí)提高系統(tǒng)運(yùn)作效率。具體分析結(jié)果如下：

(2)流水線傾向于當(dāng)在制品水平比較高時(shí)執(zhí)行預(yù)測(cè)性維護(hù)活動(dòng)。當(dāng)在制品水平較低時(shí)，停機(jī)維護(hù)會(huì)導(dǎo)致較高的缺貨成本。當(dāng)在制品水平較高時(shí)，停機(jī)維護(hù)不僅可以在一定程度上降低機(jī)器故障的風(fēng)險(xiǎn)，還有助于降低在制品庫存成本。

6 結(jié)束語

在智能制造環(huán)境下，數(shù)字孿生車間通過虛實(shí)映射、虛實(shí)交互為生產(chǎn)數(shù)據(jù)獲取提供了便利性，使得產(chǎn)線運(yùn)行過程中生產(chǎn)狀態(tài)變化、擾動(dòng)事件等信息收集成為可能。本文利用數(shù)字孿生車間環(huán)境下生產(chǎn)數(shù)據(jù)采集的實(shí)時(shí)性與便捷性，研究預(yù)測(cè)性維護(hù)決策方法，根據(jù)流水線運(yùn)行狀態(tài)的實(shí)時(shí)變化情況，及時(shí)對(duì)預(yù)測(cè)性維護(hù)活動(dòng)進(jìn)行動(dòng)態(tài)調(diào)優(yōu)，為智能制造環(huán)境下產(chǎn)線過程管控、性能提升、持續(xù)改進(jìn)提供了科學(xué)的理論基礎(chǔ)、創(chuàng)新的研究方法和輔助的決策依據(jù)。

本文以考慮機(jī)器劣化過程的多機(jī)流水線為研究對(duì)象，以生產(chǎn)系統(tǒng)運(yùn)行的實(shí)時(shí)狀態(tài)信息為驅(qū)動(dòng)，以系統(tǒng)整體性能提升為目標(biāo)，以系統(tǒng)性能評(píng)估為支撐，考慮機(jī)器的不可靠性、運(yùn)行狀態(tài)的劣化性以及緩沖區(qū)容量的有限性，分析產(chǎn)線運(yùn)行過程中機(jī)器的維護(hù)時(shí)機(jī)，研究流水線預(yù)測(cè)性維護(hù)決策問題，旨在降低維護(hù)成本的同時(shí)提高系統(tǒng)整體的運(yùn)作效率。

在預(yù)測(cè)性維護(hù)決策模型構(gòu)建方面，首先，分析了機(jī)器故障和維護(hù)活動(dòng)對(duì)系統(tǒng)狀態(tài)轉(zhuǎn)移過程的影響，基于馬爾科夫鏈建立了流水線瞬態(tài)性能評(píng)估模型，量化了系統(tǒng)瞬態(tài)產(chǎn)出和在制品水平等性能指標(biāo)。在此基礎(chǔ)上，考慮系統(tǒng)實(shí)時(shí)產(chǎn)出、在制品水平及預(yù)測(cè)性維護(hù)成本等因素構(gòu)造了收益函數(shù)，基于馬爾科夫決策過程建立了流水線預(yù)測(cè)性維護(hù)決策模型。

在流水線預(yù)測(cè)性維護(hù)決策問題求解方面，利用瞬態(tài)性能評(píng)估模型，模擬流水線的實(shí)時(shí)運(yùn)行過程，產(chǎn)生神經(jīng)網(wǎng)絡(luò)訓(xùn)練所需數(shù)據(jù)，利用深度強(qiáng)化學(xué)習(xí)算法對(duì)問題進(jìn)行了近似求解，獲得了有效的流水線預(yù)測(cè)性維護(hù)決策方案。通過與事后維修方法、定期維護(hù)方法和基于狀態(tài)的維護(hù)決策方法這3種維護(hù)方法進(jìn)行比較，驗(yàn)證了所提的維護(hù)決策方法的有效性。

本文探索以系統(tǒng)整體性能提升為目標(biāo)的維護(hù)決策方法，充分挖掘流水線運(yùn)行過程中機(jī)器的維護(hù)停機(jī)時(shí)機(jī)，改變了以機(jī)器獨(dú)立運(yùn)行效率提升為導(dǎo)向的維護(hù)決策方式，未來可以將研究對(duì)象拓展為裝配線、可重入生產(chǎn)線，研究生產(chǎn)線建模和預(yù)測(cè)性維護(hù)的決策問題。