基于馬爾科夫決策過程的帶緩存雙機系統(tǒng)不完美維護策略

田雪雁，王孟雅，潘爾順

(上海交通大學 機械與動力工程學院， 上海 200240)

設備性能隨使用時間退化，發(fā)生故障的概率增加，合理預防性維護能夠有效提高設備的可用度.但進行預防性維護需要停機，而生產線設備間的退化狀態(tài)不同，單臺設備維護或故障都會造成產線停運.因此，常在設備間設置緩存區(qū)，以避免設備維護或故障時頻繁中斷生產過程.緩存的設置會影響原有的設備維護體系，而現(xiàn)有系統(tǒng)的預防性維護多憑經驗決策，故有必要對帶緩存生產系統(tǒng)的預防性維護策略的機理進行研究.

從20世紀60年代起，有學者開始關注設備維護優(yōu)化問題，取得了較好的研究成果[1-5].但針對帶緩存生產系統(tǒng)維護策略的研究相對較少.Rezg等[6]研究了生產線的預防性維護和緩存控制，設備到達維護年齡或出現(xiàn)故障立即維護，通過聯(lián)合優(yōu)化維護年齡和緩存容量，最小化平均成本.Cheng等[7-8]針對兩設備一緩存系統(tǒng)，研究了當上游設備退化服從幾何過程、非靜態(tài)伽馬過程時的固定周期維護策略.Gan等[9]考慮了維護、緩存和備件的相互影響.Niyamosoth等[10]研究了包含一臺租賃設備和緩存區(qū)的系統(tǒng)，優(yōu)化出租人的維護周期和承租人的緩存容量以最小化總成本.Nahas等[11-13]研究了維護頻率與平均故障間隔時間的關系，通過遺傳算法求解緩存和維護聯(lián)合優(yōu)化問題.Renna[14]對串行多設備生產線進行了類似的研究.Zandieh等[15]建立了包含生產率最大化、緩存區(qū)最小化及不合格品數(shù)最小化的多目標聯(lián)合優(yōu)化模型.

上述研究的優(yōu)化目標多為固定的維護周期，雖然建模過程中考慮了緩存，但沒有考慮特定緩存狀態(tài)對維護決策的影響.因此部分學者通過建立馬爾科夫模型優(yōu)化設備維護策略，維護決策同時取決于設備退化狀態(tài)和緩存狀態(tài).文獻[16]只考慮上游設備的退化和維護，運用馬爾科夫決策理論計算并證明了控制限策略是使得平均成本最優(yōu)的策略.Dimitrakos等[17]擴展了文獻[16]中的模型，考慮上游設備的非平穩(wěn)退化和更完善的成本結構，將維護持續(xù)時間從幾何分布拓展到連續(xù)分布.Karamatsoukis等[18]在上述研究的基礎上考慮了上下游兩設備的退化和維護決策.Fitouhi等[19]則考慮在生產率水平約束下最小化總成本.Zhou等[20]針對具有兩個多組件系統(tǒng)和一個中間緩存區(qū)的串并聯(lián)系統(tǒng)的預防性維護問題，開發(fā)了馬爾科夫決策方法.Gan等[21]關注了緩存、預防性維護及部件更換之間的相互作用，除維護策略外優(yōu)化備件一般訂單的下達時間.

這類研究多假設故障維修和預防性維護是完美的，但這在實際中難以實現(xiàn).此外，已有文獻多以總成本作為優(yōu)化目標，但緩存區(qū)的設置不僅引起成本變化，也會延長設備運行時間進而提高產量.針對這些問題，本文在現(xiàn)有文獻的基礎上有以下創(chuàng)新點：①考慮系統(tǒng)內其他設備和緩存狀態(tài)的影響，針對特定系統(tǒng)狀態(tài)進行預防性維護決策；②考慮不完美維護，維護改善設備狀態(tài)但不一定使其恢復全新，基于此構建馬爾科夫狀態(tài)轉移模型，更符合實際生產；③用系統(tǒng)運行利潤代替成本作為優(yōu)化目標，可以更全面地衡量維護決策的效果.

本文以兩設備一緩存生產系統(tǒng)為研究對象，同時考慮上下游設備的退化和不完美維護，以兩設備狀態(tài)和緩存量描述系統(tǒng)狀態(tài)，建立離散時間的馬爾科夫決策模型.以系統(tǒng)的長期期望運行利潤最大化為目標，優(yōu)化不同系統(tǒng)狀態(tài)下的設備維護決策.

1 問題描述

本文以兩設備一緩存生產系統(tǒng)為研究對象，如圖1所示，其中M1、M2分別為生產系統(tǒng)的上下游設備，B為緩存區(qū).零件從系統(tǒng)外部流向M1，經由M1加工后流向緩存區(qū)，M2從緩存區(qū)提取零件，加工完成后流出系統(tǒng).緩存容量為K，當緩存未滿且兩設備運行時，M1以生產率p供應緩存，M2以生產率d(p>d)消耗緩存.一旦緩存達到容量限制，將M1生產率從p調整為d.

圖1 兩設備一緩存生產系統(tǒng)Fig.1 Two-machine one-buffer production system

上下游設備的失效率隨役齡的增加而增加，可在離散等距的觀測周期τ=0,1,…進行檢查評估以確定設備狀態(tài).以上游設備為例，M1共有3m個狀態(tài)：①根據(jù)失效率將運行狀態(tài)劃分為1,2,…,m，數(shù)值越大表示設備狀態(tài)越差；②若設備在運行狀態(tài)i發(fā)生故障，則轉移至狀態(tài)m+i，因此m+1,m+2,…,2m表示設備的故障狀態(tài)，數(shù)值越大表示故障越嚴重，越不易維修，設備故障后立即小修，小修完成后返回故障前狀態(tài)i；③若設備在運行狀態(tài)i進行維護，則轉移至狀態(tài)2m+i，故2m+1,2m+2,…,3m表示維護狀態(tài)，數(shù)值越大表示狀態(tài)越差，越不易維護，不完美維護完成后，設備有可能轉移至不劣于維護前狀態(tài)i的任一運行狀態(tài)j，即滿足1≤j≤i.同樣地，M2共有3n個狀態(tài).

生產系統(tǒng)的狀態(tài)用3個變量(i,i′,κ)描述，i和i′分別表示上下游設備的狀態(tài)，κ為緩存量.則生產系統(tǒng)的狀態(tài)空間S={(i,i′,κ)|i∈{1,2,…,3m},i′∈{1,2,…,3n},κ∈{0,1,…,K}}.

兩設備均有3種可以執(zhí)行的行動，即a,a′∈{0,1,2}，0表示不采取任何措施，1和2分別表示維護和小修，行動集用Π表示.設備處于運行狀態(tài)時，需要決策是否進行預防性維護，可選擇行動0或1；當且僅當設備故障時選擇行動2.

本文采用離散時間的馬爾科夫決策過程對帶緩存雙機生產系統(tǒng)進行預防性維護決策.以最大化的系統(tǒng)長期運行利潤為目標，決策當上下游設備分別處于不同狀態(tài)，以及不同的緩存狀態(tài)下，是否進行設備的預防性維護.

為便于模型的構建，結合生產實際，本文提出如下假設：

(1) 初始時刻兩設備均處于最佳狀態(tài)，緩存量為0；

(2) 上下游設備的狀態(tài)及狀態(tài)轉移相互獨立；

(3) 上游設備不會出現(xiàn)零件供應短缺，下游設備不會阻塞；

(4) 小修和預防性維護持續(xù)時間均服從幾何分布；

(5) 由于設備故障是非計劃性的突發(fā)情況，因此小修過程相比于預知的維護更為復雜，故小修的期望完成時間和成本均大于預防性維護[22].

2 馬爾科夫決策模型

2.1 設備狀態(tài)轉移模型

故障狀態(tài)m+i不能從i以外的其他運行狀態(tài)到達，即對于1≤i,j≤m且i≠j，滿足pj(m+i)=0.μi為狀態(tài)m+i的小修成功率，當M1處于故障狀態(tài)m+i，下一周期只會：① 小修完成，以概率μi轉移至故障前運行狀態(tài)i；② 小修未完成，狀態(tài)不變，即p(m+i)(m+i)=1-μi.M1運行狀態(tài)和故障狀態(tài)下的狀態(tài)轉移如圖2所示.

圖2 M1運行和故障狀態(tài)轉移Fig.2 Transition of working and failure states of M1

圖3 M1維護狀態(tài)轉移Fig.3 Transition of maintenance states of M1

小修和維護的成功率與維護前的運行狀態(tài)i有關，對于1≤iμj以及νi>νj.根據(jù)假設(5)，0<μi<νi<1.

2.2 系統(tǒng)狀態(tài)轉移概率

對于帶緩存雙機系統(tǒng)的狀態(tài)轉移概率，若系統(tǒng)在周期τ處于狀態(tài)s，當采取策略π=(a,a′)時，下一周期系統(tǒng)狀態(tài)轉移至狀態(tài)u的概率Psu(π)為

(1)

(2)

(3)

(4)

(5)

(6)

(7)

上述公式均滿足1≤i≤j≤m,1≤i′≤j′≤n,0≤κ≤K.式(1)、(2)表示兩設備均運行時的轉移概率；式(3)表示M1在狀態(tài)i進行維護且本周期內維護未完成的概率；式(4)表示兩設備均停機維護且均在本周期完成的概率；式(5)表示M1運行，M2故障小修且修復完成的概率；式(6)表示M1小修，M2維護且均完成的概率；式(7)為兩設備同時小修且本周期內未修復成功的概率.其他狀態(tài)下的轉移概率與上述概率結構相似，不再贅述.

上述狀態(tài)轉移概率公式體現(xiàn)了狀態(tài)空間的選擇.以式(1)、(2)為例，當本周期初的系統(tǒng)狀態(tài)為(i,i′,κ)且采取的策略為兩設備均不維護時，本周期內兩設備同時運行.當本周期結束時，緩存量只可能增加為κ+p-d或因容量限制保持K不變，且兩設備只可能以相應概率轉移至運行狀態(tài)j和j′或出現(xiàn)故障停機.即下一周期生產系統(tǒng)只會在狀態(tài)空間中選擇其可能到達的狀態(tài)，到這些狀態(tài)的轉移概率大于0，而到其他狀態(tài)的轉移概率為0.

2.3 利潤函數(shù)

若周期τ系統(tǒng)處于狀態(tài)s并采取策略π=(a,a′)，在該周期內取得的利潤用R(s,π)表示.R(s,π)為該周期內的收入與成本之差，本文考慮的成本結構包括材料成本、設備運行成本、緩存成本以及維護小修成本.

R((i,i′,κ),(0,0))=dg-min{p,K+d-κ}(cr+

(8)

(9)

R((i,n+i′,κ),(0,2))=-min{p,K-κ}(cr+

(10)

(11)

(12)

R((2m+i,n+i′,κ),(1,2))=

(13)

上式均滿足1≤i≤m,1≤i′≤n,0≤κ≤K.式(8)表示兩設備均運行時，該周期內的系統(tǒng)利潤；式(9)表示當M1維護，M2運行時，周期內的系統(tǒng)利潤；式(10)表示當M1運行，M2小修時，周期內的系統(tǒng)利潤；式(11)～(13)表示上下游設備同時停機，進行維護或小修時，周期內的利潤.其他狀態(tài)下的系統(tǒng)利潤與上述利潤結構相似.

2.4 長期期望利潤模型

考慮無限階段的馬爾科夫決策過程，對生產系統(tǒng)的長期期望利潤進行建模.為保證長期期望利潤收斂，取折扣因子0<α<1.則經過τ個周期的期望利潤Vτ(s)滿足

(14)

s∈S,τ>0

(15)

當一臺設備發(fā)生故障小修而另一臺設備正常運行時，以M1故障為例，采取不同維護策略時的期望利潤為

當一臺設備正在進行預防性維護而另一臺設備正常運行時，以M2維護為例，采取不同維護策略時的期望利潤為

當上下游設備均發(fā)生故障小修時，期望利潤為

R((m+i,n+i′,κ)，(2,2))+

根據(jù)假設(1)，初始狀態(tài)為s=(1,1,0)，則當τ趨于無限大時，系統(tǒng)長期期望利潤V*滿足

(16)

式(16)即為維護決策的目標函數(shù)，通過最大化長期期望利潤，即可得到各個系統(tǒng)狀態(tài)下兩設備的維護決策.

3 數(shù)值分析

值迭代方法是應用最為廣泛的求解無限階段折扣馬爾科夫決策過程的方法，本文通過值迭代方法求解最優(yōu)維護策略的步驟如下：

步驟1：初始化，對任意系統(tǒng)狀態(tài)s=(i,i′,κ)∈S，設置V0(s)=0，令τ=1，取ε為一個足夠小的正數(shù)；

步驟2：對于每個狀態(tài)s∈S，通過計算式(14)，求得Vτ(s)；

步驟3：若|Vτ(s)-Vτ -1(s)|<ε，進入步驟4，否則，令τ=τ+1，返回步驟2；

步驟4：輸出各狀態(tài)下最優(yōu)的設備維護決策，輸出初始狀態(tài)為(1,1,0)的最優(yōu)長期期望利潤V*，算法結束.

代入上述參數(shù)對模型進行求解，3個算例得到的最大長期期望利潤分別為94.83、65.78及62.44，對應各系統(tǒng)狀態(tài)下M1最優(yōu)的預防性維護決策如表1所示，括號里的3個數(shù)字從左往右依次為3個算例的求解結果，表示在給定的M2狀態(tài)i′和緩存狀態(tài)κ下，M1的最優(yōu)預防性維護起始狀態(tài)i(i′,κ)*，即M1狀態(tài)優(yōu)于該值則正常運行，否則進行維護.

M2的最優(yōu)預防性維護起始狀態(tài)i′(i,κ)*如表2所示.

表1 M1最優(yōu)維護策略Tab.1 Optimal maintenance policy of M1

從上述3個算例的求解結果都可以看出，對于一臺設備而言，當緩存量和系統(tǒng)內其他設備處于不同狀態(tài)時，其執(zhí)行預防性維護的起始狀態(tài)是不同的，即緩存量和其他設備所處的狀態(tài)都會對其維護決策造成影響.接下來針對算例1進行更為詳細的數(shù)據(jù)分析.

分別取上下游設備處于狀態(tài)1及其對應的小修狀態(tài)7和維護狀態(tài)13，繪制另一臺設備的維護起始狀態(tài)與緩存狀態(tài)的關系圖，如圖4、5所示.圖中3條不重合的曲線體現(xiàn)了系統(tǒng)內其他設備狀態(tài)對維護決策的影響，曲線的變化趨勢體現(xiàn)了緩存對維護決策的影響.可以看出，兩設備都傾向于在另一臺設備停機時提前進行維護.M1受緩存狀態(tài)的影響更大，更傾向于在緩存量能夠滿足M2需求時提前維護.M2則為保證產出，在M1運行或緩存充足時都不會提前維護，只有M1停機且緩存量不足時，才會進行提前維護.

圖4 不同系統(tǒng)狀態(tài)下的M1維護起始狀態(tài)Fig.4 Initial maintenance states of M1 in different system states

表2 M2最優(yōu)維護策略Tab.2 Optimal maintenance policy of M2

圖5 不同系統(tǒng)狀態(tài)下的M2維護起始狀態(tài)Fig.5 Initial maintenance state of M2 in different system state

圖6 不同cp和下的系統(tǒng)利潤Fig.6 System profit at different cp and values

圖7 不同ch和νi下的系統(tǒng)利潤Fig.7 System profit at different ch and νi values

圖8 不同ch和下的系統(tǒng)利潤Fig.8 System profit at different ch and values

4 結語

本文建立了兩設備一緩存的生產系統(tǒng)模型，上下游設備均有可能故障停機，故障后立即小修，正常運行時可以選擇是否進行預防性維護，小修和維護都是不完美的.通過建立馬爾科夫決策模型，考慮材料成本、設備運行成本、緩存成本以及維護小修成本，建立了系統(tǒng)的長期期望利潤模型作為優(yōu)化目標，在不同系統(tǒng)狀態(tài)下進行設備的維護決策.算例求解結果表明，系統(tǒng)狀態(tài)會影響設備的維護決策，根據(jù)系統(tǒng)狀態(tài)采取更靈活的維護策略是有必要的.

本文結果對包含兩臺以上設備生產系統(tǒng)的設備維護問題具有一定的參考作用，未來可對更為復雜的生產系統(tǒng)進行進一步研究.