基于部分可觀察馬爾可夫決策過程的機(jī)電裝備動態(tài)可靠性評價方法

張紅旗　邵曉東　胡祥濤

1.西安電子科技大學(xué),西安,7100712.中國電子科技集團(tuán)公司第三十八研究所,合肥,230088

?

基于部分可觀察馬爾可夫決策過程的機(jī)電裝備動態(tài)可靠性評價方法

張紅旗1,2邵曉東1胡祥濤2

1.西安電子科技大學(xué),西安,7100712.中國電子科技集團(tuán)公司第三十八研究所,合肥,230088

針對機(jī)電裝備運(yùn)行維護(hù)問題，提出了基于部分可觀察馬爾可夫決策過程(POMDP)理論的動態(tài)可靠性評價方法。該方法將可靠性動態(tài)演變看成POMDP問題，通過不完全觀測到的設(shè)備運(yùn)行信息(如噪聲、溫度、壓力等)，對可靠性狀態(tài)進(jìn)行估計，同時分析不同的維修行為對可靠性水平的影響規(guī)律，構(gòu)建了基于狀態(tài)轉(zhuǎn)移的動態(tài)可靠性評價模型。然后，提出了以最小化維修成本費(fèi)用和潛在故障危害為目標(biāo)的維護(hù)策略制定方法，并通過案例分析驗證了該方法的有效性，實現(xiàn)了機(jī)電裝備動態(tài)可靠性的有效評價與維護(hù)策略的科學(xué)制訂。

可靠性評價；維護(hù)策略;POMDP；機(jī)電裝備

0　引言

機(jī)電裝備集成了電、機(jī)、液等多種技術(shù)，其失效機(jī)理相當(dāng)復(fù)雜，導(dǎo)致其可靠性難以評價[1-3]。一方面缺少有效的基礎(chǔ)數(shù)據(jù)，可靠性預(yù)計結(jié)果誤差較大；另一方面，在環(huán)境載荷持續(xù)作用下系統(tǒng)性能逐漸劣化，呈現(xiàn)出多態(tài)、時變和相關(guān)特性，常規(guī)的可靠性分析手段存在很多與工程不相適應(yīng)的地方。因此，如何實時描述和獲得機(jī)電裝備運(yùn)行狀態(tài)和可靠性水平，即所謂的動態(tài)可靠性評價問題，是復(fù)雜機(jī)電裝備運(yùn)行維護(hù)過程中難題之一。

針對上述難題，國內(nèi)外學(xué)者分別采用了動態(tài)貝葉斯網(wǎng)絡(luò)(dynamic bayesian network，DBN)理論、部分可觀察馬爾可夫決策過程(partially observable Markov decision processes, POMDP)、Petri網(wǎng)等理論開展了廣泛的研究[4-10]。其中，POMDP理論因能描述不確定環(huán)境下序貫決策問題而受到青睞，在機(jī)電裝備運(yùn)行狀態(tài)估計、維修策略制訂等領(lǐng)域中獲得了廣泛研究。劉繁茂等[1]利用POMDP理論，在基于設(shè)備狀態(tài)的視情維修模式下，提出了以最小化折扣費(fèi)用為目標(biāo)函數(shù)的設(shè)備檢測和維修的聯(lián)合決策方法。黃飛騰等[2]基于系統(tǒng)的馬爾可夫性假設(shè)，對系統(tǒng)狀態(tài)進(jìn)行適當(dāng)?shù)碾x散化處理，利用狀態(tài)轉(zhuǎn)移方法來描述系統(tǒng)的動態(tài)隨機(jī)過程，再建立離散動態(tài)事件樹求得系統(tǒng)故障概率。尚永爽等[11]針對部分可觀測信息條件下的退化系統(tǒng)，提出利用部分可觀測馬爾可夫決策過程模型解決系統(tǒng)視情維修問題。實例研究表明，該方法可為保障人員提供科學(xué)的維修決策依據(jù)。但是，目前的大多數(shù)研究都存在模型過于簡單、考慮因素單一等問題，與復(fù)雜環(huán)境下設(shè)備維修需求尚有差距。另外，由于POMDP存在“維度災(zāi)”問題，缺少有效的求解算法，也限制了該理論在機(jī)電設(shè)備運(yùn)行維護(hù)中的工程應(yīng)用。

本文將機(jī)電裝備的動態(tài)可靠性問題看成部分可觀察馬爾可夫決策過程，通過不完全觀測到的設(shè)備運(yùn)行信息(如噪聲、溫度、壓力、振動水平等),對機(jī)電裝備進(jìn)行動態(tài)可靠性評價，提出以最小化維修成本費(fèi)用和潛在故障代價為目標(biāo)函數(shù)的設(shè)備維護(hù)策略制訂方法，為機(jī)電設(shè)備可靠性動態(tài)評價和維修策略制訂提供有效途徑。

1　POMDP概述

POMDP的基本框架可以表示為6元數(shù)組[12-13]。其中，S為有限狀態(tài)集，一般采用離散形式表示，如S={1,2,…,n}，n代表狀態(tài)空間的規(guī)模；A為有限行動集，通常表示為A={1,2,…,m}，m代表行動空間的規(guī)模；T為狀態(tài)轉(zhuǎn)移函數(shù)，S×A→S′表示在狀態(tài)s下執(zhí)行行動a后，狀態(tài)轉(zhuǎn)移為s′的概率為P(s′|s,a)，也記為Ta(s,s′)或T(s,a,s′)；R為立即收益函數(shù)，S×A→R意為在狀態(tài)s下執(zhí)行行動a后期望得到的立即收益，也稱作報酬函數(shù)，用R(s,a)表示；O為有限觀測集，通常表示為O={1,2,…,l}，l代表狀態(tài)空間的規(guī)模；Ω為觀測函數(shù)，表示執(zhí)行行動a后，狀態(tài)為s′時觀測到o的概率，即P(o|s′,a)，也記為Ω(s′,a,o)。

1.1信念狀態(tài)(BeliefState)

圖1表示POMDP模型中的決策過程。由圖1可知，信念狀態(tài)是行動決策的直接依據(jù)，信念狀態(tài)的轉(zhuǎn)移具有馬爾可夫性[14-15]。信念狀態(tài)b′可以用貝葉斯公式進(jìn)行更新[12-13]，具體過程如下：

(1)

(2)

式(2)為歸一化因子。根據(jù)轉(zhuǎn)移函數(shù)T及觀測函數(shù)Ω，就可以實現(xiàn)信念狀態(tài)的轉(zhuǎn)移更新。

圖1　POMDP模型中決策過程示意圖

1.2值函數(shù)

為了尋求最優(yōu)行動策略，需要確定值函數(shù)。策略表示信念狀態(tài)空間到行動集的映射：a=π(b)。對于一個初始狀態(tài)s，按照策略執(zhí)行動作得到的期望收益為[12-13]

V(s)=R(s,a)+γVfuture

(3)

(4)

其中，Vfuture為執(zhí)行動作a之后的潛在長期收益；γ為折扣值，表示相對立即收益R存在一個時間折扣。

按照式(3)和式(4)，初始信念狀態(tài)b的最優(yōu)值函數(shù)和最優(yōu)策略可以表示為

(5)

(6)

t∈T

求解POMDP問題，就是要計算整個信念狀態(tài)空間中每個信念狀態(tài)上的最優(yōu)值函數(shù)。受“維度災(zāi)”的影響，目前常采用的算法是基于點(diǎn)的值迭代算法(point-based value iteration, PBVI)。PBVI算法屬于近似算法，只在信念狀態(tài)空間部分點(diǎn)上進(jìn)行計算，由兩個步驟組成：①在給定的信念點(diǎn)集上更新值函數(shù)；②擴(kuò)充信念點(diǎn)集。兩個步驟交替執(zhí)行，直到值函數(shù)收斂或者滿足終止條件為止。

2　動態(tài)可靠性評價模型

機(jī)電裝備的可靠性評價和維護(hù)，需要綜合考慮裝備的運(yùn)行狀態(tài)、資源和費(fèi)用耦合問題。例如，設(shè)備某個組件的振動幅值隨著時間而變化，反映了它可靠性水平在變化，維修策略也要相應(yīng)變化。這些時變的因素需要綜合在一起考慮，從而決定可靠性水平怎么樣，何時維修，怎么維修，目標(biāo)是在設(shè)備的可靠性和可用性可以接受的水平下，最小化裝備檢測維修費(fèi)用和潛在故障代價。

2.1狀態(tài)集、觀測集與行動集

按照上節(jié)所述，POMDP模型需要確定系統(tǒng)的狀態(tài)集、觀測集與行動集。為了實現(xiàn)對機(jī)電裝備可靠性評價，本文將可靠性水平看成系統(tǒng)狀態(tài)。并假定在復(fù)雜工作環(huán)境下，系統(tǒng)可靠性水平的動態(tài)演變符合POMDP理論。

一般情況下，可靠性屬于隱藏狀態(tài)，需要借助觀察或監(jiān)測信息對其合理估計。工程中，一般是依賴設(shè)備的振動水平、噪聲水平、溫度等可觀測信息來評估設(shè)備可靠性水平。比如，噪聲水平長期維持在高水平，說明結(jié)構(gòu)內(nèi)部可能存在磨損等故障源，可靠性水平降低，需要進(jìn)行拆機(jī)檢修。POMDP 模型的觀測集可以集成機(jī)器的性能參數(shù)和每個檢測行動取得的多種診斷信息, 如某個時間噪聲水平和振動信號的幅值。

不同可靠性水平需要采取不同的維修策略。設(shè)備如果高可靠，就只需簡單維護(hù)；反之，則需要大修。不同的維修行為用于構(gòu)建行動集，如維護(hù)、置換組件、置換機(jī)器、機(jī)器的連續(xù)運(yùn)行或者檢測等。

綜上所述，假定某個系統(tǒng)的壽命歷史能夠模擬成一個離散時間的有限狀態(tài)的馬爾可夫過程，下面給出基于POMDP的動態(tài)可靠性評價模型定義：

狀態(tài)集S={1, 2, 3, 4, 5}，分別對應(yīng)機(jī)電裝備高可靠、可靠、亞可靠、次可靠、不可靠。

行動集A={1, 2, 3, 4}，分別對應(yīng)簡單保養(yǎng)、普通維護(hù)、小修、大修。

假設(shè)一個機(jī)電系統(tǒng)有k個觀測量，分別為O1、O2…、Ok，將每個觀測量按照大小離散為5個水平，對應(yīng)“低”“中下”“中”“中上”“高”。則觀測集定義為：Oi={1, 2, 3, 4, 5}，i=1,2,…,k。

2.2轉(zhuǎn)移函數(shù)和觀測函數(shù)

圖2　可靠性水平狀態(tài)轉(zhuǎn)移示意圖

狀態(tài)轉(zhuǎn)移函數(shù)Ta(s,s′)如圖2所示，即假定當(dāng)前系統(tǒng)狀態(tài)為可靠，采取的行動集——維修策略是普通維護(hù)，則下一時刻系統(tǒng)狀態(tài)(不可靠、可靠、高可靠)以一定概率發(fā)生轉(zhuǎn)移。本質(zhì)上，狀態(tài)轉(zhuǎn)移函數(shù)屬于條件概率范疇，反映了維修行為對系統(tǒng)可靠性水平影響程度。大多數(shù)情況下，這種影響是正面的，但并不是完全百分之百的。因為設(shè)備固有的退化性質(zhì)以及誤操作等不確定因素，導(dǎo)致維修不可能回到初始正常狀態(tài)。也就是說，即使采取了維修操作，設(shè)備的可靠性仍然是值得懷疑的。工程中，狀態(tài)轉(zhuǎn)移函數(shù)的確定需要依賴經(jīng)驗知識，是人工維修行為的一種智能化過程。

系統(tǒng)的觀測函數(shù)Ω(s′,a,oi)=P(oi|s′,a)，表示執(zhí)行行動a后進(jìn)入下一個狀態(tài)s′時觀測到oi的概率。顯然觀測函數(shù)構(gòu)建了裝備可靠性水平、觀測信息和維修行為之間的邏輯關(guān)系。即維修行為越合理，可靠性水平越高，觀測到的信息也是正向相關(guān)的。

由于系統(tǒng)有k個觀測信息，因而對應(yīng)著k個觀測函數(shù)。按照式(1)，信念狀態(tài)由觀測函數(shù)和轉(zhuǎn)移函數(shù)共同決定和更新計算。因此，每個觀測函數(shù)會對應(yīng)一個信念狀態(tài)，記為bi。本文通過加權(quán)方式，確定最終的信念狀態(tài)：

比較兩組患者Hb水平,術(shù)前差異無統(tǒng)計學(xué)意義(P>0.05),術(shù)后3d、7d時,研究組均高于對照組(P<0.05)。詳見下表2:

(7)

式中，ωi為加權(quán)系數(shù)，且∑ωi=1。

工程中，需要綜合各種觀測信息對機(jī)電裝備的可靠性水平作一個合理估計，不同的觀測信息會導(dǎo)致估計值不同。當(dāng)觀測信息的可信度較高時，其權(quán)重自然要大些。同理，在根據(jù)式(4)和式(5)計算值函數(shù)時，首先分別計算不同觀測函數(shù)對應(yīng)的值函數(shù)，再加權(quán)求總的值函數(shù)，這里不再贅述。

2.3值函數(shù)

一般來說，機(jī)電裝備有多個不同的維修和檢測方法，其費(fèi)用和效果都不相同。不當(dāng)?shù)木S修行為會導(dǎo)致成本升高，且設(shè)備達(dá)不到最優(yōu)運(yùn)行狀態(tài)。因此，合理的維修策略取決于每個時間點(diǎn)系統(tǒng)的可靠性水平。

本文綜合考慮了維修成本和潛在故障危害，定義評價函數(shù)如下：

R(s,a)=f(s)+g(a)

(8)

其中，f為潛在故障危害代價函數(shù)，表示系統(tǒng)在當(dāng)前可靠性信念狀態(tài)下潛在的故障危害；g為維修成本函數(shù)，表示采取維修行為之后需付出的維修成本。將式(8)代入式(5)和式(6)，即可獲得最優(yōu)維護(hù)策略。

3　案例分析

以某型號雷達(dá)天線旋轉(zhuǎn)系統(tǒng)為例，該系統(tǒng)由軸承、齒輪、旋轉(zhuǎn)軸、電機(jī)、傳感器等零部件組成，主要失效模式為旋轉(zhuǎn)運(yùn)動部件的磨損、零部件的銹蝕卡死、結(jié)構(gòu)疲勞變形、電機(jī)故障等。系統(tǒng)的可靠性水平可以通過噪聲水平和振動水平進(jìn)行判斷，可靠性評價周期為1年?；诘?節(jié)所述，POMDP模型可以定義如下：

行動集定義為A= {1, 2, 3, 4}。其中，a=1表示簡單保養(yǎng)，如緊固螺釘、加潤滑、去銹漬等；a=2表示普通維護(hù)，需更換非關(guān)鍵件，如螺栓、線路、傳感器等；a=3表示小修，需對電機(jī)、驅(qū)動器、軸承等設(shè)備進(jìn)行檢修；a=4表示大修，需更換關(guān)鍵件，如電機(jī)、軸承、齒輪等。

噪聲觀測集O1={1, 2, 3, 4, 5}。其中，o1=1表示低噪聲，設(shè)備運(yùn)行正常；o1=2表示中低噪聲，設(shè)備存在潤滑不良或安裝松動；o1=3表示中噪聲，設(shè)備可能存在些微磨損、變形或安裝松動；o1=4表示中高噪聲，設(shè)備可能存在磨損或變形；o1=5表示高噪聲，設(shè)備可能存在較大磨損或變形。

振動觀測集O2={1, 2, 3, 4, 5}。其中，o2=1表示低振動水平，設(shè)備運(yùn)行正常；o2=2表示中低振動水平，轉(zhuǎn)子些微不平衡、激勵載荷或負(fù)載些微異常；o2=3表示中等振動水平，轉(zhuǎn)子不平衡、激勵載荷或負(fù)載異常；o2=4表示中高振動水平，轉(zhuǎn)子較大不平衡、激勵載荷或負(fù)載較大異常；o2=5表示高振動水平，轉(zhuǎn)子嚴(yán)重不平衡、激勵載荷或負(fù)載嚴(yán)重異常。

根據(jù)工程經(jīng)驗，假設(shè)狀態(tài)轉(zhuǎn)移函數(shù)和觀測函數(shù)分別如表1～表3所示。表1中，a=1表示只需進(jìn)行簡單的日常保養(yǎng)，如果當(dāng)前可靠性水平為高可靠(s=1)，下一時刻可靠性水平的5個狀態(tài)概率分別為0.99、0.01、0、0和0；如果當(dāng)前可靠性水平為可靠(s=2)，下一時刻可靠性水平的5個狀態(tài)概率分別為0.05、0.75、0.20、0和0；如果當(dāng)前可靠性水平為不可靠(s=5)，下一時刻可靠性水平的5個狀態(tài)概率分別為0、0、0、0.01和0.99。表2中噪聲觀測函數(shù)表示：如果當(dāng)前設(shè)備是低噪聲水平(o1=1)，則當(dāng)前可靠性水平的5個狀態(tài)概率分別為0.95、0.04、0.01、0和0；如果當(dāng)前設(shè)備是一般噪聲水平(o1=3)，則當(dāng)前可靠性水平的5個狀態(tài)概率分別為0.35、0.35、0.15、0.1和0.05；如果當(dāng)前設(shè)備是高噪聲水平(o1=5)，則當(dāng)前可靠性水平的5個狀態(tài)概率分別為0、0.05、0.1、0.25和0.6。類似地，表3中振動觀測函數(shù)表達(dá)了振動水平同機(jī)電裝備可靠性水平之間的概率關(guān)系。按照式(7)，假設(shè)振動和噪聲觀測函數(shù)的加權(quán)系數(shù)皆為0.5。

表1　狀態(tài)轉(zhuǎn)移函數(shù)

表2　噪聲觀測函數(shù)

表3　振動觀測函數(shù)

評價函數(shù)定義如下：

R(s,a)=5s+1+10a

假設(shè)行動a分別為1、2、3、4的經(jīng)濟(jì)成本分別為10、100、1000和10 000；故障危害的代價主要由可靠性水平?jīng)Q定，對應(yīng)s分別為1、2、3、4、5，付出的代價分別為25、125、625、3125和15 625。

設(shè)初始信念狀態(tài)b(s)=(0.99,0.01,0,0,0)，將上述設(shè)置代入到式(5)～式(7)，可求得系統(tǒng)在不同信念狀態(tài)b下最佳維修策略。以可靠性水平s=5為例，描述如下：①b(s)≤0.05,a=1表示當(dāng)前系統(tǒng)處在不可靠狀態(tài)的估計概率不大于0.05，采取日常保養(yǎng)策略；②0.050.45,a=4表示當(dāng)前系統(tǒng)處在不可靠狀態(tài)的估計概率大于0.45，采取大修策略。

在這種維修策略下，該雷達(dá)天線旋轉(zhuǎn)系統(tǒng)可以持續(xù)工作18年。工程中，該雷達(dá)實際大修時間為服役15年后，表明本文提出的維修策略是合理的。

4　結(jié)語

本文針對機(jī)電裝備運(yùn)行維護(hù)問題，提出了基于POMDP理論的動態(tài)可靠性評價和維護(hù)策略制訂方法。當(dāng)機(jī)電裝備動態(tài)可靠性問題被看成不確定環(huán)境下序列決策問題時，POMDP模型可以幫助發(fā)現(xiàn)最優(yōu)維護(hù)策略。在構(gòu)建動態(tài)可靠性評價模型時，重點(diǎn)討論了狀態(tài)轉(zhuǎn)移函數(shù)、觀測函數(shù)和評價函數(shù)等POMDP模型中的幾個關(guān)鍵參數(shù)的定義。最后，針對某雷達(dá)旋轉(zhuǎn)系統(tǒng)線進(jìn)行了案例分析，結(jié)果表明基于POMDP的動態(tài)可靠性評價和維護(hù)策略制訂方法是合理有效的，與工程實際情況相吻合。

然而，本文提出的動態(tài)可靠性評價和維護(hù)策略制訂方法，僅僅考慮了一種理想的變化情況，對系統(tǒng)動態(tài)可靠性問題作了一些必要的簡化。雖然模型具有一定的合理性和有效性，但是該模型仍然存在很多需要進(jìn)一步改進(jìn)的地方，比如細(xì)化狀態(tài)的表示、在模型中加入其他決策評價方法、更合理的轉(zhuǎn)移函數(shù)和觀測函數(shù)獲取方法、針對行動空間和觀察空間龐大的問題提出更高效的POMDP近似算法等。

[1]劉繁茂,朱海平,邵新宇,等.狀態(tài)不完全可觀條件下設(shè)備檢修策略研究[J].計算機(jī)集成制造系統(tǒng),2009,15(8):1628-1632.

LiuFanmao,ZhuHaiping,ShaoXinyu,etal.InspectionandMaintenancePolicyofMachineBasedonPartiallyObservableMarkovDecisionProcesses[J].ComputerIntegratedManufacturingSystems, 2009, 15(8):1628-1632.

[2]黃飛騰,郁軍,肖航.基于Markov狀態(tài)轉(zhuǎn)移的動態(tài)可靠性分析[J].海軍工程大學(xué)學(xué)報,2002,14(6):80-83.

HuangFeiteng,YuJun,XiaoHang.DynamicReliabilityAnalysisBasedonMarkovStateTransition[J].JournalofNavalUniversityofEngineering, 2002, 14(6):80-83.

[3]SiuN.RiskAssessmentforDynamicSystems:anOverview[J].ReliabilityEngineeringandSystemSafety, 1994,43:43-73.

[4]EllisH,JiangMingxiang,CorotisRB.Inspection,Maintenance,andRepairwithPartialObservability[J].JournalofInfrastructureSystem, 1995, 1(2):92-99.

[5]CassandraAR.ASurveyofPOMDPApplications[C]//Proceedingsofthe3rdAnnualConferenceonUncertaintyinArtificialIntelligence(UAI-98).SanFrancisco,CA.,USA:MorganKaufmann, 1998:472-478.

[6]KuoY.OptimalAdaptiveControlPolicyforJointMachineMaintenanceandProductQualityControl[J].EuropeanJournalofOperationalResearch, 2006, 171(2):586-597.

[7]IvyJS,NembhardHB.AModelingApproachtoMaintenanceDecisionsUsingStatisticalQualityControlandOptimization[J].QualityandReliabilityEngineeringInternational, 2005, 21(4):355-366.

[8]HsuSP,ArapostathisA.SafetyControlofPartiallyObservedMDPswithApplicationstoMachineMaintenanceproblems[C]//ProceedingsofIEEEInternationalConferenceonSystems,ManandCybemetics.Hague,Netherlands:IEEE, 2004:261-265.

[9]胡祥濤,張紅旗,林寧,等.基于動態(tài)貝葉斯網(wǎng)絡(luò)的天線俯仰系統(tǒng)動態(tài)可靠性評估[J].電子機(jī)械工程,2014,30(6):22-26.

HuXiangtao,ZhangHongqi,LinNing,etal.ReliabilityAssessmentforAntennaPitchingSystemBasedonDynamicBayesianNetwork[J].Electro-mechanicalEngineering, 2014, 30(6):22-26.

[10]沈戈,蘇春,許映秋.基于Petri網(wǎng)理論的動態(tài)系統(tǒng)可靠性建模方法研究[J].機(jī)械工程與自動化,2006,30(2):1-3.

ShenGe,SuChun,XuYingqiu.ResearchonDynamicSystemReliabilityModelingMethodBasedonPetriNetTheory[J].MechanicalEngineering&Automation, 2006, 30(2):1-3.

[11]尚永爽,許愛強(qiáng),李文海,等.部分可觀測信息條件下系統(tǒng)最佳檢修策略分析[J].系統(tǒng)工程與電子技術(shù),2012,34(4):749-753.

ShangYongshuang,XuAiqiang,LiWenhai,etal.AnalysisofOptimalInspectionandMaintenancePolicywithPartiallyObservedInformation[J].SystemEngineeringandElectronics, 2012, 34(4):749-753.

[12]胡祥濤,張紅旗,李自成,等.基于部分可觀測Markov決策過程理論的盾構(gòu)推進(jìn)載荷規(guī)劃[J].機(jī)械工程學(xué)報,2014,50(21):84-91.

HuXiangtao,ZhangHongqi,LiZicheng，etal.POMDP-basedPlanningModelofDrivingForceDuringShieldTunneling[J].JournalofMechanicalEngineering, 2014, 50(21):84-91.

[13]MonahanGE.ASurveyofPartiallyObservableMarkovDecisionProcesses:Theory,Models,andAlgorithms[J].ManagementScience, 1982, 28(1):1-16.

[14]HuXiangtao,HuangYong’an,YinZhoupin,etal.DrivingForcePlanninginShieldTunnelingBasedonMarkovDecisionProcesses[J].Sci.ChinaTech.Sci., 2012, 55(4):1022-1030.

[15]PutermanML.MarkovDecisionProcesses:DiscreteStochasticDynamicProgramming[M].NewYork:JohnWiley&SonsInc，1994.

(編輯王艷麗)

Dynamic Reliability Assessment Method Based on POMDP for Electromechanical Equipment

Zhang Hongqi1,2Shao Xiaodong1Hu Xiangtao2

1.Xidian University, Xi’an，710071 2.CETC No.38 Research Institute,Hefei，230088

This paper focused on the operation and maintenance problems of electromechanical equipment, and proposed a new approach to assess the reliability and formulate the maintenance strategies based on POMDP theory. In the new approach, the dynamic reliability of electromechanical equipment was considered as an uncertain state which might be estimated by the monitoring informations (such as noise, pressure, temperature, vibration, et al.) according to POMDP theory. Furthermore, the influences of different maintenance strategies on reliability level of electromechanical equipment were investigated, and a dynamic reliability model was developed based on state transition. In order to plan the optimal maintenance strategy, an evaluation function was defined by minimizing the maintenance costs and the lost of faults. The experimental results confirm that the new approach based on POMDP is reasonable for electromechanical equipment, and possesses application and dissemination values.

reliability assessment; maintenance policy; partially observable Markov decision process(POMDP); electromechanical equipment

2015-05-04

國防技術(shù)基礎(chǔ)項目(JSZL2014210B001，JSBZ2014210A005，JSBZ2014210B007)；國防基礎(chǔ)科研項目(A1120131044)

TB114.3

10.3969/j.issn.1004-132X.2016.18.012

張紅旗，男，1975年生。中國電子科技集團(tuán)公司第三十八研究所研究員、西安電子科技大學(xué)機(jī)電工程學(xué)院博士研究生。主要研究方向為數(shù)字化設(shè)計與制造、可靠性工程。發(fā)表論文20余篇。邵曉東，男，1970年生。西安電子科技大學(xué)機(jī)電工程學(xué)院教授、博士研究生導(dǎo)師。胡祥濤，男，1981年生。中國電子科技集團(tuán)公司第三十八研究所高級工程師。