基于門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的LED壽命預(yù)測方法

龔曉春，朱 云，李 晟，顏建堂，李玉曉

(1.江西理工大學(xué)理學(xué)院，江西 贛州 341000，2.深圳卡洛照明有限公司，廣東 深圳 518012)

引言

發(fā)光二極管(Light-emitting Diode, LED)是電致發(fā)光的半導(dǎo)體器件，具有長壽命、高能效、環(huán)保等優(yōu)點，已被廣泛應(yīng)用于醫(yī)療、通信、照明等行業(yè)。但LED仍面臨著器件可靠性、安全性和可用性保障的問題，限制了LED健康管理技術(shù)的發(fā)展。例如，LED的壽命預(yù)測是LED健康管理的關(guān)鍵問題，但現(xiàn)行的壽命預(yù)測方法存在準確性低且預(yù)測算法耗時較長等問題[1,2]。因此，如何提高LED壽命預(yù)測方法的準確性和壽命預(yù)測速度具有重要的研究意義。

當前的LED壽命預(yù)測方法可分為基于物理模型的方法和基于數(shù)據(jù)驅(qū)動的方法兩類[3,4]?；谖锢砟Ｐ偷姆椒ㄊ紫刃枰治鯨ED退化或損壞行為的物理機理，再建立對應(yīng)的退化模型。但是LED的壽命退化過程受多種因素的影響，導(dǎo)致物理機理分析精確度不高，且對測量數(shù)據(jù)有較高的要求，這些問題限制了這類方法被廣泛應(yīng)用[5]?；跀?shù)據(jù)驅(qū)動的方法是通過對采集到的退化數(shù)據(jù)進行分析和挖掘，無需構(gòu)建LED的物理失效模型即可預(yù)測LED的壽命。因此，數(shù)據(jù)驅(qū)動法已成為LED壽命預(yù)測研究的熱點。北美照明工程學(xué)會提出的IES TM-21-11標準[6]推薦了一套基于數(shù)據(jù)驅(qū)動的LED壽命預(yù)測方法。方法通過采集LED的流明維持數(shù)據(jù)，利用指數(shù)回歸模型和非線性最小二乘(NLS，Nonlinear Least Square)回歸方法建立流明維持數(shù)據(jù)衰退曲線，當流明維持數(shù)據(jù)衰減至70%時，則認為LED失效。該方法被廣泛應(yīng)用于生產(chǎn)制造過程，但是該方法提供的壽命信息單一且準確性不高[7]。為此，F(xiàn)an等[8]針對大功率白光發(fā)光二極管，通過采集的流明維持數(shù)據(jù)，利用基于一般衰減路徑模型的衰減數(shù)據(jù)驅(qū)動方法進行預(yù)測與IES TM-21-11推薦方法相比，可以獲得更多的壽命信息和更準確地預(yù)測結(jié)果。但該方法只能預(yù)測一個批次LED的平均壽命，無法預(yù)測單個LED的壽命。

隨著機器學(xué)習(xí)的快速發(fā)展，各種基于機器學(xué)習(xí)的數(shù)據(jù)驅(qū)動方法成為當前的研究熱點，并被廣泛應(yīng)用于不同領(lǐng)域的壽命預(yù)測過程[9,10]，取得了較好的效果。Lu等[11]提出利用溫度、電流、初始色度坐標和初始光通量數(shù)據(jù)作為訓(xùn)練樣本，通過改進的AdaBoost算法優(yōu)化BP網(wǎng)絡(luò)，從而預(yù)測LED的壽命。黃蘇丹等[12]提出了一種多應(yīng)力條件下的LED壽命快速評估模型，通過自適應(yīng)遺傳算法獲得模型參數(shù)，實現(xiàn)了LED壽命的預(yù)測。以上方法雖然都能夠?qū)崿F(xiàn)LED數(shù)據(jù)的壽命預(yù)測，但是均未考慮LED壽命數(shù)據(jù)間存在時間依賴性，使得LED退化信息丟失，導(dǎo)致壽命預(yù)測準確性不足。

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN，Recurrent Neural Network)對時序數(shù)據(jù)具有出色的建模能力，能處理長度可變的時間序列并通過循環(huán)結(jié)構(gòu)處理不同時刻的特征信息，適用于描述LED的退化過程[13]。但RNN在訓(xùn)練過程中容易出現(xiàn)梯度爆炸、梯度消失問題，難以解決LED退化數(shù)據(jù)的長依賴關(guān)系，這些問題限制了RNN在LED壽命預(yù)測中的應(yīng)用。Hochreiter等[14]在RNN的基礎(chǔ)上，提出了長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)(LSTMRNN，Long-short Term Memory Recurrent Neural Network)，在一定程度上解決了RNN的梯度爆炸和梯度消失的問題，但是LSTM單元結(jié)構(gòu)復(fù)雜，導(dǎo)致預(yù)測速度較慢。Zhou等[15]利用LSTMRNN方法對LED的輻射功率數(shù)據(jù)進行LED壽命預(yù)測，與IES TM-21-11的方法相比，該方法的壽命預(yù)測誤差更小，但是該方法將LSTMRNN的輸入層輸入數(shù)據(jù)長度設(shè)置為常數(shù)，因此在預(yù)測過程中考慮的LED歷史退化信息有限。

相比于LSTM，門循環(huán)單元(Gate Recurrent Unit, GRU)神經(jīng)網(wǎng)絡(luò)[16-18]結(jié)構(gòu)更為簡單，訓(xùn)練收斂速度快，能夠大大降低計算復(fù)雜度，有效提高LED壽命預(yù)測的效率。為此，本文提出一種基于門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的LED壽命預(yù)測方法，利用GRU特有的加權(quán)平均記憶結(jié)構(gòu)簡化了預(yù)測模型。同時，方法將模型輸入數(shù)據(jù)的長度設(shè)置為變量，使預(yù)測過程考慮更多的LED歷史退化信息，從而提高預(yù)測的準確性和預(yù)測速度。為了驗證本文方法的有效性，通過退化實驗采集了JUIFEI 3030 LED的流明維持數(shù)據(jù)，利用本文方法進行壽命預(yù)測，并與其他三種方法進行了對比分析。實驗結(jié)果表明，相比于其他方法，本文方法具有更高的準確性和預(yù)測速度，同時還具有良好的魯棒性。

1 原理與方法

1.1 門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)

GRU是LSTM的變體之一，其內(nèi)部激活函數(shù)包括sigmoid函數(shù)和tanh函數(shù)，其結(jié)構(gòu)如圖1所示?？梢娕cLSTM相比，GRU簡化了單元的門結(jié)構(gòu)，降低了計算復(fù)雜度。

圖1 GRU結(jié)構(gòu)圖Fig.1 The structure of GRU

(1)

其中，wr和wz分別表示rz和zt的權(quán)重向量，br和bz分別表示rt和zt的偏置向量。σ(·)表示sigmoid函數(shù)，*表示矩陣相乘運算。

(2)

則t時刻神經(jīng)元的細胞狀態(tài)ht可以表示為

(3)

圖2 LED壽命預(yù)測方法框架Fig.2 Framework of LED lifetime prediction

1.2 基于GRUNN的LED壽命預(yù)測方法

本文提出了一種基于GRUNN的LED壽命預(yù)測方法，GRUNN為多對多模型，即模型的輸入序列和輸出序列的長度相等。其中，ht-1表示t-1時刻GRU單元的狀態(tài)。將ht-1和目標向量作為t時刻GRU單元的輸入，即可計算出t時刻的輸出yt和狀態(tài)ht。利用實測LED流明維持數(shù)據(jù)構(gòu)建訓(xùn)練集，訓(xùn)練GRUNN預(yù)測模型，再利用訓(xùn)練好的模型預(yù)測LED未來的退化行為。方法的流程圖如圖2所示，方法的具體步驟如下：

步驟1：建立流明維持數(shù)據(jù)集。

b)對原始流明維持數(shù)據(jù)進行歸一化預(yù)處理。因為流明維持數(shù)據(jù)是衰退數(shù)據(jù)，歸一化方法如下：

(4)

則N個同一批次的LED樣本的歸一化流明維持數(shù)據(jù)，用集合Φ={M1,M2,…,MN-1,MN}表示。其中，第i個LED樣本的歸一化流明維持數(shù)據(jù)向量可表示為Mi=[Mi1,Mi2,…,Min]，i=1,2,…,N。

c)構(gòu)建GRUNN模型的訓(xùn)練樣本。

步驟2：利用訓(xùn)練樣本訓(xùn)練GRUNN壽命預(yù)測模型。

(5)

若Me大于設(shè)置的閾值，則利用Adam[19]算法將誤差梯度方向傳播至GRUNN的輸入層，不斷尋找網(wǎng)絡(luò)參數(shù)的最優(yōu)解，直至Me小于設(shè)置的閾值。當網(wǎng)絡(luò)訓(xùn)練完畢，得到第Mit步GRUNN壽命預(yù)測模型。

步驟3：預(yù)測第i個LED的壽命。將最后一個流明維持數(shù)據(jù)Mit作為輸入，輸入至步驟2得到的第s步GRUNN壽命預(yù)測模型的輸入層，模型即可預(yù)測并輸出t+1時刻的流明維持數(shù)據(jù)Mi(t+1)。若Mi(t+1)流明維持數(shù)據(jù)還未退化至初始歸一化流明維持數(shù)據(jù)Mi1的70%(或80%)，則令t=t+1，s=s+1返回至步驟1，繼續(xù)訓(xùn)練新的GRUNN預(yù)測模型，并重新預(yù)測Mi(t+1)時刻的流明維持數(shù)據(jù)Mi(t+1)。若Mi(t+1)流明維持數(shù)據(jù)已退化至初始歸一化流明維持數(shù)據(jù)Mi1的70%(或80%)以下，則繪制第Li70個LED的壽命退化曲線，并輸出預(yù)測壽命Li70(或Li80)。

2 LED流明維持數(shù)據(jù)采集方法

為了收集能表征LED性能退化的流明維持數(shù)據(jù)，利用如圖3所示的流明維持數(shù)據(jù)采集裝置進行數(shù)據(jù)采集。

圖3 退化實驗設(shè)備實物圖Fig.3 The diagram of degradation experimental equipment

將LED樣本放置在如圖3(a)所示的積分球中，環(huán)境控制設(shè)備、光電快速測量系統(tǒng)及驅(qū)動電源集成在如圖3(b)所示的柜機中。其中，直流電源為積分球供電；積分球采集到LED樣本的流明維持率數(shù)據(jù)，通過光纖傳輸給光電色快速測量系統(tǒng)；光電色快速測量系統(tǒng)將流明維持數(shù)據(jù)上傳至上位機進行存儲和分析；環(huán)境控制系統(tǒng)可監(jiān)控和設(shè)置溫濕度等環(huán)境參數(shù)。

采集流明維持數(shù)據(jù)需要設(shè)置的環(huán)境參數(shù)包括LED樣本的殼體溫度、環(huán)境溫度、驅(qū)動電流和測量電流，從0 h開始，流明維持數(shù)據(jù)每1 000 h采集1次。

3 LED壽命預(yù)測實驗與分析

利用本文提出的方法對JUIFEI 3030 LED進行壽命預(yù)測實驗。實驗數(shù)據(jù)從0 h開始，數(shù)據(jù)總時長為0～12 000 h，因此每個LED樣本的流明維持數(shù)據(jù)個數(shù)為13。LED測試環(huán)境參數(shù)設(shè)置如表1所示。

實驗對JUIFEI 3030 LED進行壽命預(yù)測，預(yù)測結(jié)果分別與利用NLS回歸方法、基于RNN的預(yù)測方法和基于LSTMRNN的預(yù)測方法進行對比分析。

表1 測試環(huán)境參數(shù)設(shè)置

3.1 LED壽命預(yù)測結(jié)果的評價指標

為了評價不同方法預(yù)測結(jié)果的準確性，文獻[8]中提出將同一批次20個LED的期望壽命LE作為參考壽命，通過對比預(yù)測結(jié)果和參考壽命間的誤差即可評價方法預(yù)測的準確性。

LE的計算方法具體步驟如下：

步驟1：根據(jù)IES TM-21-11標準提出的LED衰退模型如式(6)所示：

Γ(t)=βexp(-α·t)

(6)

其中，Γ(t)表示t時刻的平均歸一化流明維數(shù)數(shù)據(jù)，β表示投影初始常數(shù)，α表示衰減速率常數(shù)。

將同批次20個LED樣本的流明維持數(shù)據(jù)歸一化，然后根據(jù)IES TM-21-11標準的數(shù)據(jù)點選取規(guī)則，利用NLS方法擬合式(6)得到參數(shù)α和β，并外推式(6)計算得到20個LED樣本基于NLS方法的預(yù)測壽命Lk，k=1,2,…,20。

步驟2：分析該批次LED樣本的壽命服從的分布函數(shù)。假設(shè)某批次LED樣本壽命服從威布爾分布，正態(tài)分布和對數(shù)正態(tài)分布。然后，對比三種分布，確定該批次LED壽命最可能服從統(tǒng)計分布。確定方法如下：

a) 利用最大似然估計得到三種分布函數(shù)的參數(shù)，參數(shù)估計可以表示為：

(7)

b) 將分布函數(shù)參數(shù)的最大似然估計代入三種分布函數(shù)中，再利用貝葉斯信息準則(Bayesian Information Criterions，BIC)[20]評價三種分布對LED壽命的擬合效果，BIC值越小則擬合效果越優(yōu)。BIC評價的表達式為：

(8)

其中，f表示分布函數(shù)的參數(shù)個數(shù)；Sa為樣本總數(shù)。

c)利用確定的最優(yōu)分布函數(shù)，計算期望壽命作為參考壽命評價指標，期望壽命LE的表達式為：

(9)

本文將L80和L70期望壽命分別用LE80和LE70表示。

步驟3：方法的預(yù)測準確性評價。為了進一步對比不同的壽命預(yù)測方法準確性，本文在文獻[8]的基礎(chǔ)上提出采用以下兩種方法進行預(yù)測結(jié)果準確性評價。

a) 通過計算預(yù)測壽命與期望壽命之間的百分數(shù)誤差Serror衡量方法的準確性，Serror越小則預(yù)測結(jié)果越準確；否則，預(yù)測結(jié)果越不準確。Serror的表達式為：

(10)

其中，m表示壽命預(yù)測實驗的次數(shù)，Li表示第i次實驗預(yù)測得到的預(yù)測壽命。

b)對預(yù)測的LED流明維持數(shù)據(jù)與實測流明維持數(shù)據(jù)進行誤差分析，第t個數(shù)據(jù)點的誤差用Mte表示，其表達式為：

(11)

其中，n表示實測的數(shù)據(jù)點總數(shù)，Mip表示預(yù)測的第i個流明維持數(shù)據(jù)，Mir表示實測的第i個流明維持數(shù)據(jù)，Mte越小則表示該數(shù)據(jù)點的預(yù)測越準確。

3.2 LED壽命預(yù)測結(jié)果與討論

利用1.2節(jié)中的方法，對JUIFEI 3030 的同一批次中的第i個LED進行壽命預(yù)測實驗。實驗過程如下：

步驟1：利用3.1節(jié)的方法計算該LED的期望壽命。

其次，分別假設(shè)該批次的LED壽命服從威布爾分布、正態(tài)分布和對數(shù)正態(tài)分布。利用式(7)分別估計LED的L80和L70壽命的3種分布函數(shù)的具體表達式。再利用式(8)對3種分布函數(shù)進行評價，評價結(jié)果見表2。根據(jù)BIC評價標準，由表2可知該批次的20個LED壽命應(yīng)服從對數(shù)正態(tài)分布，分布函數(shù)如式(12)所示：

(12)

其次，L80壽命服從的分布函數(shù)參數(shù)為σ=0.0869，μ=11.7478;L70壽命服從的分布函數(shù)參數(shù)為σ=0.0886，μ=12.2204。

表2 三種統(tǒng)計分布的BIC值

最后，利用式(9)計算L80和L70的期望壽命為LE80=126 948 h和LE70=203 692 h，即L80和L70的參考壽命。LED壽命曲線以及L80和L70壽命服從的對數(shù)正態(tài)分布曲線，如圖4所示。

圖4 20個LED的退化曲線及壽命分布Fig.4 Degradation curve and lifetime distribution of 20 LEDs

為了測試方法的魯棒性，改變GRUNN輸入數(shù)據(jù)的長度，以檢驗方法在考慮不同長度歷史信息時的預(yù)測效果。利用本文所提方法，分別令t=7,8,9,10進行LED的壽命預(yù)測。為了檢驗本文方法的先進性，同時分別利用基于NLS、基于RNN和基于LSTM的LED壽命預(yù)測方法進行對比實驗。不同方法得到的壽命退化曲線如圖5所示。

通過式(10)計算四種方法預(yù)測壽命的百分數(shù)誤差Serror，同時分析了RNN方法、LSTMRNN方法和本文方法預(yù)測花費時間，如表3所示。

由表3可以知，從不同起始時刻開始預(yù)測，即t=6,7,8,9,10時，本文方法預(yù)測L80和L70壽命的百分比誤差Serror均是所有方法中最小的，預(yù)測準確性最高，且具有良好的魯棒性。IES TM-21-11標準提供的NLS方法得到的L80和L70預(yù)測壽命的預(yù)測準確性最差。

分析其原因，是因為相比于LSTM，GRU擁有獨特的過去記憶和當前記憶的加權(quán)平均結(jié)構(gòu)，可以更快速且有效地學(xué)習(xí)LED的歷史退化信息。而NLS方法的LED衰退模型單一，不能表征所有類型LED的衰退行為。

在三種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法中，RNN的預(yù)測誤差最大，預(yù)測準確性最差。這是因為RNN沒有單獨記憶單元或者是記憶結(jié)構(gòu)，無法在學(xué)習(xí)LED退化歷史信息中有效記錄退化信息。LSTMRNN方法的預(yù)測準確性優(yōu)于RNN，但劣于GRUNN。這是因為，雖然LSTMRNN擁有記憶單元學(xué)習(xí)LED歷史退化信息，但是其結(jié)構(gòu)復(fù)雜，增加了計算的復(fù)雜度，對小樣本數(shù)據(jù)的LED增加了記憶的不確定性。

另一方面，由表3可知，本文所提方法比LSTM方法的預(yù)測速度更快。需要指出的是，雖然RNN的結(jié)構(gòu)比GRU和LSTM都更簡單，但預(yù)測所花費的時間卻并沒有優(yōu)勢。分析其原因是RNN在學(xué)習(xí)LED的衰退過程時，長期的衰退信息會被短期的衰退信息所覆蓋，導(dǎo)致網(wǎng)絡(luò)收斂速度較慢。

為了進一步驗證本文方法的有效性，利用式(11)分別計算4種方法的預(yù)測數(shù)據(jù)與實測數(shù)據(jù)點間的誤差，如表4所示。本文方法的所有預(yù)測數(shù)據(jù)點和實測數(shù)據(jù)點間的誤差總和為0.0307，是4種方法中最小的。由誤差分析進一步證明了本文所提出的方法在預(yù)測LED的壽命時，具有較高的準確性。

圖5 實驗壽命預(yù)測結(jié)果圖Fig.5 The experiment 1 lifetime prediction results chart

4 結(jié)論

本文提出了一種基于門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的LED壽命預(yù)測方法，該方法利用GRU的加權(quán)平均記憶結(jié)構(gòu)構(gòu)建了循環(huán)神經(jīng)網(wǎng)絡(luò)模型，并將GRUNN模型輸入層設(shè)置為變量，使得預(yù)測模型可以考慮任意長度的LED歷史退化信息，從而有效捕捉流明維持數(shù)據(jù)中的時間依賴性，可以更加快速準確地預(yù)測LED的壽命。本文通過實驗驗證了所提方法的有效性和先進性，通過退化實驗收集LED流明維持數(shù)據(jù)，并對JUIFEI 3030 LED進行壽命預(yù)測實驗，實驗結(jié)果驗證了本文方法具有很好的準確性和魯棒性。對比實驗的結(jié)果還表明，本文方法在所有對比方法中具有最好的預(yù)測精度和最快的預(yù)測速度。本文方法可以應(yīng)用于LED的可靠性分析和健康管理過程，具有較大的推廣價值。

表3 四種方法的預(yù)測結(jié)果

表4 預(yù)測已歸一化的流明維持數(shù)據(jù)誤差