基于海量數(shù)據(jù)融合的設(shè)備狀態(tài)評價方法*

陳永前，李少波,b

(貴州大學(xué) a.現(xiàn)代制造技術(shù)教育部重點實驗室；b.機械工程學(xué)院，貴陽 550025)

基于海量數(shù)據(jù)融合的設(shè)備狀態(tài)評價方法*

陳永前a，李少波a,b

(貴州大學(xué) a.現(xiàn)代制造技術(shù)教育部重點實驗室；b.機械工程學(xué)院，貴陽 550025)

針對傳統(tǒng)方法難以實現(xiàn)對海量數(shù)據(jù)環(huán)境下的設(shè)備狀態(tài)評價的問題，提出了一種基于海量數(shù)據(jù)融合的設(shè)備狀態(tài)評價方法。首先，利用擅長處理海量數(shù)據(jù)的分布式聚類算法K-means對海量狀態(tài)數(shù)據(jù)進行預(yù)處理為多個簇，并求出各個簇的質(zhì)心作為該簇的代表信息；然后對代表信息進行加權(quán)處理；最后利用證據(jù)理論對加權(quán)的代表信息進行融合，從而決斷出設(shè)備的狀態(tài)。通過仿真實驗結(jié)果表明，該方法能對海量信息進行有效融合，并能更合理地決斷出設(shè)備的狀態(tài)信息。

證據(jù)理論；海量數(shù)據(jù)；聚類；狀態(tài)評價

0 引言

機械設(shè)備的狀態(tài)評價是指在設(shè)備運行中,通過對特征信號的監(jiān)測、處理、分析、評價等來判斷設(shè)備的運行狀態(tài)的一個過程。對機械設(shè)備的狀態(tài)評價有助于實時獲知設(shè)備的運行狀況，從而有助于減少因設(shè)備故障所帶來的加工損失。數(shù)據(jù)融合技術(shù)作為狀態(tài)評價的重要手段，在近年來在該領(lǐng)域得到很大的研究與應(yīng)用。文獻[1] 提出了一種利用組合數(shù)據(jù)融合方法,并用于無線傳感網(wǎng)絡(luò)中，提高了目標識別的精度，并降低了算法的復(fù)雜度；文獻[2]提出了一種基于凸函數(shù)證據(jù)理論與BIRCH的數(shù)據(jù)融合方法，并將其用于環(huán)境舒適度狀態(tài)評價中，解決了狀態(tài)評價難的問題；文獻[3]將 D-S證據(jù)理論和支持向量機結(jié)合，對多傳感器信息進行有效融合，為結(jié)構(gòu)損傷評價與檢測提供高效的方法。

隨著智能制造與智慧設(shè)備的發(fā)展趨勢以及物聯(lián)網(wǎng)、制造物聯(lián)和移動互聯(lián)等信息技術(shù)的快速發(fā)展，目前對機械設(shè)備的狀態(tài)評價必須依托于更全方位與更實時的數(shù)據(jù)采集與分析，這決定了對機械設(shè)備的狀態(tài)評價將面臨海量數(shù)據(jù)的分析。雖然傳統(tǒng)數(shù)據(jù)融合技術(shù)在狀態(tài)評價領(lǐng)域獲得很大的成就，但是面對海量數(shù)據(jù)融合問題時，傳統(tǒng)方法的潛在復(fù)雜度會增加方法的開銷，使融合效率低下，同時面對復(fù)雜多類型的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)融合方法往往會發(fā)生失效等問題。為此，本文提出一種基于海量數(shù)據(jù)融合的狀態(tài)評價方法。該方法利用分布式聚類的方法對海量數(shù)據(jù)進行處理，將狀態(tài)評價數(shù)據(jù)處理為具有代表性的數(shù)據(jù)，再利用證據(jù)理論對代表信息進行融合，從而決斷出設(shè)備的狀態(tài)，能有效地解決海量數(shù)據(jù)環(huán)境下的狀態(tài)評價問題。

1 海量數(shù)據(jù)的分布式聚類處理

分布式處理是解決海量數(shù)據(jù)利用難的有效方法之一。利用分布式聚類方法對狀態(tài)評價的海量數(shù)據(jù)進行處理，將海量數(shù)據(jù)轉(zhuǎn)化為代表信息，可為后續(xù)的融合與決策做出基礎(chǔ)。MapReduce是谷歌公司提出來的分布并行編程模型，十分擅長處理海量數(shù)據(jù)[4]，本文將基于MapReduce編程模型，結(jié)合主流的數(shù)據(jù)聚類方法K-means進行海量狀態(tài)數(shù)據(jù)的分布式聚類設(shè)計。

1.1 MapReduce編程模式

在MapReduce中，一個計算流程分為Map和Red- uce兩個階段。在Map階段，輸入文件會被劃分為固定大小的數(shù)據(jù)塊。每個塊都會對應(yīng)著一個Map任務(wù)，該Map任務(wù)中的Map函數(shù)會作用于數(shù)據(jù)塊中的每一個記錄，一個記錄就是一個鍵值對。在Reduce階段，Reduce函數(shù)將會對Map階段產(chǎn)生的結(jié)果進行匯集，從而完成對數(shù)據(jù)的處理。一個簡單的MapReduce處理模式如圖1所示。

圖1 MapReduce編程模式

1.2 基于MapReduce的分布式K-means聚類算法

K-means算法是一種基于距離的聚類算法，首先選擇k個數(shù)據(jù)作為初始聚類中心，剩下數(shù)據(jù)作為聚類對象。將這些對象與k個聚類中心作比較后將其歸類到最近的一個；然后再重新計算每個所獲新聚類的聚類中心；重復(fù)這一過程，直到算法收斂。

利用MapReduce的編程模式來編輯K-means算法，可先利用Map函數(shù)實現(xiàn)K-means聚類算法的距離比較部分，再利用Reduce函數(shù)來實現(xiàn)數(shù)據(jù)歸類。其偽代碼設(shè)計如下[5]:

Map部分:

Map函數(shù)輸入的key1為輸入數(shù)據(jù)起始點的偏移量，value1是各維坐標值。輸出Key2是當前聚類類別ID，value2是當前記錄屬性向量。

Void Map(key1，value1){

輔助變量min-Distance為可以取值的最大值；

For(i=0;i

if(第i個點到簇質(zhì)心的距離distance[i]

-Distance){

min-Distance= distance[i]；

聚類類別ID=i；}

}

輸出中間值(Key2，value2)；

}。

Reduce部分 :

Map函數(shù)輸入的key3為聚類類別ID，value3記錄屬性向量集合。輸出Key4是聚類類別ID，value4向量集合的均值向量。

Void Reduce(key3,value3){

初始化一個數(shù)組，用于記錄各屬性向量的累加值，每個分量初始值為0；

初始化變量num，用于記錄同類簇的樣本個數(shù)，初始值為0；

White(value。hasNext()){

從value。next中解析出一個樣本的位置坐標值和樣本個數(shù)num；

將各維坐標值累加到數(shù)組相應(yīng)的分量中；

NUM+=num；}

將數(shù)組中的每個分量除以NUM，得到新質(zhì)心坐標；

輸出(key4，value4)

}。

2 證據(jù)理論數(shù)據(jù)融合方法

證據(jù)理論是一種使用最為廣泛的數(shù)據(jù)融合技術(shù)，在處理不確定推理以及不確定信息融合方面有很好的優(yōu)勢，故而在各個行業(yè)都得到了很大的應(yīng)用。通過分布式聚類方法將設(shè)備狀態(tài)數(shù)據(jù)經(jīng)常處理為多個簇的質(zhì)心，得到狀態(tài)數(shù)據(jù)的代表信息后，便可對應(yīng)用證據(jù)理論數(shù)據(jù)融合方法對代表信息進行融合處理，從而可決斷出設(shè)備狀態(tài)情況。

證據(jù)理論的詳細敘述可參考文獻[6-8]，此處僅對其融合規(guī)則加以說明。

對?A?Θ，設(shè)mi(i=1,2,…,n)為Ai(i=1,2,…,n)的n個基本概率分配，則合成規(guī)則：

(1)

式(1)便為證據(jù)理論的合成規(guī)則，式中：

(2)

為證據(jù)間的沖突程度，k越大，沖突程度就越大；m(A)表示在機械設(shè)備狀態(tài)評價中，每種可能出現(xiàn)的狀態(tài)的信度值；mn(An)表示某個傳感器測得某種狀態(tài)的信度值。

3 基于海量數(shù)據(jù)融合的狀態(tài)評價方法

3.1 方法設(shè)計

基于以上步驟，本文提出一種基于證據(jù)理論與聚類處理的海量數(shù)據(jù)融合方法，方法思想：首先利用基于MapReduce編程模式設(shè)計的分布式數(shù)據(jù)聚類算法K-means對海量狀態(tài)數(shù)據(jù)進行聚類處理為多個簇，并計算各個簇的質(zhì)心作為該簇數(shù)據(jù)的代表；然后利用證據(jù)理論組合規(guī)則對各個簇代表信息進行融合，并決斷出設(shè)備的狀態(tài)信息。算法主要步驟如下：

(1)根據(jù)機械設(shè)備狀態(tài)評價的數(shù)據(jù)規(guī)模和數(shù)據(jù)特點，選擇聚類算法K-maens的聚類數(shù)目k和最大迭代次數(shù)；

(2)將狀態(tài)評價的所有數(shù)據(jù)進行聚類處理，得到k個簇Ci,1

(3)求取k個簇的質(zhì)心Qi,1

(4)根據(jù)實際問題，確定狀態(tài)評價的辨識框架Θ：{F1,F2,…,Fr}，即設(shè)備所有可能出現(xiàn)的狀態(tài)；

(5)根據(jù)傳感器采集的數(shù)據(jù)和融合目標的特點，確定數(shù)據(jù)的所有屬性Ai，例如利用加速度傳感器和位移傳感采集的數(shù)據(jù)為兩個屬性A1和A2；

(6)求取各個簇質(zhì)心的BPA，即證據(jù)mi?？衫脜^(qū)間數(shù)理論、模糊數(shù)學(xué)等方法對進行求取[9-10]。若采集的狀態(tài)數(shù)據(jù)有多個屬性，應(yīng)先求取各個屬性Ai的BPA，再融合為代表簇的BPA；若數(shù)據(jù)只有一個屬性，可直接求取各個簇質(zhì)心的BPA；

(7)對各個簇質(zhì)心的BPA進行加權(quán)。證據(jù)理論認為越多的證據(jù)體支持某個問題，則信任度就越高，故應(yīng)對各個簇質(zhì)心所獲得證據(jù)進行加權(quán)處理。

(8)由(6)、(7)得到每個簇對目標的證據(jù)μimi，用組合公式(1)進行融合，得到機械設(shè)備的狀態(tài)情況。整個方法流程如圖2所示。

圖2 海量數(shù)據(jù)融合的狀態(tài)評價流程圖

3.2 算法分析

本文方法對海量狀態(tài)數(shù)據(jù)進行融合時，對全局數(shù)據(jù)進行了考慮，避免過早得到融合結(jié)果而出現(xiàn)不合理問題。

在算法時間復(fù)雜度上，本文方法的時間復(fù)雜度由分布式聚類、BPA求取和融合三部分組成，其中分布式聚類算法的時間復(fù)雜度為O(Nkt/P)[11]，N為數(shù)據(jù)量，k為簇數(shù)量，t為迭代數(shù)，P為計算機群集數(shù)；融合部分時間復(fù)雜度為O(kSr)[2]，S為數(shù)據(jù)屬性數(shù)，r為辨識框架中元素的個數(shù)；在BPA求取部分，有k條數(shù)據(jù)，每條數(shù)據(jù)包含S個屬性，每個屬性對辨識框架的r個元素進行一次計算，其時間復(fù)雜度為O(kSr)。綜上，本文方法時間復(fù)雜度為O(Nkt/P+kSr+kSr)，其中N?k，t，S，r，故復(fù)雜度接近為O(Nkt/P)，為線性復(fù)雜度，優(yōu)于傳統(tǒng)方法，且P值越大，復(fù)雜度就越低。

4 案例仿真分析

本文將模擬對某機床刀具狀態(tài)監(jiān)測數(shù)據(jù)進行融合實驗，可將刀具的狀態(tài)分為正常、輕度磨損、一般磨損、重度磨損和刀具破裂五個等級，本文主要對刀具的切削力、刀具溫度和聲發(fā)射三個狀態(tài)指標數(shù)據(jù)進行模擬實驗。

本實驗所涉及的數(shù)據(jù)聚類部分所選擇的計算平臺是由4臺臺式機組成，每臺電腦安裝2個虛擬機。臺式機的配置:Intel(R)Core(TM)i3-6140、CPU3.60GHz、內(nèi)存4GB；并且采用Vmware10.0.1虛擬機環(huán)境，Ubuntu12.10.X， 32位操作系統(tǒng)以及采用jdk1.7.0和Hadoop1.2.1環(huán)境。實驗數(shù)據(jù)融合部分均在MATLAB2011B環(huán)境下完成。

首先對1000-10000條數(shù)據(jù)進行實驗，主要目的是驗證算法的時間性能指標。實驗與傳統(tǒng)方法及文獻[1]方法進行比較，其運行時間結(jié)果如圖3所示。

圖3 三種方法計算時間比較

由圖3的實驗結(jié)果可以看出，在對同樣數(shù)量的數(shù)據(jù)進行融合時，當數(shù)據(jù)量小于1000條時，三種方法所需時間相差不大；隨著數(shù)據(jù)量的增大，傳統(tǒng)的數(shù)據(jù)融合方法在時間上明顯急劇增大，文獻[1]方法雖然優(yōu)于傳統(tǒng)計算方法，然而也以很快的速度增長；當數(shù)據(jù)量到達10000條時，傳統(tǒng)方法所需時間為60.715s、文獻[1]方法時間為31.105s，而本文方法所需時間為0.735s，本文所花時間僅為傳統(tǒng)方法的1.2%，為文獻[1]所花時間的2.4%。

當繼續(xù)加大數(shù)據(jù)量時，發(fā)現(xiàn)數(shù)據(jù)量到達10萬條以上后，傳統(tǒng)方法和文獻[1]方法都發(fā)生“卡死”現(xiàn)象，無法對數(shù)據(jù)融合，此時本文方法的運行時間如圖 4所示，整體趨于線性。

圖4 本文方法融合時間

表2是利用傳統(tǒng)方法、文獻[1]方法和本文方法分別對1000～10000條數(shù)據(jù)的融合結(jié)果(本實驗的10000條數(shù)據(jù)中，前2000條偏向于支持“正常”，后8000條偏向于支持“輕微磨損”)。由實驗結(jié)果可以看出，傳統(tǒng)方法在1000～10000條數(shù)據(jù)融合中的結(jié)果都顯示為“正?！?，且支持度都為1，這顯然與實際情況相矛盾。分析其原因主要在于：當傳統(tǒng)方法對前100個數(shù)據(jù)融合時，融合結(jié)果對“正常”的支持度已達到1，此時無論后面有多少個數(shù)據(jù)，無論是否支持“正?！保淙诤辖Y(jié)果都為“正?！?，出現(xiàn)后續(xù)數(shù)據(jù)失效的情況。文獻[1]方法思想是先分組融合得到中間結(jié)果，再對中間結(jié)果進行最終融合。在分組融合中，前2000個數(shù)據(jù)分組融合結(jié)果完全支持“正?！钡?，后8000個數(shù)據(jù)分組融合結(jié)果完全支持“輕微磨損”，這是明顯的全沖突問題，故在最終融合時會出現(xiàn)證據(jù)理論失效的現(xiàn)象。本文方法從數(shù)據(jù)的全局出發(fā)，利用擅長海量數(shù)據(jù)分析的分布式聚類方法將海量數(shù)據(jù)處理為代表信息，然后再用證據(jù)理論對其融合，最后得到的結(jié)果合理，與實際情況相符。

表2 三種方法融合結(jié)果比較

綜上所述，本文所提出的融合方法無論是在融合時間上，還在融合結(jié)果上，都明顯優(yōu)于前兩種方法，能有效解決海量數(shù)據(jù)情況下的狀態(tài)評價的問題.本文方法操作簡答，易于實現(xiàn)，當面臨更大規(guī)模的狀態(tài)數(shù)據(jù)時，只需增大計算機群集即可。同時，本文方法是對全局狀態(tài)數(shù)據(jù)進行分析，故能有效過濾掉由于外界環(huán)境所引起的錯誤信息，為狀態(tài)評價結(jié)果提供保障。

5 結(jié)論

本文提出了一種能處理海量信息的設(shè)備狀態(tài)評價方法，該方法將善于處理海量數(shù)據(jù)的分布式聚類算法與證據(jù)理論相結(jié)合，將海量數(shù)據(jù)融合問題化為對代表信息融合，解決了對海量設(shè)備狀態(tài)數(shù)據(jù)難以利用的問題，為設(shè)備狀態(tài)評價提供了一種合理高效的方法；通過仿真實驗，本文方法在處理時間上遠優(yōu)于其他兩種方法，在計算結(jié)果也較其他兩種方法更加合理，是一種有

效的狀態(tài)評價方法，可為海量數(shù)據(jù)環(huán)境下的設(shè)備狀態(tài)評價提供參考。

[1] 陸蘭蘭，程銘東.基于D-S證據(jù)理論的組合數(shù)據(jù)融合算法[J].微電子學(xué)與計算機，2011,28(1)：95-98.

[2] Li JF， Zhou B，Liu DY， Hu L，Wang F. Massive Information Fusion Algorithm and Its Application in Status Evaluation[J]. Journal of Software， 2014，25(9)：2026-2036(in Chinese).

[3] Zhou Q, Zhou H, Zhou Q, et al. The structural damage detection based on posteriori probability support vector machine and Dempster-Shafer evidence theory [J].Applied Soft Computing, 2015, 36 (C):368-374.

[4] Dean J, Ghemawat S. MapReduce: A Flexible Data Processing Tool[J]. Communications of the Acm，2010，53(1):72-77.

[5] 江小平, 李成華, 向文等. k-means聚類算法的MapReduce并行化實現(xiàn)[J]. 華中科技大學(xué)學(xué)報:自然科學(xué)版, 2011, 39(S1):120-124.

[6] Parikh C R，Pont M J，Jones NB．Application of Dempster-Shafer theory in condition monitoring applications: acasestudy[J]．Pattern Recognition Lett，2001，22( 6 /7) : 777-785．

[7] Guo K, Li W. Combination rule of D-S evidence theory based on the strategy of cross merging between evidences [J]. Expert Systems with Applications, 2011, 38(10):13360-13366.

[8] Zhu J L, Zhang W G, Qiu Y H, et al. Multi-sensor Target Identification Based on Improved Evidence Theory[J]. Fire Control & Command Control, 2013, 38(8):107-110.

[9] 康兵義，李婭，鄧勇，等.基于區(qū)間數(shù)的基本概率指派生產(chǎn)方法及應(yīng)用[J].電子學(xué)報，2012,40(6)：1092-1096.

[10] 蘭蓉，范九倫.梯形模糊數(shù)上的完備度量及其在多屬性決策中的應(yīng)用[J].工程數(shù)學(xué)學(xué)報，2010,27(6):1001-1008.

[11] 康兵義，李婭，鄧勇，等.基于區(qū)間數(shù)的基本概率指派生成方法及應(yīng)用[J].電子學(xué)報，2012,40(6)：1092-1096.

(編輯 李秀敏)

The Equipment State Evaluation Method Based on Massive Data Fusion

CHEN Yong-qiana,LI Shao-boa,b

(a.Key Laboratory of Advanced Manufacturing Technology, Ministry of Education;b.School of Mechanical Engineering, Guizhou University, Guiyang 550025,China)

In view of the Traditional method is difficult to realize the evaluation of equipment state in massive data environment, this paper proposes a method of equipment state evaluation based on massive data fusion. First, Using the distributed clustering algorithm K-means, which is good at dealing with massive data, to pre-process the massive data., and calculating the centroid of each cluster as the cluster representative information; Then, it is imperative to weighted processing for representative information; finally, it uses the evidence theory to fuse the weighted representation information, and then the state of the device is determined. The simulation results show that the method can fuse massive information effectively, and can make more reasonable decision for the state information.

evidence theory; massive data; clustering; state evaluation

1001-2265(2017)05-0142-04

10.13462/j.cnki.mmtamt.2017.05.038

2016-08-18

國家自然科學(xué)基金資助項目(51475097)；貴州省基礎(chǔ)研究重大項目(黔科合JZ字[2014]2001)

陳永前(1991—)，男，貴州畢節(jié)人，貴州大學(xué)碩士研究生，研究方向為數(shù)字化設(shè)計制造;李少波(1973—)，男，湖南岳陽人，貴州大學(xué)博士生導(dǎo)師、博士，研究方向為制造物聯(lián)、智能制造，(E-mail)lishaobo@gzu.edu.cn。

TH164；TG506

A