基于大數(shù)據(jù)異常分析的運(yùn)維數(shù)據(jù)分析初探

鐘成原 和 健

?

基于大數(shù)據(jù)異常分析的運(yùn)維數(shù)據(jù)分析初探

鐘成原 和 健

民航云南空管分局，云南 昆明 650200

民航云南空管分局自2012年6月28日轉(zhuǎn)場(chǎng)到新機(jī)場(chǎng)運(yùn)行以來(lái)，幾年的運(yùn)維中產(chǎn)生了大量的設(shè)備維護(hù)數(shù)據(jù)，由于目前采用的正常值范圍的檢測(cè)方式不能滿足日益提高的運(yùn)維要求。因此，嘗試?yán)么髷?shù)據(jù)挖掘中的統(tǒng)計(jì)方法對(duì)防雷接地電阻的測(cè)試進(jìn)行異常分析，找出在大數(shù)據(jù)條件下的數(shù)據(jù)分析的方法。

異常分析；大數(shù)據(jù)；數(shù)據(jù)挖掘；運(yùn)維

1 概述

民航云南空管分局自2009年開始使用電子值班系統(tǒng)（即運(yùn)維系統(tǒng)），電子值班系統(tǒng)的使用，大大方便了數(shù)據(jù)的記錄和查詢。2012年6月28日昆明新機(jī)場(chǎng)投入運(yùn)行以來(lái)，系統(tǒng)記錄了數(shù)十萬(wàn)條設(shè)備維護(hù)記錄，這些記錄都是寶貴的財(cái)富，但它們靜靜的躺在數(shù)據(jù)庫(kù)里，沒能為設(shè)備的故障預(yù)測(cè)和更新改造等工作提供更多的幫助。

在現(xiàn)有的維護(hù)體系中采用的是取值范圍的檢測(cè)方式，例如防雷接地電阻，要求是小于4 Ω，如果測(cè)試值在此范圍內(nèi)都是正常的。但像防雷接地電阻，在工程實(shí)施完畢以后，這個(gè)值應(yīng)當(dāng)穩(wěn)定在一定范圍內(nèi)，例如1 Ω，如果某次測(cè)量發(fā)現(xiàn)突增到3.5 Ω，雖然仍然在規(guī)定范圍內(nèi)，但仍值得引起注意。

因此，采用目前的數(shù)據(jù)處理方式已經(jīng)不能滿足數(shù)據(jù)日益增長(zhǎng)的需要了，大數(shù)據(jù)處理，數(shù)據(jù)挖掘?yàn)槊窈皆O(shè)備保障提供了新的思路和方法。

2 異常分析的方法簡(jiǎn)介

2.1 異常值的定義

異常值在統(tǒng)計(jì)學(xué)上常稱為離群值，對(duì)于離群值的定義一般采用統(tǒng)計(jì)學(xué)家Douglas Hawkins的定義，即異常值是一個(gè)觀測(cè)值，它與其他觀測(cè)值的差別如此之大，以至于懷疑他由不同的機(jī)制產(chǎn)生的。

大多數(shù)情況下異常點(diǎn)的處理在統(tǒng)計(jì)學(xué)中是將其視為噪音而丟棄，然而在設(shè)備維護(hù)中，異常點(diǎn)的檢測(cè)比正常值的檢測(cè)更具指導(dǎo)意義。這是因?yàn)檫@種變化有可能預(yù)示著設(shè)備發(fā)生了某些改變，或者運(yùn)行環(huán)境產(chǎn)生了變化，也有可能是測(cè)試人員使用了不同的方法或者工具等等。

2.2 異常分析的基本過程

異常分析的過程大體可以分為以下過程：

（1）獲得和存儲(chǔ)數(shù)據(jù)。這是一切大數(shù)據(jù)處理的基本，沒有數(shù)據(jù)就沒有分析的可能，可喜的是現(xiàn)在民航云南空管分局已經(jīng)使用運(yùn)維系統(tǒng)多年，積累了大量的數(shù)據(jù)。

（2）整合數(shù)據(jù)。在大數(shù)據(jù)中數(shù)據(jù)的量是巨大的，但不是所有數(shù)據(jù)都是有用的，也不是一次性要把所有數(shù)據(jù)都分析完。應(yīng)該按照需要，整合所需的數(shù)據(jù)。例如本次我們只分析防雷接地電阻，我們就只需要提取取感興趣的部分即可。

（3）建立模型。數(shù)據(jù)挖掘技術(shù)在異常點(diǎn)的檢測(cè)上大體分為三類：統(tǒng)計(jì)學(xué)方法，基于距離的方法，基于偏移的方法，每種方法中又包含了多種處理模型，因此，在處理前必須建立模型，以方便后續(xù)的處理。本文中由于處理的僅僅是一個(gè)維度的防雷接地電阻，因此采用統(tǒng)計(jì)學(xué)的正態(tài)分布模型可以方便的檢測(cè)出異常值。

（4）利用模型進(jìn)行分析，建立模型后就需要通過模型進(jìn)行異常點(diǎn)的分析，這也是對(duì)模型的驗(yàn)證。

（5）查找原因和應(yīng)用，發(fā)現(xiàn)異常點(diǎn)后要查找異常點(diǎn)發(fā)生的原因，以提高維護(hù)質(zhì)量和安全保障裕度。

3 對(duì)自轉(zhuǎn)場(chǎng)以來(lái)接地電阻測(cè)試的分析

3.1 基本情況

由于一個(gè)設(shè)備的同一個(gè)參數(shù)在周期維護(hù)中測(cè)試數(shù)量是有限的，而安裝在同一機(jī)房?jī)?nèi)的設(shè)備防雷體系是一致的，如果采用相同的測(cè)試方法，應(yīng)該可以得到較為接近的結(jié)果。為保證采樣的樣本量，在本文采用3倍標(biāo)準(zhǔn)差方法對(duì)民航云南空管分局技術(shù)保障部通信網(wǎng)絡(luò)室安裝在長(zhǎng)水機(jī)場(chǎng)航管樓中心機(jī)房?jī)?nèi)的設(shè)備接地電阻測(cè)試情況進(jìn)行分析。自2012年6月28日轉(zhuǎn)場(chǎng)后共取得了462個(gè)測(cè)試數(shù)據(jù)。

3.2 檢測(cè)過程

3.2.1 對(duì)數(shù)據(jù)進(jìn)行直觀密度分析

我們采用散點(diǎn)圖直觀地反映數(shù)據(jù)的分布情況，散點(diǎn)圖如圖1所示：

圖1 接地電阻分布散點(diǎn)圖

由圖中可以看出，防雷接地電阻主要分布在2.5Ω以下，其中3.5 Ω以上的有4個(gè)測(cè)試值，最大值為4.3 Ω，已經(jīng)超出了規(guī)定范圍[1]。

3.2.2 數(shù)據(jù)定量分析

計(jì)算結(jié)果如表1所示：

表1 接地電阻統(tǒng)計(jì)計(jì)算結(jié)果表

超過3倍標(biāo)準(zhǔn)差的數(shù)據(jù)共有4個(gè)，占0.87 %，超過的值如表2所示：

表2 超過3倍標(biāo)準(zhǔn)差的數(shù)據(jù)統(tǒng)計(jì)表

對(duì)于1號(hào)檢測(cè)值，當(dāng)時(shí)的測(cè)量人員已經(jīng)辭職，測(cè)試日期正好在當(dāng)事人準(zhǔn)備辭職期間。我們認(rèn)為當(dāng)事人當(dāng)時(shí)的心態(tài)、工作熱情可能是導(dǎo)致本次測(cè)試結(jié)果超標(biāo)的直接原因。

對(duì)于2號(hào)和4號(hào)測(cè)試值，由于發(fā)生在轉(zhuǎn)場(chǎng)初期，防雷接地不完善，在2013年初對(duì)防雷接地進(jìn)行全面的梳理檢查后，一直都相對(duì)穩(wěn)定。

對(duì)于3號(hào)測(cè)試結(jié)果，維護(hù)規(guī)程要求測(cè)試時(shí)使用環(huán)形地阻儀進(jìn)行測(cè)試，但測(cè)試人回憶當(dāng)時(shí)采用的是萬(wàn)用表進(jìn)行測(cè)試，而且測(cè)試值在標(biāo)準(zhǔn)之內(nèi)，于是當(dāng)事人便進(jìn)行了記錄。在之后的測(cè)試一直使用環(huán)形地阻儀測(cè)試，測(cè)試值穩(wěn)定在1.1 Ω左右[2]。

4 結(jié)論

4.1 測(cè)量數(shù)據(jù)盡可能的數(shù)據(jù)化

在分析中我們發(fā)現(xiàn)在維護(hù)記錄中有很多測(cè)試值仍然采用“正常”等定性的測(cè)試結(jié)果，這些數(shù)據(jù)由于只有“正常”、“不正?！眱蓚€(gè)值，無(wú)法進(jìn)行數(shù)據(jù)分析，不利于發(fā)揮大數(shù)據(jù)分析的作用。

4.2 合理安排異常檢測(cè)標(biāo)準(zhǔn)

異常數(shù)值的取值是異常分析中最困難的部分，以本例中使用的標(biāo)準(zhǔn)差方法中，通過統(tǒng)計(jì)學(xué)原理可以知道即使按照3倍標(biāo)準(zhǔn)差分析將有0.3 %的異常值。別小看這0.3 %，如果100萬(wàn)條數(shù)據(jù)中將有3000條數(shù)據(jù)需要調(diào)查。因此在實(shí)際中應(yīng)當(dāng)根據(jù)實(shí)際情況靈活的確定異常的標(biāo)準(zhǔn)[3]。

4.3 不放過任何一個(gè)異常點(diǎn)

對(duì)檢出的異常值，應(yīng)盡可能尋找產(chǎn)生異常值的原因，作為處理異常值的依據(jù)。每一個(gè)異常都有可能是一個(gè)安全隱患，數(shù)據(jù)分析只能找到這些異常點(diǎn)，但無(wú)法告訴我們?yōu)槭裁磿?huì)發(fā)生異常。本著四不放過的原則，應(yīng)當(dāng)組織人員進(jìn)行排查，徹底消除隱患，對(duì)于一時(shí)無(wú)法找到問題的根源，也應(yīng)當(dāng)增加檢測(cè)密度，密切關(guān)注。

4.4 今后的檢測(cè)應(yīng)該朝著多維度發(fā)展

本文僅對(duì)一維數(shù)據(jù)進(jìn)行了分析，但實(shí)際工作中很多指標(biāo)是相互關(guān)聯(lián)的，例如一個(gè)100 W的5 V電源，如果電壓允許1 V誤差，那么輸出電壓范圍是4～6 V，電流可以在0～25 A之間，如果單獨(dú)測(cè)試6 V電壓，25 A電流都是正常的，但如果同時(shí)出現(xiàn)，電源的功率為150 W，大大超出了額定功率。因此，今后應(yīng)當(dāng)提高多維度的檢測(cè)，以滿足日益增加的維護(hù)需求[4]。

[1]統(tǒng)計(jì)學(xué)術(shù)語(yǔ)：GB/T 3358.1—1993[S].

[2]數(shù)據(jù)的統(tǒng)計(jì)處理和解釋正態(tài)樣本異常值的判斷和處理：GB 4883—85[S].

[3]Tan P & M Steinbach.范明，范宏建，譯.數(shù)據(jù)挖掘?qū)д揫M].北京：人民郵電出版社，2011：403-418.

[4]張曉，基于密度聚類算法的異常檢測(cè)[J].伊犁師范學(xué)院學(xué)報(bào)（自然科學(xué)版），2010，2010（4）：52-53.

F832.2

A

1009-6434（2016）12-0113-02