基于實(shí)船結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)的異常檢測(cè)及處理方法

孫夢(mèng)丹，汪雪良，吳國(guó)慶，姚驥，蔣鎮(zhèn)濤

（中國(guó)船舶科學(xué)研究中心,江蘇 無錫 214082）

為適應(yīng)世界海運(yùn)發(fā)展，加強(qiáng)海洋資源開發(fā)，船舶技術(shù)發(fā)展尤為重要。張鳳梅等[1]提出，我國(guó)是一個(gè)海洋大國(guó)，對(duì)海洋科學(xué)裝置與相關(guān)產(chǎn)業(yè)技術(shù)創(chuàng)新的研究亟待深入。船舶行駛在復(fù)雜的海域環(huán)境中，易受到波浪激勵(lì)、設(shè)備振動(dòng)、電磁干擾等環(huán)境因素的影響，造成船舶結(jié)構(gòu)損壞。汪雪良等[2-4]從理論預(yù)報(bào)、模型試驗(yàn)和實(shí)船測(cè)試3 個(gè)方面，針對(duì)波浪激勵(lì)、設(shè)備振動(dòng)對(duì)船舶的影響展開了研究。徐春等[5-6]針對(duì)船體波激振動(dòng)的響應(yīng)特征，采用小波預(yù)報(bào)、傅里葉變換的方式進(jìn)行分析和處理。周天宸等[7]提出，需要建立實(shí)時(shí)監(jiān)測(cè)船體健康的系統(tǒng)，從結(jié)構(gòu)應(yīng)力監(jiān)測(cè)數(shù)據(jù)角度對(duì)船體結(jié)構(gòu)進(jìn)行故障識(shí)別與診斷。因此，需要建立船體狀態(tài)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)，收集船舶在行駛中的數(shù)據(jù)，分析并判斷船舶行駛狀態(tài)下存在的問題，以保障航行安全。實(shí)船結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)通過在船上布放傳感器獲取，鄭慶新等[8]針對(duì)應(yīng)用于船舶結(jié)構(gòu)安全監(jiān)測(cè)的應(yīng)變傳感器開展了研究，提出了嚴(yán)格的技術(shù)規(guī)定。然而，直接獲得的數(shù)據(jù)往往含有異?，F(xiàn)象，影響統(tǒng)計(jì)分析的客觀性。

綜上所述，船舶在行駛過程中易受到外界環(huán)境因素干擾，造成結(jié)構(gòu)失效等不良影響。因此，為開展船體結(jié)構(gòu)安全分析，需開發(fā)船體結(jié)構(gòu)監(jiān)測(cè)系統(tǒng)，獲取船舶在行駛中的結(jié)構(gòu)應(yīng)力數(shù)據(jù)。然而，直接獲取的監(jiān)測(cè)數(shù)據(jù)往往含有異常現(xiàn)象，現(xiàn)針對(duì)真實(shí)海況下船舶結(jié)構(gòu)應(yīng)力數(shù)據(jù)存在的異?，F(xiàn)象，開發(fā)數(shù)據(jù)異常處理算法，為開展后續(xù)船體結(jié)構(gòu)安全分析提供數(shù)據(jù)輸入。

1 信號(hào)異常分析及處理方法

1.1 信號(hào)異常分析

針對(duì)某實(shí)船結(jié)構(gòu)應(yīng)力數(shù)據(jù)，選取一段含有典型異?，F(xiàn)象的4 h 信號(hào)作為分析對(duì)象。信號(hào)原始圖像如圖1 所示。由圖像分析可得，信號(hào)中存在的典型異?，F(xiàn)象為信號(hào)跳變，即信號(hào)中存在離群值。離群值是指數(shù)據(jù)中與其他值明顯不同的異常值，可能由于數(shù)據(jù)損壞或錯(cuò)誤導(dǎo)致，也可能由于真實(shí)數(shù)據(jù)的異常情況導(dǎo)致[9]。Mandhare 等[10]開展了基于聚類、距離、密度等一系列離散值的監(jiān)測(cè)技術(shù)研究。徐鵬濤等[11]針對(duì)數(shù)據(jù)中離群值的處理，開展了卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練等一系列方法研究。本目標(biāo)案例中存在的信號(hào)離群值是由設(shè)備振動(dòng)、電磁干擾、波浪激勵(lì)等外界干擾因素造成的，與正常數(shù)據(jù)段中信號(hào)特征有顯著差異。為避免對(duì)后續(xù)船舶結(jié)構(gòu)特征分析造成誤差影響，故研究異常值處理算法，對(duì)真實(shí)海況下船舶結(jié)構(gòu)應(yīng)力數(shù)據(jù)存在的信號(hào)異常跳變現(xiàn)象進(jìn)行去除。

圖1 信號(hào)原始圖像Fig.1 Original signal image

1.2 信號(hào)異常處理方法

本文針對(duì)3 種信號(hào)異常處理方法開展研究，分別為Hampel 濾波法、Smooth 平滑函數(shù)法和Z-score 異常檢測(cè)及平均值異常處理法。

1.2.1 Hampel 濾波法

Hampel 濾波法是一種基于決策的濾波法，通過該濾波法可以找到數(shù)據(jù)序列中的異常數(shù)據(jù)點(diǎn)，以更有代表性的數(shù)值替換，如濾波法移動(dòng)窗口中的短序列的中值[12]。李麒等[13]基于Hampel 濾波法，針對(duì)某土石壩滲流壓力原始監(jiān)測(cè)數(shù)據(jù)進(jìn)行識(shí)別粗差處理，證明Hampel 能在不獲取數(shù)據(jù)完整趨勢(shì)的情況下進(jìn)行判斷，具有良好實(shí)時(shí)性和識(shí)別效果。常見的Hampel 濾波法通過中位數(shù)進(jìn)行離群值檢測(cè)，并消除數(shù)據(jù)中存在的離群值。

對(duì)于數(shù)據(jù)序列a1,a2,…,ai設(shè)定每個(gè)樣本ai兩邊的樣本數(shù)量l，則滑動(dòng)窗口長(zhǎng)2l+1，窗口樣本中值可表示為：

為驗(yàn)證窗口選取值對(duì)Hampel 處理精度的影響，分別選取窗口樣本數(shù)為1、2、3、5、7。驗(yàn)證數(shù)據(jù)為同一組原始信號(hào)及其加跳變現(xiàn)象后生成的異常數(shù)據(jù)。通過不同窗口樣本數(shù)的Hampel 濾波法對(duì)異常數(shù)據(jù)做處理，求處理誤差，結(jié)果見表1。

表1 不同窗口樣本數(shù)的異常處理誤差Tab.1 Anomaly processing error for different window sample sizes

由誤差結(jié)果可得，窗口樣本越少，異常處理的誤差越小。已知隨著窗口樣本數(shù)減少，運(yùn)行時(shí)間增長(zhǎng)。綜合考慮異常處理誤差及運(yùn)行時(shí)間，選取3 作為窗口樣本數(shù)。

絕對(duì)中位差的定義為，用原數(shù)據(jù)減去中位數(shù)后得到的新數(shù)據(jù)的絕對(duì)值的中位數(shù)，常用來估計(jì)標(biāo)準(zhǔn)差。由CNAS-GL002:2018[14]算法A 可知，標(biāo)準(zhǔn)差=1.483×絕對(duì)中位差。窗口樣本的標(biāo)準(zhǔn)差的計(jì)算見式（2）。

GB/T 28043—2019/ISO 13528:2015[15]規(guī)定，能力驗(yàn)證結(jié)果的評(píng)價(jià)一般應(yīng)包括指定值的確定、能力統(tǒng)計(jì)量的計(jì)算、能力評(píng)定。其中能力統(tǒng)計(jì)量（z值）在國(guó)內(nèi)外各項(xiàng)能力驗(yàn)證計(jì)劃中得到了廣泛應(yīng)用，能力驗(yàn)證結(jié)果xi的z值（即zi）可以采用式（3）計(jì)算。

式中：xi為實(shí)驗(yàn)室測(cè)定結(jié)果；xpt為指定值；σpt為能力評(píng)定標(biāo)準(zhǔn)差。以z值評(píng)價(jià)參加能力驗(yàn)證計(jì)劃各實(shí)驗(yàn)室的結(jié)果：當(dāng)|z|≤2.0，表明結(jié)果可接受；當(dāng)2.0<|z|<3.0，給出警戒信號(hào)；當(dāng)|z|≥3.0，結(jié)果不可接受（或給出行動(dòng)信號(hào)）[16]。

在本方法中，xi為窗口內(nèi)某值，xpt為窗口中值，σpt為ei。如果窗口內(nèi)某個(gè)值大于3 倍中值絕對(duì)偏差ei，則將其判定為離群點(diǎn)，并由窗口中值代替。

新生成的窗口數(shù)據(jù)序列bi可表示為：

1.2.2 Smooth 平滑函數(shù)

Smooth 函數(shù)是一種常用的數(shù)學(xué)函數(shù)，其基本原理為使用滑動(dòng)平均濾波算法，對(duì)每一個(gè)數(shù)據(jù)進(jìn)行卷積運(yùn)算，采用卷積算子模擬線性非時(shí)變系統(tǒng)對(duì)信號(hào)的影響，使之趨于一定數(shù)值[17]。Yuan 等[18]、Bai 等[19]利用Smooth 函數(shù)，針對(duì)超聲波探傷儀、風(fēng)電場(chǎng)等不同領(lǐng)域的輸出信號(hào)中存在的噪聲或平滑不連續(xù)現(xiàn)象，開展了信號(hào)平滑處理，取得了顯著效果，證實(shí)了Smooth函數(shù)在研究中的信號(hào)優(yōu)化作用。

滑動(dòng)平均濾波法原理為，將連續(xù)取的N個(gè)采樣值看成一個(gè)隊(duì)列，隊(duì)列的長(zhǎng)度固定為N，每次采樣到一個(gè)新數(shù)據(jù)放入隊(duì)尾，就扔掉原來隊(duì)首的一次數(shù)據(jù)（先進(jìn)先出原則）。把隊(duì)列中的N個(gè)數(shù)據(jù)進(jìn)行算術(shù)平均運(yùn)算，獲得新的濾波結(jié)果[20]。

Smooth 函數(shù)計(jì)算類似一維卷積的工作原理，使滑動(dòng)平均濾波法的N對(duì)應(yīng)一維卷積核大?。ㄩL(zhǎng)度）。進(jìn)行算術(shù)平均運(yùn)算時(shí)，一維卷積核大?。ㄩL(zhǎng)度）和N相等，步長(zhǎng)設(shè)置為1，核參數(shù)初始為1，沿著輸入滑動(dòng)窗口并計(jì)算窗口內(nèi)容的平均值[20]，獲得濾波結(jié)果。由于一維卷積計(jì)算速度快，Smooth 函數(shù)可高效地實(shí)現(xiàn)異常信號(hào)消除功能。

1.2.3 Z-score 異常檢測(cè)及平均值異常處理

在傳統(tǒng)信號(hào)異常處理方法外，結(jié)合統(tǒng)計(jì)學(xué)異常檢測(cè)方法與常見數(shù)據(jù)異常值去除方法開發(fā)效果更好的信號(hào)跳變處理方案。

首先采用統(tǒng)計(jì)學(xué)中的Z-score 異常檢測(cè)方法，識(shí)別信號(hào)存在的跳變現(xiàn)象。Z-score 是一維或低維特征空間中的參數(shù)異常監(jiān)測(cè)方法[21]。唐瑜婕等[22]、Ismail等[23]、韓霞等[24]分別使用Z-score 數(shù)據(jù)異常檢測(cè)方法針對(duì)企業(yè)財(cái)務(wù)、馬來西亞產(chǎn)品質(zhì)量、文獻(xiàn)引用等不同領(lǐng)域數(shù)據(jù)進(jìn)行異常值檢測(cè)，證實(shí)了Z-score 異常檢測(cè)法在信號(hào)離群值方面的識(shí)別效果。該方法假定數(shù)據(jù)是高斯分布，異常值是分布在尾部的數(shù)據(jù)點(diǎn)，因此遠(yuǎn)離數(shù)據(jù)的平均值。距離的遠(yuǎn)近取決于使用公式計(jì)算的歸一化數(shù)據(jù)點(diǎn)Zi的設(shè)定閾值Zthr：

式中：xi是一個(gè)數(shù)據(jù)點(diǎn)；μ是所有點(diǎn)xi的平均值；σ是xi的標(biāo)準(zhǔn)偏差。

經(jīng)過標(biāo)準(zhǔn)化處理后，Zi的絕對(duì)值大于Zthr的點(diǎn)判斷為異常值[25]。根據(jù)上述能力統(tǒng)計(jì)量（z值）規(guī)定，選擇異常值參數(shù)為3。

為避免異常檢測(cè)過度，防止正常信號(hào)被剔除，此處閾值為3。信號(hào)異常識(shí)別結(jié)果見圖2，圖中圓點(diǎn)為異常點(diǎn)。最后，使用數(shù)據(jù)處理中的平均值法去除上述信號(hào)跳變。計(jì)算異常點(diǎn)前后20 個(gè)數(shù)據(jù)的平均值，作為異常點(diǎn)的新值。

圖2 Z-score 異常檢測(cè)結(jié)果Fig.2 Z-score signal anomaly detection results

2 異常處理結(jié)果及分析

為驗(yàn)證不同信號(hào)處理方法的準(zhǔn)確性，首先，采用3 種方法處理同一組異常數(shù)據(jù)，初步判斷信號(hào)的處理效果。其次，創(chuàng)建驗(yàn)證數(shù)據(jù)，從差值角度判斷3 種異常處理方法的準(zhǔn)確性。最后，基于各組異常處理后數(shù)據(jù)，計(jì)算其對(duì)應(yīng)的結(jié)構(gòu)信號(hào)統(tǒng)計(jì)值，并與正常數(shù)據(jù)的統(tǒng)計(jì)值作比對(duì)，進(jìn)一步說明異常處理方案在結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)數(shù)值統(tǒng)計(jì)上的意義。

2.1 異常處理結(jié)果

首先，分別使用Hampel 濾波法、Smooth 平滑函數(shù)法、Z-score 異常檢測(cè)及平均值異常處理法處理同一組異常數(shù)據(jù)，即1.1 小節(jié)中展示的某船4 h 異常數(shù)據(jù)。信號(hào)處理結(jié)果如圖3 所示。由信號(hào)處理結(jié)果可初步推測(cè)，Z-score 異常檢測(cè)及平均值異常處理法對(duì)結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)的異常處理效果最佳。

圖3 3 種異常處理方法效果對(duì)比Fig.3 Comparison of three types of anomaly processing results:a) Hampel filter;b) Smooth function;c) Z-score anomaly detection and average anomaly processing

2.2 實(shí)船數(shù)據(jù)驗(yàn)證

通過實(shí)船結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)驗(yàn)證3 種異常處理方法的處理精度。選擇一段4 h 信號(hào)良好的某實(shí)船監(jiān)測(cè)數(shù)據(jù)，加入同類型信號(hào)跳變，獲得2 組驗(yàn)證數(shù)據(jù)。原始數(shù)據(jù)及兩組驗(yàn)證數(shù)據(jù)如圖4 所示。

圖4 原始數(shù)據(jù)及驗(yàn)證數(shù)據(jù)圖像Fig.4 Original data and validation data images:a) Hampel filter;b) Smooth function;c) Z-score anomaly detection and average anomaly processing

分別使用3 種異常處理方法處理2 組異常數(shù)據(jù)，并與原始數(shù)據(jù)做差值計(jì)算，得到如圖5 所示2 組差值對(duì)比圖。

圖5 3 種異常處理差值Fig.5 Three types of anomaly processing differences:a) validation data 1;b) validation data 2

由左側(cè)差值對(duì)比圖可得，Hampel 濾波法對(duì)跳變現(xiàn)象的異常處理效果不佳。Smooth 方法與Z-score 異常檢測(cè)及平均值處理方法均存在少量誤差。由右側(cè)放大后的差值對(duì)比圖可得，經(jīng)Smooth 方法處理后的數(shù)據(jù)大量點(diǎn)存在一定程度的誤差，Z-score 及平均值方法處理后的數(shù)據(jù)只有少數(shù)點(diǎn)存在一定程度的誤差，單點(diǎn)誤差程度略大于Smooth 方法。

接下來從工程應(yīng)用角度，基于傳統(tǒng)的結(jié)構(gòu)應(yīng)力數(shù)據(jù)處理方法，對(duì)比Smooth 方法與Z-score 及平均值異常處理方法的數(shù)據(jù)處理效果。

2.3 統(tǒng)計(jì)值精度驗(yàn)證

在結(jié)構(gòu)應(yīng)力數(shù)據(jù)的實(shí)際工程應(yīng)用方面，基于傳統(tǒng)的結(jié)構(gòu)應(yīng)力數(shù)據(jù)處理方法，通過實(shí)驗(yàn)驗(yàn)證Z-score 異常檢測(cè)及平均值異常處理方法對(duì)結(jié)構(gòu)應(yīng)力數(shù)據(jù)處理的準(zhǔn)確性和計(jì)算價(jià)值。

在傳統(tǒng)的結(jié)構(gòu)應(yīng)力數(shù)據(jù)分析方法中，通常采用包括信號(hào)濾波、信號(hào)成分提取、信號(hào)特征值計(jì)算的處理方法對(duì)結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)進(jìn)行價(jià)值挖掘，生成包括低通、高通、合成3 種信號(hào)成分的峰值、谷值、全幅值，并計(jì)算其對(duì)應(yīng)的平均值、三一值、最大值，共獲得27 個(gè)特征值，通過特征值反映船舶結(jié)構(gòu)各部位的受力情況。

現(xiàn)選擇一段4 h 不含異常跳變的結(jié)構(gòu)應(yīng)力數(shù)據(jù)作為原始數(shù)據(jù)，并計(jì)算其特征值，結(jié)果見圖6 和表2。

表2 原始數(shù)據(jù)特征值計(jì)算結(jié)果Tab.2 Calculation results of original data eigenvalue

圖6 原始數(shù)據(jù)圖像Fig.6 Original data images

在正常信號(hào)中加入與異常數(shù)據(jù)同類型的信號(hào)跳變，獲得3 組驗(yàn)證數(shù)據(jù)。驗(yàn)證數(shù)據(jù)如圖7 所示。針對(duì)3 組驗(yàn)證數(shù)據(jù)，分別使用3 種信號(hào)異常處理方法處理數(shù)據(jù)，并針對(duì)處理后的數(shù)據(jù)進(jìn)行特征值計(jì)算，特征值對(duì)比結(jié)果如圖8 所示，精度見表3。

表3 3 種異常處理方法的統(tǒng)計(jì)值誤差Tab.3 Statistical value error of three anomaly processing methods%

圖7 驗(yàn)證數(shù)據(jù)圖像Fig.7 Validation data images:a) Hampel filter;b) Smooth function;c) Z-score anomaly detection and average anomaly processing

圖8 3 種異常處理方法的統(tǒng)計(jì)值對(duì)比Fig.8 Comparison of statistical values of three anomaly processing methods:a) validation data 1;b) validation data 2;c) validation data 3

由特征值的對(duì)比圖和誤差計(jì)算結(jié)果可得，由Z-score 異常檢測(cè)及平均值處理方法處理后的數(shù)據(jù)獲取結(jié)構(gòu)特征值的精度最高，平均精度在90%以上。因此，在Hampel 濾波法、Smooth 平滑函數(shù)法、Z-score異常檢測(cè)及平均值處理方法中，Z-score 異常檢測(cè)及平均值處理方法針對(duì)實(shí)船結(jié)構(gòu)應(yīng)力監(jiān)測(cè)數(shù)據(jù)存在的異常處現(xiàn)象效果最好。

4 應(yīng)用與討論

4.1 算法的應(yīng)用演示

通過上述論證可得，Z-score 異常檢測(cè)及平均值處理方法可應(yīng)用于處理實(shí)船結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)中的跳變異常。選取一段相同船其他測(cè)點(diǎn)不同時(shí)間段的數(shù)據(jù)，應(yīng)用算法后處理效果如圖9 所示。

圖9 異常處理算法應(yīng)用Fig.9 Application of anomaly processing algorithms:a) original image;b) application results of anomaly processing method

采用包括信號(hào)濾波、信號(hào)成分提取、信號(hào)特征值計(jì)算的信號(hào)處理方法對(duì)異常處理后的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)值計(jì)算，結(jié)果見表4。

表4 算法異常處理后的數(shù)據(jù)統(tǒng)計(jì)值Tab.4 Statistical values after algorithm anomaly processing

4.2 異常處理方法的應(yīng)用范圍

本文提出的Z-score 異常檢測(cè)及平均值處理方法的適用對(duì)象為，真實(shí)海況下實(shí)船結(jié)構(gòu)應(yīng)力監(jiān)測(cè)數(shù)據(jù)中存在的由于設(shè)備振動(dòng)、電磁干擾等環(huán)境因素造成的異常信號(hào)跳變現(xiàn)象。對(duì)于包含其他種類信號(hào)異?，F(xiàn)象的實(shí)船或其他領(lǐng)域數(shù)據(jù)，算法需經(jīng)過驗(yàn)證后再使用。

5 結(jié)論

本文針對(duì)實(shí)船結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)中存在的典型異常現(xiàn)象，開展高精度異常處理算法研究，生成Z-score異常檢測(cè)及平均值異常處理算法，實(shí)現(xiàn)對(duì)實(shí)船結(jié)構(gòu)監(jiān)測(cè)數(shù)據(jù)的高精度快速異常處理。主要結(jié)論如下：

1）Z-score 異常檢測(cè)及平均值處理方法的適用對(duì)象為，真實(shí)海況下實(shí)船結(jié)構(gòu)應(yīng)力監(jiān)測(cè)數(shù)據(jù)中存在的由于設(shè)備振動(dòng)、電磁干擾等環(huán)境因素造成的異常信號(hào)跳變現(xiàn)象。

2）相比Hampel 濾波法、Smooth 平滑函數(shù)等傳統(tǒng)的信號(hào)處理方法，從差值結(jié)果可以看出，Z-score異常檢測(cè)及平均值計(jì)算方法的異常處理精度最高。

3）對(duì)Z-score 異常檢測(cè)及平均值計(jì)算方法處理后的結(jié)構(gòu)數(shù)據(jù)，進(jìn)行信號(hào)濾波、信號(hào)成分提取和信號(hào)特征值計(jì)算，獲得的統(tǒng)計(jì)數(shù)據(jù)誤差在10%以內(nèi)，可應(yīng)用于后續(xù)的實(shí)船結(jié)構(gòu)應(yīng)力信息挖掘。