串口通信傳輸故障數(shù)據(jù)挖掘算法的研究與仿真

馮利民，劉 波

(1. 武漢紡織大學計算機與人工智能學院，湖北 武漢 430020；2. 華中科技大學網(wǎng)絡與計算中心，湖北 武漢 430020)

1 引言

近年來隨著網(wǎng)絡用戶的不斷增加，網(wǎng)絡信息量也隨之越來越大，逐漸達到飽和狀態(tài)。網(wǎng)絡覆蓋范圍也在不斷擴大，各類問題也接踵而來，如：各類網(wǎng)站的不良廣告、彈窗，導致隱私信息被泄露；網(wǎng)絡黑客的襲擊，導致私密數(shù)據(jù)被篡改、盜取等等。急需要一種故障挖掘技術檢測串口通信網(wǎng)絡中的故障數(shù)據(jù)，解決網(wǎng)絡威脅問題[1]。

有學者將深度學習算法應用在通信網(wǎng)絡數(shù)據(jù)挖掘中，從通信傳輸線路的冗余監(jiān)測出發(fā)，提取在不同監(jiān)測節(jié)點處故障特征向量，利用邏輯連接將所有節(jié)點的特征向量進行關聯(lián)，輸入到深度學習故障挖掘模型中，取得最終挖掘結果。該方法所需數(shù)據(jù)量較大，整體耗用較高，實用性不強；文獻[2]采用基于支持度、置信度以及提升度的結合的故障挖掘算法。計算待挖掘數(shù)據(jù)的三者參數(shù)數(shù)值，將數(shù)值與故障頻繁項進行對比，符合頻繁項條件的就為故障數(shù)據(jù)。由于未對原始數(shù)據(jù)進行預處理，參數(shù)計算誤差較大，導致后續(xù)故障挖掘精準度較低。

綜合上述問題，本文結合SOM聚類技術實現(xiàn)串口通信傳輸故障數(shù)據(jù)挖掘。本文方法的主要創(chuàng)新點如下：

1)利用SOM聚類建立特征分布圖，對原始特征實現(xiàn)一一映射，明確數(shù)據(jù)特征數(shù)目；

2)運用非線性離散化方法將待挖掘數(shù)據(jù)分量離散化，增強數(shù)據(jù)邊緣的敏感值；

3)二分圖故障挖掘模型利用故障源與其它數(shù)據(jù)點之間的關聯(lián)關系，通過邏輯分析實現(xiàn)所有關聯(lián)點的故障挖掘。

2 串口通信傳輸數(shù)據(jù)敏感度增強

一般情況下，串口通信傳輸中易出現(xiàn)的故障多為高維模式，相比于低維模式，其在人眼觀察下很難被識別?；诖耍疚睦肧OM(Self Origanizing Maps自組織映射網(wǎng)絡)聚類算法，將高維數(shù)據(jù)的拓撲分布映射在低維空間中，憑借人眼對低維模式的快速辨別能力來提高后續(xù)的故障挖掘效率[3]。在進行聚類之前，需要確定待挖掘數(shù)據(jù)項目的類別，但進行該步驟會影響聚類算法的整體效果。因此在面臨大量高維數(shù)據(jù)時，本文建立一種聚簇分布特征圖，預先確定待挖掘數(shù)據(jù)的類別和范圍，降低故障數(shù)據(jù)挖掘的誤判率[4]。

將訓練完成的SOM輸出結果構成一個完整的網(wǎng)絡結構，根據(jù)數(shù)據(jù)節(jié)點的優(yōu)先順序進行排列[5，6]。假定SOM網(wǎng)絡結構中共有m*n個數(shù)據(jù)節(jié)點，那么節(jié)點間Distance-Matrix(距離矩陣)ξ＿mat的定義如下

(1)

式中，節(jié)點i和j二者之間的距離可用ξij進行描述，將二者的距離值ξij與一個隨機的顏色范圍實施一一對應映射。

映射結果通過非線性量化算法進行變量離散化，使介于正常與異常之間以及周圍的變量敏感值都提高，進而增強故障特征的分辨率，具體操作步驟如下[7]。

1)首先，把待挖掘所有數(shù)據(jù)點大致分為三類：第一類為高端越限類，該類數(shù)據(jù)的數(shù)值越小越好；第二類為低端越限類，該類數(shù)據(jù)的數(shù)值越大越好；第三類則為雙邊越限類，該類數(shù)據(jù)的取值范圍應選擇較為適中的位置。根據(jù)上述分類情況，從所有數(shù)據(jù)點中挑選一個聚焦因子，取值范圍為F∈[0，1][8]。

2)對于高端越限數(shù)據(jù)點，將正常和不正常變量值之間相互交叉的位置M看作中心點，并以數(shù)據(jù)點的最低位置0為起點，在[0，A]的條件范圍內，將數(shù)據(jù)點離散化為2l+1份，其中，l表示數(shù)量值，最終離散化后的數(shù)據(jù)點為2l+1份{0，1，2，2l}。

3)對于低端越限數(shù)據(jù)點，依舊將異常和正常變量值的交叉位置M為集中點，以數(shù)據(jù)點的最高位置，作為邊界參考值B的起點，在[0，B]的條件范圍內，將數(shù)據(jù)點離散化為2l+1份[9]。

4)對于雙邊越限數(shù)據(jù)點，跟上述運用的兩種方法大致相同，先把正常和不正常數(shù)據(jù)變量值的交叉看作中心點，隨后再把不正常的數(shù)值放在交叉中心，形成兩個焦點M1和M2。

經(jīng)過離散化后所有數(shù)據(jù)點的等級都是一致的，都為單邊向取值，并且均以0為最佳表示點。采用這種非線性離散化的方式，能提高數(shù)據(jù)邊緣的敏感值，使待檢測數(shù)據(jù)在整個挖掘空間中更好分辨，更易于觀察，對后續(xù)挖掘具有一定的幫助，有利于提高整體的挖掘精度[10]。

3 故障數(shù)據(jù)挖掘實現(xiàn)

通過式(1)映射規(guī)律得到提高敏感度值的串口數(shù)據(jù)，在灰度模式的前提條件下，按照距離從小至大，顏色由深至淺進行對應排列。至此，可取得一個和距離矩陣相同規(guī)模的(Color-Matrix)顏色矩陣ζ＿mat[11，12]，具體表達公式為

(2)

采用SOM網(wǎng)絡繪制特征圖，依照顏色矩陣的方式將所有節(jié)點進行上色，由此取得了聚簇分布特征圖(如圖1所示)。

圖1 原始數(shù)據(jù)聚簇分布特征圖

從圖1可以看出，左半部分呈現(xiàn)的是經(jīng)過顏色映射后的SOM神經(jīng)網(wǎng)絡，當距離范圍越來越大時，顏色會變得越來越淺。其中，顏色偏淺的一組相鄰節(jié)點會形成聚簇現(xiàn)象，由此顏色偏深的節(jié)點就自然組成了類邊界。

在面對繁多的數(shù)據(jù)集時，利用該聚簇分布特征圖，可以精準地確定待挖掘數(shù)據(jù)的類別數(shù)，多加嘗試，不斷地迭代分析，最后利用二分圖故障模型描述串口通信傳輸故障挖掘問題，如下圖2所示[13]。

圖2 串口通信傳輸故障挖掘二分圖模型

該模型以通信線路中的故障源點作為切入點，根據(jù)網(wǎng)絡之間的關聯(lián)關系，挖掘與故障原點相關的數(shù)據(jù)點，通過迭代計算得出待挖掘點的故障發(fā)生概率，實現(xiàn)精準、高效地挖掘。

在該二分圖模型的基礎之上，將包含故障數(shù)據(jù)的集合表示為Xn，其中，n表示故障數(shù)據(jù)量；用Hn代表實際觀測到的關聯(lián)故障數(shù)據(jù)集[14，15]，假設串口通信中故障發(fā)生的概率性最大

(3)

式中，P表示概率，采用貝葉斯算法求解，可得

(4)

式中，P(Hn)表示常數(shù)值，可將式(4)化簡為

(5)

設定向維度為K；向量為x，此時，故障源Ti與向量x之間的定向關系如下

(6)

其中

(7)

(8)

(9)

該問題的目標函數(shù)為

(10)

為了方便目標函數(shù)[16]的計算，將對數(shù)值表示為以下形式

(11)

式中，ln(1-PTi)的大小與未知數(shù)不存在關聯(lián)，可通過同等項進行消除，假設

(12)

基于此，故障數(shù)據(jù)挖掘的目標函數(shù)最終可轉換為

(13)

將變量離散后形成兩個焦點M1和M2帶入到轉化結果中，設故障數(shù)據(jù)點為C，那么C點就為最佳取值點，取值范圍為[0，D]。根據(jù)以上說明可得，大的數(shù)據(jù)點和小的數(shù)據(jù)點都存在異常，所以最佳的判定方法為在中心處進行折合，對合成后的數(shù)據(jù)點實施離散化處理[17]，最終形成單邊取值。

若數(shù)據(jù)點在[0，C]區(qū)域，采用第二類方法，將數(shù)據(jù)離散化，可得到2l+1份{0，1，2，2l}。若數(shù)據(jù)點落在[C，D]區(qū)域內，采用第一類方法進行變量離散化，同樣得到2l+1份{0，1，2，2l}。

(14)

可以將串口通信傳輸中的關聯(lián)故障挖掘問題轉化為下列形式，便于挖掘管理

φi∈{0，1}i=1，…，K

(15)

式中，φi表示故障劃分范圍系數(shù)。通過該公式就可將所有故障數(shù)據(jù)挖掘的復雜問題全部轉換為簡單的范圍規(guī)劃問題，將計算得出的數(shù)據(jù)參數(shù)輸入到劃分范圍內進行對比，如果在{0，1}范圍內就為故障數(shù)據(jù)，由此實現(xiàn)串口通信傳輸故障數(shù)據(jù)挖掘。

4 實驗分析

4.1 實驗樣本

為了驗證文中提出的串口通信傳輸故障數(shù)據(jù)挖掘算法的有效性，將文本方法與基于深度學習故障數(shù)據(jù)挖掘算法、結合支持度和置信度故障數(shù)據(jù)挖掘方法進行對比分析，本實驗在MATLAB仿真軟件的支持下進行。

本次實驗主要以SQL(Structured Query Language)大型網(wǎng)絡數(shù)據(jù)庫中的串口通信數(shù)據(jù)集作為測試對象。該數(shù)據(jù)庫是Microsoft微軟公司推出的關系連帶型網(wǎng)絡數(shù)據(jù)庫系統(tǒng)，擁有信息定義、信息操縱以及信息管理等多類型功能，可擴展性及信息覆蓋性較高。在數(shù)據(jù)庫中挑選150個原始串口通信數(shù)據(jù)樣本，其中存在3組不同故障的數(shù)據(jù)簇，三組數(shù)據(jù)簇內共包含45個樣本，樣本均值為15個。

將故障數(shù)據(jù)簇分為三個類型，對于三組不同結構分布的故障數(shù)據(jù)簇，如果存在與其特征相關聯(lián)的子空間中，此時，特征就會服從正比高斯分布；如果存在與其特征沒有關聯(lián)的子空間中，特征就會服從均勻分布。根據(jù)該特點，劃分對比挖掘范圍，對比挖掘所需的時間，及在同等原始數(shù)據(jù)量下捕捉到的故障數(shù)據(jù)量。

4.2 故障數(shù)據(jù)挖掘對比結果分析

為了準確判定本文故障挖掘方法的準確性，對比同等數(shù)據(jù)量條件下，三種方法劃分的異常范圍內包含的故障數(shù)據(jù)量，實驗結果如下圖3所示。

圖3 三種方法故障特征量劃分對比

圖3中，黑色圓圈為故障數(shù)據(jù)特征，白色圓圈為正常數(shù)據(jù)特征?？梢钥闯觯鄬τ谏疃葘W習挖掘法以及結合支持度和置信度挖掘法，本文方法挖掘出的故障數(shù)據(jù)范圍包含的故障數(shù)據(jù)更多。從挖掘比列分析，本文方法基本挖掘出所有的故障數(shù)據(jù)，另外兩種方法挖掘效果過于保守，挖掘精準度有待提高，能夠挖掘到的故障數(shù)據(jù)有限，整體表現(xiàn)較差，對于故障特征存在一定的判定誤差。出現(xiàn)這種現(xiàn)象的主要原因就是，在進行初步挖掘時，沒有對原始數(shù)據(jù)進行預處理，導致大量噪聲及其它干擾數(shù)據(jù)涌入，影響算法精度。由此說明，本文方法具有一定的有效性，算法性能表現(xiàn)較強，實用性高。

4.3 故障挖掘耗費時間對比分析

三種方法在同等條件下進行故障挖掘所需的時間如表1所示。

表1 故障挖掘耗費時間對比/s

從表1中的數(shù)據(jù)可以看出，本文方法故障挖掘耗時是最低的，最低值為0.5s，最高值為2.0s。雖然隨著數(shù)據(jù)挖掘樣本數(shù)量的不斷上升，挖掘耗時有所提升，但是并未出現(xiàn)大幅度的上漲。另外兩種方法的故障挖掘耗時較大，時間成本過高，應用在實際挖掘中，不僅會增加硬件成本，還會降低挖掘效率，實用性及可行性不強。

5 結論

本文在分析串聯(lián)通信中故障數(shù)據(jù)特點的基礎上，提出一種基于SOM聚類的串口通信傳輸故障數(shù)據(jù)挖掘算法，算法所需訓練時間較短，挖掘模型邏輯清晰易實現(xiàn)。針對原始數(shù)據(jù)敏感性不高的問題，本文建立了一種聚類分布特征圖，對原始數(shù)據(jù)進行了初步的劃分后，并進行邊界特征離散化，提高了數(shù)據(jù)的敏感性，增強后續(xù)故障挖掘準確率。仿真結果證明，本文方法的挖掘效率較高，并且能夠對特征量進行準確劃分，實用性和可靠性較強。