融合視聽信息的機(jī)電設(shè)備狀態(tài)監(jiān)測系統(tǒng)設(shè)計

張 靚，李鐵軍，宗銀雪

(河北工業(yè)大學(xué)機(jī)器人研究所，天津 300130)

?

融合視聽信息的機(jī)電設(shè)備狀態(tài)監(jiān)測系統(tǒng)設(shè)計

張 靚，李鐵軍，宗銀雪

(河北工業(yè)大學(xué)機(jī)器人研究所，天津 300130)

圍繞機(jī)電設(shè)備狀態(tài)監(jiān)測的需求，設(shè)計了基于視聽信息融合的狀態(tài)監(jiān)測系統(tǒng)。分別利用圖像可聽化技術(shù)、數(shù)據(jù)歸一化和主成分分析得到了較低維數(shù)的同質(zhì)特征數(shù)據(jù)。以BP神經(jīng)網(wǎng)絡(luò)為融合模型，對所得特征數(shù)據(jù)進(jìn)行識別與融合，進(jìn)而得到對機(jī)電設(shè)備運(yùn)行狀態(tài)的決策輸出。實驗結(jié)果表明，在外界噪聲環(huán)境下，融合視聽信息的狀態(tài)監(jiān)測系統(tǒng)能維持較高的正確識別率，同時以神經(jīng)網(wǎng)絡(luò)為融合模型保證了系統(tǒng)的穩(wěn)定性和魯棒性。

狀態(tài)監(jiān)測；信息融合；圖像可聽化；主成分分析；神經(jīng)網(wǎng)絡(luò)

0 引言

機(jī)電系統(tǒng)的狀態(tài)監(jiān)測與故障診斷技術(shù)一直以來是研究人員關(guān)心的熱點領(lǐng)域。應(yīng)用狀態(tài)監(jiān)測與故障診斷技術(shù)能有效地發(fā)現(xiàn)機(jī)電系統(tǒng)中的事故隱患，及時排除設(shè)備故障，預(yù)防惡性事故，避免人身傷亡、環(huán)境污染及由此帶來的巨大經(jīng)濟(jì)損失[1]，因而有效的狀態(tài)監(jiān)測與合理的故障診斷是保證機(jī)電系統(tǒng)安全運(yùn)行和實現(xiàn)科學(xué)維護(hù)的關(guān)鍵技術(shù)之一[2]。

現(xiàn)有的機(jī)電系統(tǒng)狀態(tài)監(jiān)測方法多是通過內(nèi)部傳感的局部監(jiān)測，故障診斷方法亦是基于內(nèi)部傳感信息與控制邏輯進(jìn)行的專家式推理。例如采用油液分析、聲發(fā)射分析、震動信號分析等技術(shù)，建立了以齒輪、軸承、發(fā)動機(jī)、發(fā)電機(jī)為對象的各種旋轉(zhuǎn)、往復(fù)機(jī)械監(jiān)測與故障診斷系統(tǒng)，提出了觀測器/濾波器方法、參數(shù)估計方法、解析冗余方法、證據(jù)理論方法、模式識別方法等[3]。然而隨著技術(shù)的發(fā)展，現(xiàn)有的大型復(fù)雜機(jī)電設(shè)備具有不同于一般小型系統(tǒng)的復(fù)雜性、開放性、耦合性等特點，傳統(tǒng)的狀態(tài)監(jiān)測系統(tǒng)逐漸暴露出結(jié)構(gòu)離散、數(shù)據(jù)量大、集成度低等缺點。近年來也出現(xiàn)了基于機(jī)器視覺的監(jiān)測方法，但是單以視覺傳感作為設(shè)備狀態(tài)信息獲取的媒介亦存在諸多問題，其主要表現(xiàn)為當(dāng)外部環(huán)境條件缺失時，如光源受限、目標(biāo)重疊等，系統(tǒng)決策水平會大幅度下降。而利用聲音的衍射特點，將聽覺信息對視覺信息進(jìn)行補(bǔ)償可以在很大程度上解決上述問題。本文設(shè)計了一種融合視聽信息的狀態(tài)監(jiān)測系統(tǒng)，以對機(jī)電設(shè)備運(yùn)行狀態(tài)進(jìn)行實時有效的智能監(jiān)測。

1 視聽特征處理方法

在視聽信息融合之前，需要分別對視覺信息和聽覺信息進(jìn)行增強(qiáng)預(yù)處理，主要目的是對采集到的信號進(jìn)行濾波以去除噪聲與冗余特征，系統(tǒng)中除了常規(guī)的對視聽信號進(jìn)行增強(qiáng)處理及預(yù)處理方法之外，如圖像的二值化、灰度處理，音頻信號的分幀、加窗等，還將視覺圖像信息進(jìn)行了可聽化處理，并將視聽數(shù)據(jù)做了歸一化處理和主成分分析。

1.1 視覺圖像的可聽化處理

由于視覺信息與聽覺信息屬于不同質(zhì)的信息，二者之間具有不同物理屬性，信息維度也不相同：聲音在時域上屬于一維信息，而視覺圖像屬于二維信息。因此視聽信息融合屬于異類傳感信息融合，在融合前需要將這兩種形式的信息進(jìn)行轉(zhuǎn)換。將視覺信息與聽覺信息進(jìn)行同一化轉(zhuǎn)換，使二者能在相同環(huán)境下被統(tǒng)一處理，通常采取3種方式：(1)將視覺圖像轉(zhuǎn)換成聲音信息，如voice助盲系統(tǒng)和paint2sound混音軟件[4]等；(2)將聲波信息轉(zhuǎn)換為圖像信息，如聲成像技術(shù)和B行超聲波技術(shù)等；(3)用第三種信息來表征這兩種不同的信息。

本文采用第一種方式，將視覺圖像信息轉(zhuǎn)換為聲音信息。該轉(zhuǎn)換方法的過程可大致作如下描述：選擇圖像的像素值和像素值所在的位置信息作為圖像映射特征，選擇聲音的振幅和頻率作為聲音的維度。圖像與聲音的映射關(guān)系為[5]

(1)

式中:si表示圖像第i行的聲音模式;gi,j表示圖像的像素值;fj是第j列的像素點的頻率;t決定了聲音的播放時間。

fj=像素頻率/采樣頻率

(2)

si,j=gi,jsin2πfjti=1,2,…,n,j=1,2…，n

(3)

由于人耳所能聽見的聲音和機(jī)電系統(tǒng)的故障診斷中常見的聲音信息均集中在某一頻域范圍，故在將圖片信息轉(zhuǎn)換為聲音的頻率參數(shù)時應(yīng)盡量避開上述的頻段，選用空閑頻段，以避免由圖像信息轉(zhuǎn)化得到的聲音信息與由麥克風(fēng)采集到的聲波信息互相干擾。

1.2 視聽信息的歸一化與主成分分析

前述步驟將視聽信息轉(zhuǎn)化為兩種數(shù)據(jù)形式：幅值范圍為0～255的灰度值數(shù)據(jù)和聲音的頻域分析幅值，將兩種數(shù)據(jù)統(tǒng)一還需采用線性函數(shù)轉(zhuǎn)換進(jìn)行歸一化處理。

線性轉(zhuǎn)換函數(shù)：

歸一后值=(歸一前值-MinV)/(MaxV-MinV)

(4)

式中MaxV、MinV分別為樣本的最大值和最小值。

歸一化就是將不同尺度上的評判結(jié)果統(tǒng)一到1個尺度上以方便比較和運(yùn)算。將各個特征自身的數(shù)據(jù)特性通過數(shù)學(xué)的方法抹掉，讓各個特征值獲得相同的競爭能力，從而可以使用一些更通用性的解決方法，將視野重點從局部數(shù)據(jù)解放出來，還能避免在兩種數(shù)據(jù)疊加之前的權(quán)值選取問題。

經(jīng)過歸一化的信息數(shù)據(jù)仍具有較高的維度，而高維度的測量空間不能有效的反映測量對象的本質(zhì)且難以進(jìn)行分類和識別。為了方便計算和設(shè)計分類器并提出識別方法，需要把聲音信息和圖片信息從測量空間變換到維數(shù)大幅降低的特征空間。

鑒于主成分分析算法是將方差的大小作為衡量信息量多少的標(biāo)準(zhǔn)，能在損失很小的信息的前提下把多個指標(biāo)轉(zhuǎn)化為幾個綜合指標(biāo)的一種多元統(tǒng)計方法，它計算方便且具有最優(yōu)線性誤差，可以較好的揭示具有線性結(jié)構(gòu)的高維數(shù)據(jù)集在全局中的分布[6]。故采用主成分分析法作為特征提取的主要算法。該算法具體步驟如下：

(1)假設(shè)訓(xùn)練集有200個樣本，由上文中幾個步驟得出的數(shù)據(jù)組成，每個樣本大小為N，其中向量xi為由第i個樣本的N維列向量。

(2)計算平均向量

(5)

(3)計算每一個數(shù)據(jù)向量與平均數(shù)據(jù)向量的差值

di=xi-Ψ(i=1,2,…,200)

(6)

(4)構(gòu)建協(xié)方差矩陣

(7)

式中A=(d1,d2,…,d200)。

(5)求協(xié)方差矩陣的特征值和特征向量，構(gòu)造特征空間。

協(xié)方差矩陣的維數(shù)為N*N，考慮其維數(shù)較大，計算繁瑣，故采用奇異值分解(SingularValue Decomposition ,SVD)定理獲得ATA的特征值和特征向量。根據(jù)特征值的貢獻(xiàn)率選取前p個最大特征向量及其對應(yīng)的特征向量，貢獻(xiàn)率是指選取特征值的和與所有特征值的和之比，即：

(8)

一般取a>99%即使訓(xùn)練樣本在前p個特征向量集上的投影有99%的能量。

求出原協(xié)方差矩陣的特征向量

(9)

則融合數(shù)據(jù)的特征空間為

w=(u1,u2,…,up)

(10)

(6)將每一幅融合前的向量與平均向量的差值向量矢量投影到特征向量空間，即

Ωi=wTdi(i=1,2,…,200)

(11)

通過上述過程即可完成兩種信息并聯(lián)之后的降維操作，同時提取了感興趣的信號特征，在該過程中，由計算得到了每一個數(shù)據(jù)向量與平均數(shù)據(jù)向量的差值，即濾掉了大部分背景噪聲。

1.3 基于BP神經(jīng)網(wǎng)絡(luò)的分類器設(shè)計

通常情況下，含有一個隱含層的神經(jīng)網(wǎng)絡(luò)模型可以完成從任意m維空間到n維空間的非線性映射，設(shè)計中采用三層結(jié)構(gòu)的前饋BP網(wǎng)絡(luò)。

隱含層結(jié)點數(shù)目的選擇并沒有統(tǒng)一的公式來表示，具體節(jié)點數(shù)目的確定與實際問題的要求和環(huán)境以及輸入輸出單元數(shù)量相關(guān)。需要注意的是，隱含層節(jié)點數(shù)目過多會影響收斂速度，使收斂時間延長；隱含層節(jié)點數(shù)目太少則會影響精度，降低控制性能。本文中神經(jīng)網(wǎng)絡(luò)的隱含層結(jié)點個數(shù)計算經(jīng)驗公式[7]為

n1=(m+n)1/2+α

式中:m為輸入層神經(jīng)元數(shù)目;n為輸出層神經(jīng)元數(shù)目;α為1～10之間的常數(shù)，通常值為1。

經(jīng)計算單語音系統(tǒng)的隱含層結(jié)點數(shù)目為25，視聽語音識別系統(tǒng)的隱含層節(jié)點數(shù)目為38。

通常經(jīng)過訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)一般都要進(jìn)行性能測試，即選擇測試樣本向量并提供給網(wǎng)絡(luò)，檢驗網(wǎng)絡(luò)對其分類的正確性。樣本向量中要包含網(wǎng)絡(luò)應(yīng)用中可能遇到的典型模式。

需要注意的是在降維階段中計算差值向量這一步驟，需要用新的數(shù)據(jù)減去用于訓(xùn)練的樣本平均值來進(jìn)行運(yùn)算，并且跳過建立協(xié)方差矩陣等步驟，直接用訓(xùn)練階段得出的轉(zhuǎn)換矩陣將差值向量投影到特征空間，即：

ΩΓ=wT(Γ-Ψ)

(12)

式中：ΩГ為待識別的數(shù)據(jù)在特征空間的投影向量;wT為投影矩陣；Г為待識別的數(shù)據(jù)向量；Ψ為訓(xùn)練樣本均值。

再將得到的待測數(shù)據(jù)投影向量用神經(jīng)網(wǎng)絡(luò)進(jìn)行識別，得出識別狀態(tài)向量。這些樣本可以通過直接測取得到，也可以通過仿真得到，在樣本數(shù)據(jù)較少或者較難得到時，也可以通過學(xué)習(xí)樣本加上適當(dāng)?shù)脑肼暬蛘甙凑找欢ǖ囊?guī)則差值得到。

2 系統(tǒng)軟件設(shè)計

系統(tǒng)在硬件上引入了上位機(jī)與視聽信息采集單元，即CMOS攝像機(jī)、貼片式拾音器與數(shù)據(jù)采集卡。軟件采用了Labview與Matlab聯(lián)調(diào)的方式，對視聽信息進(jìn)行采集處理及融合運(yùn)算。系統(tǒng)軟件的功能性模塊則按照視、聽信息流向劃分，主要包括視覺信息可聽化處理、PCA降維與融合及神經(jīng)網(wǎng)絡(luò)識別等模塊，其對設(shè)備狀態(tài)的檢測程序流程如圖1所示。

圖1 對設(shè)備狀態(tài)的檢測程序流程

圖2 Labview功能性事件結(jié)構(gòu)的程序設(shè)計

圖3 人機(jī)交互界面設(shè)計

具體程序地編寫也是按照上述事件的流程進(jìn)行，可將每個方框均看成一個功能性事件，而箭頭則代表數(shù)據(jù)流向[8]，在核心事件中，具體算法則通過調(diào)用Matlab函數(shù)的形式來實現(xiàn)。圖2為部分Labview功能性事件結(jié)構(gòu)，圖3為軟件人機(jī)交互界面。

3 實驗及驗證

2014年8月在北京礦冶研究總院對所述方法進(jìn)行了測試。檢測對象為錳料裝箱機(jī)械手，其結(jié)構(gòu)如圖4所示。該平臺機(jī)械手的位置由x軸和z軸氣缸運(yùn)動的合成，氣動手爪完成錳劑的夾取和放置動作。實驗旨在對機(jī)械手搬運(yùn)錳劑過程功能性動作的核心動作流程進(jìn)行監(jiān)測。

由于實驗針對機(jī)械手搬運(yùn)錳劑的過程功能性動作的核心動作流程進(jìn)行監(jiān)測，而其核心動作主要是分揀機(jī)械手完成氣動手爪抓取錳劑、Z軸電動缸上升、X軸電動缸左移、Z軸電動缸下降和氣動手爪放開錳劑這一系列的周期性運(yùn)動，由于這一系列的動作中，動作切換的位置動作比較復(fù)雜，也是最容易發(fā)生失穩(wěn)狀況，從而導(dǎo)致在這些點位上容易出現(xiàn)異常響聲，故選取機(jī)械手在其運(yùn)動周期的動作切換位置的進(jìn)行狀態(tài)監(jiān)測。為此，實驗設(shè)計了4個關(guān)點位監(jiān)測點，如圖5所示，X1Z2為機(jī)械手抓取工件位置，X1Z1為機(jī)械手零位，X2Z1為機(jī)械手在運(yùn)送工件的轉(zhuǎn)折位置，X2Z2為機(jī)械手運(yùn)送工件的目標(biāo)位置。實驗監(jiān)測關(guān)鍵點為4個，以8個狀態(tài)進(jìn)行描述，按照二進(jìn)制編碼的方式，對這8種狀態(tài)進(jìn)行編碼結(jié)果表1所示。

圖4 錳劑分揀機(jī)械手的機(jī)械結(jié)構(gòu)圖

圖5

工業(yè)現(xiàn)場的電磁環(huán)境非常復(fù)雜，不可避免地存在多種形式的高頻噪聲以及諧波干擾。這些干擾都具有較強(qiáng)的隨機(jī)性和不確定性，難以在現(xiàn)實中獲得定量的干擾信息，故采用軟件仿真的辦法進(jìn)行試驗，即在視覺信息和聽覺信息歸一化處理之后疊加均值為0，方差為0.2的高斯噪聲。

表1 狀態(tài)信息編碼表

針對下列四種情況，共進(jìn)行了60次實驗：

(1)在無噪聲環(huán)境下進(jìn)行單視覺模態(tài)的狀態(tài)監(jiān)測；

(2)在無噪聲環(huán)境下進(jìn)行融合視聽信息的狀態(tài)監(jiān)測；

(3)視覺噪聲條件下進(jìn)行單視覺模態(tài)的狀態(tài)監(jiān)測；

(4)視覺噪聲條件下進(jìn)行融合視聽信息的狀態(tài)監(jiān)測。

對機(jī)械手狀態(tài)識別的正確率如表2所示。

表2 識別結(jié)果

實驗結(jié)果表明，工業(yè)現(xiàn)場環(huán)境下，由于噪聲干擾，基于單視覺傳感的狀態(tài)監(jiān)測識別率僅為53.9%，無法滿足對設(shè)備運(yùn)行狀態(tài)的監(jiān)測要求。而利用設(shè)備異常運(yùn)行狀態(tài)下發(fā)出的異常聲響，基于圖像可聽化技術(shù)融合視聽信息，能夠使?fàn)顟B(tài)監(jiān)測系統(tǒng)在噪聲環(huán)境下的正確識別率穩(wěn)定維持在87.6%以上。

4 結(jié)束語

通過視覺信息的可聽化、視聽特征數(shù)據(jù)的歸一化和主成分分析，可將視覺信息和聽覺信息轉(zhuǎn)換為低維數(shù)的同質(zhì)信息特征，并將其送入BP神經(jīng)網(wǎng)絡(luò)進(jìn)行信息融合，進(jìn)而給出對機(jī)電設(shè)備運(yùn)行狀態(tài)識別的決策輸出?；谏鲜龇椒ㄔO(shè)計的狀態(tài)監(jiān)測系統(tǒng)，在工業(yè)現(xiàn)場雜波環(huán)境下能有效對機(jī)電設(shè)備運(yùn)行狀態(tài)進(jìn)行實時的智能監(jiān)測，且集成度高、具有較高的穩(wěn)定性和魯棒性，同時為機(jī)電設(shè)備的故障診斷提供了數(shù)據(jù)基礎(chǔ)。

[1] 張建明,徐小力.面向機(jī)電系統(tǒng)狀態(tài)監(jiān)測與故障診斷的現(xiàn)代技術(shù).北京理工大學(xué)學(xué)報,2004,24(9):751-756.

[2] 黃昭毅.設(shè)備診斷現(xiàn)場實用技術(shù)叢書.北京:機(jī)械工業(yè)出版社,2002.

[3] 溫熙森,秦國軍.大型復(fù)雜機(jī)電設(shè)備監(jiān)測診斷體系結(jié)構(gòu)研究.中國機(jī)械工程,1997,8(2):99-103.

[4] Mitchell E.Tyler.Seeing with the Brain,International Journal of Human-Computer Interraction.2003,15(2):285-295.

[5] 趙麗娜,周群,劉鐵軍,等.視覺聽覺同時刺激模式下ERP的同步性研究.臨床神經(jīng)電生理學(xué)雜志,2005,14(1):4-6.

[6] 聶旻.視覺與聽覺跨模態(tài)轉(zhuǎn)換的認(rèn)知和應(yīng)用研究:[學(xué)位論文].上海:上海交通大學(xué),2010.

[7] 田亞男,雷紅瑋,王旭,等.基于SVM圖像分割方法的自動導(dǎo)盲系統(tǒng).東北大學(xué)學(xué)報(自然科學(xué)版),2010,31(12):1681-1684.

[8] 楊正才,張慶永.基于LabVIEW的汽車發(fā)動機(jī)振動測試系統(tǒng).儀表技術(shù)與傳感器,2012(1):21-23.

Electromechanical Equipment Condition Monitoring System Based on Audio-visual Information Fusion

ZHANG Liang，LI Tie-jun，ZONG Yin-xue

(Hebei University of Technology，Institute of Robotics，Tianjin 300130，China)

Focused on the demand of mechatronical device status monitoring, a surveiliance system based on audio-visual information fusion was designed. The characteristic data with the same type and low dimensionality was obtained through the methods of image auralization, data normalization and principal component analysis. Based on BP neural network model, the charateristic data was recognised and fused, and the decisions of monitering of electromechanical device were obtain. The experimental results show that the correct recognition rate of monitoring based on audio-visual fusion is maintained at a high level under noisy environment, meanwhile the stability and the robustness of the system was guaranteed by the neural network model.

statu monitoring; information fusion; image auralization; principal component analysis; neural network

國家自然科學(xué)基金資助項目(51175145)

2014-12-23 收修改稿日期：2015-06-30

TP242.6

A

1002-1841(2015)09-0056-04

張靚(1986—)，博士研究生，主要研究領(lǐng)域為機(jī)器視覺與多傳感器信息融合。E-mail：zhangliang860226@163.com