基于深度混合卷積的多傳感器信息快速融合

韓海豹，王孝國

(1. 晉中信息學(xué)院智能工程學(xué)院，山西 太谷 030800；2. 山西農(nóng)業(yè)大學(xué)農(nóng)業(yè)工程學(xué)院，山西 太谷 030800)

1 引言

單傳感器[1]在科技洪流的推動(dòng)下已無法滿足實(shí)際的應(yīng)用需求，多傳感器在各大領(lǐng)域中的重要性與日俱增，而多傳感器的信息融合技術(shù)將不同傳感器所得的局部信息進(jìn)行融合后，把完整信息提供給應(yīng)用系統(tǒng)，以便完成給定的工作項(xiàng)目。多傳感器信息融合[2]既是一個(gè)集計(jì)算機(jī)、信息以及自動(dòng)化等學(xué)科于一體的復(fù)合型技術(shù)，也是一項(xiàng)正處于發(fā)展階段的信息處理技術(shù)。

多傳感器信息融合技術(shù)的應(yīng)用領(lǐng)域包括諸多行業(yè)，例如：龍霞飛等人[3]結(jié)合多傳感器信息融合與KELM(Kernel Extreme Learning Machine，核極限學(xué)習(xí)機(jī))，得到一種灰狼優(yōu)化核極限學(xué)習(xí)機(jī)，并將其用于監(jiān)測電力行業(yè)的風(fēng)電齒輪箱狀態(tài)；王正家等人[4]面向機(jī)器人控制領(lǐng)域，運(yùn)用多傳感器信息融合技術(shù)，得到一種能夠有效躲避障礙、跟隨移動(dòng)目標(biāo)的自主跟蹤定位與躲避方法。因上述文獻(xiàn)方法中的融合過程缺少自學(xué)習(xí)、自組織等優(yōu)勢，令融合結(jié)果準(zhǔn)度與速度不夠理想，所以，本文引入高容錯(cuò)性與高魯棒性的深度網(wǎng)絡(luò)結(jié)構(gòu)，架構(gòu)出一種深度混合卷積網(wǎng)絡(luò)下的多傳感器信息快速融合方法。深度混合卷積網(wǎng)絡(luò)憑借并行處理、自適應(yīng)與自學(xué)習(xí)等能力，不僅能夠彌補(bǔ)多傳感器信息的不確定性，而且通過模擬人腦結(jié)構(gòu)與功能，提升信息融合的可靠性與智能性。

2 深度混合卷積模型構(gòu)建

深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的主要組成層級是輸入層、輸出層以及多個(gè)隱含層，如圖1所示，對于隱含層，則由卷積層、池化層以及全連接層架構(gòu)而成[5]。通過卷積層與池化層的反復(fù)架構(gòu)，構(gòu)建出神經(jīng)網(wǎng)絡(luò)的迭代模塊，遞進(jìn)式地提取出輸入數(shù)據(jù)信息的平移不變形特征。卷積層憑借耦合多維度滑動(dòng)卷積核參數(shù)加權(quán)與層-層間稀疏性的能力，降低數(shù)據(jù)特征的格點(diǎn)化提取計(jì)算代價(jià)。

圖1 深度卷積神經(jīng)網(wǎng)絡(luò)框架示意圖

先標(biāo)準(zhǔn)化處理[6]信息分布區(qū)域，再輸入至卷積神經(jīng)網(wǎng)絡(luò)中，若輸入信息是一種圖像或視頻序列，則需縮放為同一規(guī)格，并在0到1的像素值范圍中做歸一化處理[7]，以提升網(wǎng)絡(luò)參數(shù)學(xué)習(xí)速度與特征表現(xiàn)力。

設(shè)置X={x(1)，x(2)，…，x(M)}與Y={y(1)，y(2)，…，y(M)}分別是M個(gè)參訓(xùn)信息的樣本集及其真值標(biāo)簽集，則第L輸入層內(nèi)序號為s的特征圖譜如下所示

(1)

式中，L-1層的特征量是x(l-1，t)，L層的N個(gè)卷積內(nèi)核權(quán)值參數(shù)是k(l，s，t)，連接兩者的卷積操作用*指代，參數(shù)偏置量與激活函數(shù)分別為b(l，s)、f(·)。卷積核通過在信息輸入的維度空間滑動(dòng)，提取出多層次多級別的空間域特征。

采用下列等式池化處理網(wǎng)絡(luò)的卷積層輸出，取得平移不變性的信息特征

x(l，s)=f(λdown(x(l-1，s))+b(l，s))

(2)

式中，下采樣函數(shù)為down(·)，其具有解耦特征尺度關(guān)系、減小特征圖規(guī)格、網(wǎng)絡(luò)計(jì)算參數(shù)量以及過擬合可能性等諸多優(yōu)勢。

利用BP(Back Propagation，誤差反向傳播)算法[8]，對深度卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練、優(yōu)化，得到一個(gè)由卷積層、全連接層以及池化層組成的反向傳播路徑。根據(jù)設(shè)定的損失函數(shù)，求解網(wǎng)絡(luò)輸出分類結(jié)果矢量與真實(shí)標(biāo)簽間的估計(jì)誤差，通過SGD(Stochastic Gradient Descent，隨機(jī)梯度下降)算法[9]的誤差反向傳播操作，提升參數(shù)學(xué)習(xí)質(zhì)量與網(wǎng)絡(luò)收斂速度。

網(wǎng)絡(luò)末端的全連接層沒有網(wǎng)絡(luò)學(xué)習(xí)能力，僅能融合前幾個(gè)層序習(xí)得的表征信息，簡化三維拓?fù)淇蚣?，為信息類別劃分、回歸操作等后期處理提供特征矢量。若去掉全連接層，則能夠在一定程度上加快多傳感器信息的融合速度，因此，基于深度卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)一種深度混合卷積神經(jīng)網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型在加快融合速度的前提下，為保證信息融合質(zhì)量，加權(quán)處理各傳感器信息的置信分布，并隱式實(shí)施空間對齊[10]，抑制提取特征時(shí)的信息差異影響；以四通道加權(quán)卷積層代替輸入層，粗略提取淺層信息，用全局平均池化代替網(wǎng)絡(luò)末端池化層，打破輸入信息尺度約束，正則規(guī)范化網(wǎng)絡(luò)框架，避免過擬合情況，以此來優(yōu)化殘差網(wǎng)絡(luò)resnet-50的基本結(jié)構(gòu)，避免梯度彌散；利用混合表征機(jī)制，融合檢索結(jié)果與訓(xùn)練分類器結(jié)果，獲取信息本征與種類距離特征的混合表征信息，根據(jù)信息特征準(zhǔn)度，經(jīng)自適應(yīng)加權(quán)融合完善特征表示，防止遺漏網(wǎng)絡(luò)特征。

深度混合卷積神經(jīng)網(wǎng)絡(luò)模型的上部分包含信息輸入、特征提取以及種類輸出，是用于訓(xùn)練的網(wǎng)絡(luò)框架；下部分包含表征引入、特征提取以及混合表征信息求解，是用于檢索的網(wǎng)絡(luò)框架。當(dāng)網(wǎng)絡(luò)學(xué)習(xí)聚焦于傳感器信息特征時(shí)，表達(dá)式如下所示

Fcmap=ΓΓi∈(x，y)ki*fi

(3)

式中，ki表示信息輸入量，fi表示混合表征信息求解結(jié)果。

經(jīng)卷積運(yùn)算與降維處理后，得到下式描述的信息本征特征

x(l)=relu(w(l)x(l-1)+b(l))

(4)

式中，x(l)表示信息本征特征，w(l)表示信息分類特征。

3 基于深度混合卷積的多傳感器信息快速融合

利用所構(gòu)建的深度混合卷積神經(jīng)網(wǎng)絡(luò)模型，將融合多傳感器信息的過程分為預(yù)處理、參數(shù)求解、模型訓(xùn)練以及簡化融合等階段。

3.1 多傳感器信息預(yù)處理

按需設(shè)置網(wǎng)絡(luò)模型結(jié)構(gòu)，采用小波降噪策略處理多傳感器的采集信息。具體流程描述如下：

1)采用下列公式離散小波變換[11]處理多傳感器信息的連續(xù)信號φ(t)，得到式(5)所示的新連續(xù)信號φ′(t)

(5)

式中，a表示尺度因子，b表示平移因子；ψa，b(t)表示兩因子的小波基函數(shù)。

2)依據(jù)各小波基函數(shù)，推導(dǎo)出不同級別的小波展開系數(shù){c0，d1，d2，…，dJ-1}，并借由下列等式定義新連續(xù)信號φ′(t)的多分辨形式

φ′J(t)=φ′0(t)+d0(t)+…+dJ-1(t)

(6)

3.2 深度混合卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)求解

設(shè)置網(wǎng)絡(luò)模型各層權(quán)重值為1，采用誤差反向傳播算法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，完成網(wǎng)絡(luò)層隸屬函數(shù)參數(shù)與網(wǎng)絡(luò)權(quán)重調(diào)整。若學(xué)習(xí)速度與動(dòng)量項(xiàng)系數(shù)分別為η、β，則在網(wǎng)絡(luò)學(xué)習(xí)中利用下列公式調(diào)整網(wǎng)絡(luò)權(quán)重，令兩輸出間的方差E為極小化

(7)

式中，?表示輸出方差約束，wij(t)表示確定性函數(shù)，E表示輸出間方差，其表達(dá)式如下所示

(8)

式中，y(t)表示神經(jīng)網(wǎng)絡(luò)模型輸出，y′(t)表示期望輸出。

根據(jù)式(7)和(8)，架構(gòu)出深度混合卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方程式，如下所示

(9)

由于任意輸入層的輸入信息值為上一層的神經(jīng)元連續(xù)乘積，會加大隸屬度函數(shù)參數(shù)學(xué)習(xí)律的推導(dǎo)難度，因此，以兩個(gè)輸入單元的網(wǎng)絡(luò)學(xué)習(xí)律為例，設(shè)計(jì)出一種算法，以便于類推出多傳感器輸入層的隸屬函數(shù)參數(shù)學(xué)習(xí)律。

已知下列等式方程組成立

(10)

其滿足式(11)所示的等式條件

(11)

由此即可推導(dǎo)出下列表達(dá)式：

(12)

如果深度混合卷積神經(jīng)網(wǎng)絡(luò)的隸屬度函數(shù)是高斯函數(shù)，則根據(jù)以上各式得到下列等式方程組：

(13)

綜上所述，輸入單元的網(wǎng)絡(luò)學(xué)習(xí)律方程組如下所示：

(14)

3.3 深度混合卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練與信息融合

基于選取的典型樣本信息，采用下列參數(shù)學(xué)習(xí)律方程組，離線訓(xùn)練深度混合卷積神經(jīng)網(wǎng)絡(luò)模型，更好地完成樣本信息擬合：

(15)

深度混合卷積神經(jīng)網(wǎng)絡(luò)模型經(jīng)明確、調(diào)整局部權(quán)重，有助于加快網(wǎng)絡(luò)學(xué)習(xí)速度，因緊支集上的連續(xù)實(shí)函數(shù)逼近精度與論域子集細(xì)化度之間呈正相關(guān)性，故通過將神經(jīng)網(wǎng)絡(luò)模型隸屬度函數(shù)抽象化為功能節(jié)點(diǎn)數(shù)量，即可取得需要的逼近精度。最后，刪減掉具有最小權(quán)重的對應(yīng)層神經(jīng)元，使卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)得到進(jìn)一步簡化，提升多傳感器的信息融合速度。

4 多傳感器信息快速融合仿真

選取多個(gè)具有不同分辨率的GPS(Global Positioning System，全球定位系統(tǒng))接收機(jī)、里程計(jì)以及加速度計(jì)等定位傳感器來追蹤同一移動(dòng)目標(biāo)，該目標(biāo)呈勻速直線運(yùn)動(dòng)形式，利用本文方法融合各傳感器采集的目標(biāo)信息，檢驗(yàn)方法性能。

4.1 多傳感器信息快速融合濾波效果分析

針對三個(gè)傳感器采集信息中含有的噪聲，利用本文方法加以處理。圖2所示為接收機(jī)傳感器信息的噪聲處理結(jié)果。

圖2 接收機(jī)傳感器信息濾波效果示意圖

根據(jù)該圖中的信噪比變化情況可以看出，本文方法按需設(shè)置網(wǎng)絡(luò)模型結(jié)構(gòu)后，經(jīng)離散小波變換處理多傳感器信息的連續(xù)信號，根據(jù)對應(yīng)閾值及其準(zhǔn)則，閾值化處理了小波系數(shù)，利用小波重構(gòu)算法重建了離散小波逆變換信號，降噪處理了各傳感器采集到的信息，濾波效果較為理想，極大程度提升了信息質(zhì)量，有助于信息的后續(xù)處理。

4.2 多傳感器信息快速融合位移與速度效果分析

在Lab Center Electronics公司生產(chǎn)的proteus軟件模擬融合三個(gè)傳感器信息后，將本文方法與文獻(xiàn)[3]方法和文獻(xiàn)[4]方法作比較，得到如圖3、圖4所示的位移誤差與延時(shí)曲線走勢。

圖3 多傳感器信息快速融合位移誤差示意圖

圖4 多傳感器信息快速融合時(shí)延示意圖

通過圖3和圖4中傳感器的位移誤差與延時(shí)情況可知，對比文獻(xiàn)[3]方法、[4]方法和本文方法的融合效果，通過對比可知本文方法的融合精度較高、速度較快，這主要得益于深度混合卷積神經(jīng)網(wǎng)絡(luò)模型的混合表征機(jī)制與模型結(jié)構(gòu)的簡化，前者經(jīng)融合檢索結(jié)果與訓(xùn)練分類器結(jié)果，獲取信息本征與種類距離特征的混合表征信息，根據(jù)信息特征精準(zhǔn)度，經(jīng)自適應(yīng)加權(quán)融合完善特征表示，有效防止了遺漏網(wǎng)絡(luò)特征；后者則通過去除沒有學(xué)習(xí)能力的全連接層與具有最小權(quán)重的對應(yīng)層神經(jīng)元，大幅加快了融合速度。

綜合分析上述實(shí)驗(yàn)結(jié)果可知，本文方法有效解決了傳統(tǒng)方法下多傳感器信息融合實(shí)時(shí)性與精準(zhǔn)性不佳的問題，提升了信息融合效果。

5 結(jié)論

多傳感器信息融合技術(shù)主要是通過整合不同傳感器得到的特征描述信息，形成一個(gè)統(tǒng)一的特征描述信息。作為一個(gè)創(chuàng)新型學(xué)科，該項(xiàng)技術(shù)隨著科技的進(jìn)步在海、陸、空等軍事領(lǐng)域及醫(yī)療診斷、工業(yè)機(jī)器人等領(lǐng)域得以迅速推廣。因此，本文將多傳感器信息融合技術(shù)與深度網(wǎng)絡(luò)相結(jié)合，提出一種基于深度混合卷積的多傳感器信息快速融合方法。雖然本文研究成果為信息資源價(jià)值得到充分發(fā)揮、降低信息處理負(fù)擔(dān)奠定基礎(chǔ)，但仍應(yīng)根據(jù)信息處理技術(shù)、應(yīng)用數(shù)學(xué)等多傳感器信息融合技術(shù)的涉獵科學(xué)領(lǐng)域，在以下方向拓寬該方法的應(yīng)用前景：信息融合的實(shí)現(xiàn)根本組件是傳感器，故需創(chuàng)建不同種類的傳感器模型，探究傳感器對信息融合的影響；為滿足信息融合的實(shí)時(shí)性，應(yīng)嘗試引入分布式機(jī)制，建立一種高效的并行計(jì)算策略；將多傳感器信息融合性能評估體系建立作為下一階段的研究重點(diǎn)，進(jìn)一步完善融合方法性能。