基于注意力機(jī)制與1D-CNN-Bi-GRU的MEMS陀螺儀降噪方法研究

摘" 要：為降低MEMS陀螺儀輸出信號噪聲，提出一種基于注意力機(jī)制和1D-CNN-Bi-GRU的MEMS陀螺儀誤差補(bǔ)償方法。首先通過1D-CNN網(wǎng)絡(luò)進(jìn)行陀螺時(shí)序數(shù)據(jù)特征提取，然后采用Bi-GRU網(wǎng)絡(luò)進(jìn)行特征分析，最后利用注意力機(jī)制進(jìn)行數(shù)據(jù)權(quán)重分配。實(shí)驗(yàn)結(jié)果表明，與對照方法相比，該文方法噪聲平均值減少57.03%和47.8%，噪聲方差減少81.07%和73.01%，表明該文方法具有一定優(yōu)勢，具有較好的誤差補(bǔ)償效果。

關(guān)鍵詞：MEMS陀螺儀;降噪;1D-CNN;Bi-GRU;注意力機(jī)制

中圖分類號：TP212" " " 文獻(xiàn)標(biāo)志碼：A" " " " " 文章編號：2095-2945（2024）26-0037-05

Abstract： In order to reduce the output signal noise of MEMS gyroscope， an error compensation method of MEMS gyroscope based on attention mechanism and 1D-CNN-Bi-GRU is proposed. Firstly， the feature of gyro time series data is extracted by 1D-CNN network， then the feature is analyzed by Bi-GRU network， and finally the data weight is distributed by attention mechanism. The experimental results show that， compared with the control method， the average noise of this method is reduced by 57.03% and 47.8%， and the noise variance is reduced by 81.07% and 73.01%， indicating that this method has certain advantages and has a better error compensation effect.

Keywords： MEMS gyroscope; noise reduction; 1D-CNN; Bi-GRU; attention mechanism

微機(jī)電系統(tǒng)（Micro-Electro-Mechanical System， MEMS）陀螺具有體積小、功耗低、成本低和性價(jià)比高的優(yōu)點(diǎn)[1]，在小型機(jī)構(gòu)，如無人機(jī)[2-3]、導(dǎo)航終端[4]、機(jī)器人[5]中發(fā)揮著重要作用。由于MEMS陀螺噪聲較大，在實(shí)際工程應(yīng)用時(shí)需要抑制MEMS陀螺儀的噪聲，為此MEMS陀螺的降噪方法已成為學(xué)界的研究熱點(diǎn)。

傳統(tǒng)的陀螺儀降噪方法包括卡爾曼濾波[6]、經(jīng)驗(yàn)?zāi)B(tài)分解[7-9]和小波變換[10-11]等方法。隨著計(jì)算機(jī)運(yùn)算能力的不斷提高，研究者已經(jīng)采用具有更魯棒擬合能力的深度學(xué)習(xí)模型對MEMS陀螺儀信號進(jìn)行降噪[12-14]。Wang等[12]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)-極限學(xué)習(xí)機(jī)的方法，將信號作為時(shí)間序列進(jìn)行處理，利用LSTM對MEMS陀螺儀輸出信號進(jìn)行濾波。Huo等[13]使用降噪自編碼器網(wǎng)絡(luò)和注意力多層卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了對MEMS陀螺儀數(shù)據(jù)錯(cuò)誤和殘缺條件下的降噪。Liu等[14]利用一維卷積神經(jīng)網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)捕捉陀螺儀時(shí)序數(shù)據(jù)中的規(guī)律，提取局部特征并學(xué)習(xí)時(shí)間相關(guān)性。設(shè)計(jì)注意力機(jī)制，通過分析特征重要性自動(dòng)設(shè)置權(quán)重，進(jìn)行陀螺儀數(shù)據(jù)降噪。

為了進(jìn)一步提高M(jìn)EMS陀螺儀的測量精度，本文提出了一種基于1D-CNN網(wǎng)絡(luò)和Bi-GRU-Attention模型相結(jié)合的誤差補(bǔ)償方法，以提高誤差補(bǔ)償?shù)男阅?。本文所提方法結(jié)構(gòu)如圖1所示。

1" 深度神經(jīng)網(wǎng)絡(luò)原理分析

1.1" 1D-CNN網(wǎng)絡(luò)原理結(jié)構(gòu)

一維卷積神經(jīng)網(wǎng)絡(luò)（1D Convolutional Neural Network，1D-CNN）是用于處理序列數(shù)據(jù)的深度學(xué)習(xí)模型，主要應(yīng)用于時(shí)間序列分析、音頻信號處理等領(lǐng)域。與傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）用于處理圖像數(shù)據(jù)的二維卷積層不同，1D-CNN主要用于處理一維序列數(shù)據(jù)。1D-CNN在序列數(shù)據(jù)處理中具有諸多優(yōu)勢。首先，其能夠自動(dòng)學(xué)習(xí)輸入序列的局部模式和特征，無須手動(dòng)設(shè)計(jì)特征提取器。其次，1D-CNN能夠處理變長的序列數(shù)據(jù)，適用于不同長度的輸入。此外，通過堆疊多個(gè)卷積層和池化層，1D-CNN可以學(xué)習(xí)更高級別的抽象特征。

1D-CNN的基本組成部分包括卷積層、激活函數(shù)、池化層和全連接層。在卷積層中，多個(gè)一維卷積核對序列數(shù)據(jù)進(jìn)行卷積處理生成一系列特征圖。激活函數(shù)通常被應(yīng)用于卷積層的輸出，以引入非線性。池化層對特征圖尺寸進(jìn)行降維，保留主要特征。最后，全連接層將池化層的結(jié)果傳遞到輸出層，用于進(jìn)行分類、回歸或其他任務(wù)。

1D-CNN利用卷積操作對輸入序列進(jìn)行特征提取，其原理是使用一維卷積核（一維濾波器）在輸入序列上滑動(dòng)，通過對局部區(qū)域進(jìn)行卷積操作來提取局部特征。第i個(gè)時(shí)間窗中的信息可表示為

式中：l為時(shí)間窗的長度;xl為l時(shí)刻陀螺輸出的原始數(shù)據(jù)。

1D-CNN的卷積運(yùn)算具體方法為

， （2）

式中：ck表示第k個(gè)卷積核輸出的特征映射;ωk和b表示權(quán)重和偏置。

與傳統(tǒng)的全連接層相比，1D-CNN能夠保留輸入序列的局部結(jié)構(gòu)信息，同時(shí)減少參數(shù)數(shù)量，提高計(jì)算效率。

1.2" Bi-GRU網(wǎng)絡(luò)原理結(jié)構(gòu)

陀螺數(shù)據(jù)處理時(shí)需要考慮當(dāng)前時(shí)間和過去一段時(shí)間的輸入序列。本文中采用雙向門控循環(huán)單元（Bidirectional Gate Recurrent Unit， Bi-GRU），對輸入的狀態(tài)進(jìn)行分析。與傳統(tǒng)的門控循環(huán)單元（Gated Recurrent Unit，GRU）方法相比，Bi-GRU能夠?qū)崿F(xiàn)按時(shí)間順序和逆時(shí)間順序?qū)π蛄行畔⑦M(jìn)行分析，從而分析序列特征。Bi-GRU的結(jié)構(gòu)包括正向GRU和反向GRU，其結(jié)構(gòu)如圖2所示。

GRU模塊是LSTM網(wǎng)絡(luò)的簡化網(wǎng)絡(luò)，將LSTM網(wǎng)絡(luò)中的輸入門和遺忘門用更新門及時(shí)進(jìn)行替換。更新門實(shí)現(xiàn)對歷史信息進(jìn)行選擇性保留，重置門實(shí)現(xiàn)對當(dāng)前信息和歷史信息進(jìn)行組合，其主要計(jì)算公式為

式中：t為t時(shí)刻;ht表示t時(shí)刻的輸出數(shù)據(jù);xt為t時(shí)刻的輸入數(shù)據(jù);zt為更新門;rt為重置門;t為根據(jù)更新門生成的信息;σ為sigmoid函數(shù);tanh為雙曲正切函數(shù)作為激活函數(shù);wz、wr、wh分別為更新門，重置門和激活門的權(quán)重;bz、br、bh分別為更新門，重置門和激活門的偏置項(xiàng)，權(quán)重項(xiàng)和偏置項(xiàng)數(shù)值在訓(xùn)練過程中會(huì)自動(dòng)更新。

在BiGRU網(wǎng)絡(luò)中，前向單元實(shí)現(xiàn)正向狀態(tài)序列規(guī)律分析，反向單元實(shí)現(xiàn)逆向狀態(tài)序列規(guī)律分析。主要分析過程計(jì)算公式如下

（4）

式中：t為t時(shí)刻;t為前向隱藏層的狀態(tài);t為反向隱藏層的狀態(tài);wt1，wt2為前向和反向傳播隱藏層的輸出權(quán)重;bt表示偏置;f表示激活函數(shù)，此處采用sigmoid函數(shù)。

1.3" 注意力機(jī)制原理結(jié)構(gòu)

注意力機(jī)制是一種模仿人類認(rèn)知注意的技術(shù)，其通過有選擇地忽略部分不重要的信息，并將注意力集中在特定的信息上。該技術(shù)為后續(xù)注意機(jī)制的變體奠定了基礎(chǔ)，并已成功應(yīng)用于計(jì)算機(jī)視覺、推薦系統(tǒng)和翻譯領(lǐng)域[15]。在神經(jīng)網(wǎng)絡(luò)中，注意機(jī)制可以被視為一個(gè)權(quán)重矩陣。換句話說，輸入數(shù)據(jù)會(huì)被神經(jīng)網(wǎng)絡(luò)自動(dòng)設(shè)定相應(yīng)的權(quán)重，該權(quán)重表示了其被關(guān)注的程度。關(guān)注程度越高，權(quán)重值越大。

由于MEMS陀螺儀的時(shí)序數(shù)據(jù)包含時(shí)間信息，對于MEMS陀螺儀而言不同時(shí)刻的誤差特征信息對角速度的影響是不同的。例如，隨著時(shí)間的推移，時(shí)間窗口的初始誤差會(huì)逐漸累積，在時(shí)間窗結(jié)束時(shí)造成誤差。然而，BiGRU模型無法很好地處理陀螺儀序列中不同重要部分的差異。為此，本文采用了軟注意機(jī)制以自動(dòng)區(qū)分不同時(shí)間錯(cuò)誤特征的重要程度。具體而言，注意機(jī)制可以表示為

式中：αi表示第i個(gè)時(shí)間窗對MEMS陀螺儀序列預(yù)測的重要性;分?jǐn)?shù)si為關(guān)注權(quán)值。

2" 模型建立與參數(shù)確定

2.1" 模型概述

MEMS陀螺的輸出信號類型為時(shí)間序列信號，從時(shí)域信息中能夠獲得陀螺輸出的信息規(guī)律。為了更好利用陀螺儀輸出的時(shí)域信息規(guī)律，本文采用1D-CNN網(wǎng)絡(luò)挖掘數(shù)據(jù)背后的關(guān)系，提取歷史數(shù)據(jù)中的規(guī)律。CNN通過卷積層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對陀螺輸出信息進(jìn)行歸納，得出時(shí)序信號中的潛在信息，為陀螺儀降噪奠定基礎(chǔ)。作為雙向門控循環(huán)網(wǎng)絡(luò)，BiGRU模塊能夠從正反2個(gè)方向?qū)?D-CNN網(wǎng)絡(luò)輸出的特征信息進(jìn)行分析。但是，當(dāng)時(shí)間序列信息長度過長時(shí)，神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)處理過程中會(huì)出現(xiàn)數(shù)據(jù)特征丟失和數(shù)據(jù)建模困難的問題。為此，本文引入注意力機(jī)制，在建模過程中對輸入的特征進(jìn)行加權(quán)操作，通過為重要信息賦予更高權(quán)重，幫助神經(jīng)網(wǎng)絡(luò)捕獲時(shí)間序列信息中特征的依賴關(guān)系。為此，本文提出基于注意力機(jī)制的1D-CNN-Bi-GRU降噪方法，通過構(gòu)建多層異構(gòu)神經(jīng)網(wǎng)絡(luò)對陀螺儀輸出的時(shí)序信息進(jìn)行特征提取和學(xué)習(xí)，提升降噪性能。

2.2" 基于注意力機(jī)制的1D-CNN-Bi-GRU模型

本文構(gòu)建的1D-CNN-Bi-GRU網(wǎng)絡(luò)模型共5層，分別為時(shí)序信息輸入層、1D-CNN層、Bi-GRU層、注意力層和輸出層。陀螺儀輸出的數(shù)據(jù)通過1D-CNN實(shí)現(xiàn)特征提取，然后經(jīng)過BiGRU和注意力層學(xué)習(xí)時(shí)序信息規(guī)律以實(shí)現(xiàn)更好的降噪效果，最后輸出降噪后的結(jié)果，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其中，陀螺儀時(shí)序信息通過1D-CNN層進(jìn)行特征分析，然后輸入Bi-GRU進(jìn)行時(shí)序信息特征提取，經(jīng)過注意力層學(xué)習(xí)特征信息內(nèi)部規(guī)律，以實(shí)現(xiàn)降噪功能，最后經(jīng)過輸出層得到降噪后的信息。

神經(jīng)網(wǎng)絡(luò)中各層詳細(xì)描述如下：

1）輸入層：輸入層負(fù)責(zé)處理陀螺儀原始數(shù)據(jù)，進(jìn)行預(yù)處理后輸入到1-D CNN層。

2）1D-CNN層：本層負(fù)責(zé)對時(shí)序信息進(jìn)行特征初步提取，根據(jù)陀螺儀輸出一維時(shí)序信號的特點(diǎn)，通過1D-CNN網(wǎng)絡(luò)實(shí)現(xiàn)特征提取。其結(jié)構(gòu)為卷積層與池化層交替進(jìn)行數(shù)據(jù)處理，然后對數(shù)據(jù)進(jìn)行高維節(jié)點(diǎn)展開，并通過ReLU函數(shù)進(jìn)行激活，然后通過全連接層進(jìn)行結(jié)構(gòu)轉(zhuǎn)換提取得到特征向量并輸出。

3）Bi-GRU層：本層對1D-CNN層輸出的特征信息進(jìn)行時(shí)序分析，學(xué)習(xí)時(shí)序規(guī)律。構(gòu)建Bi-GRU網(wǎng)絡(luò)，對上層神經(jīng)網(wǎng)絡(luò)的輸出信息進(jìn)行特征提取，分析信息的變化規(guī)律。

4）注意力層：本層實(shí)現(xiàn)時(shí)序信息分析后信息的權(quán)重確定，輸入為經(jīng)過Bi-GRU層處理的特征向量，輸出為通過不斷迭代得到的權(quán)重矩陣。本層權(quán)重系數(shù)計(jì)算公式為

式中：t為t時(shí)刻;ht為t時(shí)刻Bi-GRU層的輸出向量;et為對應(yīng)的注意力概率分布值;u、w為權(quán)重;b為偏置，注意力層在t時(shí)刻輸出為st。

5）輸出層：信息經(jīng)過注意力層處理后，在輸出層通過全連接（Dense）網(wǎng)絡(luò)輸出，步長為l的輸出信息可表示為Y=[y1，y2，…yl]，全連接層激活函數(shù)為Sigmoid函數(shù)，全連接層信息計(jì)算公式為

， " （9）

式中：st時(shí)刻的輸出為yt;w0、b0分別為權(quán)重和偏置;激活函數(shù)為Sigmoid函數(shù)。

2.3" 損失函數(shù)

采用機(jī)器學(xué)習(xí)常用的均方誤差函數(shù)（MSE， Mean Squared Error）作為損失函數(shù)，計(jì)算方法為

式中：n為樣本數(shù)量;i為觀測值索引;yi為第i個(gè)觀測值的實(shí)際值;i為第i個(gè)觀測值的預(yù)測值。

3" 實(shí)驗(yàn)仿真與結(jié)果分析

為了本文第2節(jié)所提的方法，搭建實(shí)驗(yàn)平臺(tái)進(jìn)行實(shí)驗(yàn)驗(yàn)證，采集數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練和算法效果測試。實(shí)驗(yàn)陀螺儀為對標(biāo)STIM210研制的某型三軸MEMS陀螺儀，采用RS-422接口進(jìn)行傳輸，數(shù)據(jù)傳輸波特率為230 400 bit/s，更新率為2 kHz。利用專用工裝將陀螺儀固定在三軸轉(zhuǎn)臺(tái)上，轉(zhuǎn)臺(tái)配套專用測控軟件，能夠進(jìn)行實(shí)時(shí)數(shù)據(jù)采集，設(shè)定數(shù)據(jù)采集率為2 kHz，實(shí)驗(yàn)過程中設(shè)定轉(zhuǎn)臺(tái)進(jìn)行往復(fù)運(yùn)動(dòng)，同步采樣陀螺儀和轉(zhuǎn)臺(tái)信號。

3.1" 實(shí)驗(yàn)仿真

根據(jù)實(shí)驗(yàn)設(shè)置搭建完成實(shí)驗(yàn)平臺(tái)后進(jìn)行預(yù)熱1 h，而后進(jìn)行實(shí)驗(yàn)，采集1 h陀螺儀的角速度數(shù)據(jù)。利用Python語言、Pytorch框架構(gòu)建本文第2節(jié)中提出的降噪神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)的超參數(shù)設(shè)置見表1，在正式實(shí)驗(yàn)前進(jìn)行了預(yù)實(shí)驗(yàn)進(jìn)行參數(shù)調(diào)節(jié)。為驗(yàn)證本文方法的有效性，選取BP神經(jīng)網(wǎng)絡(luò)和QPSO優(yōu)化的卡爾曼濾波方法[15]（BP-KF和QPSO-KF方法）進(jìn)行對比。

神經(jīng)網(wǎng)絡(luò)輸入為陀螺儀輸出數(shù)據(jù)，優(yōu)化目標(biāo)為最小化轉(zhuǎn)臺(tái)與陀螺儀降噪數(shù)據(jù)均方誤差，輸出為降噪后的陀螺儀數(shù)據(jù)。其中，陀螺儀輸出數(shù)據(jù)與對應(yīng)轉(zhuǎn)臺(tái)數(shù)據(jù)為一組，按70%、15%、15%比例劃分測試集、訓(xùn)練集和驗(yàn)證集。

3.2" 結(jié)果分析

按照3.1節(jié)中的實(shí)驗(yàn)設(shè)計(jì)進(jìn)行實(shí)驗(yàn)，并采用不同降噪方法進(jìn)行數(shù)據(jù)處理，得到陀螺時(shí)域圖如圖4所示，噪聲方差見表2。從圖4與表2中可以看出，本文所提出的方法在實(shí)驗(yàn)中表現(xiàn)出了較好的效果，與BP-KF和QPSO-KF方法相比，本文所提出的方法濾波效果噪聲平均絕對值減少了57.03%和47.8%，表明本文所提方法具有較好的降噪效果。

從表2看，本文所提方法噪聲方差最小，較BP-KF方法和QPSO-KF方法減少了81.07%和73.01%，表明本文方法在噪聲方差方面表現(xiàn)顯著好于2種對照方法，體現(xiàn)了本文提出方法在噪聲控制穩(wěn)定性方面的優(yōu)勢。

4" 結(jié)論

本文通過構(gòu)建神經(jīng)網(wǎng)絡(luò)對MEMS陀螺進(jìn)行數(shù)據(jù)降噪，采用一維CNN網(wǎng)絡(luò)對MEMS陀螺時(shí)序數(shù)據(jù)特征提取，Bi-GRU進(jìn)行特征分析，注意力機(jī)制實(shí)現(xiàn)重點(diǎn)信息關(guān)注，實(shí)現(xiàn)了陀螺數(shù)據(jù)降噪。實(shí)驗(yàn)結(jié)果表明，與BP用神經(jīng)網(wǎng)絡(luò)和QPSO方法優(yōu)化的卡爾曼濾波方法相比，本文所提出的方法在誤差絕對值和誤差方差方面有顯著優(yōu)勢，誤差的平均絕對值分別減少了57.03%和47.8%，誤差的方差分別減少了81.07%和73.01%，對MEMS陀螺儀數(shù)據(jù)降噪有一定優(yōu)勢，提高了MEMS陀螺數(shù)據(jù)精度，具有一定工程應(yīng)用價(jià)值。

參考文獻(xiàn)：

[1] SHAO X L， SI H N， ZHANG W D. Low-frequency learning quantized control for MEMS gyroscopes accounting for full-state constraints[J]. Engineering Applications of Artificial Intelligence， 2022，115：104724.

[2] 朱燕，崔智軍.無人機(jī)捷聯(lián)航姿系統(tǒng)誤差分析與補(bǔ)償[J].傳感器與微系統(tǒng)，2018，37（8）：29-32，36.

[3] 劉昕，秦超.基于MEMS振動(dòng)陀螺的旋翼無人機(jī)組合導(dǎo)航算法設(shè)計(jì)[J].壓電與聲光，2023，45（4）：517-521.

[4] 張?zhí)嵘?，王冠，陳起金，?GNSS/MEMSIMU車載組合導(dǎo)航中IMU比例因子誤差的影響分析[J].大地測量與地球動(dòng)力學(xué)，2023，1（6）：1-6.

[5] 黃偉.機(jī)器人上肢運(yùn)動(dòng)控制系統(tǒng)關(guān)鍵技術(shù)研究[D].長春：長春理工大學(xué)，2023.

[6] 王靜靜，秦剛，李騰.融合卡爾曼改進(jìn)小波的姿態(tài)傳感器濾波方法[J].自動(dòng)化與儀表，2023，38（9）：110-114，119.

[7] 郭文靜，曹慧亮.基于變分模態(tài)分解和神經(jīng)網(wǎng)絡(luò)算法的微機(jī)械陀螺溫度補(bǔ)償[J].測試技術(shù)學(xué)報(bào)，2021，35（6）：495-502.

[8] 王偉，冉昌艷，孫水發(fā)，等.基于ICEEMDAN-ACF的自適應(yīng)MEMS陀螺信號去噪方法[J].儀表技術(shù)與傳感器，2023（9）：112-118.

[9] 曾鑫，先蘇杰，王康，等.基于改進(jìn)EMD和ARMA的MEMS陀螺儀隨機(jī)誤差補(bǔ)償方法[J].兵工學(xué)報(bào)，2023，5（10）：1-9.

[10] 余國才，王虹，孫傳波，等.小波結(jié)合改進(jìn)自適應(yīng)卡爾曼濾波的MEMS陀螺降噪方法[J].微波學(xué)報(bào)，2023，39（S1）：414-417.

[11] 丁明寬，石志勇，韓蘭懿，等.基于優(yōu)化VMD-小波閾值的MEMS陀螺信號降噪[J].兵器裝備工程學(xué)報(bào)，2021，42（8）：191-197.

[12] WANG X W， CAO H L. Improved VMD-ELM algorithm for MEMS gyroscope of temperature compensation model based on CNN-LSTM and PSO-SVM[J]. Micromachines， 2022，13（12）：2056.

[13] HUO Z M， WANG F C， SHEN H H， et al. Optimal compensation of MEMS gyroscope noise kalman filter based on Conv-DAE and MultiTCN-Attention model in static base environment[J]. Sensors， 2022，22（19）：7249.

[14] LIU Y H， CUI J Q， LIANG W. A hybrid learning-based stochastic noise eliminating method with attention-Conv-LSTM network for low-cost MEMS gyroscope[J]. Frontiers in Neurorobotics， 2022，16：993936.

[15] 萬芯煒，王晶，楊輝，等.BP神經(jīng)網(wǎng)絡(luò)結(jié)合粒子群優(yōu)化卡爾曼濾波的MEMS陀螺隨機(jī)誤差補(bǔ)償方法[J].兵工學(xué)報(bào)，2023，44（2）：556-565.

第一作者簡介：王寧（1990-），女，碩士，工程師。研究方向?yàn)閼T性傳感器技術(shù)研發(fā)。