基于卷積神經(jīng)網(wǎng)絡(luò)的汽車異響識(shí)別方法研究

施宇豪 許煥敏

（河海大學(xué)，常州 213022）

1 前言

汽車異響會(huì)影響駕乘體驗(yàn)，甚至導(dǎo)致嚴(yán)重的故障。在整車研發(fā)階段，主要通過(guò)振動(dòng)臺(tái)架試驗(yàn)與主觀評(píng)價(jià)相結(jié)合的方法檢查汽車異響問(wèn)題，對(duì)試驗(yàn)人員的經(jīng)驗(yàn)要求較高，且經(jīng)過(guò)長(zhǎng)時(shí)間的主觀判斷后，識(shí)別效率會(huì)大幅降低。利用人工智能技術(shù)開展聲音識(shí)別可以實(shí)現(xiàn)異響的自動(dòng)診斷，并快速準(zhǔn)確地判斷異響種類，從而極大地提高識(shí)別效率，對(duì)改善汽車NVH性能具有重要意義。

聲音識(shí)別技術(shù)廣泛應(yīng)用于語(yǔ)音識(shí)別、環(huán)境聲音識(shí)別和機(jī)器聲音識(shí)別等領(lǐng)域。構(gòu)建聲音識(shí)別模型是實(shí)現(xiàn)聲音識(shí)別的重要基礎(chǔ)，常用的聲學(xué)模型包括隱馬爾可夫模型（Hidden Markov Model，HMM）、高斯混合模型（Gaussian Mixture Model，GMM）、支持向量機(jī)（Support Vector Machine，SVM）和人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）[1]。楊軍磊基于GMM 識(shí)別模型和梅爾頻率倒譜系數(shù)（Mel Frequency Cepstral Coefficient，MFCC）特征實(shí)現(xiàn)了對(duì)空調(diào)機(jī)組噪聲的識(shí)別，從而進(jìn)一步判斷設(shè)備故障類型[2]。楊興國(guó)提出一種基于SVM 分類器的發(fā)動(dòng)機(jī)異響故障識(shí)別方法，提取異響聲音的小波包能量譜和雙譜峰值作為特征參數(shù)，可以較好地識(shí)別異響類型[3]。

HMM、GMM、SVM 與淺層神經(jīng)網(wǎng)絡(luò)等均屬于淺層機(jī)器學(xué)習(xí)的模型，在處理一些特征較為復(fù)雜的數(shù)據(jù)時(shí)，存在數(shù)據(jù)表征能力不強(qiáng)的問(wèn)題[4]，導(dǎo)致識(shí)別效果不佳。深度學(xué)習(xí)方法一經(jīng)提出就在圖像、聲音識(shí)別等領(lǐng)域得到廣泛應(yīng)用。朱夢(mèng)帆提取了電力設(shè)備故障聲音聲譜圖的特征，并自建卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型完成了對(duì)電力設(shè)備不同放電故障聲音和正常放電聲音的分類[5]。Li 提出了一種具有多個(gè)卷積層的新型堆疊CNN 模型搭配對(duì)數(shù)梅爾譜（Log-Mel）特征輸入，使得對(duì)環(huán)境事件聲音的識(shí)別效果優(yōu)于采用其他特征輸入的模型[6]。章杰設(shè)計(jì)了一種基于殘差網(wǎng)絡(luò)（Residual Network，ResNet）和門控循環(huán)單元（Gated Recurrent Unit，GRU）的模型結(jié)構(gòu)，在車輛噪聲識(shí)別方面實(shí)現(xiàn)了96% 的準(zhǔn)確率[7]。

本文借助四立柱振動(dòng)試驗(yàn)臺(tái)架采集了多輛試驗(yàn)車的異響數(shù)據(jù)，將同類異響問(wèn)題進(jìn)行標(biāo)注，針對(duì)異響數(shù)據(jù)內(nèi)部結(jié)構(gòu)復(fù)雜的特點(diǎn)，提取其梅爾頻譜（Mel-Spectrogram），采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)特征參數(shù)進(jìn)行深層次的學(xué)習(xí)以實(shí)現(xiàn)其分類。

2 汽車異響數(shù)據(jù)集建立

2.1 汽車異響試驗(yàn)環(huán)境

本文試驗(yàn)在整車異響試驗(yàn)室進(jìn)行，試驗(yàn)室內(nèi)部為半消聲室結(jié)構(gòu)，大幅減少了背景噪聲對(duì)原始信號(hào)的干擾，如圖1 所示。四立柱試驗(yàn)臺(tái)通過(guò)4 臺(tái)獨(dú)立加振機(jī)控制，通過(guò)將加速度信號(hào)、位移信號(hào)等進(jìn)行多次迭代來(lái)復(fù)現(xiàn)垂直方向的振動(dòng)，從而進(jìn)行整車四通道道路模擬試驗(yàn)。4 臺(tái)液壓伺服作動(dòng)器分別對(duì)4個(gè)車輪施加振動(dòng)，可按設(shè)定的規(guī)律或采集的路譜特征對(duì)待測(cè)車輛施加激振力，從而激起待測(cè)車輛的異響。

圖1 汽車異響試驗(yàn)室

2.2 異響信號(hào)采集試驗(yàn)

本文的試驗(yàn)對(duì)象為來(lái)自多個(gè)整車制造商的車型，并采用多條路譜進(jìn)行激勵(lì)，以保證異響樣本來(lái)源的多樣性，使數(shù)據(jù)庫(kù)更具代表性。試驗(yàn)采用的設(shè)備如表1所示。

表1 測(cè)試儀器

人耳聽覺的頻率范圍一般為20～20 000 Hz，結(jié)合奈奎斯特采樣定理，試驗(yàn)時(shí)信號(hào)采樣頻率設(shè)置為44 100 Hz，采樣值可包含原始信號(hào)的所有信息。測(cè)試前調(diào)整標(biāo)定器輸出頻率和輸出聲壓級(jí)分別為1 000 Hz、114 dB，然后插入聲傳感器進(jìn)行標(biāo)定，從而找到最適應(yīng)當(dāng)前試驗(yàn)環(huán)境的靈敏度，最后將聲傳感器放置在距離采樣點(diǎn)5～20 cm處固定。

在控制端軟件中輸入迭代好的路譜來(lái)模擬試驗(yàn)車在不同路面上的行駛狀態(tài)，在異響工程師判斷出異響問(wèn)題后即可開始信號(hào)采集。

2.3 異響數(shù)據(jù)集整理

本文采集了減振器異響、安全氣囊異響、發(fā)動(dòng)機(jī)罩異響、空調(diào)出風(fēng)口異響4 種測(cè)試階段常見的異響數(shù)據(jù)。另外，考慮到實(shí)車道路異響識(shí)別會(huì)被發(fā)動(dòng)機(jī)聲和周圍車輛的汽笛聲干擾，因此加入了Urbansound8K 數(shù)據(jù)集中的發(fā)動(dòng)機(jī)空轉(zhuǎn)聲和汽笛聲來(lái)避免異響識(shí)別系統(tǒng)的誤觸發(fā)，并提高訓(xùn)練模型的性能。將上述幾種數(shù)據(jù)以6∶2∶2 的比例隨機(jī)分割為訓(xùn)練集、驗(yàn)證集、測(cè)試集用于模型訓(xùn)練及測(cè)試。

本文的汽車異響識(shí)別總體流程如圖2所示。

圖2 異響識(shí)別流程

3 異響信號(hào)的特征提取

CNN 的輸入是圖像，因此需要提取異響信號(hào)的特征圖譜。以往，由于機(jī)器學(xué)習(xí)算法無(wú)法處理復(fù)雜的圖像信息，HMM、GMM 等模型多將梅爾頻率倒譜系數(shù)用于特征提取。深度學(xué)習(xí)算法不需過(guò)多的預(yù)處理來(lái)提煉信息，故可以直接提取梅爾頻譜圖作為CNN的輸入[8]，提取流程如圖3所示。

圖3 特征提取流程

梅爾頻譜參數(shù)的計(jì)算過(guò)程如下：

a. 預(yù)處理。預(yù)處理包括預(yù)加重、分幀、加窗函數(shù)。預(yù)加重的目的是補(bǔ)償高頻信息的損失，通常采用一階濾波器H(z)實(shí)現(xiàn)：

水資源管理水平得到提高。國(guó)家最嚴(yán)格水資源管理制度試點(diǎn)建設(shè)通過(guò)水利部中期評(píng)估。水資源論證納入政府投資項(xiàng)目聯(lián)合審批，規(guī)模以上地下水用戶全部實(shí)現(xiàn)水量在線監(jiān)測(cè)。推行再生水、淡化海水、生態(tài)水和地下水“三增一減”管理，年利用再生水1.4億t、淡化海水3 000萬(wàn)t，中心城區(qū)年生態(tài)補(bǔ)水1.73億m3，壓采深層地下水1 200萬(wàn)m3。順利通過(guò)國(guó)家節(jié)水型城市復(fù)查，完成水功能區(qū)跨界斷面核定，全市所有水功能區(qū)納入水質(zhì)監(jiān)測(cè)。全年用水總量控制在24億m3以內(nèi)，萬(wàn)元GDP用水量降至18 m3，萬(wàn)元工業(yè)增加值用水量降至8.3 m3，重要江河湖泊水功能區(qū)達(dá)標(biāo)率提高到21%。

式中，α為常數(shù)，一般取0.9～1.0。

分幀的目的是使相鄰幀之間的參數(shù)平穩(wěn)過(guò)度，因此兩幀之間存在重疊部分，加窗函數(shù)可以減少信號(hào)頻域的譜泄漏[9]。語(yǔ)音信號(hào)x(n)經(jīng)預(yù)處理后的第i幀信號(hào)為xi(m)。

b. 快速傅里葉變換（Fast Fourier Transform，F(xiàn)FT）。對(duì)每一幀信號(hào)進(jìn)行快速傅里葉變換，將信號(hào)從時(shí)域轉(zhuǎn)化到頻域：

式中，X(i,k)為第i幀信號(hào)中第k條頻域譜線的頻域數(shù)據(jù)；fFFT為快速傅里葉變換。

c. 計(jì)算傅里葉變換后第i幀信號(hào)中第k條頻域譜線的能量譜：

d. 計(jì)算通過(guò)梅爾（Mel）濾波器組的第i幀信號(hào)第m個(gè)三角帶通濾波器的對(duì)數(shù)能量譜：

式中，Hm(k)為通過(guò)第m個(gè)三角帶通濾波器的傳遞函數(shù)。

這里得到的對(duì)數(shù)能量為每一幀信號(hào)的對(duì)數(shù)梅爾譜特征，即梅爾頻譜[10]，后續(xù)可用作CNN 的輸入?yún)?shù)。

4 基于卷積神經(jīng)網(wǎng)絡(luò)的汽車異響識(shí)別

4.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN 在圖像分類上的應(yīng)用非常成功，本文對(duì)聲音信號(hào)提取特征圖譜后，使用CNN 進(jìn)行聲音識(shí)別、自然語(yǔ)言處理等研究。

CNN 模型中使用卷積層和池化層代替?zhèn)鹘y(tǒng)神經(jīng)網(wǎng)絡(luò)中的隱藏層，通過(guò)局部感知、權(quán)值共享、池化采樣實(shí)現(xiàn)對(duì)數(shù)據(jù)樣本深層特征的提取與參數(shù)的簡(jiǎn)化[11]。典型的卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、全連接層及輸出層構(gòu)成，其基本結(jié)構(gòu)如圖4 所示。

圖4 典型卷積神經(jīng)網(wǎng)絡(luò)

輸入圖像經(jīng)過(guò)卷積層進(jìn)行深層次的特征提取，由池化層對(duì)特征參數(shù)進(jìn)行壓縮凝練，在多次卷積池化操作后使用全連接層將所有參數(shù)展開成一維，通過(guò)層層神經(jīng)元之間的輸入、輸出調(diào)整權(quán)重，最終得到各輸出類別的概率。

4.2 異響識(shí)別的CNN模型

本文搭建CNN 異響識(shí)別模型，記為Model1。輸入圖片大小為224×224，然后進(jìn)行3 次卷積池化，卷積核尺寸為3×3，步長(zhǎng)為1，池化層選擇最大池化，池化窗口大小為2×2，激活函數(shù)選擇線性整流函數(shù)（Rectified Linear Unit，ReLU），最后用Softmax 函數(shù)實(shí)現(xiàn)六分類。模型結(jié)構(gòu)如表2所示。

表2 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

模型學(xué)習(xí)率設(shè)置為0.001，損失函數(shù)設(shè)為多分類交叉熵，反向傳播的優(yōu)化器選擇Adam，并使用準(zhǔn)確率（Accuracy）函數(shù)繪制訓(xùn)練及驗(yàn)證精度曲線。訓(xùn)練輪次（Epoch）設(shè)置為100。

4.3 模型訓(xùn)練及結(jié)果分析

將前文提取的梅爾頻譜通過(guò)圖像數(shù)據(jù)生成器（ImageDataGenerator）模塊的旋轉(zhuǎn)、平移等操作完成預(yù)處理，從而變相地增加了訓(xùn)練樣本，通過(guò)Reshape函數(shù)修改圖像分辨率為224×224，然后開始訓(xùn)練模型。完成100個(gè)輪次訓(xùn)練后的驗(yàn)證精度和損失如圖5、圖6所示。

圖5 訓(xùn)練及驗(yàn)證精度

圖6 訓(xùn)練及驗(yàn)證損失

由圖5 可以看出，訓(xùn)練及驗(yàn)證精度在前20 個(gè)輪次左右上升較快，此后趨向平緩，處于緩慢上升過(guò)程，損失精度與之相反。訓(xùn)練過(guò)程中的最高精度停留在89.06%，驗(yàn)證的最高精度約為90.07%，略高于訓(xùn)練精度，精度最高的模型在第95輪。

4.4 異響識(shí)別試驗(yàn)

模型訓(xùn)練完成后，使用精度最高的模型識(shí)別測(cè)試集數(shù)據(jù)，以考查模型的泛化能力。

在模型訓(xùn)練的基礎(chǔ)上開發(fā)識(shí)別程序，在程序中導(dǎo)入訓(xùn)練好的.h5 模型文件，只需輸入測(cè)試集數(shù)據(jù)的相對(duì)路徑即可展示識(shí)別結(jié)果，其中單個(gè)測(cè)試樣本的識(shí)別結(jié)果如圖7所示。

圖7 單個(gè)測(cè)試樣本識(shí)別結(jié)果

混淆矩陣是一個(gè)誤差矩陣，可以用來(lái)進(jìn)行可視化評(píng)估，從而監(jiān)督學(xué)習(xí)算法的性能，如圖8所示。對(duì)角線上的數(shù)據(jù)可以理解為各類別的識(shí)別率，其余部分則為誤差數(shù)據(jù)。例如，減振器異響中有2%被錯(cuò)誤識(shí)別為發(fā)動(dòng)機(jī)空轉(zhuǎn)聲、2%被識(shí)別為安全氣囊異響、1%被識(shí)別為空調(diào)異響。

圖8 混淆矩陣

本文搭建的異響識(shí)別CNN 模型的平均識(shí)別精度達(dá)到90.5%，其中汽笛聲和氣囊異響識(shí)別率較高，達(dá)95%以上，而其余幾類大多低于90%，因此，該模型性能仍有提高空間，可通過(guò)調(diào)整參數(shù)進(jìn)一步優(yōu)化。

4.5 基于遷移學(xué)習(xí)的優(yōu)化方法

遷移學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一種常用方法，多用于計(jì)算機(jī)視覺和自然語(yǔ)言處理等任務(wù)。遷移學(xué)習(xí)通過(guò)將預(yù)訓(xùn)練模型置于目標(biāo)任務(wù)中來(lái)幫助訓(xùn)練可靠的決策函數(shù)，從而解決目標(biāo)域中已標(biāo)記樣本較少的問(wèn)題[12]。異響信號(hào)的采集較為繁瑣，很難獲得大量的已標(biāo)注樣本，因此將遷移學(xué)習(xí)的方法引入汽車異響識(shí)別具有一定可行性。本文選擇基于模型的遷移學(xué)習(xí)方法，以VGG16、ResNet50 作為預(yù)訓(xùn)練模型，使用2 種經(jīng)典模型的卷積池化層來(lái)提取特征參數(shù)，修改Softmax函數(shù)的分類數(shù)量來(lái)滿足試驗(yàn)的具體需求。

VGG 模型[13]廣泛用于圖像分類問(wèn)題，其模型結(jié)構(gòu)如圖9所示。

圖9 經(jīng)典VGG網(wǎng)絡(luò)模型

ResNet 網(wǎng)絡(luò)使用層間殘差跳連的方式傳遞信息，可以解決圖像經(jīng)多層卷積提取特征后，特征圖像丟失原圖本質(zhì)信息的問(wèn)題，有效抑制了網(wǎng)絡(luò)退化[14]。ResNet結(jié)構(gòu)塊如圖10所示。

圖10 殘差塊

ResNet 塊在層與層的傳遞中給出2 條路線，如果卷積的效果不佳，就將當(dāng)次卷積重置，直接將上一層參數(shù)輸入給下一層，以避免某次卷積效果較差而影響后續(xù)訓(xùn)練。

在使用上述2 種模型訓(xùn)練時(shí)，學(xué)習(xí)率、優(yōu)化器、激活函數(shù)、訓(xùn)練輪次等參數(shù)均不變。匯總各模型的訓(xùn)練精度、驗(yàn)證精度、平均測(cè)試精度如表3所示。

表3 不同模型各精度匯總%

由表3 可知，遷移學(xué)習(xí)引入的模型在訓(xùn)練、驗(yàn)證、測(cè)試精度上均獲得了提升。相較于自建模型，VGG16 模型的識(shí)別率提升了2.83 百分點(diǎn)，ResNet50的識(shí)別率提升了3.83百分點(diǎn)。

5 結(jié)束語(yǔ)

本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的汽車異響識(shí)別方法，經(jīng)數(shù)據(jù)采集、特征提取、模型訓(xùn)練等流程實(shí)現(xiàn)異響識(shí)別。首先，在整車異響試驗(yàn)室中采集高信噪比的異響數(shù)據(jù)，然后，在傳統(tǒng)梅爾頻率倒譜系數(shù)的基礎(chǔ)上去除離散余弦變化，提取了更適合作為神經(jīng)網(wǎng)絡(luò)輸入的梅爾頻譜，再通過(guò)搭建模型，調(diào)整模型參數(shù)來(lái)觀察模型訓(xùn)練的精度和泛化能力，最后，基于遷移學(xué)習(xí)的方法解決了訓(xùn)練樣本數(shù)據(jù)不足的問(wèn)題。試驗(yàn)結(jié)果表明：本文提出的汽車異響識(shí)別方法可以較好地識(shí)別異響問(wèn)題，在原始數(shù)據(jù)集上的識(shí)別率可達(dá)90.5%；遷移學(xué)習(xí)可以在小樣本異響識(shí)別中取得更好的效果，VGG16 模型的識(shí)別率達(dá)到93.33%，ResNet50的識(shí)別率達(dá)到94.33%。