家電異音在線自動檢測的技術(shù)途徑和系統(tǒng)架構(gòu)研究

王晶　馮濤　楊偉成　楊曉玲　白柱杰

1.北京工商大學　北京　100037；2.中國家用電器研究院　北京 100037；3.青島海爾洗衣機有限公司　山東青島　266101

1　引言

家電運轉(zhuǎn)向外輻射的聲信號中包含著家電的運轉(zhuǎn)狀態(tài)信息，從物理機制上看，主要包括空氣動力、機械運轉(zhuǎn)和電磁激勵等三種產(chǎn)生機理；從來源上看，家電的組成部件、部件間的相互連接和受運轉(zhuǎn)部件振動激勵的機體結(jié)構(gòu)都會產(chǎn)生聲信號。因此，家電運行時產(chǎn)生的聲信號包含了家電運行的多種狀態(tài)信息，聲信號的正常和異常對應(yīng)家電運轉(zhuǎn)的正常和異常，這樣就可以通過聆聽聲信號對家電的運行狀態(tài)進行評判，進而檢出異常家電，從而保證投入市場家電的質(zhì)量。

家電產(chǎn)品在線異音檢測已成為空調(diào)、冰箱以及洗衣機等多種產(chǎn)品生產(chǎn)線上的關(guān)鍵質(zhì)檢環(huán)節(jié)，但目前家電生產(chǎn)線上的異音檢測多是通過人工方式來實施，人工異音檢測雖然實施簡單，但也存在學習培訓時間長、檢測標準因人而異、檢測結(jié)果受疲勞影響以及熟練有經(jīng)驗人員難以獲取且容易流失等問題，這些問題隨著勞動力成本的上升和有經(jīng)驗技術(shù)工人日益匱乏等原因變得愈發(fā)嚴重。

隨著信息技術(shù)、機器學習和人工智能技術(shù)的進步以及家電企業(yè)無人化智能工廠的建設(shè)需求，用智能機器代替人工來實現(xiàn)家電產(chǎn)品的在線異音檢測正在受到越來越多的家電生產(chǎn)企業(yè)和研發(fā)團隊的關(guān)注。

2　家電異音檢測的技術(shù)路徑

家電異音檢測可以按照圖1所示的技術(shù)途徑來實施。按照機器學習的要求，通過傳聲器和信號采集系統(tǒng)進行聲信號樣本采集，需要注意的是采集得到的聲信號既包含家電的運轉(zhuǎn)聲，也包括生產(chǎn)線的環(huán)境噪聲。采用現(xiàn)有成熟的多種信號處理方法對所測聲信號進行預(yù)處理，通過分析比較和嘗試，組成最佳的信號特征向量，該向量應(yīng)該能夠最大程度反映家電狀態(tài)信號，同時抑制環(huán)境噪聲。常用的信號特征提取方法一般包括時域、頻域和時頻域三類[1,2]，時域的典型特征有短時能量和過零率；頻域的特征種類繁多，有各種譜分析方法、線性預(yù)測系數(shù)以及梅爾頻率倒譜系數(shù)等；時頻域特征包含短時傅里葉譜和小波譜，時頻特征會帶來較大的計算量，但卻更能完整全面地描述音頻信號。

根據(jù)信號特征向量將聲信號樣本轉(zhuǎn)化為數(shù)據(jù)集，數(shù)據(jù)集包括訓練集、驗證集和測試集。選擇合適的機器學習模型，將數(shù)據(jù)集應(yīng)用于機器學習模型進行訓練、驗證和測試，通過多次循環(huán)，優(yōu)化分析，在數(shù)據(jù)集的基礎(chǔ)上，獲取機器學習面向具體工程問題的最優(yōu)參數(shù)[3]，包括最優(yōu)的特征向量、機器學習算法和異音檢測法則，這幾個環(huán)節(jié)可能需要多次循環(huán)才能得到最優(yōu)的參數(shù)組合。最后，機器學習得到的分類法需要導(dǎo)入異音在線檢測系統(tǒng)，在實際的生產(chǎn)線上進行運行調(diào)試，最終在生產(chǎn)線上完成部署。

機器學習技術(shù)在異音檢測中發(fā)揮了重要的作用，從學習方法上看，機器學習算法可以分為監(jiān)督學習（如分類問題）、無監(jiān)督學習（如聚類問題）、半監(jiān)督學習、集成學習、深度學習和強化學習，家電異音檢測可以單獨或綜合使用上述各種方法。典型的機器學習模型包括線性回歸、邏輯回歸、決策樹、支持向量機、貝葉斯模型、正則化模型、模型集成以及神經(jīng)網(wǎng)絡(luò)。上述機器學習模型的參數(shù)均可調(diào)整，模型訓練和使用可按照以下步驟：（1）選擇一個機器學習模型；（2）將訓練數(shù)據(jù)集輸入模型；（3）選擇確定最優(yōu)機器學習模型。

如果已經(jīng)積累了大量的聲信號樣本，則可以考慮采用深度學習模型，該模型已經(jīng)在圖像信息處理和語音處理領(lǐng)域取得了顯著的成就。深度學習是機器學習的一種，在傳統(tǒng)的機器學習中，特征向量對學習效果很重要，但是特征工程非常繁瑣，需要領(lǐng)域?qū)＜胰斯みM行選擇設(shè)計。而深度學習則能夠從海量數(shù)據(jù)中自動學習特征，如果具備了聲信號大數(shù)據(jù)樣本，構(gòu)建了高性能的計算平臺，可以考慮深度學習模型。

經(jīng)典的機器學習模型適用于各種使用需求，也不需要海量的樣本數(shù)據(jù)和高性能的計算資源，但實施過程相對復(fù)雜，需要針對家電產(chǎn)品具體情況進行設(shè)計開發(fā)；深度學習模型實施過程相對簡單，但需要海量的樣本數(shù)據(jù)和高性能的計算資源。

圖1　家電異音自動檢測技術(shù)途徑

圖2　家電異音自動檢測系統(tǒng)架構(gòu)

圖3　家電異音檢測系統(tǒng)部署方式

3　家電異音在線自動檢測系統(tǒng)的架構(gòu)

圖2描述了家電異音檢測系統(tǒng)的架構(gòu)，系統(tǒng)由硬件和軟件兩部分共同組成了一個不可分割的整體，硬件部分包括測量環(huán)境、傳感器、采集系統(tǒng)和判別系統(tǒng)，測量環(huán)境可以是基本不做改動的原始生產(chǎn)線，也可以是在生產(chǎn)線上設(shè)計添加的簡易隔聲或吸聲空間，測量環(huán)境的考慮重點是如何減少生產(chǎn)線環(huán)境噪聲的影響。傳感器和采集系統(tǒng)一般要求滿足可聽聲頻帶的采樣要求，對系統(tǒng)的量化精度要求至少采用16位采集系統(tǒng)，能達到24位更好。判別系統(tǒng)一般是采集系統(tǒng)和計算機的結(jié)合體，計算機上運行的軟件是信號特征提取算法和機器學習模型。軟件部分中的信號測量分析模塊主要完成信號的采集和保存，應(yīng)用信號處理技術(shù)，特征提取模塊抽取聲信號樣本特征，構(gòu)建特征向量和機器學習數(shù)據(jù)集。機器學習模塊實現(xiàn)各種機器學習算法，在特征向量數(shù)據(jù)集的基礎(chǔ)上，完成訓練、驗證和測試等環(huán)節(jié)，最終獲得異音判別參數(shù)，過程中還包括特征向量和機器學習模型參數(shù)的選擇與優(yōu)化。

在家電異音在線檢測系統(tǒng)的部署過程中，可以將訓練、驗證和測試等工作放到高性能服務(wù)器上進行，檢測判別系統(tǒng)只完成聲信號樣本的采集和儲存以及異音的在線判別工作，如圖3所示。也可以省去服務(wù)器，將訓練、驗證和測試等功能與采集和在線判別功能放在一起，在一個系統(tǒng)上完成異音檢測所涉及的全部工作。

4　家電異音在線自動檢測的難點

隨著信息技術(shù)的進步，機器學習和深度學習在圖像處理和語音識別領(lǐng)域已經(jīng)取得了很大的突破，在語音輸入領(lǐng)域，很多商用系統(tǒng)已經(jīng)做到超過90%的語音識別準確性，但要將這些技術(shù)引入到家電異音檢測的工程應(yīng)用領(lǐng)域，還要考慮解決自動異音檢測系統(tǒng)的生產(chǎn)線適應(yīng)性、環(huán)境噪聲的干擾和樣本的不均衡等實際應(yīng)用難題，生產(chǎn)線適應(yīng)性問題與產(chǎn)品類型、生產(chǎn)線的特點密切相關(guān)，需要根據(jù)工程實際具體分析，下面主要討論后兩個具有一定共性的問題。

4.1　生產(chǎn)環(huán)境噪聲的影響

盡管目前的人工異音檢測工位大多設(shè)計建造了簡易的隔聲或吸聲環(huán)境，但家電運轉(zhuǎn)產(chǎn)生的聲信號與環(huán)境噪聲相比，往往并不具備足夠的信噪比。人工判別過程中可以利用人本身的聽覺濾波機制，消除環(huán)境噪聲的影響；機器系統(tǒng)判別時，必須想辦法排除環(huán)境噪聲的影響，但困難的是人們目前還沒有搞清人本身聽覺濾波機制的機理，難以在信噪比不大的情況下，濾除環(huán)境噪聲，實現(xiàn)有用聲信號的提取。

4.2　家電聲信號樣本的不均衡問題

人工判別只需少量的樣本就能形成異音判別規(guī)則，自動異音判別則需要足夠的聲信號樣本，深度學習更需要海量的聲樣本數(shù)據(jù)，但隨著家電生產(chǎn)和質(zhì)量管理技術(shù)的進步，相對于正常聲樣本，異常聲樣本所占比例極小，這就導(dǎo)致分類學習所需要的樣本比例嚴重失衡，直接使用在語音識別中獲得成功應(yīng)用的機器學習分類模型就會導(dǎo)致較大偏差，需要針對家電聲信號樣本不均衡的實際情況，選擇設(shè)計相應(yīng)的機器學習算法。

5　結(jié)論

家電異音在線自動檢測正受到家電生產(chǎn)企業(yè)的廣泛關(guān)注，本文對家電在線異音自動檢測的技術(shù)途徑和系統(tǒng)架構(gòu)進行了初步的闡述。提出了家電在線異音自動檢測的兩種實現(xiàn)途徑，即經(jīng)典的機器學習模型和近年來迅速發(fā)展的深度學習模型。簡要描述了家電在線異音自動檢測的系統(tǒng)架構(gòu)和架構(gòu)中各組成部分的相互關(guān)系。簡要分析了家電異音在線自動檢測實施過程中的需要解決的生產(chǎn)線環(huán)境噪聲干擾和聲信號不均衡難題，并給出了原則性的解決方案。