基于聲紋識(shí)別技術(shù)的Android設(shè)備聲音功能自動(dòng)化測(cè)試系統(tǒng)*

李嘉偉，胡海龍，林志賢

(福州大學(xué) 物理與信息工程學(xué)院，福建 福州350116)

0 引言

目前市面上的彩電等顯示器設(shè)備大部分已配備Android系統(tǒng)，顯示器生產(chǎn)測(cè)試過(guò)程中需要對(duì)設(shè)備揚(yáng)聲器與麥克風(fēng)等聲音功能進(jìn)行測(cè)試。聲音功能測(cè)試包括揚(yáng)聲器(喇叭)、麥克風(fēng)(耳機(jī)孔)等硬件功能的測(cè)試，目的是檢驗(yàn)聲音功能是否存在無(wú)聲、雜聲、失真等不良情況。當(dāng)前國(guó)內(nèi)外聲音功能自動(dòng)化測(cè)試程度尚處于較低水平。文獻(xiàn)[1]提出了一種基于小波變換交叉運(yùn)算的產(chǎn)線(xiàn)噪聲故障檢測(cè)和來(lái)源定位系統(tǒng)。文獻(xiàn)[2]提出基于高精度音頻信號(hào)分析技術(shù)與靈敏信號(hào)辨識(shí)技術(shù)，可檢測(cè)發(fā)現(xiàn)20 dB以上雜音信號(hào)的次品手機(jī)。文獻(xiàn)[3]通過(guò)研究響度測(cè)試算法對(duì)電視機(jī)喇叭響度進(jìn)行測(cè)試。文獻(xiàn)[4]過(guò)語(yǔ)音識(shí)別技術(shù)構(gòu)建了工廠(chǎng)噪聲環(huán)境下玩具字母發(fā)音正確性的自動(dòng)化檢測(cè)系統(tǒng)。上述方案僅能對(duì)揚(yáng)聲器功能中的雜聲或響度等某一種特定不良進(jìn)行檢測(cè)，無(wú)法對(duì)麥克風(fēng)質(zhì)量以及語(yǔ)音失真、雜聲、無(wú)聲等多種不良同時(shí)做出全面的診斷。目前工廠(chǎng)產(chǎn)線(xiàn)中的聲音功能測(cè)試大部分依舊采用人耳聆聽(tīng)測(cè)試，該方式全靠工人主觀(guān)判斷，所以成本高、效率低、錯(cuò)判率高。

聲紋識(shí)別，又稱(chēng)為說(shuō)話(huà)人識(shí)別(Speaker Recognition，SR)。聲紋是攜帶歸屬者語(yǔ)音特征的聲波頻譜，聲紋識(shí)別就是通過(guò)計(jì)算機(jī)對(duì)數(shù)字語(yǔ)音信號(hào)提取、計(jì)算、比對(duì)信號(hào)的頻譜特征，從而辨別該語(yǔ)音信號(hào)的歸屬者[5]。鑒于A(yíng)ndroid設(shè)備智能化的特點(diǎn)以及聲紋識(shí)別技術(shù)對(duì)語(yǔ)音特征優(yōu)質(zhì)的辨識(shí)性能，本文提出一種基于聲紋識(shí)別技術(shù)(Voiceprint Recognition, VPR)的Android設(shè)備聲音功能自動(dòng)化測(cè)試系統(tǒng)。采用梅爾倒譜系數(shù)(Mel Frequency Cepstrum Coefficients，MFCC)結(jié)合梅爾倒譜差分系數(shù)(MFCC Difference，ΔMFCC)算法提取語(yǔ)音信號(hào)特征，通過(guò)動(dòng)態(tài)時(shí)間規(guī)整(Dynamic Time Warping，DTW)算法對(duì)麥克風(fēng)錄制語(yǔ)音和揚(yáng)聲器播放語(yǔ)音的模型特征進(jìn)行比對(duì)，實(shí)現(xiàn)揚(yáng)聲器與麥克風(fēng)同步對(duì)失真、無(wú)聲、雜聲等多種不良的有效檢測(cè)。本系統(tǒng)成本低、容易實(shí)現(xiàn)，有助于提升企業(yè)生產(chǎn)效率。

1 特征提取與模式匹配算法

聲紋識(shí)別系統(tǒng)一般包含特征提取和模式匹配兩個(gè)關(guān)鍵的步驟。特征提取應(yīng)盡可能保留反映個(gè)性差異的特征信息，盡可能去掉與語(yǔ)音特征無(wú)關(guān)的信息，從而提取到聲紋特征。模式匹配則是對(duì)提取的多個(gè)特征信息進(jìn)行模式匹配，從而判別不同特征的差異[6]。

1.1 基于MFCC的特征提取算法

目前比較普及的特征提取方法有線(xiàn)性預(yù)測(cè)倒譜系數(shù)(Linear Predictive Cepstrum Coefficients，LPCC)和梅爾頻率倒譜系數(shù)。MFCC 特征系數(shù)是一種基于聽(tīng)覺(jué)感知頻域倒譜系數(shù)，本文選擇識(shí)別性能和魯棒性更好的MFCC算法作為提取特征參數(shù)的算法[7]。由式(1)求得MFCC序列參數(shù)c(n)：

(1)

其中M為濾波器的階數(shù)，本文中M為26，s(m)為同態(tài)處理后信號(hào)[8]。

梅爾倒譜差分特征參數(shù)ΔMFCC即在靜態(tài)MFCC特征的基礎(chǔ)上提取動(dòng)態(tài)特征。為提高系統(tǒng)識(shí)別率，本系統(tǒng)在MFCC 特征中加入MFCC差分系數(shù)作為聲紋識(shí)別系統(tǒng)的特征參數(shù)。梅爾倒譜差分特征參數(shù)△MFCC的提取公式如式(2)所示，其中k為差分時(shí)間差，本文取值為2，d(n)即為所求差分系數(shù)。

(2)

1.2 基于DTW的模式匹配算法

由于故障設(shè)備可能存在某單一聲道無(wú)聲的不良，本系統(tǒng)采用基于解決長(zhǎng)短不一語(yǔ)音模式匹配問(wèn)題的動(dòng)態(tài)時(shí)間規(guī)整算法作為模式匹配的方法，其核心思想是將時(shí)間規(guī)整和歐氏距離相結(jié)合，對(duì)時(shí)間序列進(jìn)行延伸和縮短，按照時(shí)間先后順序和當(dāng)前幀相鄰的幀進(jìn)行匹配，得到兩個(gè)時(shí)間序列距離最短最相似的映射路徑，這個(gè)最短的距離也就是這兩個(gè)時(shí)間序列的最后的距離度量[9]。

運(yùn)用 DTW 算法計(jì)算出一個(gè)函數(shù)j=w(i)，將測(cè)試模型的i軸非線(xiàn)性地映射到參考模型的j軸上, MFCC參數(shù)之間的DTW距離由式(3)計(jì)算獲得[10]：

(3)

式(3)中d[T(i),R(w(i))]表示第i幀測(cè)試矢量T(i)與第j幀參考矢量R(j)間的歐氏距離。 由式(4)計(jì)算獲得[10]:

(4)

式(4)中tk為測(cè)試矢量T第i幀的第k個(gè)數(shù)據(jù)，rk為參考矢量R第j幀的第k個(gè)數(shù)據(jù)，l為矢量參數(shù)各幀的數(shù)據(jù)個(gè)數(shù)，本文取值24。

2 系統(tǒng)設(shè)計(jì)

本系統(tǒng)采用Java語(yǔ)言，基于A(yíng)ndroid 5.0.1 SDK開(kāi)發(fā)，開(kāi)發(fā)工具為Android Studio，產(chǎn)品形式為apk格式可移植程序安裝包，具有可視化操作界面，通過(guò)Android系統(tǒng)調(diào)用設(shè)備底層揚(yáng)聲器和麥克風(fēng)等硬件實(shí)現(xiàn)自動(dòng)播放和錄制音頻，再通過(guò)Java語(yǔ)言實(shí)現(xiàn)數(shù)學(xué)計(jì)算進(jìn)行語(yǔ)音信號(hào)處理。通過(guò)界面文字與圖像反饋測(cè)試結(jié)果。

聲紋識(shí)別系統(tǒng)一般分為“訓(xùn)練”和“識(shí)別”兩個(gè)過(guò)程?！坝?xùn)練”階段對(duì)語(yǔ)音信號(hào)提取出特征參數(shù)，作為參考模型存儲(chǔ)起來(lái)；“識(shí)別”階段利用模式匹配算法將待測(cè)特征模型與模型庫(kù)中的參考模型進(jìn)行比對(duì)，如找到符合閾值要求的匹配模型，則提示驗(yàn)證通過(guò)，否則提示驗(yàn)證失敗。由于本系統(tǒng)應(yīng)用領(lǐng)域的特殊性，“訓(xùn)練”階段在系統(tǒng)設(shè)計(jì)前期完成，在已確認(rèn)聲音功能完好的設(shè)備中進(jìn)行“訓(xùn)練”得到閾值和參考模型庫(kù)，再將該模型庫(kù)存入系統(tǒng)，供其他待測(cè)設(shè)備進(jìn)行“識(shí)別”測(cè)試。本文設(shè)計(jì)的系統(tǒng)框架如圖1所示。

圖1 系統(tǒng)架構(gòu)圖

首先揚(yáng)聲器播放左右聲道專(zhuān)用人聲測(cè)試音頻8 s。麥克風(fēng)錄制當(dāng)前揚(yáng)聲器播放的語(yǔ)音。然后對(duì)信號(hào)進(jìn)行歸一化、預(yù)加重、端點(diǎn)檢測(cè)、加窗分幀等預(yù)處理。本系統(tǒng)采用短時(shí)能量和短時(shí)過(guò)零率雙重門(mén)限的方法進(jìn)行端點(diǎn)檢測(cè)，設(shè)備“無(wú)聲”故障主要通過(guò)端點(diǎn)檢測(cè)實(shí)現(xiàn)，若有效語(yǔ)音段過(guò)短，即可提前判定設(shè)備“無(wú)聲不良”。最后利用MFCC算法提取特征模型?！坝?xùn)練”階段，在相同環(huán)境與條件下先后錄制并提取兩份語(yǔ)音特征模型，若二者特征誤差小于閾值，則作為模型庫(kù)保存。“識(shí)別”階段利用DTW算法將預(yù)設(shè)的兩個(gè)參考模型先后與待測(cè)語(yǔ)音信息進(jìn)行特征模式的相似性匹配，若兩次的平均誤差小于閾值則驗(yàn)證通過(guò)，表明揚(yáng)聲器與麥克風(fēng)在整個(gè)連貫工作過(guò)程中沒(méi)有失真、雜音過(guò)大等不良情況，保持了語(yǔ)音原有的聲紋特征，即設(shè)備聲音功能完整，品質(zhì)達(dá)標(biāo)。反之則說(shuō)明存在質(zhì)量問(wèn)題，系統(tǒng)給出提示，操作員可進(jìn)一步驗(yàn)證。如圖2所示，(a)為系統(tǒng)測(cè)試通過(guò)界面，并展示了某次測(cè)試中DTW距離、幀數(shù)、平均誤差等信息，(b)為測(cè)試不通過(guò)界面。其中平均誤差為前后兩次模式匹配的DTW距離之和除以幀數(shù)之和。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 閾值選定

特征參數(shù)是否滿(mǎn)足標(biāo)準(zhǔn)，需要有一個(gè)閾值作為判定依據(jù)，選定的閾值直接決定了產(chǎn)品是否合格。當(dāng)測(cè)試結(jié)果超出了閾值時(shí)即為不合格，在閾值范圍內(nèi)即為合格。閾值的選定需要針對(duì)目標(biāo)環(huán)境及需求進(jìn)行試驗(yàn)確定。本文中“訓(xùn)練”獲得的兩模型DTW距離為11 265.429，平均誤差為17.030。在5種不同環(huán)境下對(duì)樣本良品設(shè)備進(jìn)行6次常規(guī)測(cè)試，再通過(guò)計(jì)算機(jī)模擬5種不同程度的失真、5種不同分貝雜音的語(yǔ)音分別對(duì)樣本設(shè)備進(jìn)行6次測(cè)試，部分測(cè)試數(shù)據(jù)如表1所示。由數(shù)據(jù)分析可知，良品測(cè)試語(yǔ)音與模型庫(kù)的平均誤差維持在17左右，與模型庫(kù)平均誤差持平，失真情形的平均誤差均在40以上，雜音情形的平均誤差均在22以上，穩(wěn)定在30左右，可見(jiàn)閾值可選區(qū)間在18～21之間，由此本文選取閾值為20。

圖2 系統(tǒng)檢測(cè)結(jié)果

情形測(cè)試語(yǔ)音與模型1的DTW距離測(cè)試語(yǔ)音與模型2的DTW距離測(cè)試語(yǔ)音與模型1的誤差測(cè)試語(yǔ)音與模型2的誤差平均誤差良品11 499.39611 886.28417.30517.79417.55010 831.35011 815.85116.47417.87617.1758 209.05311 528.15912.50417.46714.98612 179.45911 582.12418.46817.46917.96811 972.5799 748.30818.00414.58216.293失真不良29 142.46629 529.81344.52644.87844.70227 325.36028 755.14841.43343.37142.40230 147.71531 467.35945.33547.07246.20333 030.02932 795.21350.31249.69050.00136 685.12037 357.15955.92256.64556.284雜音不良24 390.66623 925.24137.04036.14136.59022 007.50622 477.97133.57434.10933.84122 485.23622 587.02933.06733.04633.05624 027.02523 821.79633.39432.94933.17115 518.00415 863.05122.36022.74322.551

3.2 系統(tǒng)性能分析

選定閾值20后，通過(guò)計(jì)算機(jī)模擬無(wú)聲、雜聲和失真三種語(yǔ)音樣本對(duì)系統(tǒng)進(jìn)行測(cè)試，每種情形測(cè)試30次。測(cè)試是在與生產(chǎn)線(xiàn)聲音功能測(cè)試間環(huán)境相似的安靜環(huán)境(環(huán)境噪音低于30 dB)下進(jìn)行的。測(cè)試設(shè)備為三星Galaxy S4智能手機(jī)(2 GB內(nèi)存，1.6 GHz四核CPU)，Android版本為5.0.1，采樣率為22 050 Hz，音頻的采樣精度為8 bit，輸入語(yǔ)音流采用單聲道，錄音測(cè)試時(shí)間分別采用4 s、8 s、12 s，對(duì)失真不良情形進(jìn)行30次測(cè)試，不同時(shí)長(zhǎng)測(cè)試數(shù)據(jù)如表2所示。由表2可看出，8 s測(cè)試時(shí)長(zhǎng)的準(zhǔn)確率最高且平均計(jì)算時(shí)長(zhǎng)較短。因此，在8 s測(cè)試時(shí)長(zhǎng)下分別對(duì)不同的不良情形進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果如表3所示。可以看出，良品與無(wú)聲不良檢測(cè)準(zhǔn)確率接近100%，失真不良檢測(cè)準(zhǔn)確率高達(dá)96.67%，雜聲不良檢測(cè)準(zhǔn)確率達(dá)93.33%，基本滿(mǎn)足需求。

表2 不同時(shí)長(zhǎng)實(shí)驗(yàn)結(jié)果

表3 不同情形實(shí)驗(yàn)結(jié)果

測(cè)試時(shí)長(zhǎng)加上計(jì)算時(shí)長(zhǎng)，本系統(tǒng)總工作時(shí)間約為16 s，即16 s可同時(shí)判定揚(yáng)聲器與麥克風(fēng)功能的質(zhì)量。目前工廠(chǎng)中麥克風(fēng)測(cè)試耗時(shí)約1 min，揚(yáng)聲器測(cè)試耗時(shí)約40 s，因此，本系統(tǒng)可為每臺(tái)機(jī)器省時(shí)84 s，效率提高6.25倍。工廠(chǎng)每生產(chǎn)1 000臺(tái)設(shè)備，可節(jié)省約23.3 h，本系統(tǒng)將極大促進(jìn)生產(chǎn)效率。保守估計(jì)工廠(chǎng)平均每年生產(chǎn)Android設(shè)備80萬(wàn)臺(tái)，每年將節(jié)省18 000 h以上，以5 USD/h計(jì)算，顯性效益將超過(guò)90 kUSD/年。如果在人工出廠(chǎng)測(cè)試中發(fā)生漏檢誤檢或?qū)と寺?tīng)力造成損害，損失將更大，初步評(píng)估隱形效益至少有180 kUSD/年。

4 結(jié)論

顯示器生產(chǎn)測(cè)試過(guò)程中需要對(duì)設(shè)備揚(yáng)聲器與麥克風(fēng)等聲音功能品質(zhì)進(jìn)行測(cè)試，針對(duì)現(xiàn)有測(cè)試系統(tǒng)自動(dòng)化程度低的問(wèn)題，本文提出一種基于聲紋識(shí)別技術(shù)的Android設(shè)備聲音功能自動(dòng)化測(cè)試系統(tǒng)。本系統(tǒng)采用MFCC+ΔMFCC算法提取語(yǔ)音信號(hào)特征，通過(guò)DTW算法對(duì)麥克風(fēng)錄制語(yǔ)音和揚(yáng)聲器播放語(yǔ)音的模型特征進(jìn)行比對(duì)，實(shí)現(xiàn)揚(yáng)聲器與麥克風(fēng)同步對(duì)失真、無(wú)聲、雜聲等多種不良進(jìn)行有效檢測(cè)。本系統(tǒng)良品與無(wú)聲不良檢測(cè)準(zhǔn)確率接近100%，失真不良檢測(cè)準(zhǔn)確率高達(dá)96.67%，雜聲不良檢測(cè)準(zhǔn)確率達(dá)93.33%，實(shí)現(xiàn)了Android 設(shè)備聲音功能的自動(dòng)化測(cè)試。相比人工測(cè)試，效率提高6.25倍。本系統(tǒng)結(jié)構(gòu)簡(jiǎn)單、容易實(shí)現(xiàn)、移植性強(qiáng)、成本低廉，對(duì)企業(yè)生產(chǎn)的“無(wú)人化”、“自動(dòng)化”及“機(jī)器人化”起到了推進(jìn)作用。

[1] JI H G，KIM J H. Fault detection and localization using wavelet transform and cross-correlation of audio signal [J]. Journal of the Korean Society for Precision Engineering, 2014, 31(4): 327-334.

[2] 顏敏睿. 手機(jī)硬件檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].成都：電子科技大學(xué), 2014：28-29.

[3] 陳章虹. 音頻響度測(cè)試與控制系統(tǒng)的研究與實(shí)現(xiàn)[D].長(zhǎng)沙：中南大學(xué), 2014.

[4] 黃偉鴻. 工廠(chǎng)噪聲環(huán)境下聲音識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].廣州：中山大學(xué), 2014.

[5] CAMPBELL, J P.Speaker recognition: a tutorial[J]. Proceedings of the IEEE,1997，85 (9): 1437-1462.

[6] SAHIDULLAH M.A novel windowing technique for efficient computation of MFCC for speaker recognition[J]. IEEE Signal Processing Letters, 2013，20(2): 149 - 152.

[7] 邵明強(qiáng)，徐志京. 基于改進(jìn) MFCC 特征的語(yǔ)音識(shí)別算法[J].微型機(jī)與應(yīng)用, 2017, 36(21): 48-50, 53..

[8] 李偉銘. 基于A(yíng)ndroid的聲紋身份驗(yàn)證系統(tǒng)的研究與實(shí)現(xiàn)[D].南京：東南大學(xué), 2014.

[9] Hu Bing, Jin Hongxia, Wang Jun, et al. Generalizing DTW to the multi-dimensional case requires an adaptive approach[J]. Data Mining & Knowledge Discovery，2017，31(1)：1-31.

[10] 周穎. Android 聲紋密碼鎖設(shè)計(jì)[D].武漢：武漢理工大學(xué), 2014.