基于聲音和視覺識別技術(shù)的車輛兒童乘員智能檢測系統(tǒng)

關(guān)鍵詞：汽車安全；兒童乘員；狀態(tài)檢測

0 前言

在當(dāng)今社會，汽車已成為人們代步、運輸和地域連接的重要工具。截至2022 年12 月，我國汽車產(chǎn)量已連續(xù)14 年蟬聯(lián)世界第一［1］。汽車進(jìn)入家庭后，兒童乘員也成為汽車交通的主要參與者。我國兒童乘員車內(nèi)傷害事件頻發(fā)，已經(jīng)成為導(dǎo)致兒童傷害的罪魁禍?zhǔn)字?，中國兒童乘車安全的現(xiàn)狀令人堪憂。因此，研究兒童乘員車內(nèi)傷害類型及其預(yù)防措施，加強兒童乘員乘車安全保護(hù)已經(jīng)刻不容緩。

近年來，計算機(jī)視覺技術(shù)發(fā)展飛速，在使用神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等學(xué)習(xí)方法后［2-3］，能通過從多種開放的圖片數(shù)據(jù)庫中學(xué)習(xí)各種兒童、成人及寵物等的圖像樣本，可以較為準(zhǔn)確地檢測車內(nèi)兒童乘員的狀態(tài)，包括兒童乘員是否在目標(biāo)區(qū)域（兒童座椅等約束系統(tǒng)）內(nèi)等。在現(xiàn)實生活中，兒童乘員的乘車安全主要由兒童座椅進(jìn)行保護(hù)，本文將聲音和視覺識別技術(shù)相融合，提出一種基于聲音和視覺識別技術(shù)的車輛兒童乘員智能檢測系統(tǒng)。該系統(tǒng)可以對車內(nèi)兒童乘員的狀態(tài)進(jìn)行更加精準(zhǔn)、有效地檢測，當(dāng)系統(tǒng)識別兒童乘員不在兒童座椅中或姿態(tài)不正確時，可以立即報警，從而在控制策略上更有針對性地對兒童進(jìn)行保護(hù)。

1 智能檢測系統(tǒng)的組成和設(shè)計原理

1. 1 組成

該系統(tǒng)由聲音識別模塊、視覺識別模塊、控制模塊、約束系統(tǒng)檢測模塊、通信模塊、服務(wù)器和報警模塊組成。

聲音識別模塊包括音頻采集模塊、聲音識別提取模塊、年齡識別模型模塊。音頻采集模塊對聲音進(jìn)行采集；聲音識別提取模塊對聲音進(jìn)行處理并進(jìn)行特征選擇；年齡識別模型模塊對聲音的年齡進(jìn)行識別。

視覺識別模塊包括圖像采集模塊、圖像邊緣提取模塊、特征提取選擇模塊。圖像采集模塊對車內(nèi)圖像進(jìn)行采集；圖像邊緣提取模塊將顏色轉(zhuǎn)換成灰度值，再通過邊緣算子進(jìn)行邊緣輪廓提??；特征提取選擇模塊采用矩方法提取乘員邊緣特征值，再采用微分進(jìn)化算法對提取的特征值進(jìn)行選擇優(yōu)化，從而對兒童進(jìn)行識別。

報警模塊與控制模塊連接，報警模塊在聲音識別模塊、視覺識別模塊、約束系統(tǒng)檢測模塊檢測識別異常的情況下進(jìn)行提醒。

1. 2 設(shè)計原理

通過聲音識別模塊、視覺識別模塊和約束系統(tǒng)檢測模塊，對兒童乘員的乘坐情況和就坐狀態(tài)進(jìn)行識別檢測。聲音識別模塊對乘客的聲音進(jìn)行收集；視覺識別模塊對乘客就坐圖像進(jìn)行收集識別，快速確認(rèn)是否有兒童乘員就坐；約束系統(tǒng)檢測模塊對兒童乘員就坐的狀態(tài)和約束裝置的正常使用進(jìn)行檢測識別，確保兒童乘員就坐的安全。控制模塊將檢測信息通過通信模塊發(fā)送到服務(wù)器上，便于使用者觀察兒童乘客的就坐情況；當(dāng)智能檢測系統(tǒng)檢測到異常時，控制模塊控制報警模塊進(jìn)行語音提醒，有效地提高了兒童乘客乘車的安全性。該智能檢測系統(tǒng)的功能示意如圖1 所示。

2 智能檢測系統(tǒng)的實現(xiàn)方法

該智能檢測系統(tǒng)在進(jìn)行聲音識別的同時，配合視覺識別共同檢測，可以提高檢測結(jié)果的準(zhǔn)確性和可靠性。

2. 1 聲音識別檢測

通過聲音識別對車內(nèi)兒童乘員狀態(tài)進(jìn)行檢測，本質(zhì)上是身份識別中的語音識別或說話人識別［3］，取決于兒童乘員狀態(tài)檢測的具體內(nèi)容。

2. 1. 1 說話人年齡識別

針對車內(nèi)兒童乘員的檢測，應(yīng)更加關(guān)注于說話人年齡識別［4］。說話人年齡識別是指通過語音信號進(jìn)行分析推測說話人范圍的一項技術(shù)，依據(jù)測試文本固定與否，可分為文本相關(guān)和文本無關(guān)；依據(jù)說話人的確定性，可分為特定說話人和非特定說話人。針對車內(nèi)兒童乘員的說話人年齡識別，為使其能及時、全面地檢測兒童乘員的狀態(tài)，應(yīng)為文本無關(guān)、非特定說話人年齡識別。

2. 1. 2 聲音識別算法系統(tǒng)

從實際應(yīng)用的角度出發(fā)，較為完整的算法系統(tǒng)應(yīng)該包括以下6 個步驟：① 使用麥克風(fēng)／聲音傳感器采集聲音數(shù)據(jù)；② 對聲音數(shù)據(jù)進(jìn)行預(yù)處理，例如將多聲道音頻轉(zhuǎn)換為單聲道、重采樣、解壓縮等；③ 音頻是長時間的流媒體，需要將有用的部分分割出來，即進(jìn)行音頻事件檢測或端點檢測；④ 車內(nèi)采集的數(shù)據(jù)經(jīng)常是多個聲源混雜在一起，因此還需要進(jìn)行聲源分離，將有用的信號分離提取出來，或至少消除部分噪聲，進(jìn)行有用信號增強；⑤ 根據(jù)具體聲音的特性提取各種時域、頻域、時間-頻率域音頻特征，進(jìn)行特征選擇（或特征抽取，或采用深度學(xué)習(xí)進(jìn)行自動特征學(xué)習(xí)）；⑥ 送入淺層統(tǒng)計分類器或深度學(xué)習(xí)模型進(jìn)行聲景分類、聲音目標(biāo)識別或聲音目標(biāo)定位。機(jī)器學(xué)習(xí)模型通常采用有監(jiān)督學(xué)習(xí)、需要事先用標(biāo)注好的已知數(shù)據(jù)進(jìn)行訓(xùn)練。

采用卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等深度學(xué)習(xí)方法，用全連接層（FC）進(jìn)行連接，可以在聲音識別中高效地將聲音樣本分類，并根據(jù)樣本學(xué)習(xí)的結(jié)果，對樣本庫中未記錄的聲音進(jìn)行高效、準(zhǔn)確地年齡識別，從而有效地檢測車內(nèi)兒童乘員。兒童乘員聲音識別流程如圖2所示。

CNN 和RNN 為分為正向傳播和反向傳播2 個部分［4］，其中RNN 的激活函數(shù)多采用雙目正切函數(shù)（tanh）。進(jìn)行兒童/成人的年齡識別任務(wù)時，采用以CNN 作為判別模型，將音頻量化為矩陣，再對這些矩陣進(jìn)行識別的方案。而在樣本庫中兒童聲音數(shù)據(jù)不足的情況下，還可以采用文本轉(zhuǎn)換語音（TTS）技術(shù)，調(diào)整音高、音色等聲音要素，模擬生成一批兒童音頻作為數(shù)據(jù)擴(kuò)充，增強多樣性?？紤]到輸入的是連續(xù)的時序性數(shù)據(jù)，以及聲音信號每個時刻互相的關(guān)聯(lián)性，可以后接RNN 形成雙向循環(huán)神經(jīng)網(wǎng)絡(luò)。

2. 2 視覺識別檢測

基于視覺檢測的車內(nèi)兒童檢測系統(tǒng)，是指根據(jù)采集到的圖像所包含的相似信息，運用邊緣輪廓提取等模式識別方法，以提取出車內(nèi)乘員人體的形狀、輪廓，然后通過模式識別或模式匹配等方法進(jìn)行乘員類型的判別。由于兒童在乘員類型中屬于體型最小，在汽車座椅上的高度、形狀和輪廓等信息具有鮮明的特征，因此使用計算機(jī)視覺技術(shù)對兒童乘員類型進(jìn)行識別，在原理上具備可行性和一定的準(zhǔn)確率。

2. 2. 1 乘員圖像邊緣輪廓提取

攝像機(jī)等圖像采集設(shè)備得到的是彩色RGB圖像，其由紅色（R）、綠色（G）和藍(lán)色（B）3種顏色組成，每種顏色使用8 bit位表示，即每個像素需要24 bit 位。在提取邊緣輪廓時往往將R、G、B三種顏色轉(zhuǎn)換成灰度值，以減小計算量和保證算法的快速實時性，3 種顏色與灰度值（Y）的對應(yīng)關(guān)系為：

Y = 0.299Y_R + 0.587Y_G + 0.114Y_B （1）

式中：YR、YG、YB分別為紅色、綠色、藍(lán)色的RGB 顏色取值。

在邊緣輪廓提取前，不僅需要將3種顏色轉(zhuǎn)換成灰度值，還需要提取乘員圖像中感興趣窗口（ROI）以降低運算量和減少無用信息的干擾；同時，需要使用線性濾波、加權(quán)均值濾波和中值濾波等方法去除高頻噪聲，進(jìn)行圖像增強，如圖3所示。

2. 2. 5 微分進(jìn)化算法

在利用智能檢測裝置提取兒童乘員邊緣檢測的特征值時，需要準(zhǔn)確、全面地表征兒童乘員的輪廓特點，使用上述矩方法提取到的特征值可能會存在相關(guān)性和疊加性，導(dǎo)致維數(shù)較多、運算量較大，因此需要對目標(biāo)特征值進(jìn)行選擇和優(yōu)化?？墒褂玫奶卣鬟x擇方法有全局最優(yōu)搜索策略、啟發(fā)式搜索策略和隨機(jī)搜索策略等，針對兒童乘員邊緣檢測可使用隨機(jī)搜索策略中的微分進(jìn)化算法［5］。

作為基于進(jìn)化算法的模擬自然界進(jìn)化過程的隨機(jī)搜索優(yōu)化算法，微分進(jìn)化算法具有收斂速度快、可調(diào)參數(shù)少、魯棒性好、全局尋優(yōu)能力強的特點。其主要步驟包括：① 初始化原始種群；② 執(zhí)行變異操作，生成變異向量；③ 進(jìn)行交叉操作，對目標(biāo)向量和變異向量進(jìn)行交叉選擇，生成實驗向量；④ 制行選擇操作；⑤ 迭代上述步驟，直至滿足誤差要求或達(dá)到最大迭代次數(shù)。

3 應(yīng)用分析

依據(jù)說話人年齡識別和視覺邊緣檢測分別搭建聲音識別單元和視覺識別單元，并使用支持向量機(jī)等相應(yīng)的樣本學(xué)習(xí)、訓(xùn)練方法，使其均具備檢測車內(nèi)兒童乘員狀態(tài)的功能。視覺識別單元可以布置在前擋風(fēng)上端、天窗和前排座椅頭枕后部，而聲音識別單元可以在車內(nèi)多處布置，以保證充分采集乘員聲音信息。通過聲音和儀表盤提示單元、通信單元對駕駛員給予報警提醒，并可以配合兒童座椅上的檢測單元，實現(xiàn)兒童乘員就坐和約束系統(tǒng)使用情況的同步。

該智能檢測系統(tǒng)工作的具體預(yù)期情景主要有：

（1） 情景0。聲音識別模塊在車內(nèi)采集并識別到兒童乘員的聲音，視覺檢測模塊在目標(biāo)范圍內(nèi)檢測到兒童乘員的存在，在駕駛員儀表盤上進(jìn)行圖標(biāo)提示，同時進(jìn)行諸如“有兒童乘坐，請注意保護(hù)”等語音提醒.

（2） 情景1。在全球定位系統(tǒng)（GPS）檢測到車輛正在以高于5 km/h 的速度移動時，若聲音識別模塊在車內(nèi)采集并識別到兒童乘員的聲音，視覺檢測模塊在目標(biāo)范圍也檢測到兒童乘員在相應(yīng)的兒童安全座椅上，兒童約束系統(tǒng)檢測模塊也檢測到就坐信息，則減少駕駛員儀表盤上的圖標(biāo)提示。

（3） 情景2。在GPS 檢測到車輛正在以高于5 km/h 的速度移動時，若聲音識別模塊在車內(nèi)采集并識別到兒童乘員的聲音，但視覺檢測模塊在目標(biāo)范圍未檢測到兒童乘員，則在儀表盤上進(jìn)行圖標(biāo)提示，并進(jìn)行如“ 兒童未坐于安全座椅上”等語音提醒。

（4） 情景3。在GPS 檢測到車輛正在以高于5 km/h 的速度移動時，若聲音識別模塊在車內(nèi)采集并識別到兒童乘員的聲音，視覺檢測模塊在目標(biāo)范圍也檢測到兒童乘員，但兒童約束系統(tǒng)檢測模塊未檢測到就坐信息，則在儀表盤上提示，并進(jìn)行“兒童未坐于安全座椅上”等語音提醒。

以上情景的檢測模擬情況見表1。

車內(nèi)兒童乘員智能檢測系統(tǒng)的設(shè)計應(yīng)至少包含以上使用情景，并根據(jù)實際需要進(jìn)行預(yù)期情景細(xì)分和具體功能的調(diào)整。

4 結(jié)語

本文介紹了基于聲音和視覺識別技術(shù)的車輛兒童乘員智能檢測系統(tǒng)，該系統(tǒng)可以確定車內(nèi)兒童乘員的狀態(tài)和汽車兒童約束系統(tǒng)的使用情況。情景0 檢測到有兒童乘員，便在駕駛員儀表盤上進(jìn)行圖標(biāo)提示，同時進(jìn)行諸如“ 有兒童乘坐，請注意保護(hù)”等語音提醒；情景1 檢測到兒童乘員在相應(yīng)的兒童安全座椅上，兒童約束系統(tǒng)檢測模塊也檢測到就坐信息，則減少駕駛員儀表盤上的圖標(biāo)提示；情景2 檢測到有兒童乘員，但未檢測到兒童在安全座椅目標(biāo)范圍內(nèi)，則在儀表盤上進(jìn)行圖標(biāo)提示，并進(jìn)行如“兒童未坐于安全座椅上”等語音提醒；情景3檢測到兒童乘員在安全座椅目標(biāo)范圍內(nèi)，但未檢測到就坐信息，則在儀表盤上提示，并進(jìn)行“兒童未坐于安全座椅上”等語音提醒。

根據(jù)設(shè)計情景進(jìn)行對應(yīng)的提示和警告，且通過本地車載單元對檢測數(shù)據(jù)進(jìn)行記錄，便于進(jìn)行后續(xù)數(shù)據(jù)分析、樣本學(xué)習(xí)和更高級別的駕駛員提示。