智能化消毒機器人人機交互的研究

周加全，莫春枝，梁虹梅，覃丹紅，顏夢微

（廣西科技師范學院數(shù)學與計算機科學學院，來賓 546199）

0 引言

隨著科學技術的不斷發(fā)展，人機交互技術越來越成熟，其發(fā)展趨勢變得更加智能化和人性化［1］。盡管目前人機交互方式正在全面發(fā)展，但仍然存在一些技術方面的問題未得到充分的解決，無法準確捕捉用戶的意圖和需求，導致用戶體驗感不強，無法精確地實現(xiàn)人機交互。

本文將人機交互技術分為圖形界面交互和語音交互兩個方面［2］。關于圖形界面交互，雖然它是目前使用最多的一種交互方式，但也存在一些問題。首先，它主要依賴于人的視覺神經(jīng)，容易導致疲勞感。其次，大多數(shù)圖形界面交互方式相對單一，主要是通過采用機械設備的方式進行，而且輸入或輸出的信息相對較少。對于語音交互而言，在應用方面相對來說比較廣泛。但由于每個人的語音特點和發(fā)音習慣不同，語音識別系統(tǒng)需要適應多樣性的要求。此外，線性輸入方式也限制了語音交互在某些場景中的應用。

為了解決上述問題，本文在消毒機器人原有的人機交互功能的基礎上增加基于OpenCV 計算機視覺庫特征臉算法的人臉識別模塊和基于自動語音識別技術ASP 的語音識別模塊［3］，這些模塊的使用，除有效解決上述問題外，也可以有效提高機器人的識別精度，具有較好的魯棒性，能夠較好地改善消毒機器人人機交互性能。通過實驗結果分析，這些模塊的使用優(yōu)化了消毒機器人人機交互性能，提高了算法的識別精度，有效提升人機交互體驗。

1 人機交互模塊

本文設計消毒機器人的人機交互模塊不僅含有人臉識別，還具有語音識別等功能模塊。其中人臉識別主要是基于OpenCV 計算機視覺庫的特征臉算法，能對高維圖像進行降維處理，能有效提高算法的運行效率和人臉識別的準確率。而語音識別通過自動語音識別技術ASR，該技術識別率高、響應迅速，在噪聲環(huán)境下具有一定的魯棒性［4］。

1.1 人臉識別模塊

通過攝像機或攝像頭等設備采集到用戶的靜態(tài)或動態(tài)圖像后，利用算法可以獲取到人臉分布中的主要特征并進行分析，通過對比數(shù)據(jù)庫相同特征類型的圖像，能夠準確識別出這個人的姓名和個人信息。其工作原理是輸入一些陌生的人臉圖像的特征，這些圖像特征和數(shù)據(jù)庫中已經(jīng)有身份的人臉特征圖像進行訓練比較，可以得到一個相似度的分數(shù)，可以匹配出相應的身份信息［5］。本文主要采用OpenCV 計算機視覺庫的特征臉算法，并運用神經(jīng)網(wǎng)絡深度學習實現(xiàn)智能人臉識別模塊。

1.1.1 特征臉算法

Eigenfaces 是基于主成分分析PCA 的一種人臉識別算法，PCA 是一種矩陣的壓縮算法，簡單來說就是將i×j的矩陣轉換成i×k的矩陣，只保留矩陣中所存在的主要特性，最常用的方法是將識別到的人臉圖像通過降維進行處理，只保存人臉的主要特征，這樣不僅可以節(jié)省空間，還可以提高識別的效率。首先獲取圖像數(shù)據(jù)，對數(shù)據(jù)進行預處理，先后求出訓練集和測試集，通過神經(jīng)網(wǎng)絡對模型進行訓練。

1.1.2 特征臉算法技術原理

步驟一：獲得人臉圖像數(shù)據(jù)，將每個人臉圖像矩陣按行串成一維向量，所有向量可以構成訓練集x1,x2,…,xm。

步驟二：將m個人臉在對應維度上加起來，利用公式（1）求得到“平均臉”，其中n是樣本數(shù)量。

步驟三：將每個圖像都減去平均臉向量，利用公式（2）求得協(xié)方差矩陣C。

步驟四：根據(jù)算法訓練圖像，獲得特征子臉，然后進行圖像重構，尋找相似度高的人臉圖像，可以采用歐氏距離來衡量，見公式（3）。

1.2 語音識別模塊

語音識別是人機交互系統(tǒng)中非常重要的一個部分，它主要是針對語音進行處理，這其中主要包括語音信號處理和對處理過的聲音進行識別，這樣可以讓機器充分理解人們所表述的意思。語音識別涉及了多門學科，其中最主要的是語音學、語言學及神經(jīng)生物學等學科［6］，其核心在于可以通過語音識別來更好地實現(xiàn)人與機器的交互。語音識別最主要目的是讓機器能夠聽清楚人們所說的，并完成相應的操作或對話。

1.2.1 語音識別原理

語音識別的原理主要包括特征提取、聲學模型、語言模型和解碼器［7］。其中特征提取是指未處理的語言信號存在冗余的信息，需要提取語音信息中的特征，以便用于后續(xù)處理。聲學模型是指利用聲音建立相應的模型，通過輸入語音得到的輸出結果為聲學。將得到的聲學的特征參數(shù)與數(shù)據(jù)庫中的模型匹配，得到最終的識別效果。而語言模型通過運用語法和語義的知識，能夠準確描述詞與詞之間的內(nèi)在關聯(lián)，提高識別的正確率。解碼器利用輸入的語音信號，通過訓練好的聲學及語言模型形成一個識別的網(wǎng)絡，通過這個網(wǎng)絡并運用算法可以得到能夠以最大概率輸出語音信號的詞串的路徑［8］，進而確認待輸入的語音樣本所包含的文本。

1.2.2 語音識別技術

語音識別技術，也稱自動語音識別（automatic speech recognition，ASR），其關鍵是計算機信息處理技術。主要作用是把人類的語音轉化成機器人能夠識別的信息，這種信息要轉化成為相應文本或命令的一個過程，語音識別技術主要包括語音特征提取和相應的語言識別算法［9］。

2 人機交互的設計與實現(xiàn)

2.1 人臉識別模塊

2.1.1 設計流程

人臉識別模塊分為三個層：識別層、實體層和服務層。識別層：獲取人臉數(shù)據(jù)并保存。將用戶信息存儲在一個函數(shù)內(nèi)，對人臉信息進行對比認證。實體層：人臉數(shù)據(jù)訓練與處理。對傳輸來的視頻進行識別、判斷，最后將數(shù)據(jù)傳輸?shù)浇缑?。服務層：調用攝像頭，進行人臉識別。具體流程如圖1所示。

圖1 人臉識別的設計流程

2.1.2 模塊的實現(xiàn)

首先注冊人臉，處理獲取的視頻流進行人臉識別，根據(jù)索引打開攝像頭，檢測到人臉，獲取當前捕獲到的圖像的所有人臉特征，計算其歐氏距離，將人臉數(shù)據(jù)添加到CSV中。

獲取所有已經(jīng)注冊的人名和人臉特征，捕獲人臉的名字坐標，對于某張人臉，遍歷所有存儲的人臉特征，尋找出最小的歐氏距離匹配，若匹配成功，則在人臉框下面寫人臉名字，如圖2所示。

圖2 人臉識別圖

2.1.3 測試結果

為了驗證算法的有效性及準確性，本文采集了5000 張不同人物、不同角度的人臉圖像進行訓練，并運用OpenCV 算法識別人臉圖像。通過實驗，本文設計的OpenCV 算法進行人臉識別成功率較高，該算法的訓練精度高達95%，同樣的識別精度也能達到一樣的精準度，具體如圖3 所示。該模塊的應用有效提高了人機交互體驗。

圖3 訓練測試結果的精度

2.2 語音識別模塊

2.2.1 設計流程

語音識別是一種模式識別系統(tǒng)［8］，其主要是由特征提取、模式匹配、參考模式庫等組成，具體結構如圖4所示。其中特征提取也是預處理的過程，主要通過克服人們發(fā)音的差異和環(huán)境的影響對聲音信息進行處理，然后進行重復的訓練，保留關鍵信息，并按照一定規(guī)則對信息進行整合處理，形成模式庫［10］。

語音識別過程最重要的部分就是模式匹配，它主要通過算法得到與模式庫中的相似度，進而得到語音文本。

2.2.2 模塊的實現(xiàn)

（1）數(shù)據(jù)采集：收集用于訓練和測試的語音數(shù)據(jù)。這些數(shù)據(jù)可以來自公共語音數(shù)據(jù)集、自行錄制的語音數(shù)據(jù)或其他來源。為了獲得更好的效果，要保證數(shù)據(jù)集的多樣性和充分性，具體如圖5所示。

圖5 語音識別文本數(shù)據(jù)

（2）數(shù)據(jù)預處理：對采集到的語音數(shù)據(jù)進行預處理。包括去除噪聲、降低音頻采樣率、音頻歸一化等處理，以提高后續(xù)特征提取和模型訓練的效果。如圖6所示。

圖6 語音識別

（3）特征提?。簭念A處理的語音數(shù)據(jù)中提取特征。這些特征表示語音信號的頻譜和能量分布。

（4）建立聲學模型：使用特征提取的語音數(shù)據(jù)和對應的標簽（文本轉寫）來建立聲學模型。通過訓練聲學模型，使其能夠學習到語音信號與文本之間的映射關系。

（5）建立語言模型：語言模型是采用大量的文本語料庫構建的。語言模型主要包括n-gram模型和深度學習的循環(huán)神經(jīng)網(wǎng)絡。通過運用語言模型來提高識別準確性和上下文理解能力。具體如圖7所示。

圖7 語音識別模型構建

（6）解碼和識別：通過運用聲學及語言模型進行相應的解碼與識別。其中解碼器可以通過聲學及語言模型得到特征序列之間的關系，通過這種關系可以確定對應的詞序列，并把詞序列作為識別的結果。

2.2.3 測試結果

（1）結果評估：對識別結果進行評估，使用評價指標（如識別準確率、錯誤率等）來衡量識別性能?？梢耘c其他方法進行對比，以驗證識別結果的準確性和效果。本次實驗經(jīng)過訓練，測試精度較高，約98%，達到精準語音識別效果。如圖8所示。

圖8 語音識別測試結果

（2）優(yōu)化和調優(yōu)：根據(jù)評估結果和實際需求，對系統(tǒng)進行優(yōu)化和調優(yōu)，以提高識別的準確性和效率。可以嘗試調整模型結構、增加訓練數(shù)據(jù)、優(yōu)化特征提取等方法。

3 結語

本文采用了OpenCV 圖像識別算法、特征臉算法實現(xiàn)的人臉識別模塊以及自動語音識別技術ASR 模塊，通過神經(jīng)網(wǎng)絡深度學習，使得消毒機器人更加擬人化，有效提升人機交互體驗。在人臉識別這一設計部分經(jīng)過相應的預測得出的訓練精度證明，該技術能夠有效提高人臉識別準確率，有效提高人與機器的互動。語音識別技術和人臉識別技術聯(lián)合有效解決了人與機器互動產(chǎn)生視覺疲勞和操作麻煩的問題，實現(xiàn)了人性化與智能化的人機交互方式。雖然本文設計的語音識別有了很大的改善，但語音識別外界干擾因素較多，識別相對復雜，目前還存在著一定的局限。今后將對該局限的外界影響因素做進一步研究。