基于語(yǔ)音和手勢(shì)的人車(chē)交互系統(tǒng)

基于語(yǔ)音和手勢(shì)的人車(chē)交互系統(tǒng)

雖然目前無(wú)人駕駛汽車(chē)得到迅速發(fā)展，但是這些車(chē)輛與人的交互靈活性以及用戶對(duì)行駛路線的控制等問(wèn)題尚未解決。對(duì)此，提供了一種基于語(yǔ)音和手勢(shì)的人車(chē)交系統(tǒng)用于解決上述問(wèn)題。

該人車(chē)交互系統(tǒng)執(zhí)行指令分為以下幾個(gè)步驟：①進(jìn)行用戶身份識(shí)別；②通過(guò)識(shí)別用戶手勢(shì)指向的車(chē)輛周?chē)h(huán)境的“興趣點(diǎn)”（POI）提取POI，并識(shí)別語(yǔ)音指令提取語(yǔ)義來(lái)創(chuàng)建命令。如果提取POI階段的結(jié)果是不明確的，則用戶可根據(jù)汽車(chē)反饋系統(tǒng)給出的反饋信息重新發(fā)送指令。如果沒(méi)有歧義，則根據(jù)上一步創(chuàng)建的命令信息來(lái)計(jì)算和更新無(wú)人駕駛汽車(chē)的行駛路徑；③根據(jù)外部多種傳感器捕獲的駕駛環(huán)境信息來(lái)評(píng)估這條新路徑的可行性。如果該可行性分析確定計(jì)算出的路徑不能在安全條件下執(zhí)行,或不符合某些交通規(guī)則，則人車(chē)交互系統(tǒng)將不會(huì)執(zhí)行該命令，并將通過(guò)汽車(chē)的反饋系統(tǒng)將其傳達(dá)給用戶。否則，系統(tǒng)將執(zhí)行命令并遵循新路徑進(jìn)行無(wú)人駕駛行駛。

其中，POI識(shí)別方法是語(yǔ)音和手指方向被汽車(chē)內(nèi)部傳感器識(shí)別?；谡Z(yǔ)音的觸發(fā)器由麥克風(fēng)陣列捕獲,并傳輸?shù)秸Z(yǔ)音引擎子系統(tǒng)進(jìn)行處理。同時(shí)，手勢(shì)指向的序列由基于飛行時(shí)間（ToF）的攝像頭捕獲,并發(fā)送到手勢(shì)引擎去處理，用于形成指向矢量的骨骼關(guān)節(jié)坐標(biāo)。該矢量與車(chē)輛的行駛方向形成一個(gè)角度，由GPS傳感器給出。

基于語(yǔ)音和手勢(shì)的人車(chē)交互系統(tǒng)，通過(guò)合理的外部POI識(shí)別方法、新的路徑可行性分析、基于用戶對(duì)話的反饋系統(tǒng)等手段，很好地解決了現(xiàn)存的問(wèn)題。

Pablo Sauras-Perezr et al. SAE 2017-01-0068.

編譯：馮達(dá)