智能采摘機(jī)器人自動(dòng)化系統(tǒng)研究
——基于交互式視音頻技術(shù)

焦文淵

(武漢船舶職業(yè)技術(shù)學(xué)院,武漢 430050)

0 引言

隨著現(xiàn)代化農(nóng)業(yè)技術(shù)的發(fā)展,采摘機(jī)器人被越來(lái)越多地應(yīng)用到農(nóng)業(yè)生產(chǎn)過(guò)程中;但由于采摘機(jī)器人的技術(shù)還尚未成熟,在作業(yè)過(guò)程中常常會(huì)造成果實(shí)的破損,從而影響采摘作業(yè)質(zhì)量。采摘機(jī)器人實(shí)際作業(yè)過(guò)程中,由于受作業(yè)環(huán)境的干擾,通信質(zhì)量較差,影響了機(jī)器人作業(yè)的遠(yuǎn)程監(jiān)測(cè)和控制。如果在采摘機(jī)器人控制系統(tǒng)上引入視音頻交互系統(tǒng),并通過(guò)改善通信質(zhì)量來(lái)提高視音頻的傳輸效果,將有效提高采摘機(jī)器人遠(yuǎn)程監(jiān)測(cè)和控制的質(zhì)量,進(jìn)而使采摘機(jī)器人具有較高的作業(yè)質(zhì)量和效率。

1 基于交互式視音頻技術(shù)的采摘機(jī)器人控制系統(tǒng)

隨著計(jì)算機(jī)和移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展,大學(xué)英語(yǔ)教學(xué)也在不斷地進(jìn)行改革,越來(lái)越多地使用視聽(tīng)說(shuō)教學(xué)方法,自主學(xué)習(xí)和英語(yǔ)綜合能力成為英語(yǔ)專(zhuān)業(yè)人才培養(yǎng)的關(guān)鍵。以前在傳統(tǒng)教學(xué)模式下,視聽(tīng)說(shuō)互動(dòng)只是學(xué)生和老師機(jī)械式的互動(dòng),而交互式視聽(tīng)說(shuō)教學(xué)賦予了傳統(tǒng)視聽(tīng)說(shuō)教學(xué)心得意義。教師與教材、學(xué)生與教材、教師與學(xué)生,學(xué)生與學(xué)生之間都可以互動(dòng),通過(guò)計(jì)算機(jī)和移動(dòng)互聯(lián)網(wǎng)技術(shù),緊密地結(jié)合在一起。

在采摘機(jī)器人的設(shè)計(jì)過(guò)程中,控制系統(tǒng)和遠(yuǎn)程監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)是關(guān)鍵,參考交互式英語(yǔ)視音頻技術(shù),可以在采摘機(jī)器人設(shè)計(jì)過(guò)程中設(shè)計(jì)實(shí)時(shí)監(jiān)測(cè)系統(tǒng),對(duì)播種機(jī)的作業(yè)情況進(jìn)行監(jiān)測(cè),然后采用語(yǔ)音識(shí)別聲控的方法對(duì)作業(yè)機(jī)器人的姿態(tài)進(jìn)行調(diào)整,實(shí)現(xiàn)采摘機(jī)器人作業(yè)狀態(tài)的快速調(diào)整,以提高作業(yè)效率。采摘機(jī)器人作業(yè)過(guò)程如圖1所示。

圖1為第十三屆壽光國(guó)際蔬菜科技博覽會(huì)上展出的一款番茄采摘機(jī)器人。由于番茄屬于易損的果實(shí),進(jìn)行采摘時(shí)可以通過(guò)遠(yuǎn)程監(jiān)控的方法實(shí)現(xiàn)作業(yè)質(zhì)量的實(shí)時(shí)監(jiān)測(cè)。通過(guò)對(duì)原來(lái)控制系統(tǒng)的改造,當(dāng)番茄破損時(shí),遠(yuǎn)程監(jiān)測(cè)系統(tǒng)看到后可以對(duì)采摘機(jī)器人發(fā)出聲控指令,以快速進(jìn)行姿態(tài)調(diào)整,順利完成果實(shí)采摘作業(yè)。

為了實(shí)現(xiàn)采摘機(jī)器人的聲控模式,需要引入嵌入式語(yǔ)音識(shí)別系統(tǒng)。在進(jìn)行識(shí)別時(shí),首先要對(duì)語(yǔ)音樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)和訓(xùn)練,形成機(jī)器人聲控系統(tǒng)的模式庫(kù)。聲控的識(shí)別第2步是識(shí)別和測(cè)試,在進(jìn)行識(shí)別時(shí)可以結(jié)合語(yǔ)音識(shí)別模型和技術(shù),對(duì)音頻進(jìn)行參數(shù)特征提取,然后通過(guò)設(shè)定閾值、參考模型與準(zhǔn)則、模型比較得到相應(yīng)的結(jié)果。聲控語(yǔ)音識(shí)別流程如圖2所示。

圖2 聲控語(yǔ)音識(shí)別流程圖Fig.2 The flow chart of voice-controlled speech recognition

圖3 采摘機(jī)器人聲控語(yǔ)音識(shí)別流程Fig.3 The flow chart of voice-controlled speech recognition for picking Robot

2 采摘機(jī)器人語(yǔ)音識(shí)別和通信系統(tǒng)優(yōu)化

在進(jìn)行語(yǔ)音識(shí)別和聲控設(shè)計(jì)時(shí),一個(gè)很重要的函數(shù)是子程序中的BSR_GetResult()。利用該函數(shù)可以讀取語(yǔ)音識(shí)別模型數(shù)據(jù)庫(kù)中的情況,并根據(jù)聲控智能識(shí)別情況來(lái)返回?cái)?shù)據(jù),通過(guò)判斷后得到一個(gè)數(shù)值。當(dāng)命令識(shí)別失敗時(shí),res=0;在識(shí)別器沒(méi)有初始化、識(shí)別器識(shí)別失敗時(shí),會(huì)產(chǎn)生res=-1;識(shí)別不合格時(shí),res=-2;識(shí)別出來(lái)時(shí),返回命令的序號(hào)。

在進(jìn)行采摘機(jī)器人語(yǔ)音指令識(shí)別時(shí),首先要對(duì)采摘機(jī)器人進(jìn)行語(yǔ)音識(shí)別訓(xùn)練,訓(xùn)練之前要打開(kāi)采摘機(jī)器人作業(yè)實(shí)時(shí)監(jiān)測(cè)系統(tǒng)。當(dāng)遇到作業(yè)質(zhì)量差的情況時(shí),通過(guò)播放語(yǔ)音的方式來(lái)發(fā)布用戶指令;在識(shí)別不出來(lái)的情況下利用程序判斷出是否超時(shí),當(dāng)存在超時(shí)需要退出系統(tǒng);如果識(shí)別出來(lái)語(yǔ)音指令,則將指令返回給主程序,以實(shí)現(xiàn)采摘機(jī)器人的聲音控制。

為了提高監(jiān)控視頻和聲控指令的傳播質(zhì)量、降低信道衰落,可以引入OFDM技術(shù),以實(shí)現(xiàn)較高速度的傳輸。MIMO技術(shù)可以在空間中產(chǎn)生獨(dú)立的并行信道,對(duì)于信息傳輸速度的提升具有重要的意義。在MIMO系統(tǒng)通行過(guò)程中,通行方式采用了多個(gè)反射機(jī),同時(shí)接收端也采用了多個(gè)接收機(jī),從而增大了信息通道的容量,更加有利于視音頻的傳播。根據(jù)香農(nóng)定理,信道容量可以定義為

C=Blog2(1+S/n)

(1)

其中,B為信號(hào)強(qiáng)度,S為傳播距離。MIMO系統(tǒng)天線和普通通信系統(tǒng)的天線有所不同。MIMO系統(tǒng)采用了陣列天線,通過(guò)改變列元距離來(lái)保證接收端的不相關(guān)性,通過(guò)增益合并將信號(hào)加權(quán)。其原理如圖4所示。

圖4 MIMO系統(tǒng)通信原理圖Fig.4 The communication schematic diagram of MIMO system

圖4中,如果將天線S1與Y1間距離設(shè)為h11,Sn與Ym間距離設(shè)為hnm,則對(duì)于4×4的MIMO通信系統(tǒng),距離傳輸矩陣可以表示為

(2)

假設(shè)系統(tǒng)的發(fā)送信號(hào)為X,加性噪聲為n,則系統(tǒng)的接受信號(hào)為

Y=HX+n

(3)

MIMO通信系統(tǒng)可以將數(shù)據(jù)流分為M個(gè),M的數(shù)值需要小于或者等于最小天線數(shù),則MIMO系統(tǒng)的信道容量可以表示為

C=MBlog2(1+S/N)

(4)

OFDM的信號(hào)包含了多個(gè)調(diào)制的子載波。假設(shè)子載波的個(gè)數(shù)為N,OFDM系統(tǒng)的符號(hào)寬度為T(mén)N,每個(gè)載波的數(shù)據(jù)符號(hào)為X(k),k=0,1,2,...,N-1,載波頻率為fc,則第k個(gè)子載波的頻率為fk=fc+k·Δf。其中,Δfc為子載波的頻率間隔。1個(gè)OFDM信號(hào)的表達(dá)式為

(5)

假設(shè)子載波互相正交,則公式可以寫(xiě)成

(6)

OFDM符號(hào)子載波的正交性頻譜是一組sinc函數(shù),零點(diǎn)在Δf的整數(shù)倍位置上。信號(hào)頻譜如圖5所示。

圖5 OFDM信號(hào)的頻譜Fig.5 The spectrum of OFDM signal

OFDM系統(tǒng)的調(diào)制和解調(diào)可以通過(guò)離散傅里葉變換和傅里葉逆變換來(lái)實(shí)現(xiàn)。隨著移動(dòng)通信技術(shù)的高速發(fā)展,手機(jī)的功能日益強(qiáng)大,使其作為遠(yuǎn)程控制的工具成為可能。在采摘機(jī)器人作業(yè)過(guò)程中,管理員可以通過(guò)手機(jī)對(duì)采摘機(jī)器人的作業(yè)情況進(jìn)行監(jiān)測(cè),并通過(guò)語(yǔ)音指令控制的方法對(duì)采摘機(jī)器人進(jìn)行控制,從而實(shí)現(xiàn)采摘機(jī)器人的智能化操作。

3 智能采摘機(jī)器人自動(dòng)化系統(tǒng)測(cè)試

基于遠(yuǎn)程監(jiān)測(cè)和聲控技術(shù),利用通信網(wǎng)絡(luò)可以對(duì)采摘機(jī)器人進(jìn)行遠(yuǎn)程控制。為了降低因時(shí)間延長(zhǎng)造成的控制精度降低,可以采用反饋傳遞時(shí)間延遲的方法。其主要原理如圖6所示。

圖6 遠(yuǎn)程監(jiān)測(cè)和聲控控制系統(tǒng)原理圖Fig.6 The principle diagram of remote monitoring and acoustic control system

遠(yuǎn)程管理員端和虛擬機(jī)器人進(jìn)行連接,可以利用Java來(lái)構(gòu)建。當(dāng)遠(yuǎn)程管理員發(fā)送聲控信息給采摘機(jī)器人時(shí),信息被傳送到采摘機(jī)器人端,同時(shí)還傳送到虛擬機(jī)器人端,保證采摘機(jī)器人和虛擬機(jī)器人的動(dòng)作是一致的;管理員可以通過(guò)對(duì)虛擬機(jī)器人的控制,從視覺(jué)和觸覺(jué)效果上決定下一步的指令發(fā)送,可降低采摘機(jī)器人的錯(cuò)誤動(dòng)作造成的水果和蔬菜的損失。

按照正常的語(yǔ)音視頻通信,聲控信號(hào)的強(qiáng)度如圖7所示。工作時(shí),發(fā)送一條語(yǔ)音指令,采摘機(jī)器人將在特定的時(shí)間識(shí)別出語(yǔ)音的最強(qiáng)信號(hào);但受到采摘作業(yè)環(huán)境的影響,信號(hào)往往不能正常傳送,會(huì)有時(shí)間延長(zhǎng)。采摘作業(yè)環(huán)境音頻信號(hào)傳輸如圖8所示。

圖7 正常信號(hào)傳輸示意圖Fig.7 The schematic diagram of normal signal transmission

圖8 采摘作業(yè)環(huán)境音頻信號(hào)傳輸Fig.8 The audio signal transmission in picking environment

受到采摘作業(yè)環(huán)境的影響,信號(hào)會(huì)產(chǎn)生延遲。當(dāng)遠(yuǎn)程端發(fā)送聲控信號(hào)時(shí),采摘機(jī)器人可能接收不到完整的信號(hào)而造成語(yǔ)音信號(hào)識(shí)別不準(zhǔn),采用MIMO通信系統(tǒng)則可以有效地增強(qiáng)信號(hào)傳輸強(qiáng)度,如圖9所示。

圖9 增強(qiáng)后信號(hào)傳輸示意圖Fig.9 The enhanced signal transmission diagram

信號(hào)進(jìn)行增強(qiáng)之后,可以降低信號(hào)傳輸?shù)臅r(shí)間延長(zhǎng),提高信號(hào)傳輸質(zhì)量;當(dāng)遠(yuǎn)程端發(fā)出聲控指令后,采摘機(jī)器人可以有效并準(zhǔn)確的識(shí)別控制指令,從而提高控制的精度。

為驗(yàn)證基于交互式視音頻技術(shù)的智能采摘機(jī)器人自動(dòng)化系統(tǒng)的可靠性,以采摘機(jī)器人語(yǔ)音信號(hào)識(shí)別和動(dòng)作執(zhí)行的準(zhǔn)確率為測(cè)試目的,對(duì)系統(tǒng)進(jìn)行了測(cè)試,結(jié)果如表1所示。由測(cè)試結(jié)果可以看出:采摘機(jī)器人語(yǔ)音信號(hào)識(shí)別準(zhǔn)確率在98.5%以上,動(dòng)作執(zhí)行的準(zhǔn)確率在98.9%以上,準(zhǔn)確率較高,可以滿足采摘機(jī)器人高精度采摘的設(shè)計(jì)需求。

表1 信號(hào)識(shí)別和動(dòng)作執(zhí)行準(zhǔn)確率Table 1 The accuracy of signal recognition and action execution

4 結(jié)論

為了提高采摘機(jī)器人的控制效率和控制精度,模仿英語(yǔ)交互式視音頻教學(xué)技術(shù),在采摘機(jī)器人控制上引入了交互式系統(tǒng)。采摘機(jī)器人作業(yè)過(guò)程中,遠(yuǎn)程端通過(guò)對(duì)采摘機(jī)器人的實(shí)時(shí)監(jiān)測(cè),可以通過(guò)語(yǔ)音發(fā)出控制指令,調(diào)整采摘機(jī)器人的作業(yè)姿態(tài),進(jìn)而提高其作業(yè)質(zhì)量。為了驗(yàn)證方案的可行性,對(duì)采摘機(jī)器人語(yǔ)音的識(shí)別準(zhǔn)率和動(dòng)作執(zhí)行準(zhǔn)確率進(jìn)行了測(cè)試,結(jié)果表明:采摘機(jī)器人具有較高的控制精度,可為采摘機(jī)器人的遠(yuǎn)程控制提供參考。