交互式視音頻在智能采摘機(jī)器人自動(dòng)化系統(tǒng)中的應(yīng)用

劉 瑜

(重慶能源職業(yè)學(xué)院,重慶 402260)

0 引言

在果實(shí)生產(chǎn)作業(yè)過(guò)程中,水果的采摘是最耗時(shí)費(fèi)力的一個(gè)環(huán)節(jié),其作業(yè)時(shí)間密集、作業(yè)強(qiáng)度大、費(fèi)用高,人工采摘費(fèi)用甚至要占水果生產(chǎn)總成本的50%～70%。為了保證果實(shí)能夠適時(shí)采摘,降低人工勞動(dòng)強(qiáng)度和費(fèi)用,引入了采摘機(jī)器人。采摘機(jī)器人是針對(duì)水果和蔬菜,通過(guò)編程能完成這些作物的采摘、輸送、裝箱等相關(guān)作業(yè)任務(wù)的具有感知能力的自動(dòng)化機(jī)械收獲系統(tǒng)。采摘機(jī)器人的設(shè)計(jì)核心是定位和識(shí)別,在進(jìn)行作業(yè)時(shí)需要不傷害果實(shí)和植物進(jìn)行準(zhǔn)確的定位和采摘。如果在采摘機(jī)器人作業(yè)時(shí)能夠?qū)崿F(xiàn)遠(yuǎn)程端和采摘機(jī)器人交流交互,對(duì)于采摘機(jī)器人準(zhǔn)確定位和高效完成采摘任務(wù)具有重要的意義。

1 交互式視音頻及其在采摘機(jī)器人系統(tǒng)上的應(yīng)用

在傳統(tǒng)的英語(yǔ)教學(xué)過(guò)程中,黑板的作用往往是單向的,老師單向地將知識(shí)寫在黑板上,學(xué)生單向地從黑板接收知識(shí)。隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,多媒體數(shù)字化視音頻教學(xué)被應(yīng)用到教學(xué)過(guò)程中,并出現(xiàn)了新的交互式平臺(tái)白板。白板支持學(xué)生、老師之間的交流互動(dòng),可以允許學(xué)生之間、學(xué)生和老師之間進(jìn)行對(duì)話,呈現(xiàn)給學(xué)生可視化的教學(xué)內(nèi)容,包括視頻、音頻、圖像和動(dòng)畫等,有利于英語(yǔ)教學(xué)靈活生動(dòng)的教學(xué)情境創(chuàng)設(shè),使生硬的英語(yǔ)學(xué)習(xí)變得輕松而愉快。

例如,在學(xué)習(xí)this is ourclassroom時(shí),可以利用白板為學(xué)生插入教師和學(xué)校的新風(fēng)貌圖片,特別是貼近學(xué)生生活的;然后,讓學(xué)生之間相互展開(kāi)討論;最后,教師將討論結(jié)果進(jìn)行匯總,鼓勵(lì)學(xué)生用英語(yǔ)描繪教師的場(chǎng)景和畫面,讓學(xué)生體會(huì)到學(xué)習(xí)的樂(lè)趣。在教學(xué)home時(shí),可以利用白板呈現(xiàn)學(xué)生自己制作的各種房間的圖片,讓學(xué)生繪聲繪色的描述展示自己的home;最后教師將學(xué)生的表現(xiàn)進(jìn)行匯總,采用信息反饋的方式對(duì)表現(xiàn)出色的學(xué)生進(jìn)行獎(jiǎng)勵(lì),鼓勵(lì)更多的同學(xué)參與到互動(dòng)學(xué)習(xí)中。

隨著農(nóng)業(yè)技術(shù)的不斷發(fā)展,采摘機(jī)器人被應(yīng)用到農(nóng)業(yè)生產(chǎn)過(guò)程中,為了實(shí)現(xiàn)采摘機(jī)器人的自主作業(yè),需要采用智能化技術(shù)對(duì)采摘機(jī)器人的控制系統(tǒng)進(jìn)行設(shè)計(jì)。在一些容易破損果實(shí)的采摘過(guò)程中,機(jī)器人除了要對(duì)果實(shí)進(jìn)行精準(zhǔn)定位,還需要利用監(jiān)測(cè)反饋的方式對(duì)機(jī)器人的作業(yè)質(zhì)量進(jìn)行監(jiān)測(cè),這就需要遠(yuǎn)程端和機(jī)器人的交流互動(dòng)。以草莓采摘機(jī)器人為例,其作業(yè)場(chǎng)景如圖1所示。

圖1 草莓采摘機(jī)器人采摘過(guò)程示意圖Fig.1 The picking process sketch of strawberry picking robot

在機(jī)器人對(duì)草莓進(jìn)行采摘時(shí),由于草莓容易破損,在采摘過(guò)程中要對(duì)采摘機(jī)器人進(jìn)行實(shí)時(shí)監(jiān)測(cè)。借鑒交互式視音頻英語(yǔ)學(xué)習(xí)過(guò)程,采用信息交互反饋的形式,采摘末端將采摘質(zhì)量反饋給遠(yuǎn)程監(jiān)控端;當(dāng)采摘質(zhì)量下降時(shí),遠(yuǎn)程監(jiān)控端對(duì)采摘人發(fā)出控制指令,調(diào)整其作業(yè)的姿態(tài),實(shí)現(xiàn)遠(yuǎn)程端和采摘機(jī)器人的交互交流。

采摘機(jī)器人交互式訓(xùn)練過(guò)程如圖2所示。借鑒交互式視音頻英語(yǔ)學(xué)習(xí)過(guò)程,在對(duì)采摘機(jī)器人進(jìn)行訓(xùn)練時(shí),還可以利用教師機(jī)器人對(duì)采摘作業(yè)的軌跡進(jìn)行規(guī)范化,將規(guī)范化的作業(yè)軌跡和實(shí)際的作業(yè)軌跡進(jìn)行對(duì)比,得到規(guī)范化作業(yè)軌跡和實(shí)際作業(yè)軌跡的偏差,并將偏差反饋給機(jī)器人控制系統(tǒng),通過(guò)不斷的學(xué)習(xí),最后提高機(jī)器人定位的精度,提高作業(yè)質(zhì)量。

圖2 采摘機(jī)器人交互式訓(xùn)練過(guò)程Fig.2 The interactive training process of picking robot

2 采摘機(jī)器人視音頻交互傳輸系統(tǒng)設(shè)計(jì)

為了實(shí)現(xiàn)遠(yuǎn)程端和采摘機(jī)器人的交流交互,首先需要構(gòu)建通信網(wǎng)絡(luò),在作業(yè)規(guī)模較小的地區(qū)可以采用WiFi通信的形式。在遠(yuǎn)程端控制人員通過(guò)WiFi網(wǎng)絡(luò)連接到采摘機(jī)器人內(nèi)置的WiFi模塊,WiFi接收到控制信號(hào)后傳送給控制中心,控制中心將指令發(fā)送給控制電路,使采摘機(jī)器人執(zhí)行各種指令。安裝在采摘機(jī)器人端的傳感器和攝像頭可以將遠(yuǎn)程視音頻信息傳送給遠(yuǎn)程端,遠(yuǎn)程端根據(jù)采摘機(jī)器人的實(shí)時(shí)作業(yè)情況,發(fā)出新的控制指令,使采摘機(jī)器人執(zhí)行新的任務(wù)。基于WiFi的采摘機(jī)器人作業(yè)流程如圖3所示。

圖3 基于WiFi的采摘機(jī)器人作業(yè)流程Fig.3 The work flow of picking robot based on WiFi

通過(guò)WiFi通信,采摘機(jī)器人可以將作業(yè)采集圖像傳輸給遠(yuǎn)程控制端,遠(yuǎn)程控制端可以根據(jù)實(shí)際作業(yè)情況,發(fā)出控制指令;但是,受到采摘作業(yè)環(huán)境的影響,要想提高采摘機(jī)器人的通信質(zhì)量,還需要通過(guò)一定的算法消除各種干擾信號(hào)。ZF-DFE(迫零判決反饋均衡檢測(cè)算法)是一種非常高效的信號(hào)檢測(cè)算法,利用該算法可以去掉信號(hào)成分中的干擾信號(hào)。在檢測(cè)過(guò)程中采用分量檢測(cè)的方法,首先檢測(cè)x信號(hào)分量x1,在保證該信號(hào)沒(méi)有干擾后再繼續(xù)檢測(cè)信號(hào)分量x2。在檢測(cè)時(shí),需要將信道矩陣H進(jìn)行QL分解,則

H=FTS

(1)

其中,S為K×K的下三角矩陣;F為K×K的正交矩陣。

(2)

將WiFi檢測(cè)器接收到的信號(hào)y與F相乘得

y′=Fy=F(FTSx+n)=Sx+Fn

(3)

由于F為正交矩陣,因此不會(huì)對(duì)噪聲產(chǎn)生增強(qiáng)的效果,則

(4)

其中,xl表示信號(hào)分量,除以skk得到

(5)

當(dāng)k=1時(shí),則

(6)

由此可以得到x1的估計(jì)值。

當(dāng)k>1時(shí),則

(7)

為了使信號(hào)檢測(cè)算法更加準(zhǔn)確,采用V-BLAST算法對(duì)其進(jìn)行改進(jìn)。在進(jìn)行信號(hào)檢測(cè)之前,首先根據(jù)信號(hào)干擾對(duì)信號(hào)進(jìn)行排序,其表達(dá)式為

y′=H-1y=x+H-1n

(8)

對(duì)信號(hào)進(jìn)行排序后,首先受到干擾信號(hào)影響最小的y′的分量先被檢測(cè)出來(lái)。干擾信號(hào)分量是公式(8)中H-1的向量中的最小值對(duì)應(yīng)的k1,將信號(hào)的干擾去掉后便可以檢測(cè)出原信號(hào),其表達(dá)式為

(9)

y(2)=H(2)x+n

(10)

根據(jù)干擾信號(hào)的排序,去掉干擾信號(hào)后,再對(duì)下一個(gè)信號(hào)分量進(jìn)行檢測(cè)。當(dāng)沒(méi)有干擾信號(hào)后,停止檢測(cè)。通過(guò)信號(hào)檢測(cè),可以有效地去掉信號(hào)分量中的干擾信號(hào),從而提高WiFi通信的質(zhì)量。

3 采摘機(jī)器人視音頻傳輸交互性實(shí)驗(yàn)測(cè)試

采摘機(jī)器人視音頻交互的的目的是為了遠(yuǎn)程控制端更好的控制采摘機(jī)器人,以提高采摘機(jī)器人的作業(yè)質(zhì)量和效率。如果采摘機(jī)器人能夠直接識(shí)別語(yǔ)音信號(hào),會(huì)大大提高機(jī)器人的控制效率。如果將一個(gè)語(yǔ)音信號(hào)看作時(shí)間序列,則其可以采用隱馬爾可夫模型(HMM)進(jìn)行表征;語(yǔ)音信號(hào)通過(guò)去噪聲干擾后,通過(guò)數(shù)字化處理進(jìn)行端點(diǎn)檢測(cè),然后通過(guò)訓(xùn)練識(shí)別輸出。采摘機(jī)器人語(yǔ)音識(shí)別訓(xùn)練過(guò)程如圖4所示。

圖4 采摘機(jī)器人語(yǔ)音識(shí)別訓(xùn)練過(guò)程Fig.4 The speech recognition training process of picking robot

在進(jìn)行采摘機(jī)器人語(yǔ)音識(shí)別訓(xùn)練時(shí),可以采用一些參數(shù)的觀察值對(duì)HMM參數(shù)進(jìn)行估計(jì),如概率密度函數(shù)及狀態(tài)轉(zhuǎn)移概率等。參數(shù)估計(jì)用于語(yǔ)音信號(hào)的識(shí)別,其識(shí)別流程如圖5所示。

語(yǔ)音識(shí)別過(guò)程中,首先對(duì)采集接收到的信號(hào)進(jìn)行數(shù)字化處理,通過(guò)端點(diǎn)檢測(cè)去掉信號(hào)中的噪聲;然后,采用DSP技術(shù)對(duì)信號(hào)的特征進(jìn)行提取,將特征信號(hào)與訓(xùn)練信號(hào)進(jìn)行對(duì)比后,識(shí)別出遠(yuǎn)程端發(fā)出的信號(hào)是什么控制指令;最后,采摘機(jī)器人將控制指令傳送給控制單片機(jī),單機(jī)通過(guò)控制電路控制采摘機(jī)器人的動(dòng)作。語(yǔ)音信號(hào)的傳輸需要通過(guò)WiFi網(wǎng)絡(luò),WiFi集成板如圖6所示。

采用WiFi通信時(shí),采摘機(jī)器人上的WiFi集成板可以通過(guò)USB直接獲取監(jiān)測(cè)到的視頻信號(hào),通過(guò)無(wú)線網(wǎng)絡(luò)發(fā)送給遠(yuǎn)程端;遠(yuǎn)程端將控制語(yǔ)音信號(hào)傳送給WiFi模塊,由WIFI模塊傳送給控制中心。在進(jìn)行交互性試驗(yàn)測(cè)試時(shí),首先對(duì)WiFi的通信傳輸距離和傳輸速度與其他的通信傳輸形式進(jìn)行了對(duì)比,得到了如表1所示的結(jié)果。

表1 不同通信形式性能對(duì)比Table 1 Performance comparison of different communication forms

對(duì)不同通信形式的傳輸距離和通信速率進(jìn)行對(duì)比發(fā)現(xiàn),采用WiFi網(wǎng)絡(luò)具有傳輸距離相對(duì)長(zhǎng)、傳輸速度快的優(yōu)點(diǎn),進(jìn)一步對(duì)通信網(wǎng)絡(luò)的誤碼率進(jìn)行了測(cè)試,得到了如表2所示的結(jié)果。

表2 信噪比誤碼率對(duì)比Table 2 The comparison of signal-to-noise ratio and error rate

由表2可知:隨著信噪比的增大,誤碼率呈下降趨勢(shì),與實(shí)際情況相符合。由對(duì)比結(jié)果可以看出:對(duì)于音頻交互傳輸,本次采用的WiFi網(wǎng)絡(luò)具有更低的誤碼率,對(duì)于語(yǔ)音信號(hào)的識(shí)別準(zhǔn)確性更高,可以滿足采摘機(jī)器人通信需求。

4 結(jié)論

為了提高采摘機(jī)器人的智能化水平,在其自動(dòng)化系統(tǒng)的設(shè)計(jì)上引入了交流交互功能。通過(guò)WiFi網(wǎng)絡(luò),采摘機(jī)器人可以將作業(yè)視頻傳輸給遠(yuǎn)程端,遠(yuǎn)程端根據(jù)作業(yè)情況對(duì)采摘機(jī)器人發(fā)出語(yǔ)音指令,從而提高機(jī)器人的作業(yè)質(zhì)量。為了驗(yàn)證方法的可行性,設(shè)計(jì)了采摘機(jī)器人自動(dòng)化系統(tǒng),并對(duì)系統(tǒng)的通信性能進(jìn)行了測(cè)試,結(jié)果表明:采摘機(jī)器人自動(dòng)化系統(tǒng)可以實(shí)現(xiàn)遠(yuǎn)程端和采摘機(jī)器人執(zhí)行端的交流交互,且語(yǔ)音指令識(shí)別的準(zhǔn)確率較高,對(duì)于提高采摘機(jī)器人的智能化水平具有重要的現(xiàn)實(shí)意義。