吳義滿
(江蘇醫(yī)藥職業(yè)學(xué)院,江蘇 鹽城 224000)
機(jī)器視覺(jué)的核心技術(shù)“光電圖像傳感”和“圖像處理”技術(shù)的發(fā)展,給機(jī)器視覺(jué)的發(fā)展奠定了基礎(chǔ)。在“光電圖像傳感”技術(shù)的發(fā)展過(guò)程中,CCD圖像傳感器的出現(xiàn)使CCD攝像機(jī)取代了硅靶管攝像,從而使圖像采集的小型化、廉價(jià)、功耗低成為可能。以CPU、DSP及大規(guī)??删幊踢壿嬈骷榇淼膱D像處理硬件技術(shù)的飛躍,使圖像處理在速度、價(jià)格、功耗等方面的廣泛應(yīng)用成為可能。將DSP處理器應(yīng)用在采摘機(jī)器人的目標(biāo)識(shí)別系統(tǒng)設(shè)計(jì)中,可以有效地提高機(jī)器人視覺(jué)系統(tǒng)的反應(yīng)速度,減輕機(jī)器人的質(zhì)量,從而提高機(jī)器人的作業(yè)效率。
目前,采摘機(jī)器人設(shè)計(jì)的機(jī)器視覺(jué)伺服控制系統(tǒng)有兩種:一種是基于位置的,該方法需要對(duì)三維姿態(tài)進(jìn)行實(shí)時(shí)估計(jì);另一種是直接基于圖像的,將圖像的特征信息直接用于反饋,其結(jié)構(gòu)框架如圖1所示。通過(guò)CCD相機(jī)采集得到的圖像直接使用嵌入式DSP進(jìn)行圖像處理,通過(guò)邊緣檢測(cè)等技術(shù)得到圖像的基本特征,將特征信息進(jìn)行反饋,用于采摘機(jī)器人的動(dòng)作控制。
采摘機(jī)器人的機(jī)器視覺(jué)系統(tǒng)主要是一個(gè)光電轉(zhuǎn)換裝置,利用該裝置可以將采集得到的圖像信號(hào)轉(zhuǎn)換為計(jì)算機(jī)能夠識(shí)別和進(jìn)行處理的信號(hào),因此在采集圖像時(shí)需要使用特殊的采集裝置。CCD相機(jī)及圖像傳感器是近幾年發(fā)展的一種新式的圖像采集裝置,它可以在采集圖像的同時(shí)進(jìn)行數(shù)字化處理,將圖像直接轉(zhuǎn)換成電信號(hào),從而實(shí)現(xiàn)圖像的保存、處理和可視化顯示等。CCD相機(jī)和圖像傳感器的工作原理如圖2所示。
CCD圖像傳感器和傳統(tǒng)的器件不同,傳統(tǒng)器件往往都是使用電壓或者電流作為信號(hào),而CCD圖像傳感器是利用電荷作為信號(hào)的。電荷是通過(guò)兩種渠道產(chǎn)生的:一種渠道是光注入,另一渠道是電注入。CCD一般是通過(guò)光注入來(lái)產(chǎn)生電荷,其中電荷信號(hào)QI與光照強(qiáng)度Δn、光照時(shí)間TC、光敏電阻的面積A成正比例關(guān)系,即
QI=η×q×Δn×A×TC
(1)
其中,η為所使用材料的的量子效率;q為電子電荷量。對(duì)采集的圖像進(jìn)行圖像分割和邊緣檢測(cè)才能有效地對(duì)目標(biāo)進(jìn)行識(shí)別,識(shí)別時(shí)可以色彩為識(shí)別依據(jù)。對(duì)于色彩的識(shí)別,Roberts算子是一種非常有效的方法,該算子可以檢測(cè)出灰度或者圖像中色彩比較突出的部位。色彩變化突出的部位一般梯度較大,假設(shè)通過(guò)采集得到的一幅圖像其色彩分布為f(x,y,λx,y),對(duì)于一個(gè)像素點(diǎn)(x,y),其色彩變化在x、y方向的表達(dá)式可以表示為
(2)
在數(shù)字圖像中,fx、fy可用x、y方向的差分(Δx,Δy)表示,即
(3)
(4)
其中,p、q為階數(shù);s為整個(gè)圖像的區(qū)域,在進(jìn)行求解時(shí)需要借助圖像區(qū)域的零階矩和一階矩;在進(jìn)行定位時(shí),圖像可以當(dāng)成二值圖來(lái)處理,即f(x,y)=1。這樣,零階矩m00可以表示為
(5)
零階矩就是圖像目標(biāo)區(qū)域的面積,其一階矩為
(6)
則區(qū)域的質(zhì)心(xc,yc)表示為
(7)
定位出目標(biāo)物體在一幅圖像中的位置后,就可以根據(jù)事先設(shè)定好的坐標(biāo)對(duì)物體進(jìn)行跟蹤。其中,硬件基本框架如圖3所示。
圖2 CCD圖像傳感器工作原理
圖3 基于DSP的圖像目標(biāo)識(shí)別硬件系統(tǒng)基本框架
利用DSP可以將CCD相機(jī)采集到的模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)進(jìn)行儲(chǔ)存,還可以對(duì)視頻和圖像進(jìn)行處理,并將圖像和視頻信息利用CAN總線傳送給PC機(jī),以便進(jìn)行處理和觀察。PC機(jī)對(duì)圖像進(jìn)行分割和邊緣檢測(cè)后,計(jì)算出目標(biāo)的具體位置,然后發(fā)出指令傳輸給DSP處理器,DSP將指令發(fā)送給私服系統(tǒng),控制采摘機(jī)器人的移動(dòng)。
圖4表示基于DSP的采摘機(jī)器人目標(biāo)識(shí)別的軟件流程。其中,圖像的傳輸和邊緣檢測(cè)都由DSP芯片協(xié)同完成,在識(shí)別出作物目標(biāo)后對(duì)其進(jìn)行定位,本次定位程序結(jié)束;如果沒(méi)有識(shí)別出目標(biāo),則重新進(jìn)行圖像采集和傳輸,利用多套備用的圖像檢測(cè)算法對(duì)目標(biāo)進(jìn)行識(shí)別,直到作物的目標(biāo)被準(zhǔn)確地識(shí)別出來(lái),結(jié)束軟件流程。
為了驗(yàn)證DSP在移動(dòng)機(jī)器人目標(biāo)識(shí)別系統(tǒng)設(shè)計(jì)中使用的可行性,對(duì)基于DSP的視覺(jué)系統(tǒng)的性能進(jìn)行了測(cè)試。測(cè)試過(guò)程中使用了DSP處理器、PC機(jī)及CCD攝像機(jī)采集設(shè)備,如圖5所示。
圖4 基于DSP的圖像目標(biāo)識(shí)別軟件流程
圖5 基于DSP的移動(dòng)采摘機(jī)器人視覺(jué)系統(tǒng)測(cè)試
本次主要對(duì)其視覺(jué)系統(tǒng)進(jìn)行測(cè)試,測(cè)試環(huán)境選擇黃瓜大棚作業(yè)環(huán)境,視覺(jué)系統(tǒng)安裝在采摘機(jī)器人上,如圖6所示。
采摘機(jī)器人安裝了自主行走裝置,并在黃瓜大棚的田壟間行走,主要采用視覺(jué)系統(tǒng)對(duì)黃瓜圖像進(jìn)行采集。通過(guò)采集設(shè)備采集得到的高清圖像如圖7所示。
利用DSP處理器首先對(duì)圖像進(jìn)行處理,通過(guò)邊緣檢測(cè)技術(shù)對(duì)目標(biāo)特征進(jìn)行提取,得到了如圖8所示的處理結(jié)果。
圖6 采摘機(jī)器人實(shí)驗(yàn)場(chǎng)景
圖7 CCD高清圖像采集
圖8 圖像處理結(jié)果
通過(guò)DSP處理傳送給PC機(jī),通過(guò)特征的提取可以得到目標(biāo)的輪廓,通過(guò)顏色的提取可以得到果實(shí)目標(biāo)的成熟度,從而準(zhǔn)確地識(shí)別待采摘果實(shí)。
由表1可知:采用DSP的移動(dòng)式采摘機(jī)器人目標(biāo)識(shí)別系統(tǒng)的準(zhǔn)確識(shí)別率較高,且用時(shí)較短,可以滿足高精度、快速定位果實(shí)目標(biāo)的需求,有效地提高了采摘機(jī)器人的自動(dòng)化程度。
表1 果實(shí)目標(biāo)成功識(shí)別和用時(shí)測(cè)試
結(jié)合嵌入式DSP系統(tǒng)和圖像處理技術(shù),設(shè)計(jì)了一種新的采摘機(jī)器人目標(biāo)識(shí)別系統(tǒng),系統(tǒng)采用DSP處理器直接對(duì)圖像特征進(jìn)行提取,并將提取的信息直接用于控制信息的反饋。對(duì)采摘機(jī)器人視覺(jué)系統(tǒng)進(jìn)行了測(cè)試,結(jié)果表明:采用DSP處理器可以直接對(duì)CCD采集到的黃瓜圖像進(jìn)行特征提取,且識(shí)別的準(zhǔn)確率和效率都較高。DSP的型號(hào)還有很多,不同型號(hào)對(duì)采摘機(jī)器人視覺(jué)系統(tǒng)的影響還有待于進(jìn)一步的驗(yàn)證,通過(guò)不斷的測(cè)試發(fā)現(xiàn)更加小巧、輕便、高效的采摘機(jī)器人,使其具有更加廣闊的應(yīng)用前景。