基于雙目立體視覺的擠奶機(jī)自動(dòng)奶杯套杯技術(shù)研究

（北京農(nóng)業(yè)職業(yè)學(xué)院，北京 102442）

擠奶機(jī)是奶牛場(chǎng)牛奶質(zhì)量和乳房炎控制的關(guān)鍵點(diǎn)之一[1]。提升奶牛養(yǎng)殖智能化水平，實(shí)現(xiàn)無人化擠奶作業(yè)，是保證奶牛健康和有效控制牛奶品質(zhì)、安全、衛(wèi)生，以及提高產(chǎn)奶量、擴(kuò)大飼養(yǎng)規(guī)模和大幅度節(jié)省勞動(dòng)力的重要技術(shù)措施[2]。

當(dāng)前，全自動(dòng)智能擠奶機(jī)器人研制生產(chǎn)技術(shù)主要被歐美西方發(fā)達(dá)國(guó)家所掌握[3]。目前，以擠奶機(jī)器人為代表的全自動(dòng)無人化擠奶設(shè)備迅猛發(fā)展，已形成Lely、DeLaval、Boumatic、GEA、Fullwood Packo和Boumatic 等擠奶機(jī)器人知名品牌。國(guó)內(nèi)對(duì)全自動(dòng)智能擠奶機(jī)器人的研究起步較晚，受材質(zhì)、工藝水平及設(shè)計(jì)施工等能力的限制，當(dāng)前我國(guó)全自動(dòng)擠奶設(shè)備的設(shè)計(jì)生產(chǎn)水平較國(guó)外有很大差距，多數(shù)的全自動(dòng)智能化擠奶機(jī)器人設(shè)備處于設(shè)計(jì)研究或樣機(jī)實(shí)驗(yàn)階段，并未應(yīng)用到實(shí)踐和取得良好的效果[2]。

擠奶機(jī)自動(dòng)奶杯套杯技術(shù)是智能擠奶機(jī)器人國(guó)產(chǎn)化必須突破的關(guān)鍵技術(shù)，其核心技術(shù)是乳頭識(shí)別與定位，通過視覺傳感技術(shù)識(shí)別出奶牛站立位置和乳頭位置分布，再利用智能控制系統(tǒng)控制機(jī)構(gòu)完成相應(yīng)擠奶動(dòng)作，該過程消耗的時(shí)間直接影響到整個(gè)擠奶過程的效率。為了突破擠奶機(jī)器人這一關(guān)鍵技術(shù)，筆者進(jìn)行了雙目立體視覺的擠奶機(jī)自動(dòng)奶杯套杯方法的研究。

1 擠奶機(jī)自動(dòng)奶杯套杯技術(shù)簡(jiǎn)介

擠奶機(jī)器人由控制中心、擠奶室、自動(dòng)奶杯套/脫杯裝置、以及末端執(zhí)行機(jī)構(gòu)等組成（如圖1所示）。其中，自動(dòng)奶杯套/脫杯裝置在整個(gè)擠奶機(jī)器人設(shè)備中起著至關(guān)重要的作用，它關(guān)系著奶牛乳頭識(shí)別、乳頭清洗、套杯、擠奶、脫杯等一系列擠奶動(dòng)作的實(shí)現(xiàn)。

圖1 擠奶機(jī)器人結(jié)構(gòu)組成

擠奶機(jī)自動(dòng)奶杯套杯裝置是奶牛乳頭識(shí)別與定位的載體，在其工作過程中，造成識(shí)別錯(cuò)誤最大的因素是目標(biāo)區(qū)域里奶牛身體上以及區(qū)域背景里的乳房狀物體，這些物體會(huì)被系統(tǒng)錯(cuò)誤的識(shí)別為乳房[4]。在某些特殊光照條件下乳房部位的影子以及機(jī)械手的移動(dòng)都會(huì)對(duì)乳房的識(shí)別造成干擾。

目前，奶牛乳頭識(shí)別與定位運(yùn)用較多的是激光掃描視覺傳感技術(shù)，通過激光掃描相機(jī)得到乳頭的準(zhǔn)確位置，缺點(diǎn)是耗時(shí)較長(zhǎng)。此外，3D直接拍攝、紅外熱成像以及結(jié)構(gòu)光等技術(shù)均在乳頭識(shí)別與定位的解決方案上嶄露頭角，但都存在著性能不穩(wěn)定、耗時(shí)較長(zhǎng)、套杯準(zhǔn)確率偏低等問題。

雙目立體視覺技術(shù)是建立在計(jì)算機(jī)視覺和圖像處理基礎(chǔ)上的一門新興技術(shù)，用計(jì)算機(jī)模擬人的視覺功能，通過攝像機(jī)獲取場(chǎng)景圖像，經(jīng)過圖像處理與分析獲取被識(shí)別物體的信息，結(jié)合雙目攝像機(jī)對(duì)深度信息的感知能力，最終完成目標(biāo)的識(shí)別與定位任務(wù)[5]。雙目視覺具有高效、高精度、非接觸式以及能感知深度信息等優(yōu)點(diǎn)，在目標(biāo)識(shí)別與定位中已得到廣泛應(yīng)用。將雙目立體視覺技術(shù)運(yùn)用于擠奶機(jī)器人，探究快速、精確、實(shí)時(shí)的乳頭三維空間定位及姿態(tài)角度檢測(cè)方法，突破技術(shù)瓶頸，對(duì)于推動(dòng)擠奶機(jī)器人國(guó)產(chǎn)化，具有十分重要的意義。

2 基于雙目立體視覺的自動(dòng)奶杯套杯實(shí)驗(yàn)

2．1 實(shí)驗(yàn)平臺(tái)

2.1.1 硬件平臺(tái)

自動(dòng)奶杯套杯裝置具有需要有較大的工作空間以及較好的運(yùn)動(dòng)靈活性，結(jié)合實(shí)驗(yàn)特性，本文選擇滑臺(tái)模組作為自動(dòng)奶杯套杯實(shí)驗(yàn)裝置的基礎(chǔ)構(gòu)件，通過滑臺(tái)模組三維結(jié)構(gòu)實(shí)現(xiàn)運(yùn)動(dòng)范圍內(nèi)位置的變化。運(yùn)動(dòng)及控制部件的主要參數(shù)如表1所示。擠奶杯奶襯型號(hào)為IP10U，仿真乳房及乳頭的尺寸為荷斯坦泌乳牛尺寸（乳頭長(zhǎng)約8cm，中部直徑約2.2cm）。

表1 自動(dòng)奶杯套杯實(shí)驗(yàn)裝置運(yùn)動(dòng)及控制部件主要參數(shù)

2.1.2 軟件環(huán)境

運(yùn)動(dòng)控制程序在Microsoft Visual C++ 6.0平臺(tái)上開發(fā)，上位機(jī)為PC機(jī)，控制界面如圖2a所示。

視覺系統(tǒng)選用由瑞爾威視公司生產(chǎn)的雙目USB攝像頭模組，型號(hào)為3D-1MP02-V92，相機(jī)殼自行設(shè)計(jì)。當(dāng)上位機(jī)通過圖像采集系統(tǒng)采集到奶牛乳頭定位位置后，將位置信息發(fā)送給控制器，控制器將命令發(fā)送給步進(jìn)電機(jī)并驅(qū)動(dòng)滑臺(tái)模組執(zhí)行末端運(yùn)動(dòng)到奶牛乳頭位置，進(jìn)行套杯。自動(dòng)奶杯套杯實(shí)驗(yàn)裝置的硬件結(jié)構(gòu)如圖2b所示。

圖2 自動(dòng)奶杯套杯實(shí)驗(yàn)裝置

2.1.3 系統(tǒng)流程

通過雙目立體視覺系統(tǒng)進(jìn)行目標(biāo)的識(shí)別和定位，并根據(jù)定位結(jié)果控制滑臺(tái)模組對(duì)仿真乳頭進(jìn)行自動(dòng)奶杯套杯。整個(gè)系統(tǒng)流程圖如圖3所示。

圖3 系統(tǒng)流程

2．2 實(shí)驗(yàn)結(jié)果分析

2.2.1 攝像機(jī)標(biāo)定

張正友等人提出了平面法來標(biāo)定單攝像頭[6]。本文利用此方法對(duì)2個(gè)攝像頭分別進(jìn)行標(biāo)定，標(biāo)定物選擇標(biāo)準(zhǔn)棋盤格（如圖4所示）。棋盤格的尺寸為28mm，角點(diǎn)的尺寸為7×5。經(jīng)計(jì)算，左右攝像頭的重投影誤差均低于一個(gè)像素。

圖4 標(biāo)準(zhǔn)棋盤格

2.2.2 圖像分割

采用基于顏色相似度的圖像分割方法，將圖像從RGB 空間轉(zhuǎn)換到HSV空間，進(jìn)而計(jì)算顏色模板，設(shè)置閾值后進(jìn)行圖像分割。對(duì)于顏色分割圖像中的噪聲，采用形態(tài)學(xué)的腐蝕和膨脹處理方法。

2.2.3 立體匹配

立體匹配是雙目視覺中最關(guān)鍵的一步，立體像對(duì)之間的差異是由攝像時(shí)觀察點(diǎn)的不同引起的。本實(shí)驗(yàn)的目標(biāo)物體為奶牛乳頭（仿真），其形狀不規(guī)則，故采用關(guān)鍵點(diǎn)匹配法，選擇圖像的邊緣凸點(diǎn)作為關(guān)鍵點(diǎn)。具體做法是利用上一步驟中圖像分割后獲得的二值圖像，計(jì)算其邊緣凸點(diǎn)作為關(guān)鍵點(diǎn)實(shí)現(xiàn)立體匹配。

2.2.4 三維重建

為了評(píng)測(cè)雙目立體視覺系統(tǒng)的功能和精度，對(duì)棋盤格中的角點(diǎn)進(jìn)行三維重建。實(shí)驗(yàn)中，相機(jī)保持工作位角度，棋盤位置做相應(yīng)調(diào)整。利用亞像素級(jí)別的角點(diǎn)檢測(cè)方法得到圖像中的角點(diǎn)坐標(biāo)，對(duì)棋盤格中的角點(diǎn)進(jìn)行三維重建，得到35個(gè)三維重建坐標(biāo)。將三維重建坐標(biāo)與實(shí)際坐標(biāo)比較，利用（1）式計(jì)算測(cè)量平均絕對(duì)誤差，計(jì)算結(jié)果為0.9684mm。從結(jié)果上來看，此方法可以比較精確地實(shí)現(xiàn)乳頭末端三維測(cè)距。

2.2.5 自動(dòng)奶杯套杯

將雙目立體視覺系統(tǒng)對(duì)仿真乳頭末端識(shí)別和定位的結(jié)果作為依據(jù)，控制滑臺(tái)模組的相應(yīng)運(yùn)動(dòng)，從而成功地實(shí)現(xiàn)了自動(dòng)奶杯套杯裝置對(duì)仿真乳頭的自動(dòng)奶杯套杯。自動(dòng)奶杯套杯裝置的工作流程為: 首先識(shí)別仿真乳頭，進(jìn)而進(jìn)行立體匹配，并對(duì)仿真乳頭實(shí)際位置進(jìn)行定位，根據(jù)定位結(jié)果，首先控制滑臺(tái)模組水平運(yùn)動(dòng)到仿真乳頭正下方，進(jìn)而控制滑臺(tái)模組進(jìn)行垂直向上運(yùn)動(dòng)，最終完成自動(dòng)奶杯套杯。實(shí)驗(yàn)中，滑臺(tái)模組三維結(jié)構(gòu)可成功地自動(dòng)奶杯套杯，實(shí)際套杯過程部分截圖如圖5所示。通過實(shí)際測(cè)量，該自動(dòng)奶杯套杯實(shí)驗(yàn)裝置定位誤差在1mm以內(nèi)。

圖5 實(shí)際套杯過程截圖

3 結(jié)束語(yǔ)

奶牛乳頭識(shí)別與定位是機(jī)器人擠奶非常關(guān)鍵的一個(gè)環(huán)節(jié)，也是智能擠奶機(jī)器人國(guó)產(chǎn)化必須突破的關(guān)鍵技術(shù)。基于奶牛生物學(xué)特性，探究快速、精確、實(shí)時(shí)的乳頭三維空間定位及姿態(tài)角度檢測(cè)方法十分緊迫。本文設(shè)計(jì)的基于雙目立體視覺的自動(dòng)奶杯套杯實(shí)驗(yàn)裝置，通過滑臺(tái)模組三維結(jié)構(gòu)來實(shí)現(xiàn)運(yùn)動(dòng)范圍內(nèi)位置的變化，用雙目立體視覺系統(tǒng)來實(shí)現(xiàn)仿真乳頭的識(shí)別與定位，以雙目立體視覺系統(tǒng)對(duì)仿真乳頭末端識(shí)別和定位的結(jié)果為依據(jù)，控制滑臺(tái)模組的相應(yīng)運(yùn)動(dòng)，實(shí)現(xiàn)了自動(dòng)奶杯套杯裝置對(duì)仿真乳頭的自動(dòng)奶杯套杯。實(shí)驗(yàn)結(jié)果表明，基于雙目立體視覺的自動(dòng)奶杯套杯實(shí)驗(yàn)裝置，能夠成功進(jìn)行自動(dòng)奶杯套杯且定位誤差較小。需要指出的是，實(shí)際擠奶環(huán)境如奶廳光線、周圍物體以及奶牛站立姿態(tài)等較為復(fù)雜，同時(shí)還存在奶牛乳頭形態(tài)有差異、身體晃動(dòng)等情況，本文提出的自動(dòng)奶杯套杯新方法應(yīng)結(jié)合實(shí)際應(yīng)用場(chǎng)景進(jìn)一步深入研究。