基于本體與認(rèn)知經(jīng)驗(yàn)的農(nóng)業(yè)機(jī)器人視覺分類決策方法

熊俊濤 廖世盛 梁俊浩 韋婷婷 陳淑綿 鄭鎮(zhèn)輝

(華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院，廣州 510642)

0 引言

信息科技與農(nóng)業(yè)的深度融合使得農(nóng)業(yè)生產(chǎn)進(jìn)入網(wǎng)絡(luò)化、數(shù)字化、智能化的新階段[1]。農(nóng)業(yè)機(jī)器人是智慧農(nóng)業(yè)發(fā)展的重要方向，其智能化程度是應(yīng)對(duì)農(nóng)業(yè)人口老齡化的有效手段，而機(jī)器人在進(jìn)行對(duì)象眾多、操作復(fù)雜且需要與環(huán)境進(jìn)行交互的作業(yè)時(shí)，常常會(huì)碰到未知條件的工作任務(wù)，這要求機(jī)器人需具備一定的認(rèn)知決策能力以適應(yīng)不同對(duì)象的隨機(jī)性。如何提升機(jī)器人的認(rèn)知能力仍是當(dāng)前機(jī)器人研究的關(guān)鍵[2]?；谡J(rèn)知經(jīng)驗(yàn)是人在農(nóng)業(yè)作業(yè)過(guò)程進(jìn)行物品識(shí)別、行為動(dòng)作等決策操作的重要依據(jù)。因此，面對(duì)環(huán)境復(fù)雜多變的農(nóng)業(yè)作業(yè)過(guò)程，希望農(nóng)業(yè)機(jī)器人可以模仿人工進(jìn)行認(rèn)知計(jì)算與決策判斷，并能有邏輯地給出決策的依據(jù)與過(guò)程，賦予其認(rèn)知思考的能力，以促進(jìn)機(jī)器人的智能認(rèn)知決策水平。

機(jī)器人的視覺認(rèn)知是其進(jìn)行作業(yè)操作的基礎(chǔ)能力。由于作業(yè)對(duì)象與作業(yè)環(huán)境的特殊性，目前基于認(rèn)知經(jīng)驗(yàn)知識(shí)進(jìn)行農(nóng)業(yè)機(jī)器人視覺決策分類的研究?jī)?nèi)容較少，當(dāng)下主要是簡(jiǎn)單利用深度學(xué)習(xí)方法對(duì)圖像進(jìn)行特征提取。如MARANI等[3]基于AlexNet網(wǎng)絡(luò)完成葡萄串的分割識(shí)別；KANG等[4]使用殘差神經(jīng)網(wǎng)絡(luò)對(duì)蘋果果實(shí)進(jìn)行檢測(cè)識(shí)別；孟慶寬等[5]基于輕量二階段檢測(cè)模型實(shí)現(xiàn)多類蔬菜幼苗識(shí)別；熊俊濤等[6]基于改進(jìn)YOLO v3網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器人夜間環(huán)境的柑橘識(shí)別。雖然相關(guān)方法能在大數(shù)據(jù)驅(qū)動(dòng)下令機(jī)器進(jìn)行有效學(xué)習(xí)，但訓(xùn)練數(shù)據(jù)量不足或過(guò)多則會(huì)導(dǎo)致模型出現(xiàn)欠擬合、過(guò)擬合等問題[7]，并且方法技術(shù)的能力拓展性和共享性不足，人賦予機(jī)器相關(guān)經(jīng)驗(yàn)知識(shí)的過(guò)程也十分復(fù)雜，機(jī)器進(jìn)行決策過(guò)程的邏輯性和交互性有待提高。

針對(duì)上述不足，面向農(nóng)業(yè)機(jī)器人實(shí)現(xiàn)認(rèn)知智能化的智慧農(nóng)業(yè)發(fā)展需求，本文以機(jī)器人視覺認(rèn)知決策為研究?jī)?nèi)容，以多種類水果圖像的邏輯決策分類為對(duì)象，提出在計(jì)算機(jī)具有圖像屬性信息判斷能力基礎(chǔ)上，基于認(rèn)知經(jīng)驗(yàn)知識(shí)下的相關(guān)本體知識(shí)庫(kù)和推理規(guī)則，根據(jù)圖像中獲取的屬性信息，經(jīng)搜索推理完成水果圖像的分類決策任務(wù)。本文視覺分類決策方法主要基于本體技術(shù)與認(rèn)知經(jīng)驗(yàn)知識(shí)，實(shí)現(xiàn)機(jī)器人模仿人類認(rèn)知行為對(duì)視覺目標(biāo)進(jìn)行主動(dòng)認(rèn)知與推理決策。當(dāng)生產(chǎn)作業(yè)環(huán)境中存在多種類水果與物品時(shí)，機(jī)器人能實(shí)現(xiàn)水果的視覺分類感知和決策知識(shí)推理。

1 方法概述

1.1 方法背景與技術(shù)流程

基于人類對(duì)物體分類決策的邏輯思維，以及物體屬性在圖像中能表示出來(lái)的信息主要有顏色和形狀等，當(dāng)人對(duì)圖像中物體進(jìn)行決策學(xué)習(xí)時(shí)，會(huì)根據(jù)自己眼睛所看到的顏色和形狀進(jìn)行經(jīng)驗(yàn)學(xué)習(xí)并記憶。因此，當(dāng)已學(xué)習(xí)的物品在新圖像中重新出現(xiàn)，人仍能準(zhǔn)確對(duì)該物體進(jìn)行識(shí)別。

對(duì)于只能存儲(chǔ)和比較數(shù)字的計(jì)算機(jī)而言，要實(shí)現(xiàn)人類這種物體分類決策的邏輯思維主要存在以下困難：①如何對(duì)物體顏色、形狀這類難以量化的經(jīng)驗(yàn)特征進(jìn)行學(xué)習(xí)和記錄。②如何處理物體中多種非結(jié)構(gòu)化信息間的異構(gòu)性問題。③如何有效使用物體間可重復(fù)利用的經(jīng)驗(yàn)知識(shí)與屬性能力。

針對(duì)上述困難，本文提出使用不同統(tǒng)計(jì)分類方法針對(duì)顏色、形狀等不同非結(jié)構(gòu)化信息進(jìn)行模糊表示，讓計(jì)算機(jī)獲得學(xué)習(xí)與記錄經(jīng)驗(yàn)特征的能力，而后使用本體語(yǔ)言對(duì)物體、顏色、形狀等特征對(duì)象進(jìn)行知識(shí)描述，解決信息消融與知識(shí)共享問題。方法基于圖像中獲取的顏色屬性信息和形狀屬性信息，在物品視覺認(rèn)知庫(kù)中進(jìn)行搜索推理，進(jìn)而得到物品的分類決策結(jié)果。其流程如圖1所示。

圖1 方法流程

1.2 屬性特征學(xué)習(xí)方法

1.2.1顏色屬性特征學(xué)習(xí)方法

在對(duì)物體進(jìn)行識(shí)別尋找過(guò)程中，顏色是確定物體是否為目標(biāo)物的重要依據(jù)之一。同時(shí)，不同顏色還能代表物體的不同狀態(tài)，如不同顏色狀態(tài)下的柑橘、香蕉等水果，代表著水果的不同成熟期。因此，讓機(jī)器人掌握顏色屬性的特征學(xué)習(xí)能力，對(duì)其智能化水平的提升也有重要意義。

圖像在計(jì)算機(jī)下，顏色常常是以多個(gè)數(shù)字矩陣共同表示，如RGB顏色空間數(shù)字矩陣組、YUV顏色空間數(shù)字矩陣組等，給出的是定量的數(shù)字表示。而人眼通常是根據(jù)學(xué)習(xí)經(jīng)驗(yàn)進(jìn)行模糊的定性判斷，如紅色、淺紅色、深紅色、粉紅色等。

為將經(jīng)驗(yàn)下的模糊定性有效轉(zhuǎn)為計(jì)算時(shí)的準(zhǔn)確定量表示，基于圖像顏色是由位置上顏色空間數(shù)值決定，本文提出控制單一變量下的計(jì)數(shù)統(tǒng)計(jì)方法，利用連續(xù)的一定頻數(shù)區(qū)間來(lái)表示顏色的定性經(jīng)驗(yàn)。

首先，設(shè)目標(biāo)圖像尺寸為N×N，圖像在常用的RGB顏色空間表示下可以得到一個(gè)尺寸為N×N×3的三維數(shù)字矩陣A。而后，取出每個(gè)圖像位置點(diǎn)對(duì)應(yīng)的RGB值，按位置點(diǎn)從左至右、從上至下的順序，將三維數(shù)字矩陣A轉(zhuǎn)換成為(N×N)×3的二維數(shù)字矩陣T，其中每行矩陣元素表示圖像一個(gè)位置點(diǎn)的RGB值。之后，根據(jù)數(shù)字矩陣的尺寸以及目標(biāo)物顏色情況，依據(jù)人工經(jīng)驗(yàn)初步設(shè)定閾值Z，先對(duì)R分量的數(shù)字列進(jìn)行計(jì)數(shù)篩選，將計(jì)數(shù)值大于Z的連續(xù)范圍視為顏色的R分量定量表示區(qū)間。而后，在滿足R分量表示區(qū)間的各位置點(diǎn)上，計(jì)數(shù)篩選獲得G分量表示區(qū)間，并在共同滿足R、G分量表示區(qū)間的各位置點(diǎn)上，同理計(jì)數(shù)篩選獲得B分量表示區(qū)間，進(jìn)而初步得到經(jīng)驗(yàn)顏色的RGB定量表示區(qū)間。最后，經(jīng)一定數(shù)量基礎(chǔ)圖像測(cè)試后，修正的表示區(qū)間即為經(jīng)驗(yàn)顏色的定量表示。其流程如圖2所示。

圖2 顏色屬性特征學(xué)習(xí)流程圖

1.2.2形狀屬性特征學(xué)習(xí)方法

物體形狀屬性由于不會(huì)受到光照、顏色等狀態(tài)量變化而產(chǎn)生變化，被研究者視為比較穩(wěn)定的屬性特征。計(jì)算機(jī)對(duì)物品形狀屬性的學(xué)習(xí)，通常是選用機(jī)器學(xué)習(xí)分類器進(jìn)行形狀分類，在提取出形狀特征后，通過(guò)選取訓(xùn)練樣本，訓(xùn)練分類器，最終可以得到有效的模型，完成形狀分類識(shí)別[8]。

支持向量機(jī)(Support vector machine，SVM)是現(xiàn)有研究中常用來(lái)進(jìn)行二維形狀分類的分類器之一。它以線性分類器為基礎(chǔ)，通過(guò)引入最優(yōu)化理論、結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則和核函數(shù)等演化而成[9]。SVM的基本思想可以概括為：通過(guò)定義適當(dāng)內(nèi)積函數(shù)來(lái)進(jìn)行非線性變換，從而將輸入空間變換到高維空間，進(jìn)而在高維新空間中求取最優(yōu)的線性分類面，完成分類任務(wù)[10]。

1.3 本體技術(shù)概述

本體的概念最初是在哲學(xué)領(lǐng)域提出的，旨在抽象地對(duì)客觀現(xiàn)實(shí)進(jìn)行說(shuō)明和解釋[11]，是一種通用、被廣泛認(rèn)可的知識(shí)表征方法，其具有共享性和可拓展性等特點(diǎn)[12]?；诒倔w語(yǔ)言描述建立的知識(shí)庫(kù)，能夠讓機(jī)器人通過(guò)本地網(wǎng)絡(luò)快速獲取知識(shí)庫(kù)中的知識(shí)信息[13]。目前本體技術(shù)已經(jīng)廣泛地應(yīng)用于上下文感知[14-15]、環(huán)境建模[16-18]、任務(wù)決策[19-20]和資源整合[21-23]等方面。

1.3.1本體定義與描述語(yǔ)言

本體(Ontology)是一種對(duì)知識(shí)進(jìn)行集成和建模的工具[24]。關(guān)于本體定義目前普遍認(rèn)同的是：Ontology是共享概念模型明確的形式化規(guī)范說(shuō)明[25]。在本體語(yǔ)言的描述中，可以將知識(shí)庫(kù)視為一個(gè)對(duì)象本體，物品、形狀、顏色等可以作為描述資源。

本體的描述語(yǔ)言主要是通過(guò)三元組的形式存儲(chǔ)內(nèi)容，將知識(shí)劃分為主語(yǔ)、謂語(yǔ)、賓語(yǔ)進(jìn)行內(nèi)容儲(chǔ)存與查詢，它的語(yǔ)言格式有多種，如網(wǎng)絡(luò)本體語(yǔ)言(Web ontology language，OWL)、可擴(kuò)展標(biāo)記語(yǔ)言(Extensible markup language，XML)、資源描述框架(Resource description framework，RDF)等，目前使用較為廣泛的是OWL[26]。

OWL主要基于已有的XML、RDF等標(biāo)準(zhǔn)形式語(yǔ)言，通過(guò)添加大量基于描述邏輯的語(yǔ)義，來(lái)描述和構(gòu)建各種本體。與XML和RDF等語(yǔ)言相比，OWL語(yǔ)言在表達(dá)語(yǔ)義和目的方面具有更強(qiáng)大的能力[27]。

1.3.2本體優(yōu)勢(shì)

本體在知識(shí)管理與知識(shí)組織的優(yōu)勢(shì)主要有：首先，本體描述語(yǔ)言可以使邏輯表達(dá)語(yǔ)言更加自然化，并基于規(guī)則推理能促進(jìn)隱性知識(shí)的顯性化；其次，本體技術(shù)可以集成來(lái)自作業(yè)環(huán)境中的異構(gòu)數(shù)據(jù)，消除不同信息間的異構(gòu)性，從而為環(huán)境空間中的異構(gòu)信息提供統(tǒng)一的知識(shí)化表示平臺(tái)，是實(shí)現(xiàn)知識(shí)共享和重用的一種主要方法；最后，領(lǐng)域本體能夠描述某個(gè)特定領(lǐng)域內(nèi)的基本概念、結(jié)構(gòu)關(guān)系、實(shí)體活動(dòng)原理等，構(gòu)建的語(yǔ)義模型可以為用戶進(jìn)行個(gè)性化、智能化服務(wù)提供基礎(chǔ)[28]。

1.3.3本體建立與編輯工具

Protégé軟件主要用于語(yǔ)義網(wǎng)中本體的構(gòu)建，是語(yǔ)義網(wǎng)中本體構(gòu)建的核心開發(fā)工具[29]。它提供了本體概念類、關(guān)系、屬性和實(shí)例的構(gòu)建，并且屏蔽了具體的本體描述語(yǔ)言，用戶只需在概念層次上進(jìn)行領(lǐng)域本體模型的構(gòu)建。用戶可以根據(jù)具體應(yīng)用領(lǐng)域的知識(shí)結(jié)構(gòu)通過(guò)定義Class(類)、表述Class之間關(guān)系的Object Properties(對(duì)象屬性)以及向Class中填充Instance(實(shí)例)來(lái)構(gòu)建本體。

本文在物品屬性特征學(xué)習(xí)的基礎(chǔ)上，將機(jī)器人作為認(rèn)知本體，構(gòu)建物品、形狀、顏色3個(gè)子類，并搭建物品與形狀、物品與顏色之間的類間謂語(yǔ)關(guān)系，如圖3所示。通過(guò)類內(nèi)實(shí)例補(bǔ)充和實(shí)例與實(shí)例間的謂語(yǔ)關(guān)系聯(lián)系，使機(jī)器人擁有物品決策分類的內(nèi)容與邏輯基礎(chǔ)，進(jìn)而當(dāng)獲得物品相關(guān)賓語(yǔ)信息即顏色與形狀信息后，可以根據(jù)相應(yīng)關(guān)系獲得物品的決策預(yù)測(cè)。

圖3 決策本體庫(kù)構(gòu)建示意圖

1.3.4本體知識(shí)查詢方法

SPARQL是基于圖模式匹配的一種查詢語(yǔ)言方法。三元組模式與RDF三元組類似，是最簡(jiǎn)單的圖模式，也是組成其他圖模式的基礎(chǔ)。在三元組模式中，subject、predict、object均可用前綴為“?”的變量即查詢對(duì)象替換。典型的SPARQL查詢語(yǔ)句由SELECT、FROM、WHERE組成，此外還可包含OPTIONAL、FILTER、ORDER BY、LIMIT、OFFSET等部分。形如：SELECT ?aname WHERE{?a foaf:knows Lily.?a foaf:name ?aname.}。

本文為表述方便在后面將以三元組形式進(jìn)行描述，形如〈?a，has_shape，長(zhǎng)條形〉，表示搜索獲取形狀為長(zhǎng)條形的實(shí)體。

2 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證方法的可行性，實(shí)現(xiàn)基于屬性學(xué)習(xí)與本體知識(shí)庫(kù)的圖像分類決策。面向多種類水果自動(dòng)化分揀流水線背景環(huán)境，本文從Fruit360數(shù)據(jù)集中篩選出櫻桃、葡萄、香蕉、黃桃等水果圖像，在構(gòu)建圖像環(huán)境下櫻桃、葡萄、香蕉等水果的本體視覺知識(shí)庫(kù)與搜索推理規(guī)則的基礎(chǔ)上，選取部分圖像作為樣本數(shù)據(jù)，令計(jì)算機(jī)獲得數(shù)據(jù)集下的顏色和形狀判別能力，再經(jīng)知識(shí)庫(kù)搜索推理獲得圖像的分類決策。

2.1 數(shù)據(jù)集獲取

Fruit360數(shù)據(jù)集由HOREA等建立，截至2020年5月18日數(shù)據(jù)集內(nèi)包含有131種水果和蔬菜的90 483幅圖像，并不斷更新。其中的圖像是水果按一定速率旋轉(zhuǎn)錄制截圖并處理后獲得，可以在很大程度上降低圖像數(shù)據(jù)集因燈光環(huán)境和拍攝條件等變化帶來(lái)的影響。此外，數(shù)據(jù)集中圖像背景簡(jiǎn)單，在一定程度上能較好地模擬機(jī)器對(duì)水果識(shí)別分類的情景。因此，選用Fruit360數(shù)據(jù)集中櫻桃、葡萄、香蕉、黃桃等水果圖像作為實(shí)驗(yàn)所用數(shù)據(jù)集，如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

2.2 視覺知識(shí)庫(kù)搭建

基于1.3節(jié)的基本理論，在Protégé 5.5工具環(huán)境下以機(jī)器人視覺認(rèn)知為本體，構(gòu)建水果、顏色、屬性3個(gè)類，并在水果與顏色、水果與形狀間分別添加類間關(guān)系has_color、has_shape，并在水果類下添加實(shí)例：櫻桃、葡萄、香蕉，顏色類下添加實(shí)例：紅色、青色、黃色，形狀類下添加實(shí)例：圓形、長(zhǎng)條形。隨后，逐一添加實(shí)例間公理，其三元組格式為〈櫻桃，has_color，紅色〉、〈櫻桃，has_shape，圓形〉、〈葡萄，has_color，青色〉、〈葡萄，has_shape，圓形〉、〈香蕉，has_color，黃色〉、〈香蕉，has_shape，長(zhǎng)條形〉。如圖4所示。

圖4 水果視覺知識(shí)庫(kù)

2.3 知識(shí)庫(kù)搜索規(guī)則設(shè)定

Protégé構(gòu)建好的本體知識(shí)庫(kù)是以RDF的標(biāo)準(zhǔn)格式存儲(chǔ)為OWL文件。通過(guò)使用Python中rdflib功能包對(duì)本體知識(shí)庫(kù)文件進(jìn)行解析，并基于已知條件使用SPARQL查詢語(yǔ)言在知識(shí)庫(kù)內(nèi)查詢。但為更有效利用知識(shí)庫(kù)內(nèi)知識(shí)與分類方法的邏輯可依性，設(shè)定搜索規(guī)則如下。

假設(shè)計(jì)算機(jī)獲得X水果圖像的顏色為C，形狀為S。即在知識(shí)庫(kù)中輸入顏色C、形狀S，經(jīng)搜索輸出水果X。首先，以顏色C、形狀S為共同條件搜索：〈?fruit，has_color，C〉&〈?fruit，has_shape，S〉，得到滿足條件的水果數(shù)N1及搜索結(jié)果F1={f1,f2,…,fN1}，若水果數(shù)N1=1，即可判斷F1為水果X，輸出：“水果為F1”。若N1>1，則說(shuō)明在認(rèn)知庫(kù)中存在同一顏色和形狀的不同水果，需再加入屬性進(jìn)行判斷，輸出“水果可能為：F1，需添加屬性判斷”。

若N1<1，則說(shuō)明認(rèn)知庫(kù)中并不存在完全符合條件的水果，或出現(xiàn)屬性判別出錯(cuò)導(dǎo)致無(wú)法得出結(jié)果，輸出“未找到完全匹配水果，目標(biāo)水果顏色為C，形狀為S”，通過(guò)反饋，可找到為什么系統(tǒng)預(yù)判錯(cuò)誤的原因。并對(duì)顏色C與形狀S單獨(dú)搜索：〈?fruit，has_color，C〉，得到顏色搜索下的水果數(shù)N2和搜索結(jié)果F2={f1,f2,…,fN2}；〈?fruit，has_shape，S〉，得到形狀搜索下的水果數(shù)N3和搜索結(jié)果F3={f1,f2,…,fN3}。若N2≥1，N3≥1，則輸出“根據(jù)顏色水果可能為：F2；根據(jù)形狀水果可能為：F3”；若N2≥1，N3=0，則輸出“根據(jù)顏色水果可能為：F2”；若N2=0，N3≥1，則輸出“根據(jù)形狀水果可能為：F3”；若N2=0，N3=0，則輸出“未找到對(duì)應(yīng)水果”，需對(duì)知識(shí)庫(kù)進(jìn)行添加。其流程如圖5所示。

圖5 語(yǔ)義搜索流程圖

2.4 顏色屬性特征學(xué)習(xí)

基于人的先驗(yàn)認(rèn)知經(jīng)驗(yàn)，將水果顏色簡(jiǎn)單分為：紅色、青色、黃色3種。同時(shí)獲取櫻桃、葡萄、香蕉3種水果數(shù)據(jù)集圖像中的30幅圖像作為顏色屬性特征學(xué)習(xí)的訓(xùn)練集與測(cè)試集。

基于1.2.1節(jié)的方法與理論基礎(chǔ)，在3種顏色下各隨機(jī)挑選一幅圖像進(jìn)行RGB分量讀取與統(tǒng)計(jì)，初步獲得能表示該顏色的RGB分量范圍。以紅色為例，其顏色屬性特征學(xué)習(xí)步驟如下：

(1)隨機(jī)選取一幅櫻桃圖像，而后基于Python中cv2庫(kù)中的imread函數(shù)獲取得到圖像的BGR顏色分量矩陣，并通過(guò)矩陣數(shù)組操作，將其由100×100×3數(shù)字矩陣按從左至右、從上至下的順序，對(duì)應(yīng)變成10 000×3數(shù)字矩陣，而后以10 000×3的數(shù)字矩陣形式將其導(dǎo)出至Excel文檔中。

(2)使用計(jì)數(shù)功能選項(xiàng)，對(duì)B分量下0～255元素值進(jìn)行統(tǒng)計(jì)計(jì)數(shù)，初步嘗試以平均值39(10 000÷256)為頻數(shù)作為分割臨界值，發(fā)現(xiàn)區(qū)間[0，64]內(nèi)分布的元素值滿足頻數(shù)要求，因此，初步將該區(qū)間作為紅色中B分量的表示區(qū)間，并基于篩選得到的6 669個(gè)位置點(diǎn)及其對(duì)應(yīng)的G、R分量值進(jìn)行下一步驟。

(3)對(duì)這6 669個(gè)位置點(diǎn)的G分量值進(jìn)行計(jì)數(shù)統(tǒng)計(jì)，仍嘗試以平均值39為頻數(shù)作為分割臨界值，得到區(qū)間[0，41]的元素滿足條件，但發(fā)現(xiàn)元素42的計(jì)數(shù)為38，元素43為27，38離平均值較近且與下一元素統(tǒng)計(jì)值較遠(yuǎn)，因此將G分量表示范圍動(dòng)態(tài)調(diào)整為[0，42]，得到6 466個(gè)位置點(diǎn)及其對(duì)應(yīng)的R分量值滿足篩選條件進(jìn)行下一步驟。

(4)對(duì)滿足B、G分量篩選條件的6 466個(gè)位置點(diǎn)進(jìn)行R分量統(tǒng)計(jì)計(jì)數(shù)，同理得到，該分量滿足臨界條件的元素值區(qū)間范圍為[39，125]。

綜上，可初步得到紅色區(qū)間表示為B∈[0，64]，G∈[0，42]，R∈[39，125]。同理，可對(duì)葡萄、香蕉2種水果的單幅圖像進(jìn)行上述操作，初步得到青色區(qū)間表示為B∈[17，102]，G∈[63，130]，R∈[59，119]，黃色區(qū)間表示為B∈[0，114]，G∈[154，200]，R∈[157，208]。

同時(shí)，設(shè)定圖像中符合某一顏色區(qū)間的計(jì)數(shù)值最大，則判定該顏色為圖像主要顏色。即將圖像每一位置RGB分量值與各顏色表示區(qū)間進(jìn)行比較后，得到圖像滿足各顏色表示區(qū)間的統(tǒng)計(jì)計(jì)數(shù)值分別為R1、B1、Y1，記D=max{R1，B1，Y1}，D表示R1、B1、Y1中計(jì)數(shù)值最大的變量，其所表示的顏色即為圖像物品主要顏色。其流程如圖6所示。

圖6 顏色屬性獲取流程圖

而后，對(duì)3種水果各使用30幅圖像進(jìn)行測(cè)試，根據(jù)其顏色區(qū)間的統(tǒng)計(jì)情況及最終判斷結(jié)果，對(duì)3種顏色表示區(qū)間進(jìn)行了微調(diào)，最終確定紅色區(qū)間表示為B∈[0，64]，G∈[0，47]，R∈[20，152]，青色區(qū)間表示為B∈[17，102]，G∈[63，130]，R∈[59，119]，黃色區(qū)間表示為B∈[0，114]，G∈[92，200]，R∈[100，208]。經(jīng)調(diào)整該區(qū)間表示，測(cè)試集下各顏色的識(shí)別準(zhǔn)確率均為100%，滿足實(shí)驗(yàn)所需能力要求。

2.5 形狀屬性特征學(xué)習(xí)

結(jié)合2.2節(jié)所構(gòu)建的水果視覺知識(shí)庫(kù)，將水果形狀簡(jiǎn)單分為圓形和長(zhǎng)條形?；?.2.2節(jié)理論背景，由于水果形狀特征差異明顯，線性核具有求解速度快、可解釋性強(qiáng)等特點(diǎn)。所以，基于Python中sklearn模塊的SVM模型，以1為懲罰項(xiàng)系數(shù)，linear為核函數(shù)使用SVM分類器對(duì)水果形狀進(jìn)行分類學(xué)習(xí)。

為消除顏色對(duì)形狀分類的影響，先將圖像進(jìn)行二值化，以獲得水果單純的形狀圖像。并隨機(jī)選取二值化后的香蕉、葡萄圖像各5幅，保存至對(duì)應(yīng)文件夾中，作為訓(xùn)練集。之后，隨機(jī)選擇葡萄、櫻桃、香蕉3種水果各30幅圖像以驗(yàn)證學(xué)習(xí)效果，其分類準(zhǔn)確率可達(dá)100%，表明形狀屬性學(xué)習(xí)成功有效。具體步驟為：①隨機(jī)選取葡萄、香蕉圖像各5幅，將其二值化后，保存至對(duì)應(yīng)訓(xùn)練集文件夾中。②讀取圖像，并分別對(duì)圖像進(jìn)行灰度直方圖特征提取和SIFT特征提取，并將特征提取處理后的圖像拉伸為一維向量。③將訓(xùn)練集代入 SVM 算法中進(jìn)行訓(xùn)練生成一個(gè)模型，并形成可進(jìn)行分類預(yù)測(cè)的功能函數(shù)。④批量讀取測(cè)試集圖像，經(jīng)二值化后，進(jìn)入步驟③中功能函數(shù)得到分類預(yù)測(cè)結(jié)果。⑤將分類結(jié)果與實(shí)際值進(jìn)行比對(duì)，得到其形狀分類準(zhǔn)確率為100%。表明實(shí)驗(yàn)方法準(zhǔn)確、有效。

2.6 分類方法系統(tǒng)集成及實(shí)驗(yàn)測(cè)試

基于上述實(shí)驗(yàn)準(zhǔn)備與測(cè)試，將各模塊功能進(jìn)行集成整合，其整體流程如圖7所示。

圖7 方法技術(shù)流程圖

隨后，對(duì)實(shí)驗(yàn)數(shù)據(jù)集下所有圖像進(jìn)行分類測(cè)試，結(jié)果如表2所示。

表2 第1次圖像分類測(cè)試結(jié)果

將香蕉未能識(shí)別成功的圖像進(jìn)行決策過(guò)程顯示，發(fā)現(xiàn)有93幅圖像被識(shí)別判斷為“青色、長(zhǎng)條形”，26幅圖像被識(shí)別判斷為“黃色、圓形”，28幅圖像被識(shí)別判斷為“青色、圓形”。

經(jīng)圖像溯源可知，部分圖像中香蕉未成熟，其中青色區(qū)域比黃色區(qū)域多，故被識(shí)別判斷為“青色”，而有些香蕉圖像因拍攝角度問題，經(jīng)二值化后圖像整體呈類圓形。因此，根據(jù)溯源結(jié)果與客觀事實(shí)，在知識(shí)庫(kù)內(nèi)添加補(bǔ)充知識(shí)〈未成熟香蕉，has_color，青色〉、〈未成熟香蕉，has_shape，長(zhǎng)條形〉。對(duì)于形狀被識(shí)別為圓形的圖像，則認(rèn)定為異常數(shù)據(jù)值。最后，進(jìn)行二次實(shí)驗(yàn)，其結(jié)果如表3所示。

表3 第2次圖像分類測(cè)試結(jié)果

2.7 經(jīng)驗(yàn)?zāi)繕?biāo)測(cè)試

基于上述實(shí)驗(yàn)可知，本文方法對(duì)經(jīng)過(guò)基本屬性訓(xùn)練的水果圖像有優(yōu)異的決策分類能力?；诜椒▽傩阅芰Φ目蛇w移性和知識(shí)庫(kù)內(nèi)容的可拓展性，在水果類下加入一個(gè)新實(shí)例——黃桃，用來(lái)測(cè)試方法在無(wú)樣本訓(xùn)練下的決策分類能力。

根據(jù)原知識(shí)庫(kù)與圖像數(shù)據(jù)中顏色和形狀情況，可知認(rèn)知經(jīng)驗(yàn)下黃桃圖像更傾向圓形，且顏色應(yīng)為黃色。因此，在本體知識(shí)庫(kù)的水果類中添加黃桃這一實(shí)例，并創(chuàng)建其與黃色實(shí)例和圓形實(shí)例間的屬性連接，更新的知識(shí)庫(kù)如圖8所示。

圖8 新知識(shí)庫(kù)

之后，用實(shí)驗(yàn)數(shù)據(jù)集中挑選的984幅黃桃圖像進(jìn)行決策分類測(cè)試，結(jié)果顯示其準(zhǔn)確分類的圖像數(shù)為955幅，分類準(zhǔn)確率為97.05%。其中29幅圖像被錯(cuò)誤判別為葡萄，根據(jù)葡萄定義的顏色和形狀為青色、圓形，返回錯(cuò)誤判別圖像可知，圖像部分呈不成熟的青色狀，導(dǎo)致判別錯(cuò)誤，若要提高分類準(zhǔn)確率，則應(yīng)提高顏色屬性的判別能力。

由此可以說(shuō)明，基于一定條件，在本文方法下，人的先驗(yàn)知識(shí)可以很好地輔助計(jì)算機(jī)對(duì)未知圖像樣本進(jìn)行決策分類，進(jìn)一步驗(yàn)證了本文方法設(shè)想的可拓展性和先進(jìn)性。

2.8 實(shí)驗(yàn)結(jié)果分析

基于上述實(shí)驗(yàn)結(jié)果可知，本文方法下櫻桃、葡萄和香蕉等經(jīng)過(guò)屬性訓(xùn)練的水果圖像數(shù)據(jù)集，初次分類準(zhǔn)確率分別為100%、100%、81.76%，經(jīng)決策過(guò)程溯源，知識(shí)庫(kù)內(nèi)添加相關(guān)知識(shí)后，第2次分類準(zhǔn)確率分別為100%、100%、93.30%。在此基礎(chǔ)上，對(duì)于未經(jīng)訓(xùn)練的黃桃圖像數(shù)據(jù)集，在認(rèn)知經(jīng)驗(yàn)指導(dǎo)下，僅擴(kuò)充知識(shí)庫(kù)知識(shí)，其分類準(zhǔn)確率為97.05%。表明本文方法輔助計(jì)算機(jī)進(jìn)行分類決策的效果十分優(yōu)異，說(shuō)明一定環(huán)境下本文方法可以較好地將人的認(rèn)知經(jīng)驗(yàn)傳輸給計(jì)算機(jī)，并能被計(jì)算機(jī)所利用。其中邏輯化的處理過(guò)程，也可以搭建良好的人機(jī)溝通平臺(tái)，讓計(jì)算機(jī)在較少數(shù)據(jù)樣本下完成學(xué)習(xí)任務(wù)，并在出現(xiàn)決策錯(cuò)誤時(shí)可以通過(guò)溯源找到問題原因，通過(guò)反饋找到解決問題的方法。

2.9 討論

基于實(shí)驗(yàn)過(guò)程與結(jié)果可以發(fā)現(xiàn)，櫻桃和葡萄的精準(zhǔn)分類，不僅源于其形狀、顏色相對(duì)固定，在屬性能力訓(xùn)練與驗(yàn)證時(shí)進(jìn)行了針對(duì)性學(xué)習(xí)也是其分類準(zhǔn)確率高的因素之一。同時(shí)，當(dāng)前知識(shí)庫(kù)內(nèi)容較少，本體結(jié)構(gòu)相對(duì)簡(jiǎn)單也是良好實(shí)驗(yàn)結(jié)果的部分原因。

因此，針對(duì)對(duì)象形狀、顏色等屬性或受生長(zhǎng)環(huán)境影響而不穩(wěn)定的問題，可在認(rèn)知經(jīng)驗(yàn)輔助判斷下，基于決策反饋結(jié)果對(duì)錯(cuò)誤決策樣本情況，在機(jī)器人進(jìn)行屬性特征學(xué)習(xí)時(shí)進(jìn)行屬性的模糊表示。此外，當(dāng)面向豐富的知識(shí)庫(kù)知識(shí)與復(fù)雜的本體結(jié)構(gòu)時(shí)，可在提升屬性學(xué)習(xí)方法魯棒性情況下，充分利用本體技術(shù)的可拓展性，基于條件添加可學(xué)習(xí)的屬性特征，如圖像信息條件下添加紋理、面積等特征，機(jī)器實(shí)物操作信息條件下添加對(duì)象硬度、三維體積等特征。通過(guò)多屬性信息情況對(duì)對(duì)象間的差異進(jìn)行知識(shí)描述，并使用語(yǔ)義網(wǎng)絡(luò)規(guī)則語(yǔ)言等規(guī)則語(yǔ)言對(duì)復(fù)雜本體結(jié)構(gòu)進(jìn)行知識(shí)的調(diào)用推理。

3 結(jié)論

(1)基于認(rèn)知經(jīng)驗(yàn)，使用Protégé等工具構(gòu)建水果識(shí)別分類的專業(yè)知識(shí)庫(kù)，結(jié)合統(tǒng)計(jì)計(jì)數(shù)和SVM方法實(shí)現(xiàn)了農(nóng)業(yè)機(jī)器人的圖像顏色和形狀屬性的學(xué)習(xí)和判斷的認(rèn)知。

(2)設(shè)計(jì)了葡萄、香蕉和櫻桃的圖像分類實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果顯示，當(dāng)前數(shù)據(jù)下葡萄與櫻桃識(shí)別準(zhǔn)確率為100%，香蕉識(shí)別準(zhǔn)確率為93.30%，表明基于機(jī)器人對(duì)圖像的屬性判斷能力和認(rèn)知經(jīng)驗(yàn)建立的本體知識(shí)庫(kù)，可以有效指導(dǎo)農(nóng)業(yè)機(jī)器人在小樣本環(huán)境下完成物品的分類決策任務(wù)。

(3)設(shè)計(jì)了黃桃圖像分類的認(rèn)知實(shí)驗(yàn)，其分類準(zhǔn)確率為97.05%，表明基于可共享的屬性判別能力，通過(guò)對(duì)本體知識(shí)庫(kù)的擴(kuò)充，可以在無(wú)目標(biāo)樣本圖像訓(xùn)練的條件下，實(shí)現(xiàn)農(nóng)業(yè)機(jī)器人分類決策能力的擴(kuò)展。