基于AR 的溫室智能控制系統(tǒng)設(shè)計(jì)

牛麗

（蘇州市職業(yè)大學(xué)計(jì)算機(jī)工程學(xué)院，蘇州 215104）

0 引言

我國(guó)是一個(gè)農(nóng)業(yè)大國(guó)，人口眾多。為滿足巨量人口對(duì)蔬菜、水果等農(nóng)產(chǎn)品在數(shù)量、質(zhì)量上提出的更高的要求，溫室大棚利用信息化、智能化和自動(dòng)化科學(xué)技術(shù)來(lái)提高農(nóng)業(yè)種植產(chǎn)量和效率成為解決這一問(wèn)題的優(yōu)選[1]，溫室是設(shè)置一個(gè)人為的氣象環(huán)境，創(chuàng)造一個(gè)適合作物生長(zhǎng)的條件，來(lái)滿足生物生長(zhǎng)對(duì)溫度等條件的滿足。溫室環(huán)境是由光照、溫度、濕度、土壤狀況等因素構(gòu)成的，溫室通過(guò)控制溫室環(huán)境，使其在不適宜作物生長(zhǎng)的季節(jié)進(jìn)行栽培，從而達(dá)到對(duì)作物調(diào)節(jié)產(chǎn)期、促進(jìn)生長(zhǎng)發(fā)育、防治病蟲害及提高產(chǎn)量的目的。為創(chuàng)造作物生長(zhǎng)所需的最佳環(huán)境條件，這類溫室控制系統(tǒng)基本上是利用傳感器對(duì)溫室內(nèi)的環(huán)境參數(shù)進(jìn)行監(jiān)測(cè)，獲取相關(guān)參數(shù)，根據(jù)這些參數(shù)按設(shè)定的程序給出相應(yīng)的反饋與操作，調(diào)節(jié)溫室環(huán)境參數(shù)[1-2]。控制系統(tǒng)并未對(duì)作物本身的生長(zhǎng)狀態(tài)進(jìn)行監(jiān)測(cè)，無(wú)法獲知給定的環(huán)境調(diào)節(jié)參數(shù)是否與植物當(dāng)前的生長(zhǎng)周期完全匹配，系統(tǒng)無(wú)法實(shí)時(shí)地、可視化地反映作物是否處于健康的生長(zhǎng)狀態(tài)。導(dǎo)致作物生產(chǎn)人員只能利用環(huán)境參數(shù)間接促進(jìn)作物生長(zhǎng)，或通過(guò)各種檢測(cè)設(shè)備對(duì)作物進(jìn)行檢測(cè)，利用較為專業(yè)的農(nóng)業(yè)知識(shí)對(duì)檢測(cè)數(shù)據(jù)進(jìn)行分析，獲知生長(zhǎng)狀態(tài)。為了實(shí)現(xiàn)溫室大棚控制系統(tǒng)對(duì)作物生長(zhǎng)狀態(tài)的有效監(jiān)控，農(nóng)作物生產(chǎn)人員與農(nóng)作物的生長(zhǎng)狀態(tài)進(jìn)行實(shí)時(shí)的可視化互動(dòng)，實(shí)現(xiàn)作物分析數(shù)據(jù)的可視化顯示，設(shè)計(jì)基于增強(qiáng)現(xiàn)實(shí)的溫室智能控制系統(tǒng)。

1 增強(qiáng)現(xiàn)實(shí)技術(shù)

增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）是利用計(jì)算機(jī)技術(shù)產(chǎn)生文本、圖形圖像、模型動(dòng)畫、聲音視頻等虛擬對(duì)象，并將這些虛擬對(duì)象與圖像采集設(shè)備中的現(xiàn)實(shí)世界相融合，疊加在指定位置或物體上，輔助用戶對(duì)真實(shí)世界的理解。為了實(shí)現(xiàn)虛擬對(duì)象與現(xiàn)實(shí)世界的場(chǎng)景信息精確地疊加、融合，AR 系統(tǒng)利用計(jì)算機(jī)分析大量的場(chǎng)景信息和定位數(shù)據(jù)，實(shí)現(xiàn)虛擬物體在真實(shí)場(chǎng)景中的注冊(cè)[3]。如圖1 為一種AR 技術(shù)的結(jié)構(gòu)示意圖。一般實(shí)現(xiàn)AR 具有以下步驟：

（1）圖像采集設(shè)備（例如相機(jī)）拍攝現(xiàn)實(shí)世界的場(chǎng)景信息，設(shè)備固定，或者移動(dòng)都可以。

圖1 一種AR技術(shù)的結(jié)構(gòu)示意圖

（2）圖形圖像模塊對(duì)現(xiàn)實(shí)世界的場(chǎng)景及圖像采集設(shè)備的位置信息進(jìn)行分析，生成相應(yīng)的虛擬對(duì)象信息，例如文本、圖形圖像、模型視頻等。

（3）圖像渲染模塊將現(xiàn)實(shí)世界的場(chǎng)景信息與虛擬對(duì)象信息進(jìn)行疊加、融合。

（4）顯示模塊將融合后的圖像、文本等信息進(jìn)行顯示，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)，還可以通過(guò)佩戴立體顯示眼鏡來(lái)增強(qiáng)用戶觀看效果。

2 利用AR技術(shù)的溫室控制系統(tǒng)的總體結(jié)構(gòu)設(shè)計(jì)

本系統(tǒng)根據(jù)溫室作物生長(zhǎng)溫度、濕度、土壤狀況、生長(zhǎng)狀況等實(shí)際需求出發(fā)，為了實(shí)現(xiàn)溫室較高程度的智能控制、棚內(nèi)作物生長(zhǎng)自助分析及作物生長(zhǎng)狀況數(shù)據(jù)的可視化，設(shè)計(jì)基于增強(qiáng)現(xiàn)實(shí)技術(shù)的溫室智能控制系統(tǒng)，系統(tǒng)總體結(jié)構(gòu)如圖2 所示。它包括圖像采集設(shè)備、微型投影儀、監(jiān)測(cè)溫室環(huán)境的傳感器、控制器、數(shù)據(jù)庫(kù)、人機(jī)接口、環(huán)境參數(shù)調(diào)節(jié)機(jī)構(gòu)等組成。

圖2 基于AR的溫室智能控制系統(tǒng)結(jié)構(gòu)圖

人機(jī)接口是實(shí)現(xiàn)系統(tǒng)與用戶之間信息輸入與輸出的交互接口；數(shù)據(jù)庫(kù)是該系統(tǒng)的重要組成部分，用來(lái)存儲(chǔ)溫室作物生長(zhǎng)問(wèn)題的特征信息與數(shù)據(jù)，為控制器判斷作物生長(zhǎng)情況提供必要的依據(jù)，以及控制系統(tǒng)運(yùn)行過(guò)程中產(chǎn)生的各種中間信息；控制器是系統(tǒng)的核心，利用傳感器信息，調(diào)用數(shù)據(jù)庫(kù)信息進(jìn)行綜合處理，輸出圖像信息及作物生長(zhǎng)調(diào)節(jié)策略，并控制環(huán)境參數(shù)調(diào)節(jié)機(jī)構(gòu)；監(jiān)測(cè)溫室環(huán)境的傳感器獲取溫室作物生長(zhǎng)的相關(guān)環(huán)境信息，被控制器獲取并作為判斷作物生長(zhǎng)狀況的參考信息；環(huán)境參數(shù)調(diào)節(jié)機(jī)構(gòu)根據(jù)控制器發(fā)出的信息啟動(dòng)相關(guān)執(zhí)行機(jī)構(gòu)，例如噴水、改變光照、通風(fēng)等；圖像采集設(shè)備與微型投影儀都與控制器相連，圖像采集設(shè)備獲取圖像信息并傳輸給控制器，經(jīng)控制器處理后，再輸出圖像信息，經(jīng)過(guò)渲染，通過(guò)微型投影儀實(shí)時(shí)輸出虛擬對(duì)象，虛擬對(duì)象與真實(shí)場(chǎng)景虛實(shí)融合，實(shí)現(xiàn)可視化的圖像、數(shù)據(jù)顯示功能，共同呈現(xiàn)給生產(chǎn)者。增強(qiáng)現(xiàn)實(shí)技術(shù)要求虛擬物體必須融合到真實(shí)世界的準(zhǔn)備位置，這樣才能實(shí)現(xiàn)虛擬對(duì)象與真實(shí)場(chǎng)景的準(zhǔn)確疊加，這個(gè)過(guò)程就是AR 系統(tǒng)的注冊(cè)。

2.1 注冊(cè)實(shí)現(xiàn)

注冊(cè)就是要確定虛擬對(duì)象在真實(shí)空間坐標(biāo)系中的位置，從而實(shí)現(xiàn)將虛擬對(duì)象實(shí)時(shí)地、準(zhǔn)確地在顯示器上顯示，完成真實(shí)環(huán)境與虛擬對(duì)象的結(jié)合，所以注冊(cè)的實(shí)現(xiàn)首先要解決的是確定世界、相機(jī)及圖像平面之間坐標(biāo)系的關(guān)系，坐標(biāo)系之間關(guān)系變換如圖3 所示。

圖3 坐標(biāo)系變換關(guān)系

點(diǎn) P 在世界坐標(biāo)系中的坐標(biāo)為（xw，yw，zw），在相機(jī)坐標(biāo)系中的坐標(biāo)為（xc，yc，zc），在圖像坐標(biāo)系中的坐標(biāo)為（u，v）。且使相機(jī)光心作為原點(diǎn)，光軸作為Zc 軸。相機(jī)坐標(biāo)系原點(diǎn)OC與圖像坐標(biāo)系原點(diǎn)O 間距離為相機(jī)間距f。從世界坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系屬于物體不會(huì)發(fā)生形變的剛體變換，只需要進(jìn)行旋轉(zhuǎn)和平移。相機(jī)坐標(biāo)系通過(guò)焦距對(duì)角矩陣和畸變系數(shù)轉(zhuǎn)換到圖像坐標(biāo)系，點(diǎn)P 從世界坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系由式（1）與（2）表示[3]：

式中：Zc為相機(jī)坐標(biāo)系下Z 軸分量，UP 為P 點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)矩陣，K 為機(jī)內(nèi)部參數(shù)矩陣，其中fx和fy 是以像素為單位的焦距參數(shù)，u0和v0為圖像物理坐標(biāo)系原點(diǎn)在圖像坐標(biāo)系中的坐標(biāo)；為像機(jī)外部參數(shù)矩陣，從世界坐標(biāo)系到相機(jī)坐標(biāo)系，物體運(yùn)動(dòng)涉及到旋轉(zhuǎn)和平移，繞著不同的坐標(biāo)軸旋轉(zhuǎn)不同的角度、平移不同的距離，得到相應(yīng)的旋轉(zhuǎn)參數(shù)r11…r33、平移矩陣t1…t3。因此，在給定物體在世界坐標(biāo)系及圖像坐標(biāo)系中的坐標(biāo)值計(jì)算得到進(jìn)行轉(zhuǎn)換坐標(biāo)系，使渲染生成得虛擬對(duì)象在現(xiàn)實(shí)場(chǎng)景中的正確位置進(jìn)行疊加結(jié)合，完成注冊(cè)。

2.2 控制策略

通過(guò)對(duì)棚內(nèi)環(huán)境參數(shù)及作物的圖像采集，利用相似圖像的匹配，將相機(jī)采集的圖像與數(shù)據(jù)庫(kù)中存儲(chǔ)的特征圖像進(jìn)行比對(duì)，找出與數(shù)據(jù)庫(kù)中相似度最高的圖片，再提取存儲(chǔ)在數(shù)據(jù)庫(kù)中相應(yīng)的特征信息，以評(píng)定目前農(nóng)作物的生長(zhǎng)狀態(tài)[4]。結(jié)合存儲(chǔ)的作物生長(zhǎng)階段的特征信息與監(jiān)測(cè)到當(dāng)前植物的生長(zhǎng)環(huán)境信息，系統(tǒng)給出作物生長(zhǎng)調(diào)節(jié)策略，使溫室環(huán)境與作物生長(zhǎng)相匹配，控制器同時(shí)將狀態(tài)數(shù)據(jù)及相應(yīng)的調(diào)節(jié)策略進(jìn)行圖像轉(zhuǎn)化，獲得虛擬顯示對(duì)象，結(jié)合真實(shí)場(chǎng)景將虛擬顯示對(duì)象直接顯示在AR 系統(tǒng)的顯示器上。此外，在需要時(shí)系統(tǒng)可借助AR 系統(tǒng)的圖像采集設(shè)備感知人體手勢(shì)[5]或者人機(jī)接口發(fā)出指令，通過(guò)控制器處理實(shí)現(xiàn)手動(dòng)控制系統(tǒng)的運(yùn)行。

控制策略是否正確取決于作物的圖像匹配的準(zhǔn)確性及數(shù)據(jù)庫(kù)中存儲(chǔ)的反映作物生長(zhǎng)狀況圖像的完整與豐富程度。為了便于圖像匹配，減少匹配時(shí)間，匹配過(guò)程的復(fù)雜度，增強(qiáng)系統(tǒng)的實(shí)時(shí)性，根據(jù)各作物生長(zhǎng)周期特征劃分為若干個(gè)生長(zhǎng)階段，例如黃瓜可以分為發(fā)芽期、幼苗期、初花期及結(jié)果期。每個(gè)階段采集作物生長(zhǎng)不良、正常的圖像作為樣本存儲(chǔ)在數(shù)據(jù)庫(kù)，同時(shí)存儲(chǔ)相應(yīng)圖像對(duì)應(yīng)的生長(zhǎng)狀況及生長(zhǎng)調(diào)節(jié)策略。系統(tǒng)采集圖像后，人機(jī)對(duì)話要求使用者選擇作物名稱后，顯現(xiàn)生長(zhǎng)階段劃分提示，再選擇生長(zhǎng)階段，系統(tǒng)直接與該作物該生長(zhǎng)階段下的圖像樣本進(jìn)行匹配，系統(tǒng)控制策略流程見(jiàn)圖4。

圖4 控制策略流程圖

為避免采集圖像時(shí)作物周圍環(huán)境的光照、拍攝角度、采集時(shí)振動(dòng)等因數(shù)的影響，采用當(dāng)前比較流行的圖像匹配算法——尺度不變特征轉(zhuǎn)換算法，即SIFT（Scale Invariant Feature Transform）算法。SIFT 通常被用于描述圖像的局部特征，它的實(shí)質(zhì)通過(guò)構(gòu)建尺度空間，進(jìn)行特征點(diǎn)查找，特征點(diǎn)方向計(jì)算，生成特征點(diǎn)描述符，再根據(jù)特征向量進(jìn)行匹配[6]。利用特征點(diǎn)匹配圖像的SIFT 算法過(guò)程如下：

（1）尺度空間構(gòu)建及特征點(diǎn)查找

在不同的尺度空間內(nèi)進(jìn)行特征點(diǎn)查找，高斯卷積核是尺度變換的唯一變換核，也是唯一的線性核[8]。這樣需要通過(guò)高斯模糊來(lái)實(shí)現(xiàn)尺度空間構(gòu)建，所以圖像I(x,y)的尺度空間通過(guò)尺度空間的高斯函數(shù)和圖像的卷積由式（3）與（4）表示：

確定特征點(diǎn)所在位置，需要建立高斯金字塔。對(duì)相鄰的兩層圖像相減做高斯差分，得到DoG（Differ-ence of Gauss）圖像，整個(gè)過(guò)程的變換函數(shù)由式（5）表示：

圖像空間極值點(diǎn)是該點(diǎn)與它同尺度的8 個(gè)相鄰點(diǎn)，以及上下相鄰尺度對(duì)應(yīng)的9×2 個(gè)點(diǎn)共26 個(gè)點(diǎn)中的最大值點(diǎn)[7]，DoG 尺度空間中的極值點(diǎn)就是特征點(diǎn)。

（2）特征點(diǎn)方向及特征點(diǎn)描述

根據(jù)特征點(diǎn)查找的結(jié)果，為每個(gè)特征點(diǎn)指定基準(zhǔn)方向，將坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)方向，保證旋轉(zhuǎn)不變性。應(yīng)用圖像梯度的方法求得特征點(diǎn)的穩(wěn)定方向，得到特征點(diǎn)的三個(gè)信息(x,y,σ,θ)，即位置、尺度、方向。圖像梯度模值、方向計(jì)算由式（6）與（7）表示：

式中：L 為特征點(diǎn)所在的尺度空間值。得到特征點(diǎn)信息后，鄰域像素的梯度和方向通過(guò)直方圖進(jìn)行統(tǒng)計(jì)，按每10 度一個(gè)區(qū)域?qū)?60 度直方圖統(tǒng)計(jì)范圍是依次劃分為36 個(gè)區(qū)域。梯度的模值可按照σ=1.5σ_oct的高斯分布加成，按尺度采樣的3σ原則，鄰域窗口半徑為 3×1.5σ_oct[8-9]。

在特征點(diǎn)尺度空間內(nèi)，將特征點(diǎn)的鄰域區(qū)域劃分為4×4 子區(qū)域，將每個(gè)子區(qū)域作為一個(gè)點(diǎn)計(jì)算每個(gè)點(diǎn)8個(gè)方向的梯度信息，共產(chǎn)生4×4×8=128 維向量表征，它就是特征點(diǎn)的描述符。具體步驟如下[8]：

①劃分的 16（4×4）個(gè)子區(qū)域均取 3σ_oct 像素，那么子區(qū)域邊長(zhǎng)為3σ_oct，計(jì)算時(shí)需使用雙線性插值法，所需圖像區(qū)域邊長(zhǎng)為（4+1）×3σ_oct，考慮到旋轉(zhuǎn)因素得影響，實(shí)際計(jì)算特征點(diǎn)描述符所需的圖像區(qū)域半徑由式（8）表示：

②將坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的方向，保證旋轉(zhuǎn)不變性。

③插值計(jì)算每個(gè)點(diǎn)八個(gè)方向的梯度，統(tǒng)計(jì)128 個(gè)梯度信息即為特征點(diǎn)的描述符，并對(duì)描述符進(jìn)行歸一化處理。

④按特征點(diǎn)的尺度對(duì)特征描述向量進(jìn)行排序。

（3）特征向量匹配與相似度

取圖像中的一個(gè)特征點(diǎn)，找出該點(diǎn)與另一幅圖像中歐氏距離最近的兩個(gè)點(diǎn)，如果最近的距離與次近的距離的比值小于設(shè)定閾值0.6[9]，那接受這一對(duì)匹配點(diǎn)，認(rèn)定特征點(diǎn)向量匹配成功。那么，相識(shí)度就是圖像中匹配成功的特征點(diǎn)數(shù)量與總特征點(diǎn)數(shù)量的百分比。

3 溫室智能控制系統(tǒng)實(shí)現(xiàn)

該溫室智能控制系統(tǒng)主界面由系統(tǒng)維護(hù)、信息管理、環(huán)境管理作物管理等部分組成，作物管理主要是對(duì)當(dāng)前種植作物的生長(zhǎng)信息、病蟲害狀況，生長(zhǎng)環(huán)境信息，及AR 采集的圖像信息及控制器給出的生長(zhǎng)調(diào)節(jié)策略的查看；信息管理主要是存儲(chǔ)與作物生長(zhǎng)相關(guān)的各種依據(jù)信息，主要用于控制器調(diào)用比對(duì)，給出調(diào)節(jié)策略，只有農(nóng)學(xué)專業(yè)人員才能提出并由系統(tǒng)管理員對(duì)數(shù)據(jù)進(jìn)行修改、添加、刪除等操作，普通用戶只能查詢。系統(tǒng)功能框圖如圖5 所示。

圖5 溫室智能控制系統(tǒng)功能框圖

為使該系通更加實(shí)用、便捷，采用集成了圖像采集設(shè)備、微型投影及顯示器與一體的AR 眼鏡，進(jìn)入溫室大棚，佩戴AR 眼鏡，當(dāng)需要獲知農(nóng)作物生長(zhǎng)狀態(tài)時(shí)，通過(guò)行走到靠近并使CCD 攝像頭靠近農(nóng)作物，攝像頭將自動(dòng)采集該作物的圖像（存儲(chǔ)在作物管理功能塊），并將圖像數(shù)據(jù)輸出給控制器，控制器對(duì)圖像進(jìn)行識(shí)別、分析處理（控制器調(diào)用信息管理功能塊內(nèi)依據(jù)信息），并將分析結(jié)果圖像轉(zhuǎn)化及圖形渲染后，利用微型投影儀將具有農(nóng)作物生長(zhǎng)狀態(tài)、溫室環(huán)境參數(shù)及環(huán)境參數(shù)調(diào)節(jié)策略的圖像信息投影在AR 眼鏡上（生長(zhǎng)信息、調(diào)節(jié)策略存儲(chǔ)在作物管理功能塊中的作物生長(zhǎng)信息中），將真實(shí)場(chǎng)景與虛擬顯示對(duì)象相互融合，共同呈現(xiàn)給生產(chǎn)者，實(shí)現(xiàn)可視化的數(shù)據(jù)顯示功能，圖6 為使用AR 眼鏡靠近作物結(jié)果期黃瓜的顯示圖，系統(tǒng)結(jié)果顯示準(zhǔn)確，使用方便，信息豐富，使用效果良好。

圖6 結(jié)果期黃瓜AR顯示圖

4 結(jié)語(yǔ)

通過(guò)增強(qiáng)現(xiàn)實(shí)技術(shù)應(yīng)用于農(nóng)業(yè)溫室智能控制系統(tǒng)，具有較高程度的智能控制和自助分析功能，能夠提供一系列可視化的分析數(shù)據(jù)，使用者不需要運(yùn)用較為專業(yè)的農(nóng)業(yè)知識(shí)對(duì)檢測(cè)數(shù)據(jù)進(jìn)行分析，即可獲知植物的生長(zhǎng)狀態(tài)，降低了系統(tǒng)對(duì)使用者自身文化素質(zhì)及農(nóng)作經(jīng)驗(yàn)的限制，同時(shí)也可避免人為判定過(guò)程中一些因素被忽略的可能性，另外，本系統(tǒng)需要以若干溫室大棚作物的圖像特征與信息作為數(shù)據(jù)庫(kù)的基礎(chǔ)，分析獲得需要改變的環(huán)境參數(shù)，作物生長(zhǎng)匹配策略，進(jìn)而采取相應(yīng)的措施，實(shí)現(xiàn)溫室有效地智能控制，由于系統(tǒng)利用圖像相似度識(shí)別，需要不斷地補(bǔ)充、更新相關(guān)的數(shù)據(jù)、特征圖像等信息，才能保證系統(tǒng)控制的智能性、準(zhǔn)確性。