便攜式農(nóng)業(yè)病蟲害圖像采集儀設(shè)計與應(yīng)用

張 超，王 正，姚 青，楊保軍，唐 健

（1.浙江理工大學(xué)信息學(xué)院，浙江杭州 310016；2.中國水稻研究所水稻生物學(xué)國家重點實驗室，浙江杭州 311400）

便攜式農(nóng)業(yè)病蟲害圖像采集儀設(shè)計與應(yīng)用

張 超1，王 正1，姚 青1，楊保軍2，唐 健2

（1.浙江理工大學(xué)信息學(xué)院，浙江杭州 310016；2.中國水稻研究所水稻生物學(xué)國家重點實驗室，浙江杭州 311400）

針對目前農(nóng)業(yè)病蟲害圖像采集設(shè)備便捷性差和圖像質(zhì)量不高等問題，通過利用無線傳輸、視頻解碼和HTTP通信等技術(shù)，設(shè)計并實現(xiàn)了一種便攜式農(nóng)業(yè)病蟲害圖像采集儀。該采集儀由W iFi鏡頭相機(jī)、Android手機(jī)或平板、可伸縮手持桿組成。農(nóng)技人員通過可伸縮手持桿，將安裝在手持桿一端的鏡頭相機(jī)推送到農(nóng)業(yè)病蟲害圖像采集部位，通過手機(jī)或平板App實時預(yù)覽相機(jī)端視頻流，調(diào)整相機(jī)位置，控制相機(jī)的拍照。該采集儀特別有助于農(nóng)業(yè)現(xiàn)場中人手或視線難以達(dá)到的病蟲害部位的圖像采集。測試結(jié)果表明，該采集儀可便捷地采集到各種農(nóng)業(yè)病蟲害圖像，操作簡單，手機(jī)或平板端視頻預(yù)覽畫面延時低，采集圖像質(zhì)量高，可滿足后續(xù)農(nóng)業(yè)病蟲害智能識別與診斷。該采集儀可廣泛應(yīng)用于農(nóng)業(yè)、林業(yè)等病蟲害圖像的采集。

W iFi鏡頭相機(jī)；Android手機(jī)/平板；農(nóng)業(yè)病蟲害；圖像采集；視頻解碼；HTTP通信

隨著機(jī)器視覺的發(fā)展及其在各領(lǐng)域的應(yīng)用，基于圖像的農(nóng)業(yè)病蟲害智能識別與診斷技術(shù)成為研究熱點［1-14］，可減輕基層農(nóng)技人員的勞動量，實現(xiàn)農(nóng)業(yè)病蟲害測報的智能化，提高測報的精準(zhǔn)性。利用圖像處理技術(shù)實現(xiàn)農(nóng)業(yè)病蟲害智能識別與和診斷的首要前提是獲取高質(zhì)量的圖像。目前，應(yīng)用于農(nóng)業(yè)現(xiàn)場的病蟲害圖像采集工具或儀器主要包括數(shù)碼相機(jī)［4-8］、手機(jī)［9-13］及架設(shè)在農(nóng)業(yè)現(xiàn)場的網(wǎng)絡(luò)攝像頭等［14-19］，也有使用專業(yè)的便攜式圖像采集儀［20-22］。農(nóng)業(yè)病蟲害主要包括作物、蔬菜和果樹等病蟲害，不同農(nóng)作物病蟲害發(fā)生的位置不盡相同。如有些水稻病蟲害發(fā)生在水稻基部，有些果樹病蟲害發(fā)生在較高位置的枝葉上，利用上述設(shè)備很難便捷地采集到這些部位高質(zhì)量的病蟲害圖像。為了解決上述問題，通過利用無線傳輸、視頻解碼、HTTP通信等技術(shù)，設(shè)計并建立實現(xiàn)一種便攜式農(nóng)業(yè)病蟲害圖像采集儀，將該采集儀應(yīng)用到農(nóng)業(yè)現(xiàn)場進(jìn)行病蟲害圖像的采集，測試該采集儀的便捷性和穩(wěn)定性。

1 圖像采集儀硬件組成

便攜式農(nóng)業(yè)病蟲害圖像采集儀硬件由W iFi鏡頭相機(jī)、可伸縮手持桿和裝載控制相機(jī)App的手機(jī)/平板組成（圖1）。W iFi鏡頭相機(jī)使用Sony DSC-QX100，支持W iFi控制功能，有效像素2020萬，凈重179 g；手持桿為輕質(zhì)可伸縮桿，鏡頭相機(jī)固定在手持桿的一端；移動設(shè)備采用Android平板/手機(jī)，搭載的可控制鏡頭相機(jī)的App。農(nóng)技人員利用可伸縮的手持桿將其前端的鏡頭相機(jī)便捷地送到人手或視線難以到達(dá)的農(nóng)業(yè)病蟲害圖像采集部位，根據(jù)手機(jī)/平板App預(yù)覽相機(jī)視頻，調(diào)整鏡頭相機(jī)位置，控制相機(jī)拍照。

圖1 便攜式農(nóng)業(yè)病蟲害圖像采集儀

2 手機(jī)平板App的設(shè)計

手機(jī)/平板端App需要實現(xiàn)相機(jī)中視頻流在手機(jī)/平板上可以實時預(yù)覽、通過W iFi無線控制相機(jī)拍照、拍照位置GPS信息的采集等功能。手機(jī)/平板端App功能模塊主要包括網(wǎng)絡(luò)模塊、視頻流預(yù)覽模塊和相機(jī)控制模塊，具體實現(xiàn)流程見圖2。

2.1 網(wǎng)絡(luò)模塊

網(wǎng)絡(luò)模塊主要負(fù)責(zé)手機(jī)/平板和W iFi鏡頭相機(jī)間的網(wǎng)絡(luò)管理，提供網(wǎng)絡(luò)搜索、設(shè)備發(fā)現(xiàn)、網(wǎng)絡(luò)連接等服務(wù)。

圖2 手機(jī)/平板App功能模塊實現(xiàn)流程

訪問相機(jī)功能之前首先要建立手機(jī)/平板端與W iFi鏡頭之間的網(wǎng)絡(luò)連接（圖3）。

圖3 W iFi鏡頭相機(jī)與手機(jī)/平板的遠(yuǎn)程連接

W iFi鏡頭相機(jī)具有無線接入（Access point）功能，手機(jī)/平板端先利用無線搜索功能連接鏡頭機(jī)W iFi，建立雙端點對點的無線連接。圖4顯示，鏡頭相機(jī)內(nèi)建SSDP（Simple Service Discovery Protocol）服務(wù)，手機(jī)/平板端發(fā)起設(shè)備查詢請求，請求消息中包含廣播地址和端口（HOST）、查詢的類型（MAN）、設(shè)備響應(yīng)最短時間（MX）、服務(wù)查詢的目標(biāo)（ST），鏡頭監(jiān)聽到的發(fā)現(xiàn)請求與此服務(wù)相匹配后，以單播方式響應(yīng)。返回的響應(yīng)消息包括根設(shè)備（LOCATION）、通知消息存活時間（CACHECONTROL）、操作系統(tǒng)和產(chǎn)品版本信息（SERVER）、服務(wù)查詢的目標(biāo)（ST），其中LOCATION返回鏡頭設(shè)備描述的xm l文件HTTP URL，用戶可發(fā)起HTTP GET請求獲取設(shè)備描述詳細(xì)信息。

圖4 SSDP設(shè)備的發(fā)現(xiàn)

2.2 視頻流預(yù)覽模塊

視頻流預(yù)覽模塊內(nèi)建實時視頻流數(shù)據(jù)接收和解析的客戶端。WiFi鏡頭端的視頻編碼為JPEG格式，手機(jī)/平板端根據(jù)網(wǎng)絡(luò)模塊設(shè)備發(fā)現(xiàn)過程獲取的HTTP URL發(fā)起視頻流數(shù)據(jù)的GET請求，來獲取自定義的視頻幀數(shù)據(jù)包。

自定義的視頻流數(shù)據(jù)包結(jié)構(gòu)如圖5所示。最小單元為Packet，數(shù)據(jù)為網(wǎng)絡(luò)字節(jié)序，一個單元包包括公共頭（Common Header）和有效荷載（Payload）。其中，有效荷載包括包頭（Payload Header）和荷載數(shù)據(jù)（Payload Data），荷載數(shù)據(jù)包括JPEG數(shù)據(jù)或流媒體播放信息和數(shù)據(jù)補(bǔ)全位。

圖5 視頻流的格式

手機(jī)/平板端根據(jù)上述數(shù)據(jù)格式和結(jié)構(gòu)解析出JPEG數(shù)據(jù)并播放實時幀畫面，視頻幀數(shù)據(jù)解析流程如圖6所示。

2.3 圖像瀏覽器模塊

圖像瀏覽器模塊是方便預(yù)覽已經(jīng)拍攝好的圖像。在預(yù)覽視頻過程中，當(dāng)用戶需要拍攝照片，通過HTTP POST請求控制W iFi鏡頭機(jī)完成拍攝命令，并根據(jù)鏡頭機(jī)內(nèi)HTTP服務(wù)器的響應(yīng)給出的拍攝圖片的URL通過POST請求下載至手機(jī)/平板端，實現(xiàn)圖片的傳輸。

圖6 視頻幀數(shù)據(jù)的解析流程

2.4 GPS信息采集及寫入模塊

GPS信息由后臺服務(wù)定時采集，服務(wù)將定時獲取更新當(dāng)前GPS的經(jīng)度、緯度、速度、高度及GPS時鐘信息。當(dāng)手機(jī)/平板端發(fā)出拍照命令并下載W iFi鏡頭相機(jī)的響應(yīng)圖像數(shù)據(jù)后，GPS信息采集及寫入模塊將把當(dāng)前的GPS信息遵照EXIF格式連同編碼后的JPEG數(shù)據(jù)寫入文件內(nèi)。GPS信息為農(nóng)業(yè)病蟲害圖像提供了其拍攝的地理位置。

2.5 相機(jī)控制模塊

相機(jī)控制模塊主要實現(xiàn)手機(jī)/平板控制相機(jī)拍照、錄像、觸點對焦、變焦、拍攝參數(shù)設(shè)置等功能。

以觸點對焦命令為例，在手機(jī)/平板端App啟動后，允許用戶開啟線程發(fā)起觸點對焦的HTTP POST命令，命令格式為Json字符串，包括字段id、method、version和數(shù)組params。W iFi鏡頭機(jī)端收到請求并響應(yīng)，再將命令處理結(jié)果返回給手機(jī)/平板端，告知App端控制命令是否完成，即完成一個流程的控制命令。

3 系統(tǒng)實驗

以水稻基部和果樹中上部病蟲害圖像采集進(jìn)行測試。

手機(jī)/平板端與W iFi鏡頭相機(jī)建立的無線接入點直連，利用SSDP服務(wù)發(fā)現(xiàn)設(shè)備獲取鏡頭機(jī)HTTP服務(wù)器的URL。對系統(tǒng)進(jìn)行視頻流實時預(yù)覽測試和相機(jī)控制命令測試。

3.1 視頻流實時預(yù)覽測試

設(shè)定W iFi鏡頭視頻預(yù)覽分辨率為1280×720，幀率為30 fps，視頻幀格式為JPEG編碼，手機(jī)/平板端視頻幀的阻塞隊列緩沖空間大小為2。手機(jī)/平板端發(fā)起HTTP GET請求獲取視頻流數(shù)據(jù)包，根據(jù)給定的視頻幀格式解包獲取一幀JPEG數(shù)據(jù)并解碼為Bitmap格式并繪制。圖7是圖像采集與視頻預(yù)覽圖，測試表明手機(jī)/平板端能實現(xiàn)對前端相機(jī)的低延時的畫面顯示。

圖7 農(nóng)業(yè)病蟲害圖像采集與視頻流預(yù)覽測試

3.2 相機(jī)控制命令測試

控制命令通信協(xié)議為HTTP，數(shù)據(jù)格式為Json字符串，手機(jī)/平板端以POST請求方式發(fā)送控制命令至W iFi鏡頭。圖8是控制命令數(shù)據(jù)包。以拍照命令為例，method字段為actTakePicture，params字段為空的數(shù)組，id字段為1，version字段為1.0；拍照返回命令result字段為當(dāng)前拍攝照片的URL，id字段為1。測試表明，手機(jī)/平板端能實現(xiàn)對前端W iFi相機(jī)的控制。

圖8 相機(jī)控制的命令數(shù)據(jù)包

4 小結(jié)

本研究設(shè)計并實現(xiàn)便攜式農(nóng)業(yè)病蟲害圖像采集儀，進(jìn)行農(nóng)業(yè)現(xiàn)場病蟲害圖像采集的測試。農(nóng)技人員可通過可伸縮手持桿將其前端的鏡頭相機(jī)送到人手或視線難以達(dá)到的農(nóng)業(yè)病蟲害圖像采集部位，裝載控制相機(jī)的App的手機(jī)/平板可實時預(yù)覽前端W iFi鏡頭相機(jī)拍攝的畫面，并控制其完成對焦、拍照等一系列操作。測試結(jié)果表明，本文實現(xiàn)的圖像采集儀可便捷地采集到農(nóng)業(yè)病蟲害，操作簡單、手機(jī)/平板端視頻預(yù)覽畫面延時低、通信連接穩(wěn)定，采集的圖像質(zhì)量較高，可滿足后續(xù)農(nóng)業(yè)病蟲害智能識別與診斷。該采集儀可廣泛應(yīng)用于農(nóng)業(yè)、林業(yè)等病蟲害圖像的采集。

［1］ TAN W，ZHAO C，WU H，et al.A Deep learning network for recognizing fruit pathologic images based on flexible momentum［J］.Transactions of the Chinese Society of Agricultural Machinery，2015，46（1）：20-25.

［2］ ARRIBAS J I，SáNCHEZ-FERRERO G V，RUIZ-RUIZ G，et al.Leaf classification in sunflower crops by computer vision and neural networks［J］.Computers&Electronics in Agriculture，2011，78（1）：9-18.

［3］ 王美麗，牛曉靜，張宏鳴，等.小麥葉部常見病害特征提取及識別技術(shù)研究［J］.計算機(jī)工程與應(yīng)用，2014，50（7）：154-157.

［4］ 李震，洪添勝，曾祥業(yè)，等.基于K-means聚類的柑橘紅蜘蛛圖像目標(biāo)識別［J］.農(nóng)業(yè)工程學(xué)報，2012（23）：147-153.

［5］ 劉濤，仲曉春，孫成明，等.基于計算機(jī)視覺的水稻葉部病害識別研究［J］.中國農(nóng)業(yè)科學(xué)，2014，47（4）：664-674.

［6］ 許良鳳，徐小兵，胡敏，等.基于多分類器融合的玉米葉部病害識別［J］.農(nóng)業(yè)工程學(xué)報，2015，31（14）：194-201.

［7］ 張建華，孔繁濤，李哲敏，等.基于最優(yōu)二叉樹支持向量機(jī)的蜜柚葉部病害識別［J］.農(nóng)業(yè)工程學(xué)報，2014，30（19）：222-231.

［8］ WANG H，LIG，MA Z，et al.Application of neural networks to image recognition of plant diseases［C］∥International Conference on Systems and Informatics，2012：2159-2164.

［9］ 陳桂鵬，嚴(yán)志雁，瞿華香，等.基于Android手機(jī)的農(nóng)業(yè)環(huán)境信息采集系統(tǒng)設(shè)計與實現(xiàn)［J］.廣東農(nóng)業(yè)科學(xué)，2014，41（13）：178-181.

［10］ 楊林楠，郜魯濤，林爾升，等.基于Android系統(tǒng)手機(jī)的甜玉米病蟲害智能診斷系統(tǒng)［J］.農(nóng)業(yè)工程學(xué)報，2012， 28（18）：163-168.

［11］ 李宗儒.基于圖像分析的蘋果病害識別技術(shù)研究［D］.楊凌：西北農(nóng)林科技大學(xué)，2010.

［12］ 姜慧.基于Android的水稻害蟲圖像采集與識別系統(tǒng)研究［D］.杭州：浙江理工大學(xué)，2013.

［13］ 韓殿元.基于手機(jī)圖像分析的葉片及立木測量算法研究［D］.北京：北京林業(yè)大學(xué)，2013.

［14］ 鄒修國，丁為民，陳彩蓉，等.基于改進(jìn)灰度共生矩陣和粒子群算法的稻飛虱分類［J］.農(nóng)業(yè)工程學(xué)報，2014，30（10）：138-144.

［15］ 熊迎軍，沈明霞，孫玉文，等.農(nóng)田圖像采集與無線傳輸系統(tǒng)設(shè)計［J］.農(nóng)業(yè)機(jī)械學(xué)報，2011，42（3）：184-187.

［16］ 沈明霞，叢靜華，張祥甫，等.基于ARM和DSP的農(nóng)田信息實時采集終端設(shè)計［J］.農(nóng)業(yè)機(jī)械學(xué)報，2010，41（6）：147-152.

［17］ GARCIA-SANCHEZ A J，GARCIA-SANCHEZ F，GARCIAHARO J.W ireless sensor network dep loyment for integrating video-surveillance and data-monitoring in precision agriculture over distributed crops［J］.Computers&Electronics in Agriculture，2011，75（2）：288-303.

［18］ WANG P，SUN P，NIU L，et al.Research of real-time image acquisition system based on ARM 7 for agricultural environmental monitoring［C］∥International Conference on Remote Sensing，Environment&Transportation Engineering. 2011：6216-6220.

［19］ 熊迎軍，沈明霞，孫玉文，等.農(nóng)田圖像采集與無線傳輸系統(tǒng)設(shè)計［J］.農(nóng)業(yè)機(jī)械學(xué)報，2011，42（3）：184-187.

［20］ 李偉，王庫，王冬，等.基于DM355的便攜式農(nóng)作物圖像采集儀的實現(xiàn)［C］∥中國農(nóng)業(yè)工程學(xué)會電氣信息與自動化專委會、中國電機(jī)工程學(xué)會農(nóng)村電氣化分會科技與教育專委會2010年學(xué)術(shù)年會論文集，北京，2010.

［21］ 張宜君.農(nóng)作物蟲害圖像采集與處理手持設(shè)備的設(shè)計［D］.保定：河北農(nóng)業(yè)大學(xué)，2014.

［22］ 吳健.基于ARM的嵌入式USB圖像采集與處理系統(tǒng)［D］.合肥：合肥工業(yè)大學(xué)，2012.

（責(zé)任編輯：張瑞麟）

S126

：A

：0528-9017（2016）12-2077-05

文獻(xiàn)著錄格式：張超，王正，姚青，等.便攜式農(nóng)業(yè)病蟲害圖像采集儀設(shè)計與應(yīng)用［J］.浙江農(nóng)業(yè)科學(xué)，2016，57（12）：2077-2081.

10.16178/j.issn.0528-9017.20161249

2016-09-10

國家高技術(shù)研究發(fā)展計劃（2013AA102402）；浙江理工大學(xué)521人才培養(yǎng)計劃；浙江理工大學(xué)研究生創(chuàng)新項目（2014G0604022）

張 超（1991—），男，浙江紹興人，在讀碩士，農(nóng)業(yè)病蟲害智能診斷專業(yè)，E-mail：czhang-zstu@163.com。