張 超,王 正,姚 青,楊保軍,唐 健
(1.浙江理工大學(xué)信息學(xué)院,浙江杭州 310016;2.中國水稻研究所水稻生物學(xué)國家重點實驗室,浙江杭州 311400)
便攜式農(nóng)業(yè)病蟲害圖像采集儀設(shè)計與應(yīng)用
張 超1,王 正1,姚 青1,楊保軍2,唐 健2
(1.浙江理工大學(xué)信息學(xué)院,浙江杭州 310016;2.中國水稻研究所水稻生物學(xué)國家重點實驗室,浙江杭州 311400)
針對目前農(nóng)業(yè)病蟲害圖像采集設(shè)備便捷性差和圖像質(zhì)量不高等問題,通過利用無線傳輸、視頻解碼和HTTP通信等技術(shù),設(shè)計并實現(xiàn)了一種便攜式農(nóng)業(yè)病蟲害圖像采集儀。該采集儀由W iFi鏡頭相機(jī)、Android手機(jī)或平板、可伸縮手持桿組成。農(nóng)技人員通過可伸縮手持桿,將安裝在手持桿一端的鏡頭相機(jī)推送到農(nóng)業(yè)病蟲害圖像采集部位,通過手機(jī)或平板App實時預(yù)覽相機(jī)端視頻流,調(diào)整相機(jī)位置,控制相機(jī)的拍照。該采集儀特別有助于農(nóng)業(yè)現(xiàn)場中人手或視線難以達(dá)到的病蟲害部位的圖像采集。測試結(jié)果表明,該采集儀可便捷地采集到各種農(nóng)業(yè)病蟲害圖像,操作簡單,手機(jī)或平板端視頻預(yù)覽畫面延時低,采集圖像質(zhì)量高,可滿足后續(xù)農(nóng)業(yè)病蟲害智能識別與診斷。該采集儀可廣泛應(yīng)用于農(nóng)業(yè)、林業(yè)等病蟲害圖像的采集。
W iFi鏡頭相機(jī);Android手機(jī)/平板;農(nóng)業(yè)病蟲害;圖像采集;視頻解碼;HTTP通信
隨著機(jī)器視覺的發(fā)展及其在各領(lǐng)域的應(yīng)用,基于圖像的農(nóng)業(yè)病蟲害智能識別與診斷技術(shù)成為研究熱點[1-14],可減輕基層農(nóng)技人員的勞動量,實現(xiàn)農(nóng)業(yè)病蟲害測報的智能化,提高測報的精準(zhǔn)性。利用圖像處理技術(shù)實現(xiàn)農(nóng)業(yè)病蟲害智能識別與和診斷的首要前提是獲取高質(zhì)量的圖像。目前,應(yīng)用于農(nóng)業(yè)現(xiàn)場的病蟲害圖像采集工具或儀器主要包括數(shù)碼相機(jī)[4-8]、手機(jī)[9-13]及架設(shè)在農(nóng)業(yè)現(xiàn)場的網(wǎng)絡(luò)攝像頭等[14-19],也有使用專業(yè)的便攜式圖像采集儀[20-22]。農(nóng)業(yè)病蟲害主要包括作物、蔬菜和果樹等病蟲害,不同農(nóng)作物病蟲害發(fā)生的位置不盡相同。如有些水稻病蟲害發(fā)生在水稻基部,有些果樹病蟲害發(fā)生在較高位置的枝葉上,利用上述設(shè)備很難便捷地采集到這些部位高質(zhì)量的病蟲害圖像。為了解決上述問題,通過利用無線傳輸、視頻解碼、HTTP通信等技術(shù),設(shè)計并建立實現(xiàn)一種便攜式農(nóng)業(yè)病蟲害圖像采集儀,將該采集儀應(yīng)用到農(nóng)業(yè)現(xiàn)場進(jìn)行病蟲害圖像的采集,測試該采集儀的便捷性和穩(wěn)定性。
便攜式農(nóng)業(yè)病蟲害圖像采集儀硬件由W iFi鏡頭相機(jī)、可伸縮手持桿和裝載控制相機(jī)App的手機(jī)/平板組成(圖1)。W iFi鏡頭相機(jī)使用Sony DSC-QX100,支持W iFi控制功能,有效像素2020萬,凈重179 g;手持桿為輕質(zhì)可伸縮桿,鏡頭相機(jī)固定在手持桿的一端;移動設(shè)備采用Android平板/手機(jī),搭載的可控制鏡頭相機(jī)的App。農(nóng)技人員利用可伸縮的手持桿將其前端的鏡頭相機(jī)便捷地送到人手或視線難以到達(dá)的農(nóng)業(yè)病蟲害圖像采集部位,根據(jù)手機(jī)/平板App預(yù)覽相機(jī)視頻,調(diào)整鏡頭相機(jī)位置,控制相機(jī)拍照。
圖1 便攜式農(nóng)業(yè)病蟲害圖像采集儀
手機(jī)/平板端App需要實現(xiàn)相機(jī)中視頻流在手機(jī)/平板上可以實時預(yù)覽、通過W iFi無線控制相機(jī)拍照、拍照位置GPS信息的采集等功能。手機(jī)/平板端App功能模塊主要包括網(wǎng)絡(luò)模塊、視頻流預(yù)覽模塊和相機(jī)控制模塊,具體實現(xiàn)流程見圖2。
2.1 網(wǎng)絡(luò)模塊
網(wǎng)絡(luò)模塊主要負(fù)責(zé)手機(jī)/平板和W iFi鏡頭相機(jī)間的網(wǎng)絡(luò)管理,提供網(wǎng)絡(luò)搜索、設(shè)備發(fā)現(xiàn)、網(wǎng)絡(luò)連接等服務(wù)。
圖2 手機(jī)/平板App功能模塊實現(xiàn)流程
訪問相機(jī)功能之前首先要建立手機(jī)/平板端與W iFi鏡頭之間的網(wǎng)絡(luò)連接(圖3)。
圖3 W iFi鏡頭相機(jī)與手機(jī)/平板的遠(yuǎn)程連接
W iFi鏡頭相機(jī)具有無線接入(Access point)功能,手機(jī)/平板端先利用無線搜索功能連接鏡頭機(jī)W iFi,建立雙端點對點的無線連接。圖4顯示,鏡頭相機(jī)內(nèi)建SSDP(Simple Service Discovery Protocol)服務(wù),手機(jī)/平板端發(fā)起設(shè)備查詢請求,請求消息中包含廣播地址和端口(HOST)、查詢的類型(MAN)、設(shè)備響應(yīng)最短時間(MX)、服務(wù)查詢的目標(biāo)(ST),鏡頭監(jiān)聽到的發(fā)現(xiàn)請求與此服務(wù)相匹配后,以單播方式響應(yīng)。返回的響應(yīng)消息包括根設(shè)備(LOCATION)、通知消息存活時間(CACHECONTROL)、操作系統(tǒng)和產(chǎn)品版本信息(SERVER)、服務(wù)查詢的目標(biāo)(ST),其中LOCATION返回鏡頭設(shè)備描述的xm l文件HTTP URL,用戶可發(fā)起HTTP GET請求獲取設(shè)備描述詳細(xì)信息。
圖4 SSDP設(shè)備的發(fā)現(xiàn)
2.2 視頻流預(yù)覽模塊
視頻流預(yù)覽模塊內(nèi)建實時視頻流數(shù)據(jù)接收和解析的客戶端。WiFi鏡頭端的視頻編碼為JPEG格式,手機(jī)/平板端根據(jù)網(wǎng)絡(luò)模塊設(shè)備發(fā)現(xiàn)過程獲取的HTTP URL發(fā)起視頻流數(shù)據(jù)的GET請求,來獲取自定義的視頻幀數(shù)據(jù)包。
自定義的視頻流數(shù)據(jù)包結(jié)構(gòu)如圖5所示。最小單元為Packet,數(shù)據(jù)為網(wǎng)絡(luò)字節(jié)序,一個單元包包括公共頭(Common Header)和有效荷載(Payload)。其中,有效荷載包括包頭(Payload Header)和荷載數(shù)據(jù)(Payload Data),荷載數(shù)據(jù)包括JPEG數(shù)據(jù)或流媒體播放信息和數(shù)據(jù)補(bǔ)全位。
圖5 視頻流的格式
手機(jī)/平板端根據(jù)上述數(shù)據(jù)格式和結(jié)構(gòu)解析出JPEG數(shù)據(jù)并播放實時幀畫面,視頻幀數(shù)據(jù)解析流程如圖6所示。
2.3 圖像瀏覽器模塊
圖像瀏覽器模塊是方便預(yù)覽已經(jīng)拍攝好的圖像。在預(yù)覽視頻過程中,當(dāng)用戶需要拍攝照片,通過HTTP POST請求控制W iFi鏡頭機(jī)完成拍攝命令,并根據(jù)鏡頭機(jī)內(nèi)HTTP服務(wù)器的響應(yīng)給出的拍攝圖片的URL通過POST請求下載至手機(jī)/平板端,實現(xiàn)圖片的傳輸。
圖6 視頻幀數(shù)據(jù)的解析流程
2.4 GPS信息采集及寫入模塊
GPS信息由后臺服務(wù)定時采集,服務(wù)將定時獲取更新當(dāng)前GPS的經(jīng)度、緯度、速度、高度及GPS時鐘信息。當(dāng)手機(jī)/平板端發(fā)出拍照命令并下載W iFi鏡頭相機(jī)的響應(yīng)圖像數(shù)據(jù)后,GPS信息采集及寫入模塊將把當(dāng)前的GPS信息遵照EXIF格式連同編碼后的JPEG數(shù)據(jù)寫入文件內(nèi)。GPS信息為農(nóng)業(yè)病蟲害圖像提供了其拍攝的地理位置。
2.5 相機(jī)控制模塊
相機(jī)控制模塊主要實現(xiàn)手機(jī)/平板控制相機(jī)拍照、錄像、觸點對焦、變焦、拍攝參數(shù)設(shè)置等功能。
以觸點對焦命令為例,在手機(jī)/平板端App啟動后,允許用戶開啟線程發(fā)起觸點對焦的HTTP POST命令,命令格式為Json字符串,包括字段id、method、version和數(shù)組params。W iFi鏡頭機(jī)端收到請求并響應(yīng),再將命令處理結(jié)果返回給手機(jī)/平板端,告知App端控制命令是否完成,即完成一個流程的控制命令。
以水稻基部和果樹中上部病蟲害圖像采集進(jìn)行測試。
手機(jī)/平板端與W iFi鏡頭相機(jī)建立的無線接入點直連,利用SSDP服務(wù)發(fā)現(xiàn)設(shè)備獲取鏡頭機(jī)HTTP服務(wù)器的URL。對系統(tǒng)進(jìn)行視頻流實時預(yù)覽測試和相機(jī)控制命令測試。
3.1 視頻流實時預(yù)覽測試
設(shè)定W iFi鏡頭視頻預(yù)覽分辨率為1280×720,幀率為30 fps,視頻幀格式為JPEG編碼,手機(jī)/平板端視頻幀的阻塞隊列緩沖空間大小為2。手機(jī)/平板端發(fā)起HTTP GET請求獲取視頻流數(shù)據(jù)包,根據(jù)給定的視頻幀格式解包獲取一幀JPEG數(shù)據(jù)并解碼為Bitmap格式并繪制。圖7是圖像采集與視頻預(yù)覽圖,測試表明手機(jī)/平板端能實現(xiàn)對前端相機(jī)的低延時的畫面顯示。
圖7 農(nóng)業(yè)病蟲害圖像采集與視頻流預(yù)覽測試
3.2 相機(jī)控制命令測試
控制命令通信協(xié)議為HTTP,數(shù)據(jù)格式為Json字符串,手機(jī)/平板端以POST請求方式發(fā)送控制命令至W iFi鏡頭。圖8是控制命令數(shù)據(jù)包。以拍照命令為例,method字段為actTakePicture,params字段為空的數(shù)組,id字段為1,version字段為1.0;拍照返回命令result字段為當(dāng)前拍攝照片的URL,id字段為1。測試表明,手機(jī)/平板端能實現(xiàn)對前端W iFi相機(jī)的控制。
圖8 相機(jī)控制的命令數(shù)據(jù)包
本研究設(shè)計并實現(xiàn)便攜式農(nóng)業(yè)病蟲害圖像采集儀,進(jìn)行農(nóng)業(yè)現(xiàn)場病蟲害圖像采集的測試。農(nóng)技人員可通過可伸縮手持桿將其前端的鏡頭相機(jī)送到人手或視線難以達(dá)到的農(nóng)業(yè)病蟲害圖像采集部位,裝載控制相機(jī)的App的手機(jī)/平板可實時預(yù)覽前端W iFi鏡頭相機(jī)拍攝的畫面,并控制其完成對焦、拍照等一系列操作。測試結(jié)果表明,本文實現(xiàn)的圖像采集儀可便捷地采集到農(nóng)業(yè)病蟲害,操作簡單、手機(jī)/平板端視頻預(yù)覽畫面延時低、通信連接穩(wěn)定,采集的圖像質(zhì)量較高,可滿足后續(xù)農(nóng)業(yè)病蟲害智能識別與診斷。該采集儀可廣泛應(yīng)用于農(nóng)業(yè)、林業(yè)等病蟲害圖像的采集。
[1] TAN W,ZHAO C,WU H,et al.A Deep learning network for recognizing fruit pathologic images based on flexible momentum[J].Transactions of the Chinese Society of Agricultural Machinery,2015,46(1):20-25.
[2] ARRIBAS J I,SáNCHEZ-FERRERO G V,RUIZ-RUIZ G,et al.Leaf classification in sunflower crops by computer vision and neural networks[J].Computers&Electronics in Agriculture,2011,78(1):9-18.
[3] 王美麗,牛曉靜,張宏鳴,等.小麥葉部常見病害特征提取及識別技術(shù)研究[J].計算機(jī)工程與應(yīng)用,2014,50(7):154-157.
[4] 李震,洪添勝,曾祥業(yè),等.基于K-means聚類的柑橘紅蜘蛛圖像目標(biāo)識別[J].農(nóng)業(yè)工程學(xué)報,2012(23):147-153.
[5] 劉濤,仲曉春,孫成明,等.基于計算機(jī)視覺的水稻葉部病害識別研究[J].中國農(nóng)業(yè)科學(xué),2014,47(4):664-674.
[6] 許良鳳,徐小兵,胡敏,等.基于多分類器融合的玉米葉部病害識別[J].農(nóng)業(yè)工程學(xué)報,2015,31(14):194-201.
[7] 張建華,孔繁濤,李哲敏,等.基于最優(yōu)二叉樹支持向量機(jī)的蜜柚葉部病害識別[J].農(nóng)業(yè)工程學(xué)報,2014,30(19):222-231.
[8] WANG H,LIG,MA Z,et al.Application of neural networks to image recognition of plant diseases[C]∥International Conference on Systems and Informatics,2012:2159-2164.
[9] 陳桂鵬,嚴(yán)志雁,瞿華香,等.基于Android手機(jī)的農(nóng)業(yè)環(huán)境信息采集系統(tǒng)設(shè)計與實現(xiàn)[J].廣東農(nóng)業(yè)科學(xué),2014,41(13):178-181.
[10] 楊林楠,郜魯濤,林爾升,等.基于Android系統(tǒng)手機(jī)的甜玉米病蟲害智能診斷系統(tǒng)[J].農(nóng)業(yè)工程學(xué)報,2012, 28(18):163-168.
[11] 李宗儒.基于圖像分析的蘋果病害識別技術(shù)研究[D].楊凌:西北農(nóng)林科技大學(xué),2010.
[12] 姜慧.基于Android的水稻害蟲圖像采集與識別系統(tǒng)研究[D].杭州:浙江理工大學(xué),2013.
[13] 韓殿元.基于手機(jī)圖像分析的葉片及立木測量算法研究[D].北京:北京林業(yè)大學(xué),2013.
[14] 鄒修國,丁為民,陳彩蓉,等.基于改進(jìn)灰度共生矩陣和粒子群算法的稻飛虱分類[J].農(nóng)業(yè)工程學(xué)報,2014,30(10):138-144.
[15] 熊迎軍,沈明霞,孫玉文,等.農(nóng)田圖像采集與無線傳輸系統(tǒng)設(shè)計[J].農(nóng)業(yè)機(jī)械學(xué)報,2011,42(3):184-187.
[16] 沈明霞,叢靜華,張祥甫,等.基于ARM和DSP的農(nóng)田信息實時采集終端設(shè)計[J].農(nóng)業(yè)機(jī)械學(xué)報,2010,41(6):147-152.
[17] GARCIA-SANCHEZ A J,GARCIA-SANCHEZ F,GARCIAHARO J.W ireless sensor network dep loyment for integrating video-surveillance and data-monitoring in precision agriculture over distributed crops[J].Computers&Electronics in Agriculture,2011,75(2):288-303.
[18] WANG P,SUN P,NIU L,et al.Research of real-time image acquisition system based on ARM 7 for agricultural environmental monitoring[C]∥International Conference on Remote Sensing,Environment&Transportation Engineering. 2011:6216-6220.
[19] 熊迎軍,沈明霞,孫玉文,等.農(nóng)田圖像采集與無線傳輸系統(tǒng)設(shè)計[J].農(nóng)業(yè)機(jī)械學(xué)報,2011,42(3):184-187.
[20] 李偉,王庫,王冬,等.基于DM355的便攜式農(nóng)作物圖像采集儀的實現(xiàn)[C]∥中國農(nóng)業(yè)工程學(xué)會電氣信息與自動化專委會、中國電機(jī)工程學(xué)會農(nóng)村電氣化分會科技與教育專委會2010年學(xué)術(shù)年會論文集,北京,2010.
[21] 張宜君.農(nóng)作物蟲害圖像采集與處理手持設(shè)備的設(shè)計[D].保定:河北農(nóng)業(yè)大學(xué),2014.
[22] 吳健.基于ARM的嵌入式USB圖像采集與處理系統(tǒng)[D].合肥:合肥工業(yè)大學(xué),2012.
(責(zé)任編輯:張瑞麟)
S126
:A
:0528-9017(2016)12-2077-05
文獻(xiàn)著錄格式:張超,王正,姚青,等.便攜式農(nóng)業(yè)病蟲害圖像采集儀設(shè)計與應(yīng)用[J].浙江農(nóng)業(yè)科學(xué),2016,57(12):2077-2081.
10.16178/j.issn.0528-9017.20161249
2016-09-10
國家高技術(shù)研究發(fā)展計劃(2013AA102402);浙江理工大學(xué)521人才培養(yǎng)計劃;浙江理工大學(xué)研究生創(chuàng)新項目(2014G0604022)
張 超(1991—),男,浙江紹興人,在讀碩士,農(nóng)業(yè)病蟲害智能診斷專業(yè),E-mail:czhang-zstu@163.com。