面向資源高效管理與可視化分析的檢測大數(shù)據(jù)平臺

劉朝陽，李 越，黃家懌,2※，劉海峰,2

（1.廣州市健坤網(wǎng)絡科技發(fā)展有限公司，廣東 廣州 510630；2.廣東省現(xiàn)代農(nóng)業(yè)裝備研究所，廣東 廣州 510630）

0 引言

隨著國家對農(nóng)藥、獸藥、化肥、飼料等農(nóng)用物資監(jiān)管力度的加強，農(nóng)資檢測的數(shù)據(jù)呈現(xiàn)出爆炸性增加態(tài)勢。如何處理多源、高緯、異構(gòu)等農(nóng)業(yè)大數(shù)據(jù)，如何利用農(nóng)業(yè)資源進行科學高效地管理，成為迫切需求，傳統(tǒng)的管理手段和技術已不能滿足目前我國農(nóng)業(yè)發(fā)展的實際需要[1-3]。

目前，不同時期建設的種植、畜牧、農(nóng)機等一系列應用系統(tǒng)并行存在，因缺乏統(tǒng)一頂層設計和數(shù)據(jù)規(guī)范，每個系統(tǒng)需要獨立的服務器、存儲和帶寬資源，造成資源浪費和信息交換共享困難。在數(shù)據(jù)層面，存在數(shù)據(jù)孤島，即缺乏頂層設計、數(shù)據(jù)標準不統(tǒng)一、數(shù)據(jù)理解缺乏共同的語言。在應用層面，存在應用孤島，即各系統(tǒng)之間彼此獨立、缺乏信息服務交換機制、信息不能交換共享。在業(yè)務層面，存在業(yè)務孤島，即業(yè)務缺乏統(tǒng)一流程管控、存在斷點、不能實現(xiàn)業(yè)務的完整順利執(zhí)行和處理。

為了打破農(nóng)業(yè)信息資源的孤島格局，更加高效地挖掘農(nóng)業(yè)數(shù)據(jù)中的有效信息，設計并構(gòu)建了面向資源高效管理與可視化分析的檢測大數(shù)據(jù)平臺，在近紅外光譜技術的體系下對飼料農(nóng)資進行數(shù)據(jù)分析。檢測大數(shù)據(jù)平臺批處理速度是開源Hadoop的10～100倍，是MPP的5～10倍，可以對從GB到PB級的數(shù)據(jù)量實現(xiàn)復制的查詢和分析。此外，平臺也具有可擴展性，用戶可以通過增加集群節(jié)點數(shù)量，線性提高系統(tǒng)的處理能力。在極致的性能與可擴展性之外，平臺還具有簡易的操作和管理、完整的SQL和ACID支持、低延遲的流處理、圖形化的大數(shù)據(jù)開發(fā)工具套件等優(yōu)勢。

通過平臺，結(jié)合紅外光譜快速檢驗技術[4]，使用大數(shù)據(jù)分析方法對搜集到的光譜大數(shù)據(jù)進行分析與挖掘，然后將分析結(jié)果以可視化的方式進行輸出，可以有效地為產(chǎn)品的質(zhì)量控制提供標準，為原料的管理與存儲、產(chǎn)品的銷售以及上級有關部門的監(jiān)控與執(zhí)法提供可靠依據(jù)。

1 檢測大數(shù)據(jù)平臺建設

1.1 資源管理的規(guī)范化

當前的農(nóng)業(yè)農(nóng)村數(shù)據(jù)資源存在缺乏頂層設計、數(shù)據(jù)標準不統(tǒng)一的問題，給數(shù)據(jù)后期處理帶來不便。為了優(yōu)化資源的管理效率，需要對大數(shù)據(jù)的來源、格式等進行規(guī)范。具體需要對外圍設備的對接要求、通信規(guī)約、交換數(shù)據(jù)內(nèi)容和格式加以規(guī)范化，以獲得準確、一致、無延遲的管控結(jié)果。平臺以數(shù)據(jù)交換和共享為基礎、以接口規(guī)范為支撐、以精準管控為目標的標準體系，緊緊圍繞外圍設備的接入要求、通信規(guī)約、平臺與外圍設備交互數(shù)據(jù)的采集和表達、大數(shù)據(jù)平臺接入安全性管理等重要環(huán)節(jié)開展標準研制。

目前，已開展2類標準規(guī)范的建設：一是大數(shù)據(jù)平臺的數(shù)據(jù)接入標準。定義了大數(shù)據(jù)平臺感知層、傳輸層、應用層的網(wǎng)絡架構(gòu)（硬件）、系統(tǒng)集成（軟件）及數(shù)據(jù)/指令流；規(guī)定了大平臺的工業(yè)通信網(wǎng)絡端口及通信規(guī)約、不同協(xié)議下數(shù)據(jù)包的封裝結(jié)構(gòu)，以保證通信可以進行，數(shù)據(jù)包可以被平臺解析；規(guī)定了外圍設備接入大平臺的安全管控方法和要求。二是大數(shù)據(jù)平臺的數(shù)據(jù)采集規(guī)范。規(guī)定了采集數(shù)據(jù)的方式、頻率和內(nèi)容，以保證數(shù)據(jù)的有效性和完整性；基礎數(shù)據(jù)統(tǒng)一的表達方式，即數(shù)據(jù)字典。以保證外圍設備傳輸?shù)臄?shù)據(jù)可以被平臺理解。

1.2 系統(tǒng)建設關鍵技術及應用

1.2.1 分布式數(shù)據(jù)庫存儲

傳統(tǒng)的網(wǎng)絡存儲系統(tǒng)采用集中的存儲服務器存放所有數(shù)據(jù)，存儲服務器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規(guī)模存儲應用的需要。而分布式網(wǎng)絡存儲系統(tǒng)采用可擴展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴展，這些優(yōu)點都是傳統(tǒng)的集中存儲服務器所欠缺的。可視化分析的檢測大數(shù)據(jù)平臺是基于Transwarp Data Hub（簡稱TDH）企業(yè)級大數(shù)據(jù)平臺（方法參考文獻[5][6]）。使用了以分布式文件系統(tǒng)、分布式數(shù)據(jù)庫為代表的大數(shù)據(jù)技術，來存儲和管理不同類型與來源的農(nóng)業(yè)大數(shù)據(jù)，平臺數(shù)據(jù)源管理界面如圖1所示。

圖1 平臺數(shù)據(jù)源管理界面

為了方便用戶的使用，在TDH數(shù)據(jù)庫連接外，也提供了支持MySQL、MSSQL Server等數(shù)據(jù)庫的連接功能，如圖2所示，同時也支持用戶對本地的Excel文件進行拖拽上傳，方便、快捷的實現(xiàn)數(shù)據(jù)云存儲，如圖3所示。數(shù)據(jù)上傳之后，能實時對已經(jīng)上傳的數(shù)據(jù)進行在線預覽，如圖4所示。

1.2.2 可視化分析技術

圖2 數(shù)據(jù)庫管理界面

圖3 在線文件上傳界面

圖4 數(shù)據(jù)預覽界面

在海量數(shù)據(jù)的基礎上，為了將單純的數(shù)據(jù)轉(zhuǎn)換成有用的信息和知識，采用了可視化分析的技術對數(shù)據(jù)進行處理和展示。數(shù)據(jù)可視化技術的基本思想是將數(shù)據(jù)庫中每一個數(shù)據(jù)項作為單個圖元元素表示，大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像，同時將數(shù)據(jù)的各個屬性值以多維數(shù)據(jù)的形式表示，可以從不同的維度觀察數(shù)據(jù)，從而對數(shù)據(jù)進行更深入的觀察和分析。

平臺運用了基于JavaScript的數(shù)據(jù)可視化工具，可以支持柱狀圖、條狀圖、線圖、蠟燭圖、餅圖、雷達、極坐標圖、散點圖、燃燒圖和金字塔圖等圖表。采用的庫是完全獨立的類庫，在應用中不依賴任何其他第三方類庫，就可直接編譯運行。平臺除提供最基本的規(guī)范要素外，還提供了交互特性。用戶在瀏覽基于庫制作的圖表時，用鼠標 hover 圖表內(nèi)容，可以與其進行交互，使圖表展示細節(jié)信息。圖表還能夠以動態(tài)動畫的形式被繪制出來，帶來非常生動、具體的展示效果，為用戶的數(shù)據(jù)分析提供強有力的支撐，如圖5所示。

1.2.3 可視化實例演示

1）在可視化界面點擊“新建大屏”，并對大屏進行命名，如：我的展示大屏，如圖6所示；

2）在大屏界面選擇需要的圖表類別，如地圖、折線圖、柱狀圖、雷達圖等，如圖7 所示；

圖5 農(nóng)資大數(shù)據(jù)大屏展示界面

3）雙擊組件進行圖表組件信息編輯；

4）根據(jù)需求在組件上選擇用戶關注的數(shù)據(jù)維度、數(shù)值，同時可針對目標維度進行數(shù)據(jù)篩選，如圖8所示；

圖6 新建大屏界面

圖7 圖表組件選擇界面

圖8 圖表構(gòu)建界面

5）點擊“保存”即可將圖表進行保存，方便用戶隨時查看、調(diào)用。

經(jīng)過合理的排列布局能得到直觀、便于分析的可視化數(shù)據(jù)展示界面。

2 在飼料檢測行業(yè)的應用

飼料檢測大數(shù)據(jù)平臺基于上述可視化分析的大數(shù)據(jù)平臺，依據(jù)MVC（模型-視圖-控制器）軟件設計模式，采用B/S結(jié)構(gòu)、SOA組件模型和J2EE企業(yè)級架構(gòu)[7-9]，提供標準化接口服務，運用農(nóng)業(yè)大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)和移動互聯(lián)技術的智慧農(nóng)業(yè)綜合解決方案，將飼料大數(shù)據(jù)、近紅外光譜檢測、可視化分析與云計算深度融合，實現(xiàn)數(shù)字化、信息化的飼料綜合管理平臺。通過簡單易操作的圖形化界面，無需用戶掌握編程，即可通過簡單托拽方式進行可視化分析，幫助飼料生產(chǎn)產(chǎn)家全方位挖掘和利用大數(shù)據(jù)價值，提升管理效率與智能化生產(chǎn)水平，優(yōu)化飼料原料結(jié)構(gòu)，保障飼料安全，為廠家的經(jīng)濟效益增長提供有力的幫助[10]。

通過構(gòu)建飼料檢測大數(shù)據(jù)平臺，實現(xiàn)了在線式實時接收近紅外光譜設備檢測數(shù)據(jù)；根據(jù)不同的數(shù)據(jù)模型，如水分、蛋白質(zhì)、淀粉、纖維等物質(zhì)進行含量計算，并與參考值進行比對；對含量異常的檢測數(shù)據(jù)提供數(shù)據(jù)異常的提示功能；根據(jù)用戶的需求對模型進行在線模型優(yōu)化、模型下載，如圖9—12所示。

通過可視化分析，如圖13所示，能夠更好地對實際生產(chǎn)進行指導，如飼料原料蛋白質(zhì)，水分的月度、季度分布，為用戶購買飼料原料提供智能化的幫助。

圖9 農(nóng)資快速檢測平臺首頁

圖10 數(shù)據(jù)過濾

圖11 選擇模型

圖12 依據(jù)模型計算得出含量及平臺的參考值

圖13 飼料檢測可視化展示界面

3 結(jié)論

構(gòu)建面向資源高效管理與可視化分析的農(nóng)業(yè)大數(shù)據(jù)平臺，通過處理不同種類飼料的光譜檢測與質(zhì)量數(shù)據(jù)，證明該平臺能有效提高數(shù)據(jù)處理效率，為廠家的生產(chǎn)提供合理的建議與幫助。在數(shù)據(jù)的挖掘與信息的提取上，還缺乏快速、高效地總結(jié)方式，需要使用者對農(nóng)業(yè)相關信息有良好的積累。如何提高獲取有效信息的效率，是下一步研究需要解決的問題。