馬智慧養(yǎng)殖大數(shù)據(jù)平臺設計與實現(xiàn)

劉嚴紅，曹克濤，陳新文，李金星，熊濤，杜雪梅，白濤，鄭文新*，郭雷風

研究論文

馬智慧養(yǎng)殖大數(shù)據(jù)平臺設計與實現(xiàn)

劉嚴紅1,2,5,6，曹克濤3，陳新文3，李金星1,2,5,6，熊濤4，杜雪梅4，白濤1,5,6，鄭文新3*，郭雷風2*

1. 新疆農(nóng)業(yè)大學計算機與信息工程學院，烏魯木齊 830052，中國；2. 中國農(nóng)業(yè)科學院農(nóng)業(yè)信息研究所，北京 100080，中國；3. 新疆畜牧科學院畜牧業(yè)質(zhì)量標準研究所，烏魯木齊 830011，中國；4.新疆野馬文化發(fā)展有限公司，烏魯木齊 830011，中國；5.智慧農(nóng)業(yè)教育部工程研究中心，烏魯木齊 830011，中國；6.新疆農(nóng)業(yè)信息化工程技術研究中心，烏魯木齊 830011，中國

隨著信息技術的不斷發(fā)展，智慧養(yǎng)殖在現(xiàn)代畜牧業(yè)中應用越來越多，現(xiàn)代先進信息技術正在逐步應用到馬養(yǎng)殖的全過程，如何利用大數(shù)據(jù)、人工智能等技術，助力馬產(chǎn)業(yè)智慧化發(fā)展，提高馬養(yǎng)殖效率，是馬產(chǎn)業(yè)走向現(xiàn)代化、科技化的重要途徑之一。本研究以新疆某馬養(yǎng)殖基地為研究對象，利用大數(shù)據(jù)、人工智能和物聯(lián)網(wǎng)等最新信息技術，研發(fā)了基于設備層、數(shù)據(jù)層、數(shù)據(jù)處理層和應用層共四層系統(tǒng)架構(gòu)的馬智慧養(yǎng)殖大數(shù)據(jù)平臺，集成了檔案管理、防疫管理、育種管理、行為管理和環(huán)境管理五大功能模塊，實現(xiàn)了馬養(yǎng)殖過程中數(shù)據(jù)采集、分析以及構(gòu)建模型和應用等功能。本研究可為馬養(yǎng)殖基地和企業(yè)智慧養(yǎng)殖建設提供思路，實現(xiàn)馬養(yǎng)殖的精細化監(jiān)控和管理，提高馬生產(chǎn)效率和養(yǎng)殖效益，對馬產(chǎn)業(yè)未來發(fā)展具有借鑒意義。

馬養(yǎng)殖；智慧養(yǎng)殖；大數(shù)據(jù)平臺；可視化

1 引言

新疆是我國重要的馬養(yǎng)殖地區(qū)之一，新疆馬產(chǎn)業(yè)具有悠久的歷史和深厚的文化底蘊。據(jù)國家統(tǒng)計局數(shù)據(jù)，2020年底新疆馬存欄量達95.45萬匹，居于全國首位[1]。近年來，新疆馬產(chǎn)業(yè)不僅是新疆特色優(yōu)勢畜牧業(yè)之一，也正在逐步發(fā)展成為以馬傳統(tǒng)文化傳承和馬特色生態(tài)旅游為主的現(xiàn)代化馬產(chǎn)業(yè)。雖然新疆馬產(chǎn)業(yè)體量巨大，但新疆地處祖國邊陲，交通的閉塞和經(jīng)濟的欠發(fā)達導致馬產(chǎn)業(yè)長期處于自我封閉的發(fā)展狀態(tài)，現(xiàn)代馬產(chǎn)業(yè)的發(fā)展步伐與發(fā)達國家相比還有很大差距[2]。新疆馬產(chǎn)業(yè)的生產(chǎn)模式仍然相對傳統(tǒng)，數(shù)字化應用水平相對較低，在精細管理、資源配置、異常監(jiān)測和風險管控等方面存在諸多不足。為快速推進新疆馬產(chǎn)業(yè)現(xiàn)代化轉(zhuǎn)型和適應新疆馬產(chǎn)業(yè)對大數(shù)據(jù)技術的迫切需要，自治區(qū)人民政府《關于加快新疆馬產(chǎn)業(yè)高質(zhì)量發(fā)展的意見（新政辦發(fā)[2022]11號)》提出構(gòu)建馬產(chǎn)業(yè)科技支撐體系，實施馬產(chǎn)業(yè)科技重大專項及重點研發(fā)項目，加快突破發(fā)展技術瓶頸，加快推進我區(qū)馬產(chǎn)業(yè)高質(zhì)量發(fā)展[3]。本文提出了馬智慧養(yǎng)殖大數(shù)據(jù)平臺的設計與實現(xiàn)。通過信息化手段采集、存儲、處理和預測馬養(yǎng)殖產(chǎn)業(yè)過程各類數(shù)據(jù)，掌握數(shù)據(jù)規(guī)律，為養(yǎng)殖管理提供智能化、可視化和智慧化的技術支持[4-6]，

近年來，研究人員積極研究和探索大數(shù)據(jù)在畜牧養(yǎng)殖領域的應用，為設計馬智慧養(yǎng)殖大數(shù)據(jù)平臺提供了諸多寶貴經(jīng)驗。精細化管理方面，車輝等[7-8]提出大數(shù)據(jù)技術結(jié)合物聯(lián)網(wǎng)技術、人工智能控制等技術構(gòu)建大數(shù)據(jù)平臺，實現(xiàn)數(shù)據(jù)實時分析和產(chǎn)品溯源等功能，推進養(yǎng)殖業(yè)大數(shù)據(jù)平臺的穩(wěn)步和快速發(fā)展。刁海亭[9]指出物聯(lián)網(wǎng)、大數(shù)據(jù)、云計算和人工智能等新一代信息技術的支持，能加快轉(zhuǎn)變畜牧業(yè)發(fā)展方式，從粗放經(jīng)營轉(zhuǎn)到注重提高質(zhì)量和效益的高質(zhì)量發(fā)展上來，推動畜產(chǎn)品向綠色優(yōu)質(zhì)轉(zhuǎn)型，智慧畜牧業(yè)會向著更快更好的方向發(fā)展。但研究人員在如何確保數(shù)據(jù)的準確性和完整性的論述有所不足。優(yōu)化配置和風險防控方面，阿賽提等[10-12]提出“移動互聯(lián)網(wǎng)+大數(shù)據(jù)分析+手機APP”的模式，實現(xiàn)了無紙化防疫、檢疫備案和業(yè)務跟蹤等相關功能，提高了畜牧戰(zhàn)線工作人員的工作效率，保障畜產(chǎn)品安全。然而，如何做好數(shù)據(jù)隱私保護和安全性方面及確保敏感信息不被泄露的論述不夠全面。養(yǎng)殖環(huán)境監(jiān)測方面，張杰等[13]設計基于GIS技術、通信技術和物聯(lián)網(wǎng)設備的管理平臺，解決大規(guī)?？绲貐^(qū)環(huán)境下非標準化和管理難問題，實現(xiàn)對蜂業(yè)全產(chǎn)業(yè)鏈大數(shù)據(jù)的跨地區(qū)、大規(guī)模、多維度等多源異構(gòu)數(shù)據(jù)管理及決策服務。鄒驊[14]應用傳感器網(wǎng)絡應用技術，提出水產(chǎn)養(yǎng)殖的水質(zhì)和溫度監(jiān)測與控制技術，用于解決水產(chǎn)養(yǎng)殖水質(zhì)環(huán)境監(jiān)測。韓書慶等[15]針對當前奶牛養(yǎng)殖環(huán)境監(jiān)測自動化水平不高、監(jiān)測和維護成本高的問題，設計了基于物聯(lián)網(wǎng)技術研發(fā)了奶牛養(yǎng)殖環(huán)境監(jiān)測系統(tǒng),實現(xiàn)奶牛舍溫度、濕度、光照度、風速以及氨氣濃度等環(huán)境因子動態(tài)變化的遠程實時監(jiān)測。但研究人員對于如何利用環(huán)境監(jiān)測數(shù)據(jù)進行深入數(shù)據(jù)分析，以便更好地服務養(yǎng)殖管理者的表述不夠具體。此外，張浩等[16]通過搭建BigFarmNet全場聯(lián)網(wǎng)管理系統(tǒng)大數(shù)據(jù)平臺，用以建立豬舍環(huán)境控制系統(tǒng)防止低疾病的發(fā)生，改善豬舍空氣質(zhì)量、環(huán)境因素和轉(zhuǎn)變飼養(yǎng)模式，但對于如何持續(xù)改進環(huán)境控制系統(tǒng)，確保其長期穩(wěn)定運行和成本效益方面的研究較少。段青玲等[17]通過大數(shù)據(jù)技術實現(xiàn)水質(zhì)預測、調(diào)控和預警功能，為大閘蟹養(yǎng)殖提供了智能化數(shù)據(jù)分析服務，但是該文中數(shù)據(jù)來源不夠全面，缺乏更加多樣化的數(shù)據(jù)以支持其后續(xù)研究。

目前研究人員在馬智慧養(yǎng)殖方面提出了諸多可行方案。如沈秋采等[18]設計了一套功能全面的基于B/S模式的馬場信息綜合管理系統(tǒng)，該系統(tǒng)包括馬匹信息管理、健康監(jiān)測、飼養(yǎng)管理、免疫管理、病例管理、繁育管理、訓練管理和日常管理八個模塊，實現(xiàn)了馬匹與馬場基本信息的管理、馬匹免疫信息與病例信息的統(tǒng)計及免疫提醒與分娩提醒等功能，為馬場提供了全面、高效和可視化的馬場信息管理技術支持。王超等[19]設計了基于.NET的馬場病歷信息管理系統(tǒng)的構(gòu)建，包括病例信息錄入、查詢、統(tǒng)計及系統(tǒng)管理，實現(xiàn)了馬場病例基本信息的統(tǒng)計與分析，為馬場疾病的預防和治療提供依據(jù)。郭斌等[20]設計基于Django的馬匹信息管理系統(tǒng)，系統(tǒng)設計了馬匹檔案功能模塊、飼養(yǎng)管理功能模塊、電子病歷管理功能模塊、種公馬管理功能模塊、繁殖管理功能模塊和人員管理功能模塊，為馬場科學化、合理化養(yǎng)殖馬匹提供了必要的依據(jù)。以上研究人員設計完成馬養(yǎng)殖相關的管理系統(tǒng)，但是均與大數(shù)據(jù)技術結(jié)合得不夠深入，無法更加廣泛地收集、存儲和分析馬養(yǎng)殖全過程相關數(shù)據(jù)。

文章以新疆馬養(yǎng)殖領域為背景，綜合考慮馬匹健康和養(yǎng)殖環(huán)境管理的多方面需求，借助大數(shù)據(jù)和互聯(lián)網(wǎng)技術，構(gòu)建并實施馬智慧養(yǎng)殖大數(shù)據(jù)平臺，旨在提供全方位的數(shù)據(jù)管理和應用服務，助力將新疆打造成為全國現(xiàn)代馬業(yè)強區(qū)。文章提出了馬智慧養(yǎng)殖大數(shù)據(jù)平臺的設計與實現(xiàn)，平臺將承載大量多源異構(gòu)數(shù)據(jù)的存儲、處理、共享、可視化和應用，具有全面的數(shù)據(jù)管理，幫助養(yǎng)殖管理者更好地了解馬匹的健康狀況和養(yǎng)殖環(huán)境；平臺通過大數(shù)據(jù)技術，進行數(shù)據(jù)分析和預測，養(yǎng)殖企業(yè)通過大數(shù)據(jù)平臺的數(shù)據(jù)統(tǒng)計分析，實現(xiàn)對養(yǎng)殖資源的精細化管理和優(yōu)化配置，減少資源浪費，提高資源利用效率；通過可視化數(shù)據(jù)平臺，養(yǎng)殖企業(yè)可以實時了解養(yǎng)殖過程中的風險因素，及時采取有效措施，進行風險防控，降低養(yǎng)殖風險。平臺的設計與實現(xiàn)對新疆馬養(yǎng)殖智慧化、現(xiàn)代化發(fā)展具有重要意義。

2 需求分析與架構(gòu)設計

2.1 需求分析

在畜牧產(chǎn)業(yè)發(fā)展進程中，缺乏運用現(xiàn)代化技術的思想理念，不能有效將現(xiàn)代化的先進科學技術融入畜牧業(yè)生產(chǎn)中，導致畜牧養(yǎng)殖經(jīng)營和管理方式落后，致使畜禽產(chǎn)量存在缺乏市場競爭力、產(chǎn)量低和質(zhì)量差等問題[21]。馬產(chǎn)業(yè)作為新疆重要畜牧養(yǎng)殖產(chǎn)業(yè)之一，存在基礎相對薄弱、轉(zhuǎn)型升級緩慢、科技支撐水平不高及優(yōu)勢區(qū)帶動能力不強等問題。因此，將先進物聯(lián)網(wǎng)和計算機技術應用到新疆馬產(chǎn)業(yè)，建立大數(shù)據(jù)基礎信息資源庫，整合和分析馬養(yǎng)殖過程中的多源數(shù)據(jù)，構(gòu)建馬智慧養(yǎng)殖大數(shù)據(jù)平臺能夠有效加快新疆馬產(chǎn)業(yè)現(xiàn)代化的發(fā)展步伐。結(jié)合馬傳統(tǒng)養(yǎng)殖專業(yè)知識和馬場實際情況，針對基礎信息管理不完善、防疫育種記錄方式落后、馬匹和環(huán)境監(jiān)控設備匱乏等突出問題，平臺構(gòu)建的功能包括檔案管理、防疫管理、育種管理、環(huán)境管理和行為管理五個部分。如表1所示，檔案管理可以為馬管理提供全面、準確和便捷的信息查詢和統(tǒng)計；防疫管理詳細記錄了馬疫苗接種的全部數(shù)據(jù)，為馬健康狀況提供科學、精準和可靠的數(shù)據(jù)支撐；育種管理詳細記錄了育種配種的全過程數(shù)據(jù)，為馬養(yǎng)殖的育種繁殖提供科學的數(shù)據(jù)指導；環(huán)境管理實時監(jiān)測馬廄各種環(huán)境指標，為馬生活環(huán)境提供可靠的保障；行為管理通過實時AI監(jiān)控設備，實時采集和存儲馬場各個區(qū)域馬行為視頻數(shù)據(jù)，通過云視頻平臺預警功能，及時報警提示異常情況，為馬養(yǎng)殖管理者防范馬出現(xiàn)異常行為和健康問題提供數(shù)據(jù)支持。

表1 需求功能分析

2.2 架構(gòu)設計

根據(jù)馬養(yǎng)殖的需求分析，融合大數(shù)據(jù)技術的獨特優(yōu)勢，馬智慧養(yǎng)殖大數(shù)據(jù)平臺的總體架構(gòu)由下至上可以分為設備層、數(shù)據(jù)層、數(shù)據(jù)處理層和應用層，這四個層級的協(xié)同作用使得馬智慧養(yǎng)殖大數(shù)據(jù)平臺能夠?qū)崿F(xiàn)更高效、智能和可持續(xù)的養(yǎng)殖管理。設備層，即智能感知層，其特點是實時數(shù)據(jù)采集,連接分布于馬場各個場所的智能感知設備，收集各類關鍵數(shù)據(jù)，進行實時流數(shù)據(jù)處理，快速捕捉關鍵數(shù)據(jù)變化，并將其傳送到數(shù)據(jù)層，以支持即時決策；數(shù)據(jù)層，即大數(shù)據(jù)存儲與管理層，承擔著馬智慧養(yǎng)殖大數(shù)據(jù)平臺的數(shù)據(jù)存儲和管理任務，使用分布式存儲技術，容納設備層采集的海量數(shù)據(jù)，對數(shù)據(jù)進行高容量存儲、可伸縮性處理和數(shù)據(jù)安全保障；數(shù)據(jù)處理層，即數(shù)據(jù)分析與挖掘?qū)?，是大?shù)據(jù)技術的核心應用層，通過數(shù)據(jù)挖掘算法、深度學習模型和實時流分析，從海量數(shù)據(jù)中提取有用信息，形成可供應用層直接調(diào)用的直觀數(shù)據(jù)；應用層，即智能決策與監(jiān)控層，是面向馬養(yǎng)殖管理者的友好界面和決策支持?？傮w框架如圖1所示。

2.2.1 設備層

以“馬產(chǎn)業(yè)現(xiàn)代化”為發(fā)展方向，為構(gòu)建馬智慧養(yǎng)殖大數(shù)據(jù)平臺，平臺設計使用先進的設備和技術，通過建立全覆蓋、立體化和人機協(xié)同的養(yǎng)殖大數(shù)據(jù)采集網(wǎng)絡，馬智慧養(yǎng)殖大數(shù)據(jù)平臺能夠?qū)崿F(xiàn)對馬個體數(shù)據(jù)、馬場環(huán)境指標及養(yǎng)馬馴馬信息等數(shù)據(jù)進行實時采集。如圖2，智能傳感器采集環(huán)境數(shù)據(jù)；AI攝像頭實時采集馬行為；穿戴式設備采集馬各項生理指標；移動終端收集馬基礎數(shù)據(jù)。

2.2.2 數(shù)據(jù)層

本平臺面向馬養(yǎng)殖全過程開展數(shù)據(jù)采集，建立了基于大數(shù)據(jù)平臺的用于分類存儲各類數(shù)據(jù)的數(shù)據(jù)庫。馬場全域物聯(lián)網(wǎng)絡采集的數(shù)據(jù)，通過wifi或者4G/5G網(wǎng)絡進行傳輸，匯聚形成多源異構(gòu)的結(jié)構(gòu)化或者非結(jié)構(gòu)化的養(yǎng)殖數(shù)據(jù)資源，被分類存儲到大數(shù)據(jù)平臺的數(shù)據(jù)庫。馬智慧養(yǎng)殖大數(shù)據(jù)大致可以規(guī)劃為“基”、“動”、“警”三大類，如表2所示?！盎敝饕沁M行馬名、芯片號、品種、性別和血統(tǒng)等基本歷史信息數(shù)據(jù)導入，移動端錄入近期馬基本信息數(shù)據(jù)?！皠印敝饕ㄟ^智能傳感器，穿戴式設備和移動端信息錄入實時錄入馬養(yǎng)殖過程中的動態(tài)數(shù)據(jù)。“警”主要是通過馬場環(huán)境常規(guī)氣體監(jiān)測傳感器、AI監(jiān)控攝像頭實時采集溫度、濕度、光照、氨氣和馬行為等數(shù)據(jù)，并及時預警環(huán)境異常數(shù)據(jù)和馬異常行為。以上數(shù)據(jù)共同為馬智慧養(yǎng)殖大數(shù)據(jù)平臺提供了基本數(shù)據(jù)的支撐。

2.2.3 數(shù)據(jù)處理層

平臺建有功能相對完善的數(shù)據(jù)清洗與處理、數(shù)據(jù)存儲與管理和數(shù)據(jù)分析與挖掘平臺?？蓪崿F(xiàn)數(shù)據(jù)的融合、分析和挖掘。通過數(shù)據(jù)清洗與處理，將數(shù)據(jù)送達數(shù)據(jù)存儲與管理系統(tǒng)，經(jīng)過數(shù)據(jù)分析和挖掘，實現(xiàn)聚類分析、趨勢預測、決策分類和模式識別。

數(shù)據(jù)清洗與處理主要包括：數(shù)據(jù)去重、異常值處理和數(shù)據(jù)格式化。數(shù)據(jù)去重采用基于排序的去重方法，將數(shù)據(jù)集合中的數(shù)據(jù)進行排序，然后比較相鄰的數(shù)據(jù)是否相同，如果相同則認為是重復數(shù)據(jù)，需要進行去重處理。異常值處理使用Z-Score方法，計算數(shù)據(jù)集合中每個數(shù)據(jù)與其均值之間的差值，再除以數(shù)據(jù)集合的標準差，得到一個Z-Score值，如果Z-Score值大于某一閾值，則認為該數(shù)據(jù)為異常值。以馬環(huán)境監(jiān)測中的濕度指標為例,已知樣本序列Humidity={1,2···h}表示某馬廄在特定時間段的濕度具體數(shù)值，如公式（1），h∈Humidity,經(jīng)計算得到z(1＜＜),由z構(gòu)成新的不再受離群值影響的新樣本序列－Humidity={1,2···z}，從而保證了馬廄濕度數(shù)據(jù)的可靠性。

圖2 設備功能

表2 馬養(yǎng)殖大數(shù)據(jù)分類及來源

數(shù)據(jù)格式化按照數(shù)字格式化規(guī)則、日期格式化規(guī)則、時間格式化規(guī)則、百分比格式化規(guī)則、文本格式化規(guī)則和自定義格式化規(guī)則。

數(shù)據(jù)存儲與管理：將清洗后的數(shù)據(jù)進行分類建立數(shù)據(jù)庫，依據(jù)馬智慧養(yǎng)殖大數(shù)據(jù)平臺的建設需求，共建立四個數(shù)據(jù)庫：用于檔案管理的基本信息數(shù)據(jù)庫、用于防疫管理和育種管理的日常飼喂數(shù)據(jù)庫、用于行為管理的馬匹行為數(shù)據(jù)庫和用于環(huán)境管理的養(yǎng)殖環(huán)境數(shù)據(jù)庫。

數(shù)據(jù)分析與挖掘：依據(jù)各類型數(shù)據(jù)庫提供的數(shù)據(jù)和應用層對各類數(shù)據(jù)的要求，共應用聚類分析、趨勢預測、決策分類和模式識別四個相關技術。聚類分析采用K-medoids聚類，將數(shù)據(jù)中的樣本劃分為K個互不重疊的簇，每個簇的中心點是該簇內(nèi)與其他樣本距離之和最小的點，迭代執(zhí)行上述過程以實現(xiàn)聚類。趨勢預測采用歷史數(shù)據(jù)分析法，通過收集馬養(yǎng)殖過程中的歷史數(shù)據(jù)，了解過去的趨勢和模式，來預測未來的走勢。決策分類采用傳統(tǒng)輕量級決策樹算法，通過對特征的選擇，將數(shù)據(jù)集劃分為越來越小的子集，直到劃分后的數(shù)據(jù)集可以被分類為止。

模式識別主要依據(jù)AI攝像頭功能和環(huán)境傳感器進行各種特殊情況預警和模式識別，如圖3。主要包括馬異常行為識別，馬異常聲音識別和馬生活環(huán)境氣態(tài)指標異常提醒等。

圖3 行為及環(huán)境監(jiān)測

2.2.4 應用層

平臺應用層以為馬養(yǎng)殖管理提供科學的指導為遵旨，以處理層形成的數(shù)據(jù)為基礎，以馬養(yǎng)殖多樣化需求為目標，利用大數(shù)據(jù)技術對數(shù)據(jù)驅(qū)動的智能決策提供支持，創(chuàng)建了各種用戶應用、儀表板和可視化工具，協(xié)助馬養(yǎng)殖管理者制定個性化的養(yǎng)殖計劃、資源優(yōu)化和預測市場需求，可實現(xiàn)數(shù)據(jù)報告，數(shù)據(jù)實時查詢、數(shù)據(jù)監(jiān)控和智能決策等功能。其中，大數(shù)據(jù)可視化平臺實現(xiàn)數(shù)據(jù)可視化，信息管理系統(tǒng)實現(xiàn)馬養(yǎng)殖信息管理，環(huán)境監(jiān)測系統(tǒng)實現(xiàn)環(huán)境指標實時監(jiān)測及異常預警系統(tǒng)實現(xiàn)馬異常行為預警。

3 關鍵技術

平臺關鍵技術采用“1+1+1”技術設計思路，如圖4，即1個非結(jié)構(gòu)化存儲集群、1個全局化數(shù)據(jù)分析、1個web集群化一體平臺。非結(jié)構(gòu)化存儲集群能夠高效地存儲數(shù)據(jù)，兼具安全性和可靠性，實現(xiàn)馬智慧養(yǎng)殖過程中的海量多源大數(shù)據(jù)存儲,為數(shù)據(jù)分析提供基礎；全局化數(shù)據(jù)分析實現(xiàn)對來自不同來源的大量數(shù)據(jù)進行分析和處理，從龐雜的數(shù)據(jù)中提取有價值的數(shù)據(jù)，并將這些數(shù)據(jù)發(fā)送到數(shù)據(jù)庫中，供后續(xù)調(diào)用；web集群化一體平臺通過調(diào)用數(shù)據(jù)庫中的數(shù)據(jù)，構(gòu)建各種符合馬養(yǎng)殖需求的應用程序，以高效直觀的方式呈現(xiàn)和管理養(yǎng)殖數(shù)據(jù)，為馬養(yǎng)殖管理提供數(shù)據(jù)支持和科學決策依據(jù)。

圖4 技術路線圖

3.1 非結(jié)構(gòu)化存儲集群

非結(jié)構(gòu)化存儲集群采用大規(guī)模非結(jié)構(gòu)化集群Hbase，如圖5。HBase是一種基于列存儲的分布式NoSQL數(shù)據(jù)庫，其數(shù)據(jù)模型是以行、列、版本號三個維度來組織數(shù)據(jù)的，使用Hadoop HDFS作為其文件存儲系統(tǒng)，HDFS采用分布式存儲的方式，將馬智慧養(yǎng)殖的多源海量數(shù)據(jù)存儲在多個節(jié)點上，同時為了提高讀寫效率，HDFS還采用了數(shù)據(jù)切塊（Block）的方式。以馬智慧養(yǎng)殖過程中的異常行為監(jiān)測視頻數(shù)據(jù)為例，HDFS將大文件視頻數(shù)據(jù)分為多個小塊進行存儲和管理。當需要向HBase中寫入視頻數(shù)據(jù)時，視頻數(shù)據(jù)首先被寫入到HDFS中的一個新數(shù)據(jù)文件中，然后HBase再將該視頻數(shù)據(jù)文件的元數(shù)據(jù)存儲到HDFS的另一個文件中，同時將該元數(shù)據(jù)保存到MemStore中。當MemStore中的視頻數(shù)據(jù)量達到一定閾值后，HBase會將其刷寫到HDFS中，形成一個HFile文件。HFile文件中的數(shù)據(jù)按照行鍵排序，同時采用了塊索引的方式進行管理，以提高視頻數(shù)據(jù)的讀取效率。當需要從HBase中讀取視頻數(shù)據(jù)時，首先根據(jù)行鍵定位到對應的HFile文件，然后根據(jù)列族和列限定符獲取視頻數(shù)據(jù)。如果需要獲取多個版本的視頻數(shù)據(jù)，則會根據(jù)時間戳從HFile文件中讀取多個視頻數(shù)據(jù)版本，并根據(jù)版本號進行排序和去重。

3.2 全局化數(shù)據(jù)分析

從分布式存儲HDFS中讀取馬養(yǎng)殖多源數(shù)據(jù)，形成全局化數(shù)據(jù)，進行數(shù)據(jù)清洗。如圖6，數(shù)據(jù)清洗后保存至HDFS，使用分布式消息中間件Kafka，以topic進行分類，形成消息隊列，結(jié)合管道流方式的日志系統(tǒng)Flume,形成“Kafka+Flume”的消息總線。使用大數(shù)據(jù)計算框架MapReduce完成海量數(shù)據(jù)運算，MapReduce可以完成各種離線批數(shù)據(jù)處理，在離線狀態(tài)不間斷利用二次排序算法：將用戶的數(shù)據(jù)分析請求按照時間戳進行二次排序，首先按照用戶請求的時間戳對請求進行排序，然后再按照其他條件對請求進行排序，如請求的優(yōu)先級或者請求的復雜性。該算法可以確保在離線狀態(tài)下，按照用戶的需求和優(yōu)先級有序地處理數(shù)據(jù)分析請求。實現(xiàn)計算和處理用戶已經(jīng)發(fā)起的馬智慧養(yǎng)殖全局化數(shù)據(jù)分析請求。同時，MapReduce具有良好的擴展性，當計算資源不能得到滿足的時候，可以通過簡單的增加機器來擴展它的計算能力。結(jié)合MapReduce強大的計算能力，使用基于HDFS的數(shù)據(jù)倉庫Hive，操作接口采用類SQL語法，提供快速開發(fā)的能力，避免了去寫MapReduce，在執(zhí)行大數(shù)據(jù)處理具有很大的優(yōu)勢。在進行馬智慧養(yǎng)殖全局化數(shù)據(jù)統(tǒng)計分析后，將處理好的數(shù)據(jù)送至HBase數(shù)據(jù)庫管理系統(tǒng),為用戶應用提供數(shù)據(jù)支撐。

圖5 Hbase技術框架

圖6 全局化數(shù)據(jù)分析技術圖

3.3 web集群化一體平臺

平臺采用基于python成熟框架django構(gòu)建web集群化一體平臺，如圖7，Django是一個基于MVC（Model-View-Controller）模式的Web應用框架，實現(xiàn)集群一體化平臺。以馬智慧養(yǎng)殖大數(shù)據(jù)平臺可視化功能為例。當用戶端發(fā)起調(diào)用馬毛色、馬數(shù)量、馬品種信息統(tǒng)計請求時，該請求發(fā)送到Web服務器，之后Web服務器將請求發(fā)送到Django框架。Django框架根據(jù)請求的URL路由，找到對應的馬毛色、馬數(shù)量、馬品種信息的View函數(shù)，View函數(shù)處理請求，從數(shù)據(jù)庫中獲取馬毛色、馬數(shù)量、馬品種信息的數(shù)據(jù)，然后將數(shù)據(jù)渲染到模板中，最后Django框架將渲染好的HTML響應返回給Web服務器，Web服務器將響應發(fā)送回用戶端。最終在前端可視化部分，頁面呈現(xiàn)通過LayUI框架進行展示，使用Html、CSS、Java Script以及Echarts前端可視化庫，以柱狀圖、餅圖、折線圖和列表等形式展示Django傳遞的數(shù)據(jù)，完成可視化。

4 平臺實現(xiàn)效果

4.1 馬智慧養(yǎng)殖大數(shù)據(jù)平臺信息管理系統(tǒng)

目前，新疆馬產(chǎn)業(yè)現(xiàn)代化養(yǎng)殖主要問題是缺乏完善的數(shù)據(jù)采集與管理機制，養(yǎng)殖人員普遍重視馬養(yǎng)殖的成果產(chǎn)出，而對馬生產(chǎn)過程中的數(shù)據(jù)匯集和利用重視不足，制約了新疆馬產(chǎn)業(yè)現(xiàn)代化數(shù)據(jù)共享及數(shù)據(jù)中心的可持續(xù)發(fā)展。馬智慧養(yǎng)殖大數(shù)據(jù)平臺信息管理系統(tǒng)，如圖8，是馬智慧養(yǎng)殖全產(chǎn)業(yè)鏈大數(shù)據(jù)建設最基礎也是最重要的系統(tǒng)，本項目結(jié)合馬智慧養(yǎng)殖的實際情況，采取電腦端與移動端相結(jié)合，人工信息錄入和設備智能采集相結(jié)合，數(shù)據(jù)實時匯聚和統(tǒng)一分類相結(jié)合的方式進行數(shù)據(jù)采集，匯入相應數(shù)據(jù)倉庫形成專題數(shù)據(jù)庫。

圖7 Django框架運行原理圖

4.2 馬智慧養(yǎng)殖大數(shù)據(jù)平臺可視化數(shù)據(jù)中心

可視化數(shù)據(jù)中心是一個多功能的平臺，旨在將與馬匹養(yǎng)殖相關的各項數(shù)據(jù)集中顯示，以幫助養(yǎng)殖企業(yè)更好地管理和監(jiān)測馬匹養(yǎng)殖情況?？梢暬瘮?shù)據(jù)中心（圖9）整合了大量來自多個來源的異構(gòu)數(shù)據(jù)，通過后臺服務實現(xiàn)數(shù)據(jù)訪問接口，前端應用則利用開源框架如Openlayers、Echarts、Cesium以及自定義的時間軸組件，對馬匹養(yǎng)殖領域的數(shù)據(jù)進行可視化呈現(xiàn)，通過巧妙的布局和多種數(shù)據(jù)呈現(xiàn)方式，如輪播、圖文結(jié)合、餅圖、柱狀圖和曲線圖等，集成展示了關于馬廄配額、品種統(tǒng)計、馬匹情況，運動量統(tǒng)計，環(huán)境監(jiān)測、毛色統(tǒng)計和最近更新等多方面信息，為馬養(yǎng)殖管理者提供了全面的數(shù)據(jù)洞察，從而更好地管理和決策馬匹養(yǎng)殖活動。

5 總結(jié)與展望

本文針對馬養(yǎng)殖全過程的大數(shù)據(jù)，總結(jié)了馬養(yǎng)殖大數(shù)據(jù)的來源、模型分析和應用平臺的研究進展，重點梳理了在馬養(yǎng)殖的基本信息檔案、防疫登記、育種配種、環(huán)境監(jiān)測及行為分析等的研究和應用，建立了馬智慧養(yǎng)殖大數(shù)據(jù)平臺，實現(xiàn)了信息統(tǒng)計、實時監(jiān)測、數(shù)據(jù)管理分析和數(shù)據(jù)可視化等基礎功能，但是當前對馬養(yǎng)殖大數(shù)據(jù)分析建模的研究還處于起步階段，在如何利用馬養(yǎng)殖大數(shù)據(jù)來解決實際問題方面仍然面臨許多問題和挑戰(zhàn)，主要包含以下幾個方面：

針對馬養(yǎng)殖的大數(shù)據(jù)來源仍然不夠豐富，大部分數(shù)據(jù)以環(huán)境數(shù)據(jù)和馬的基本數(shù)據(jù)為主體，缺乏更加細化的數(shù)據(jù)，如考慮馬情緒、馴馬師專業(yè)知識和獸醫(yī)處方式治療等數(shù)據(jù)來源。

馬養(yǎng)殖的大數(shù)據(jù)分析模型的應用范圍仍然較為傳統(tǒng)。當前研究集中在信息統(tǒng)計分析、數(shù)據(jù)監(jiān)測和數(shù)據(jù)可視化。而對馬養(yǎng)殖全過程數(shù)據(jù)與深度學習模型、大型語言模型的結(jié)合度不夠，難以做到更加廣泛的應用推廣。

馬養(yǎng)殖產(chǎn)業(yè)大數(shù)據(jù)關聯(lián)性應用不夠突出。馬智慧養(yǎng)殖大數(shù)據(jù)平臺建設尚未完善，平臺數(shù)據(jù)存在數(shù)據(jù)利用率較低、整合度不夠、標準不統(tǒng)一問題，當前大多數(shù)分析仍然是對特定數(shù)據(jù)或者小樣本的分析，導致數(shù)據(jù)分析的可靠性不夠高。

綜合當前研究現(xiàn)狀和面臨的問題，馬智慧養(yǎng)殖大數(shù)據(jù)平臺的后續(xù)建設的重點是拓寬數(shù)據(jù)來源，豐富馬養(yǎng)殖全過程大數(shù)據(jù)，逐步實現(xiàn)全過程數(shù)據(jù)與先進人工智能算法深度結(jié)合，提升平臺的其可靠性、實用性和應用范圍。進一步完善馬智慧養(yǎng)殖大數(shù)據(jù)平臺，能夠促進新疆馬產(chǎn)業(yè)向智能化發(fā)展，為大數(shù)據(jù)技術在其他畜牧業(yè)養(yǎng)殖的應用提供借鑒。

[1] 羅鵬輝.新疆馬產(chǎn)業(yè)發(fā)展現(xiàn)狀分析[J].新疆畜牧業(yè),2022,37(3):8-12.

[2] 趙恬也,余國新.新疆現(xiàn)代馬產(chǎn)業(yè)發(fā)展路徑探究[J].邊疆經(jīng)濟與文化,2020,(2):20-22.

[3] 關于加快新疆馬產(chǎn)業(yè)高質(zhì)量發(fā)展的意見[J].新疆維吾爾自治區(qū)人民政府公報,2022,(Z4):19-24.

[4] 李婷婷,馬娟娟,張建華.農(nóng)業(yè)大數(shù)據(jù)信息采集平臺建設研究[J].中國農(nóng)學通報,2022,38(3):158-164.

[5] 顧君,賈暑花,曾慶鴻.基于知識中臺的農(nóng)業(yè)單品全產(chǎn)業(yè)鏈大數(shù)據(jù)平臺建設研究[J].農(nóng)業(yè)大數(shù)據(jù)學報,2021,3(1):25-32.

[6] 周爽爽.互聯(lián)網(wǎng)+背景下智慧農(nóng)機大數(shù)據(jù)平臺發(fā)展策略研究[J].現(xiàn)代農(nóng)業(yè)研究,2020,26(4):75-76.

[7] 車輝,苗碧舟,馬春躍,楊波.湖州市吳興區(qū)智慧水產(chǎn)養(yǎng)殖系統(tǒng)建設方案[J].智能物聯(lián)技術,2022,5(1):49-54.

[8] 李志雄.紅河州畜牧業(yè)大數(shù)據(jù)平臺建設應用與對策思考[J].中國畜牧業(yè),2021,(23):52-53.

[9] 刁海亭.物聯(lián)網(wǎng)在智慧畜牧業(yè)高質(zhì)量發(fā)展中的作用淺析[J].山東畜牧獸醫(yī),2022,43(3):53-56.

[10 阿賽提,阿布來提·達吾提.基于大數(shù)據(jù)的動物疫情防控信息系統(tǒng)應用與分析——以新疆畜牧獸醫(yī)大數(shù)據(jù)平臺為例[J].新疆畜牧業(yè),2021,36(4):35-40.

[11] 夏春芳,魏斌,高亮.伊犁州直無紙化動物防疫體系推廣應用現(xiàn)狀及建議[J].上海畜牧獸醫(yī)通訊,2021,(2):47-49.

[12] 魯海富,李艷,馬建文,蒲文兵.新疆昌吉州動物防疫信息無紙化建設中存在問題與建議[J].畜牧獸醫(yī)科學(電子版),2020,(21):132-133.

[13] 張杰,劉升平,岳慧麗,呂純陽,洪葳.智慧蜂業(yè)大數(shù)據(jù)平臺建設與應用[J].農(nóng)業(yè)大數(shù)據(jù)學報,2021,3(1):3-13.

[14] 鄒驊.數(shù)字化水產(chǎn)養(yǎng)殖中智能環(huán)境監(jiān)測與控制技術[J].科學養(yǎng)魚,2023,(8):78-80.

[15] 韓書慶,劉繼芳,張建華,吳建寨,孔繁濤.奶牛養(yǎng)殖環(huán)境物聯(lián)網(wǎng)監(jiān)測設備的研發(fā)與應用[J].黑龍江畜牧獸醫(yī),2019,(24):37-41+49.

[16] 張浩,鄔銳軍,魏玉環(huán),馬駿驥,孫香蓮.大數(shù)據(jù)平臺搭建對生豬規(guī)?；B(yǎng)殖的影響[J].現(xiàn)代農(nóng)業(yè),2020,(6):62-65.

[17] 段青玲,劉怡然,周新輝,任妮,李道亮.大閘蟹養(yǎng)殖大數(shù)據(jù)分析模型和應用進展[J].農(nóng)業(yè)大數(shù)據(jù)學報,2021,3(1):56-65.

[18] 沈秋采,楊濤,朱超,彭宇飛,楊晉丹,梅珀彰,黨雨晴.馬場信息綜合管理系統(tǒng)的開發(fā)與設計[J].家畜生態(tài)學報,2018,39(3):75-80.

[19] 王超,肖建華,翟志南,欒宏梁,秦宏宇,耿琦,王洪斌.馬場病歷信息管理系統(tǒng)的構(gòu)建[J].黑龍江畜牧獸醫(yī),2014,(15):152-153.

[20] 郭斌,張?zhí)t,孟軍,李海,翟少華,朱讓東,艾柯代·努爾買買堤,張澤宇.基于Django的馬匹信息管理系統(tǒng)的設計[J].微型電腦應用, 2021,37(4):11-13+36.

[21] 梁真.現(xiàn)代化畜牧養(yǎng)殖探討[J].農(nóng)民致富之友,2017,(10):272.

Design and Implementation of An Equine Intelligent Breeding Big Data Platform

LIU YanHong1,2,5,6, CAO KeTao3, CHEN XinWen3, LI JinXing1,2,5,6, XIONG Tao4, DU XueMei4, BAI Tao1,5,6, ZHENG WenXin3*, GUO LeiFeng2*

1. College of Computer and Information Engineering, Xinjiang Agricultural University, Urumqi 830052, China; 2. Agricultural Information Institute, Chinese Academy of Agricultural Sciences, Beijing 100080, China; 3.Institute of Animal Husbandry Quality Standards, Xinjiang Academy of Animal Science, Urumqi 830011, China; 4. Xinjiang Wild Horse Cultural Development Co., Ltd., Urumqi, 830011, China; 5. Intelligent Agriculture Engineering Research Center of the Ministry of Education, Urumqi 830011, China; 6. Xinjiang Agricultural Informatization Engineering Technology Research Center, Urumqi 830011, China

With the continuous development of information technology, intelligent farming is being increasingly applied in modern livestock industry. Modern advanced information technology is gradually being applied throughout the entire process of equine farming. Utilizing technologies such as big data and artificial intelligence to promote the intelligent development of the equine industry and improve equine farming efficiency is one of the important pathways towards modernization and technological advancement of the equine industry. In this study, an equine intelligent farming big data platform based on the four-layer system architecture, including the device layer, data layer, data processing layer, and application layer, was developed using the latest information technologies such as big data, artificial intelligence, and the Internet of Things. The platform integrates five functional modules such as record management, epidemic prevention management, breeding management, behavior management, and environmental management, enabling data collection, analysis, model building, and application throughout the equine farming process. This research can provide insights for the construction of intelligent farming in equine breeding bases and enterprises, achieve fine monitoring and management of equine farming, improve equine production efficiency and breeding benefits, and provide more reference significance for the future development of the equine industry.

equine; intelligent farming; big data platform; visualization

劉嚴紅, 曹克濤, 陳新文, 李金星, 熊濤, 杜雪梅, 白濤, 鄭文新, 郭雷風. 馬智慧養(yǎng)殖大數(shù)據(jù)平臺設計與實現(xiàn)[J]. 農(nóng)業(yè)大數(shù)據(jù)學報, 2023, 5(3): 93-103.

LIU YanHong, CAO KeTao, CHEN XinWen, LI JinXing, XIONG Tao, DU XueMei, BAI Tao, ZHENG WenXin, GUO LeiFeng. Design and Implementation of An Equine Intelligent Breeding Big Data Platform[J]. Journal of Agricultural Big Data, 2023, 5(3): 93-103.

2023-05-30；

2023-08-22

運動馬及馬場智慧管理關鍵技術研發(fā)（項目編號:2022B02027-2）

劉嚴紅，E-mail：84071379@qq.com；通信作者鄭文新，E-mail：303004083@qq.com；通信作者郭雷風，E-mail：guoleifeng@caas.cn。