農(nóng)業(yè)大數(shù)據(jù)本科實(shí)驗(yàn)平臺(tái)及資源建設(shè)探討

李輝

對(duì)農(nóng)業(yè)而言，大數(shù)據(jù)既是機(jī)遇，又是挑戰(zhàn)，只有挑戰(zhàn)大數(shù)據(jù)，使信息技術(shù)處于農(nóng)業(yè)領(lǐng)域的制高點(diǎn)，才能充分發(fā)揮大數(shù)據(jù)的優(yōu)勢(shì)為農(nóng)業(yè)發(fā)力。

關(guān)于農(nóng)業(yè)大數(shù)據(jù)的認(rèn)識(shí)

農(nóng)業(yè)大數(shù)據(jù)是指以大數(shù)據(jù)分析為基礎(chǔ)，運(yùn)用大數(shù)據(jù)的理念、技術(shù)與方法處理農(nóng)業(yè)生產(chǎn)、銷售整個(gè)鏈條中所產(chǎn)生的大量數(shù)據(jù)，從中得到有用的信息以指導(dǎo)農(nóng)業(yè)生產(chǎn)、經(jīng)營(yíng)、農(nóng)業(yè)流通和消費(fèi)的過(guò)程。農(nóng)業(yè)數(shù)據(jù)應(yīng)用作為農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)的落地點(diǎn)，要分析挖掘數(shù)據(jù)的價(jià)值，還原大數(shù)據(jù)結(jié)論，反映行業(yè)問(wèn)題。換言之，將農(nóng)業(yè)大數(shù)據(jù)應(yīng)用于糧食安全、土地經(jīng)營(yíng)、病患防治、動(dòng)植物育種、農(nóng)業(yè)結(jié)構(gòu)調(diào)整、農(nóng)產(chǎn)品價(jià)格、農(nóng)副產(chǎn)品消費(fèi)等領(lǐng)域，解決農(nóng)業(yè)生產(chǎn)過(guò)程中遇到的問(wèn)題。但農(nóng)業(yè)數(shù)據(jù)是很復(fù)雜的，具體表現(xiàn)為數(shù)據(jù)源分布廣、可控度低、作物干擾大、類型多樣、結(jié)構(gòu)復(fù)雜和獲取困難等，因此導(dǎo)致我國(guó)農(nóng)業(yè)大數(shù)據(jù)面臨著諸多挑戰(zhàn)和問(wèn)題：首先，大數(shù)據(jù)研究普遍存在著只有數(shù)據(jù)、沒(méi)有充分應(yīng)用取得價(jià)值的問(wèn)題，導(dǎo)致搜集數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)的付出被讓位；其次，數(shù)據(jù)類型單一，只有結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的缺失導(dǎo)致數(shù)據(jù)的不完整。同時(shí)，也缺乏農(nóng)業(yè)現(xiàn)代化與信息化的深度融合，區(qū)域視角缺乏全國(guó)視角；最后，基礎(chǔ)數(shù)據(jù)采用業(yè)界的Hadoop開源技術(shù)簡(jiǎn)單堆砌，很難保證未來(lái)的實(shí)用性。

目前，專門從事數(shù)據(jù)科學(xué)與應(yīng)用研究的人才比較緊缺，大數(shù)據(jù)人才的招募、培養(yǎng)、使用是農(nóng)業(yè)大數(shù)據(jù)研究面臨的最大挑戰(zhàn)。因此，大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展對(duì)大數(shù)據(jù)人才提出了新的需求，國(guó)內(nèi)各高校陸續(xù)進(jìn)行大數(shù)據(jù)學(xué)術(shù)研究的同時(shí)，也在考慮將大數(shù)據(jù)相關(guān)課程納入培養(yǎng)體系，以滿足社會(huì)對(duì)大數(shù)據(jù)人才的需要。在我國(guó)，除以山東農(nóng)業(yè)大學(xué)為首的農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)業(yè)聯(lián)盟之外，還有江蘇、中科院大數(shù)據(jù)實(shí)驗(yàn)室等陸續(xù)成立。中國(guó)農(nóng)業(yè)大學(xué)作為中國(guó)農(nóng)業(yè)院校的領(lǐng)軍者，在大數(shù)據(jù)領(lǐng)域集中圈地建立農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室。同時(shí)，在全國(guó)農(nóng)業(yè)領(lǐng)域的積累以及聯(lián)合全國(guó)優(yōu)秀的企業(yè)共同建立農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室，并將農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室教學(xué)盡快納入培養(yǎng)體系之中，確保中國(guó)農(nóng)業(yè)大學(xué)在農(nóng)業(yè)大數(shù)據(jù)領(lǐng)域后來(lái)居上，達(dá)到國(guó)家級(jí)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室和農(nóng)業(yè)大數(shù)據(jù)領(lǐng)域的領(lǐng)先地位。

在人才培養(yǎng)中，結(jié)合農(nóng)業(yè)行業(yè)的相關(guān)應(yīng)用特點(diǎn)的實(shí)驗(yàn)室教學(xué)是關(guān)鍵環(huán)節(jié)，滿足農(nóng)業(yè)行業(yè)的人才技能要求，需在本科的相關(guān)學(xué)科中強(qiáng)化基于農(nóng)業(yè)行業(yè)相關(guān)數(shù)據(jù)的實(shí)驗(yàn)教學(xué)環(huán)節(jié)。首先要立足于信息與電氣工程專業(yè)，面向全校本科生開展雙學(xué)位大數(shù)據(jù)教學(xué)，從驗(yàn)證性、實(shí)際性和創(chuàng)新性三個(gè)層次設(shè)置實(shí)驗(yàn)，確保中國(guó)農(nóng)業(yè)大學(xué)各個(gè)專業(yè)的學(xué)生可以通過(guò)此課程，了解大數(shù)據(jù)發(fā)展的新趨勢(shì)和新動(dòng)向，及其對(duì)現(xiàn)代農(nóng)業(yè)的影響和意義。其次，信息技術(shù)的發(fā)展為豐富教學(xué)手段提供了可能，通過(guò)開放共享大數(shù)據(jù)實(shí)驗(yàn)室資源，以聯(lián)合大數(shù)據(jù)的科研院所開展農(nóng)業(yè)大數(shù)據(jù)教學(xué)科研工作，全面提高整個(gè)農(nóng)業(yè)院校的科技現(xiàn)代化教育水平。綜上所述，為培養(yǎng)大數(shù)據(jù)教育的高新技術(shù)加農(nóng)業(yè)相關(guān)分析技術(shù)結(jié)合的教育是一個(gè)大的嘗試，從而為中國(guó)的農(nóng)業(yè)現(xiàn)代化與信息化的快速發(fā)展提供合格的后備人才。

農(nóng)業(yè)大數(shù)據(jù)本科實(shí)驗(yàn)室教育建設(shè)的目標(biāo)

按照中國(guó)農(nóng)業(yè)大學(xué)厚基礎(chǔ)、寬口徑、重實(shí)踐、重交叉學(xué)科的要求，科學(xué)設(shè)立大數(shù)據(jù)人才培養(yǎng)方案，既要熟悉數(shù)據(jù)分析，又針對(duì)相關(guān)業(yè)務(wù)的不同要求，開始醞釀本科的農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室教學(xué)設(shè)置，可以讓學(xué)生了解農(nóng)業(yè)大數(shù)據(jù)分析技術(shù)原理和實(shí)驗(yàn)方式，掌握大數(shù)據(jù)對(duì)農(nóng)業(yè)相關(guān)專業(yè)所能帶來(lái)的幫助及變革。為此，要達(dá)成四個(gè)建設(shè)目標(biāo)：

目標(biāo)一：建設(shè)業(yè)界領(lǐng)先的農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室。結(jié)合中國(guó)農(nóng)業(yè)大學(xué)在農(nóng)業(yè)領(lǐng)域的豐厚積累和寶貴資源，以大數(shù)據(jù)技術(shù)與應(yīng)用概論這門學(xué)科為公共課，使各專業(yè)本科均能受益，成為各大院校農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)的樣本，進(jìn)而成為國(guó)家級(jí)農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室。

目標(biāo)二：建設(shè)融合農(nóng)業(yè)行業(yè)經(jīng)驗(yàn)、業(yè)界最新技術(shù)、科研教學(xué)實(shí)踐與業(yè)界實(shí)際案例同時(shí)運(yùn)行的新一代農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室教育平臺(tái)。此平臺(tái)的建設(shè)不是一蹴而就的，而是隨著大數(shù)據(jù)技術(shù)的發(fā)展及農(nóng)業(yè)實(shí)際案例的不斷發(fā)展迭代更新，保證教學(xué)內(nèi)容與時(shí)俱進(jìn)，最大程度避免傳統(tǒng)教育知識(shí)陳舊，為農(nóng)業(yè)現(xiàn)代化、信息化與先進(jìn)技術(shù)的接軌和同步奠定基礎(chǔ)。

目標(biāo)三：運(yùn)用先進(jìn)的“互聯(lián)網(wǎng)+”教育的線上線下相結(jié)合的教學(xué)模式，進(jìn)一步擴(kuò)大農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室的覆蓋范圍。其中的重點(diǎn)是在上述的農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室平臺(tái)上建立相應(yīng)的大數(shù)據(jù)技術(shù)與應(yīng)用概論課程，包括實(shí)際案例教學(xué)材料、教師教案實(shí)驗(yàn)用書、學(xué)生案例實(shí)驗(yàn)用書、答疑等相關(guān)教學(xué)工具與教學(xué)輔助材料。

目標(biāo)四：面向?qū)W生就業(yè)和社會(huì)既定需求為前提的方向轉(zhuǎn)變。針對(duì)農(nóng)業(yè)經(jīng)濟(jì)、農(nóng)業(yè)氣象、生物信息、食品營(yíng)養(yǎng)、食品安全、食品風(fēng)險(xiǎn)監(jiān)測(cè)等專業(yè)的實(shí)際案例，實(shí)現(xiàn)大數(shù)據(jù)行業(yè)應(yīng)用范例教學(xué)材料，可以考慮分期實(shí)施并根據(jù)需要進(jìn)一步擴(kuò)充和優(yōu)化。

農(nóng)業(yè)大數(shù)據(jù)本科實(shí)驗(yàn)室建設(shè)的可行性

為達(dá)成面向本科的大數(shù)據(jù)實(shí)驗(yàn)課程目標(biāo)，中國(guó)農(nóng)業(yè)大學(xué)采用了業(yè)界先進(jìn)的平臺(tái)和貼近農(nóng)業(yè)實(shí)際的相關(guān)案例分析，充分考慮技術(shù)和專業(yè)的融合，從而保證課程的可行性和有效性?？紤]到中國(guó)農(nóng)業(yè)大學(xué)除信息與電氣工程專業(yè)的學(xué)生之外，以及其他學(xué)院的學(xué)生并非為農(nóng)業(yè)大數(shù)據(jù)相關(guān)專業(yè)。因此，課程的設(shè)計(jì)過(guò)程必須考慮廣泛的實(shí)用性，進(jìn)而將其細(xì)分為農(nóng)業(yè)大數(shù)據(jù)技術(shù)應(yīng)用課程與農(nóng)業(yè)大數(shù)據(jù)創(chuàng)新與開發(fā)課程。

首先，學(xué)校師資資源的充裕保證。因?yàn)橹袊?guó)農(nóng)業(yè)大學(xué)已建立了數(shù)據(jù)科學(xué)研究中心。同時(shí)，基于信息與電氣工程學(xué)院的師資資源可充分保證農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室的授課資料。

第二，本科生樂(lè)于擁抱大數(shù)據(jù)技術(shù)。以中國(guó)農(nóng)業(yè)大學(xué)之前開設(shè)的大數(shù)據(jù)選修課基本情況反饋來(lái)看，本科生普遍熱衷于學(xué)習(xí)新的技術(shù)，并運(yùn)用新的技術(shù)解決新的問(wèn)題。無(wú)論是校內(nèi)大數(shù)據(jù)科研中心還是外部企業(yè)，對(duì)大數(shù)據(jù)的巨大人才缺口都是潛在的要求。

第三，校企聯(lián)合可保證大數(shù)據(jù)實(shí)驗(yàn)室的先進(jìn)性和實(shí)用性。實(shí)驗(yàn)室的搭建與農(nóng)業(yè)案例的開發(fā)可以聯(lián)合業(yè)界優(yōu)秀企業(yè)保證其先進(jìn)性、可靠性、實(shí)用性，同時(shí)通過(guò)后期服務(wù)不斷地進(jìn)行升級(jí)，保證技術(shù)不斷地更新與同步。

農(nóng)業(yè)大數(shù)據(jù)本科實(shí)驗(yàn)室建設(shè)的方案

基于農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)目標(biāo)與可行性分析，提出了建設(shè)方案，主要包括農(nóng)業(yè)大數(shù)據(jù)源數(shù)據(jù)包、農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室軟硬件平臺(tái)、農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室平臺(tái)、農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室教學(xué)資源開發(fā)、大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)設(shè)計(jì)方案和大數(shù)據(jù)實(shí)驗(yàn)案例教學(xué)開發(fā)等六個(gè)方面的內(nèi)容。

第一，農(nóng)業(yè)大數(shù)據(jù)源數(shù)據(jù)包。數(shù)據(jù)是大數(shù)據(jù)分析的基礎(chǔ)，主要包含農(nóng)業(yè)經(jīng)濟(jì)、農(nóng)業(yè)跡象、生物信息等數(shù)據(jù)來(lái)源，數(shù)據(jù)來(lái)源多種多樣，數(shù)據(jù)類型除來(lái)自各個(gè)應(yīng)用系統(tǒng)傳統(tǒng)意義上的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)外，更多的是非結(jié)構(gòu)化數(shù)據(jù)源，這些是大數(shù)據(jù)平臺(tái)的原材料，我們將其稱為“裸數(shù)據(jù)”。

第二，農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室硬件平臺(tái)。大數(shù)據(jù)的分析必須要有硬件平臺(tái)做支撐，農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室硬件平臺(tái)包括服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)投影儀和大屏幕等硬件，這些是大數(shù)據(jù)軟件平臺(tái)的定性基礎(chǔ)。

第三，農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室平臺(tái)。農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室平臺(tái)主要包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)處理、數(shù)據(jù)建模和展現(xiàn)等軟件平臺(tái)。在數(shù)據(jù)準(zhǔn)備方面，與商業(yè)智能類似，如果數(shù)據(jù)需要通過(guò)大數(shù)據(jù)平臺(tái)進(jìn)行處理，數(shù)據(jù)的前期準(zhǔn)備工作顯得尤為重要，如數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換和加載，相當(dāng)于對(duì)于原材料進(jìn)行粗加工，以便為大數(shù)據(jù)處理做好充分的前期準(zhǔn)備。在數(shù)據(jù)處理方面，主要用ETL工具準(zhǔn)備好數(shù)據(jù)，首先存儲(chǔ)到分布式文件系統(tǒng)中，利用一系列商務(wù)智能分析對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析和處理，進(jìn)而達(dá)到數(shù)據(jù)挖掘和價(jià)值發(fā)現(xiàn)的目的，這是實(shí)現(xiàn)數(shù)據(jù)變?yōu)橛行畔⒌牡谝徊健?shù)據(jù)的建模與展現(xiàn)方面，結(jié)果數(shù)據(jù)處理后，數(shù)據(jù)的價(jià)值可以通過(guò)進(jìn)一步的建模工具、可視化工具從不同應(yīng)用進(jìn)行深度數(shù)據(jù)挖掘、決策支持等工作，讓大數(shù)據(jù)針對(duì)某一行業(yè)或應(yīng)用場(chǎng)景進(jìn)行二次開發(fā)，這一步是信息變?yōu)橹R(shí)的關(guān)鍵一步。

第四，農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室資源的開發(fā)。數(shù)據(jù)實(shí)踐運(yùn)營(yíng)中都存在開發(fā)實(shí)踐教材資源，農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室資源的開發(fā)主要是教學(xué)案例的開發(fā)，包括農(nóng)業(yè)相關(guān)專業(yè)的數(shù)據(jù)模型開發(fā)、數(shù)據(jù)可視化等內(nèi)容，農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室資源的開發(fā)主要包括大數(shù)據(jù)應(yīng)用實(shí)驗(yàn)教程、大數(shù)據(jù)實(shí)際開發(fā)實(shí)驗(yàn)課程，農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)課程幕后的開發(fā)將知識(shí)供學(xué)生立即使用，農(nóng)業(yè)大數(shù)據(jù)實(shí)驗(yàn)室教材的開發(fā)主要針對(duì)于教室和學(xué)生兩個(gè)方面進(jìn)行編寫。

第五，大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)設(shè)計(jì)方案。大數(shù)據(jù)實(shí)驗(yàn)室平臺(tái)的搭建以多節(jié)點(diǎn)、集群服務(wù)器平臺(tái)作為農(nóng)業(yè)大數(shù)據(jù)建設(shè)的硬件平臺(tái)，提供大數(shù)據(jù)機(jī)能和分布式存儲(chǔ)平臺(tái)，以Hadoop作為應(yīng)用的分布式存儲(chǔ)平臺(tái)，這個(gè)平臺(tái)可以形成六大優(yōu)勢(shì)：第一，一個(gè)平臺(tái)可以覆蓋從數(shù)據(jù)到信息、從知識(shí)到支配全生命周期的流程；第二，數(shù)據(jù)模型可支持99%的數(shù)據(jù)接口，降低數(shù)據(jù)的接口難度，同時(shí)可支持結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)類型；第三，高度提升系統(tǒng)，無(wú)需面對(duì)多種系統(tǒng)混雜在一起，堆積模式帶來(lái)的管理或復(fù)雜難題；第四，高性能，采用共享式文件系統(tǒng)，大大提高數(shù)據(jù)處理和分析速度；第五，采用對(duì)等架構(gòu)，降低故障風(fēng)險(xiǎn)；第六，基于GUI的管理模式，大大降低管理難度。

第六，大數(shù)據(jù)實(shí)驗(yàn)室案例教學(xué)的開發(fā)。為讓學(xué)生真正了解大數(shù)據(jù)在農(nóng)業(yè)相關(guān)專業(yè)具體的應(yīng)用場(chǎng)景和關(guān)鍵作用，有著感性和理性的認(rèn)識(shí)，大數(shù)據(jù)作為當(dāng)今的先進(jìn)技術(shù)，對(duì)傳統(tǒng)農(nóng)業(yè)的升級(jí)有著巨大的推動(dòng)作用，可以激發(fā)學(xué)生的學(xué)習(xí)熱情，提高學(xué)生的創(chuàng)新思維能力，從而為學(xué)生將來(lái)的就業(yè)及推動(dòng)農(nóng)業(yè)現(xiàn)代化和信息化的發(fā)展奠定堅(jiān)實(shí)的基礎(chǔ)。為此，在大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)，針對(duì)農(nóng)業(yè)專業(yè)方向提供相關(guān)的案例也是很重要的，如農(nóng)業(yè)經(jīng)濟(jì)大數(shù)據(jù)案例、農(nóng)業(yè)氣象大數(shù)據(jù)案例、農(nóng)業(yè)生物信息大數(shù)據(jù)案例等等，對(duì)于案例的設(shè)計(jì)和研發(fā)建議本著忠于實(shí)際、分步實(shí)施的原則應(yīng)用于教學(xué)，在教學(xué)反饋中快速迭代后續(xù)的案例開發(fā)，從而始終保證案例的真實(shí)性、可用性和有效性，更好地將大數(shù)據(jù)理論、實(shí)驗(yàn)平臺(tái)與案例相結(jié)合，從而達(dá)到學(xué)以致用的目的。

隨著實(shí)驗(yàn)教學(xué)的展開，越來(lái)越多的學(xué)生會(huì)對(duì)新技術(shù)產(chǎn)生興趣，從而成為我國(guó)農(nóng)業(yè)教育的領(lǐng)航者，打開教育改革的新篇章，為大數(shù)據(jù)教學(xué)提供很好的思路，加快大數(shù)據(jù)在我國(guó)支柱產(chǎn)業(yè)農(nóng)業(yè)方面的應(yīng)用和發(fā)展。

（作者系中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院博士）