聚類(lèi)分析在農(nóng)業(yè)中的應(yīng)用

楊洪澤，胡曉航

(1.新疆農(nóng)業(yè)科學(xué)院經(jīng)濟(jì)作物研究所，烏魯木齊 830091；2.國(guó)家糖料作物改良中心，哈爾濱 150080；3.黑龍江大學(xué)現(xiàn)代農(nóng)業(yè)與生態(tài)環(huán)境學(xué)院，哈爾濱 150080)

0 引言

這是一個(gè)知識(shí)和信息的時(shí)代，信息幾乎是爆炸式增長(zhǎng)。農(nóng)業(yè)被認(rèn)為是人類(lèi)最古老的行業(yè)。由于氣候變化，病害，蟲(chóng)害等各種各樣的因素，農(nóng)業(yè)生產(chǎn)的狀況正在惡化。因此，在農(nóng)業(yè)領(lǐng)域使用計(jì)算機(jī)具有非常廣闊的前景，其中數(shù)據(jù)挖掘技術(shù)，這一新興技術(shù)在農(nóng)業(yè)中的發(fā)展十分迅速[1]。農(nóng)業(yè)專(zhuān)家系統(tǒng)在農(nóng)業(yè)中得到了廣泛的應(yīng)用。為了評(píng)估、證明、升級(jí)和修改現(xiàn)有的農(nóng)業(yè)專(zhuān)家系統(tǒng)，各種分析方法也得到了發(fā)展[2]。本文回顧了聚類(lèi)分析在農(nóng)業(yè)中的應(yīng)用。

在討論數(shù)據(jù)挖掘的應(yīng)用，尤其是聚類(lèi)分析在農(nóng)業(yè)領(lǐng)域的應(yīng)用之前，首先回顧一下聚類(lèi)是什么以及用于聚類(lèi)的各種方法和技術(shù)。

將物理或抽象對(duì)象的集合分成由[3]類(lèi)似的對(duì)象組成的多個(gè)類(lèi)的過(guò)程被稱(chēng)為聚類(lèi)。由聚類(lèi)所生成的簇是一組數(shù)據(jù)對(duì)象的集合，這些對(duì)象與同一個(gè)簇中的對(duì)象彼此相似，與其他簇中的對(duì)象相異。在面向?qū)ο蟮木幊谭独?，以將簇與類(lèi)進(jìn)行比較。 簇和類(lèi)之間的細(xì)微差別在于，類(lèi)中的每個(gè)對(duì)象在屬性上都完全相同，而在簇中，每個(gè)對(duì)象與簇中的其他對(duì)象非常相似，另一方面，如果基于對(duì)象的某些特定屬性進(jìn)行比較，則與其他聚類(lèi)的對(duì)象不同[4]。

聚類(lèi)的方法有很多種，這些技術(shù)分為以下幾類(lèi)：分區(qū)方法、分層方法、基于密度的方法、基于網(wǎng)格的方法、基于模型的方法、高維數(shù)據(jù)的方法和基于約束的聚類(lèi)[5]。 然而在這里，我們的討論僅限于層次凝聚聚類(lèi)法，模糊聚類(lèi)，分裂層次聚類(lèi)法和Kohonen自組織特征映射，因?yàn)樗鼈兪寝r(nóng)業(yè)和相關(guān)科學(xué)領(lǐng)域中廣泛使用的數(shù)據(jù)挖掘方法。

1 聚類(lèi)方法

1.1 分層聚集聚類(lèi)

分層聚集聚類(lèi)的典型例子是物種分類(lèi)。分層凝聚方法也稱(chēng)為自下而上方法，首先將每個(gè)對(duì)象放在自己的集群中。下一步是將這些原子簇合并為連續(xù)更大的簇，直到所有對(duì)象都被限制在單個(gè)簇中或直到終止。大多數(shù)層次聚類(lèi)方法屬于此類(lèi)別，它們的不同之處僅在于它們對(duì)簇間相似性的定義[6]。

1.2 模糊聚類(lèi)

上面討論的分區(qū)聚類(lèi)方法主要涉及關(guān)于合適的相似性度量將一組實(shí)體劃分成多個(gè)同構(gòu)聚類(lèi)的任務(wù)，這也被稱(chēng)為硬聚類(lèi)。換句話說(shuō)，在硬集群中，數(shù)據(jù)元素被劃分為不同的集群，其中每個(gè)數(shù)據(jù)元素恰好屬于一個(gè)集群，在已經(jīng)完成分區(qū)的基礎(chǔ)上，我們可以通過(guò)知道數(shù)據(jù)元素的特定屬性來(lái)預(yù)測(cè)任何數(shù)據(jù)元素與集群的關(guān)聯(lián)[7]。許多實(shí)際問(wèn)題也可能具有模糊性，由于其模糊性，遵循Lotfi Zadeh[8]開(kāi)發(fā)的一般模糊集理論開(kāi)發(fā)了許多模糊聚類(lèi)方法。

在模糊聚類(lèi)(也稱(chēng)為軟聚類(lèi))中，數(shù)據(jù)元素可以同時(shí)屬于多個(gè)聚類(lèi)，并且與每個(gè)元素相關(guān)聯(lián)的是一組隸屬度級(jí)別[9]。模糊聚類(lèi)是分配這些成員的資格級(jí)別，然后使用它們將數(shù)據(jù)元素分配給一個(gè)或多個(gè)集群的過(guò)程[10]。傳統(tǒng)硬聚類(lèi)和模糊聚類(lèi)的主要區(qū)別可以以此概括。在硬聚類(lèi)中，實(shí)體只屬于一個(gè)聚類(lèi)，而在模糊聚類(lèi)中，實(shí)體允許屬于具有不同程度成員資格的多個(gè)聚類(lèi)。在幾種可用的算法中，最廣泛使用的模糊聚類(lèi)算法是模糊C均值(FCM)算法[11]。

分層方法創(chuàng)建是給定數(shù)據(jù)對(duì)象集的分層分解。根據(jù)分層分解是如何形成的，它可以被歸類(lèi)為凝聚性的，如前面所討論的或分裂的[12]。分裂層次聚類(lèi)方法(也稱(chēng)為自上向下方法)以同一群集內(nèi)的所有對(duì)象開(kāi)始，在連續(xù)迭代中，一個(gè)聚類(lèi)被分成幾個(gè)較小的聚類(lèi)，直到最終每個(gè)對(duì)象被放置在它自己的聚類(lèi)中，或者直到終止條件成立[13]。

1.3 Kohonen自組織特征映射

自組織特征映射(SOM)是用于聚類(lèi)分析的最常用的神經(jīng)網(wǎng)絡(luò)方法之一。 Kohonen網(wǎng)絡(luò)由芬蘭研究員Tuevo Kohonen于1982年推出。雖然最初應(yīng)用于圖像和聲音分析，但Kohonen網(wǎng)絡(luò)是聚類(lèi)分析的有效機(jī)制。Kohonen網(wǎng)絡(luò)代表了一種自組織映射(SOM)，它本身代表了一類(lèi)特殊的神經(jīng)網(wǎng)絡(luò)[14]。

SOM的目標(biāo)是將高維輸入信號(hào)轉(zhuǎn)換為更簡(jiǎn)單的低維離散信號(hào)。在SOM中，一組節(jié)點(diǎn)以幾何圖案排列。SOM是一種受大腦神經(jīng)網(wǎng)絡(luò)啟發(fā)的算法，它通過(guò)將高維數(shù)據(jù)映射到二維或三維特征圖來(lái)形成聚類(lèi)。SOM的目標(biāo)是通過(guò)低維(通常為2-D或3-D)目標(biāo)空間中的點(diǎn)來(lái)表示高維源空間中的所有點(diǎn)，從而保留距離和鄰近關(guān)系(并因此保留拓?fù)?盡可能多[15]。

對(duì)于SOM，通過(guò)讓幾個(gè)單元競(jìng)爭(zhēng)當(dāng)前對(duì)象來(lái)執(zhí)行聚類(lèi)，權(quán)重矢量最接近當(dāng)前對(duì)象的單位成為獲勝或活動(dòng)單位。為了更接近輸入物體，調(diào)整獲勝單位的權(quán)重以及其最近鄰居的權(quán)重。SOM假定輸入對(duì)象之間存在某種拓?fù)浠蚺判?，并且這些單元最終會(huì)在空間中采用這種結(jié)構(gòu)。SOM被認(rèn)為與大腦中可能發(fā)生的處理相似，并且可用于在二維或三維空間中對(duì)高維數(shù)據(jù)進(jìn)行可視化[16]。

2 聚類(lèi)分析在農(nóng)業(yè)領(lǐng)域的應(yīng)用

2.1 凝聚聚類(lèi)的應(yīng)用

精準(zhǔn)農(nóng)業(yè)主要關(guān)注技術(shù)的使用和各種技術(shù)與農(nóng)業(yè)的結(jié)合。隨著科學(xué)技術(shù)領(lǐng)域的進(jìn)步，技術(shù)成本日益下降。此外，這項(xiàng)技術(shù)也被嵌入到各種農(nóng)業(yè)設(shè)備中。由于這種整合，當(dāng)今的農(nóng)業(yè)設(shè)備變得更加富有成效，更新并且對(duì)農(nóng)民有用。

這也導(dǎo)致由這些設(shè)備產(chǎn)生的信息泛濫，如GPS作物生長(zhǎng)傳感器，肥料使用傳感器和高分辨率衛(wèi)星或航空成像。這些傳感器生成空間數(shù)據(jù)集。因此，必須考慮采用這些特殊性質(zhì)的方法來(lái)應(yīng)對(duì)精準(zhǔn)農(nóng)業(yè)中遇到的任務(wù)[17]。

2.2 模糊聚類(lèi)的應(yīng)用

Mohamma他們的研究中使用模糊聚類(lèi)技術(shù)檢測(cè)黃瓜作物的葉斑病[18]。在他們的研究中提出了一種基于模糊聚類(lèi)算法的黃瓜作物葉片分割技術(shù)。

圖像分析和模式識(shí)別的第一步是圖像分割。可以將分段視為群集問(wèn)題。它是圖像分析和模式識(shí)別的非常關(guān)鍵和不可避免的組成部分。這是決定圖像分析質(zhì)量的任務(wù)。圖像分割是通過(guò)將圖像劃分成與強(qiáng)度或顏色有關(guān)的某些標(biāo)準(zhǔn)的均勻不相交區(qū)域來(lái)執(zhí)行的，并且任何兩個(gè)相鄰區(qū)域的并集都不應(yīng)該是均勻的。分割技術(shù)可以確定區(qū)域的區(qū)別，但情況可能并非總是如此。圖像中的區(qū)域可能不會(huì)非常精確地定義，并且在圖像處理過(guò)程的每個(gè)級(jí)別可能存在一些不確定性[19]。

模糊集理論提供了一些機(jī)制來(lái)表示和操縱模糊性和不確定性。模糊集理論提供了一種功能，可以為任何圖像中的模糊性或不確定性建模提供一種自然的方法。在傳統(tǒng)的集群技術(shù)中，這里只有兩個(gè)二進(jìn)制值，0或1來(lái)確定數(shù)據(jù)點(diǎn)與集群的歸屬或關(guān)聯(lián)[20]?，F(xiàn)實(shí)世界中用于圖像分析的情況尤其與此非常不同，其中群集之間的邊界并不總是明確定義，但可能存在灰度強(qiáng)度的重疊。特別是在植物圖像的情況下，組織之間的邊界沒(méi)有很好地定義，并且邊界區(qū)域中的成員本質(zhì)上基本上是模糊的。因此模糊聚類(lèi)結(jié)果特別適合于植物圖像的分割[21]。

因此，F(xiàn)CM算法成為檢測(cè)植物疾病的最適合算法，可以通過(guò)檢查葉子來(lái)感知。雖然這項(xiàng)研究的目的是黃瓜植物，但這種方法也可以擴(kuò)展到其他作物。

2.3 分裂聚類(lèi)的應(yīng)用

伊朗的氣候具有復(fù)雜的空間和時(shí)間變化模式特征，具有廣泛的不可預(yù)測(cè)的降雨波動(dòng)，這種波動(dòng)在每年和每個(gè)地區(qū)都有所不同。因此，很難了解降水的區(qū)域變化。 Saeed Soltani在對(duì)伊朗降雨模式及其分類(lèi)的研究中使用了分裂聚類(lèi)[22]。這項(xiàng)研究與任何作物沒(méi)有直接關(guān)系，而是與整個(gè)農(nóng)業(yè)直接相關(guān)。當(dāng)不能預(yù)測(cè)降雨量時(shí)，在這種情況下，降雨模式的識(shí)別就成為區(qū)域和地方規(guī)劃者和管理者的一項(xiàng)重要任務(wù)。水文學(xué)家一直關(guān)注水文事件的分類(lèi)，以簡(jiǎn)化水文卷積，從而縮短時(shí)間并節(jié)省他們的計(jì)劃和策略預(yù)算。多變量技術(shù)被強(qiáng)調(diào)為適合和強(qiáng)大的工具，可以根據(jù)降雨量找到同質(zhì)區(qū)域，或者對(duì)降雨等氣象數(shù)據(jù)進(jìn)行分類(lèi)。主要成分分析，因子分析和不同的聚類(lèi)技術(shù)已被用于分類(lèi)每日降雨模式及其與大氣條件的關(guān)系。

2.4 Kohonen自組織映射的應(yīng)用

Shafaatunnur Hasan[22]應(yīng)用聚類(lèi)方法，即自組織圖(SOM)，在稻米生產(chǎn)力領(lǐng)域做得很好。大米被認(rèn)為是世界大多數(shù)人口食物的組成部分。這種谷物的生產(chǎn)力的提高總是令人欽佩。

在他們的努力下，他們借助聚類(lèi)分析工具，特別是Kohonen自組織地圖(SOM)，嘗試在水稻害蟲(chóng)的天敵作為寄生蟲(chóng)，捕食者和病原體的幫助下征服水稻害蟲(chóng)的戰(zhàn)斗。據(jù)估計(jì)，由于昆蟲(chóng)、鳥(niǎo)類(lèi)和老鼠造成的水稻作物損失高達(dá)10%-15%。他們通過(guò)實(shí)施空間分析和Kohonen自組織圖，提出了一個(gè)智能解決方案，將多種害蟲(chóng)類(lèi)型聚為一類(lèi)，從而在馬來(lái)西亞實(shí)現(xiàn)更好的農(nóng)業(yè)水稻害蟲(chóng)管理。

研究結(jié)果證明，害蟲(chóng)如老鼠、蠕蟲(chóng)的種類(lèi)是影響水稻生產(chǎn)的因素之一。害蟲(chóng)和雜草是馬來(lái)西亞水稻產(chǎn)量損失的主要因素。因此，需要智能解決方案來(lái)緩解水稻生產(chǎn)力問(wèn)題。因此，基于SOM網(wǎng)絡(luò)的智能聚類(lèi)已成功應(yīng)用于馬來(lái)西亞綜合害蟲(chóng)管理(IPM)的空間分析。

2.5 其他聚類(lèi)方法的應(yīng)用

隨著國(guó)內(nèi)經(jīng)濟(jì)的快速發(fā)展與現(xiàn)代化工業(yè)設(shè)備的高度普及，我國(guó)農(nóng)業(yè)生產(chǎn)迅速發(fā)展，嚴(yán)重影響地區(qū)水環(huán)境生態(tài)安全?？刂妻r(nóng)業(yè)水環(huán)境污染，保護(hù)農(nóng)業(yè)生產(chǎn)環(huán)境具有重大意義。王惠[23]等采用數(shù)據(jù)挖掘技術(shù)Kmeans聚類(lèi)算法對(duì) 2013年我國(guó)各地區(qū)農(nóng)業(yè)水環(huán)境中化學(xué)需氧量、氨、氮、總磷、石油類(lèi)、揮發(fā)酚、鉛、汞、鎘、六價(jià)鉻、總鉻、砷的排放量等指標(biāo)進(jìn)行聚類(lèi)分析，并參照地表水環(huán)境質(zhì)量標(biāo)準(zhǔn)GB3838-2002對(duì)污染種類(lèi)與等級(jí)進(jìn)行預(yù)警。并將全國(guó)31個(gè)地區(qū)分為5類(lèi)水環(huán)境等級(jí)，從結(jié)果中了解到了全國(guó)各地區(qū)農(nóng)業(yè)水環(huán)境污染形成的原因，能夠輔助農(nóng)業(yè)水污染的預(yù)防和治理。

王官[24]等通過(guò)聚類(lèi)分析將15份甜高粱種質(zhì)資源分為4大類(lèi)，各類(lèi)群間農(nóng)藝性狀差異明顯，其中兩類(lèi)群體性狀優(yōu)良，可作為核心種質(zhì)資源進(jìn)一步挖掘利用。

獼猴桃花期授粉質(zhì)量是獼猴桃品質(zhì)重要影響因素之一[25]。針對(duì)獼猴桃授粉機(jī)器人的研究，由于缺少獼猴桃花朵識(shí)別方法，現(xiàn)有授粉機(jī)器人自動(dòng)化程度低。劉浩洲[26]等提出基于 K-means聚類(lèi)的獼猴桃花朵識(shí)別方法。首先，原圖像通過(guò)K-mean聚類(lèi)分割，得到包含花蕊圖像在內(nèi)的4個(gè)類(lèi)別圖像; 然后，由經(jīng)過(guò)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對(duì)這4個(gè)類(lèi)別圖像進(jìn)行分類(lèi)，自動(dòng)選出花蕊圖像; 再通過(guò)形態(tài)學(xué)運(yùn)算對(duì)花蕊圖像進(jìn)行去噪，計(jì)算余下各個(gè)區(qū)域形心，找到各花朵在圖像中位置并標(biāo)出，最終完成獼猴桃花朵識(shí)別。該算法識(shí)別成功率為92.5%，滿足現(xiàn)有授粉機(jī)器人要求，利于提高其自動(dòng)化程度。

趙樂(lè)杰[27]等以1份秋甘藍(lán)種質(zhì)資源為試材，對(duì)13個(gè)農(nóng)藝性狀進(jìn)行相關(guān)性、主成分和聚類(lèi)分析。其中聚類(lèi)分析將11份秋甘藍(lán)種質(zhì)資源在遺傳距離為8時(shí)分為4類(lèi)，其中第Ⅰ類(lèi)和第Ⅲ類(lèi)的優(yōu)勢(shì)明顯，可作為秋甘藍(lán)育種的親本材料。

為了合理利用小麥種質(zhì)資源，給小麥新品種選育提供材料，程曉明[28]等收集了國(guó)內(nèi)七大小麥生態(tài)區(qū)23份品種為試驗(yàn)材料，對(duì)莖蘗數(shù)、葉綠素含量、苗期株高、拔節(jié)期、抽穗期、開(kāi)花期、成熟期、千粒質(zhì)量、成穗數(shù)、穗粒數(shù)10個(gè)農(nóng)藝性狀進(jìn)行主成分及聚類(lèi)分析。用拔節(jié)期生長(zhǎng)因子、開(kāi)花期生長(zhǎng)因子、成穗數(shù)產(chǎn)量因子、抽穗期生長(zhǎng)因子、千粒質(zhì)量產(chǎn)量因子這 5 個(gè)主成分因子為綜合指標(biāo)進(jìn)行系統(tǒng)聚類(lèi)，在遺傳距離為26．64的水平上將23個(gè)品種劃分成4個(gè)類(lèi)群，即春性弱春性類(lèi)、冬性半冬性類(lèi)、強(qiáng)春性類(lèi)、強(qiáng)冬性類(lèi)。春化生育特性相近的大部分被分在1個(gè)類(lèi)群，同時(shí)表明主成分中以拔節(jié)期、抽穗期、開(kāi)花期構(gòu)成生長(zhǎng)因子，千粒質(zhì)量、成穗數(shù)構(gòu)成產(chǎn)量因子，較能真實(shí)地表現(xiàn)春化生育特性，尤其以拔節(jié)期為主效應(yīng)，至抽穗期、開(kāi)花期等快速生長(zhǎng)階段表現(xiàn)更具反映春化發(fā)育特性的本質(zhì)。

3 總結(jié)和未來(lái)的范圍

在第三世界的國(guó)家，沒(méi)有適當(dāng)?shù)墓喔仍O(shè)施，適當(dāng)?shù)姆柿戏峙?，適當(dāng)?shù)墓芾?，保護(hù)和儲(chǔ)存等等，而且?guī)缀跽麄€(gè)農(nóng)業(yè)和經(jīng)濟(jì)主要依賴(lài)于降雨量， Saeed Soltani[29]所做的這項(xiàng)研究的成功應(yīng)用可以帶來(lái)巨大的變化。我們堅(jiān)信數(shù)據(jù)挖掘和聚類(lèi)分析應(yīng)該是農(nóng)業(yè)的一部分，因?yàn)樗鼈兛梢蕴岣邲Q策的準(zhǔn)確性。集群?jiǎn)l(fā)式允許將數(shù)據(jù)組合成有用的模式，這可能會(huì)促成更好的決策。

在目前的情況下，聚類(lèi)分析的應(yīng)用已經(jīng)得到了長(zhǎng)足的發(fā)展，仍然有很多領(lǐng)域仍然需要大量的努力。我認(rèn)為，各種數(shù)據(jù)挖掘方法和技術(shù)，如k-均值，pCluster和STING等將在這項(xiàng)大型工作中發(fā)揮重要作用。