基于Hadoop農產品價格分析平臺

□黃啟航 曾廣新 謝建行 趙 永

（海南易鼎天成電子科技有限公司 海南 571100）

基于Hadoop農產品價格分析平臺

□黃啟航 曾廣新 謝建行 趙 永

（海南易鼎天成電子科技有限公司 海南 571100）

農產品價格分析平臺是基于Hadoop分布式文件系統和并行計算方法設計的大數據背景下海南農產品價格分析及預測平臺，主要是針對海南農產品歷史價格信息及氣候或自然災害等影響價格波動的因素進行大數據分析，并預測未來幾天的價格波動趨勢，從而達到價格預警的作用，并為相關部門提供決策支持。

農產品；大數據；分析預測；數據分析；hadoop

近年來，農產品價格的大幅度上升和頻繁波動，成為影響了農業(yè)生產者決策又影響了消費者生活的重大經濟問題。為了保障生活質量，對農產品價格波動要做出預測和防范，對未來農產品價格波動做出分析，才能夠很好的防范市場價格的變動，生活質量才得以保障。如何對農產品價格分析就成為本次討論的課題，首先，要深入多個區(qū)域的市場調查，找出影響農產品價格的因素，把各類因素進行統計，根據各影響因素的數據進行分析運算，最后得出未來農產品價格的趨向波動。

1 分析農產品價格背景

隨著社會突飛猛進的發(fā)展，農產品需求不僅僅表現在食用上，飼料使用、酒精、淀粉等工業(yè)深加工所占比重逐步增加，農產品的用途是越來越廣，如果在產量方面出現了缺失將會大大影響到農產品的價格波動。據相關數據表明，2015年海南省?？谑谐霈F空心菜二十五元一斤、香菜三十元一斤等農產品價格波動較高的現象，已經打破了人們常識中肉比菜貴的印象，對于這些突如其來的價格是難以理解和無法接受的。然而有時候農產品的價格又過于低落，在過去，市場上曾經出現過一毛錢一斤的白菜還無人問津，這樣的現象對于菜農來說是很大的打擊。因此，菜貴傷民、菜賤傷農，農產品價格的頻繁波動會直接影響到人們的生活，為了防止菜貴傷民、菜賤傷農現象的發(fā)生，所以，分析農產品價格、抓住農產品價格走向是當今急需解決的問題。

2 如何分析農產品價格

要對農產品價格進行分析就要找出影響農產品價格的因素，根據影響因素的歷史數據為依據，結合相關算法，分析得出結果。影響到農產品價格的因素有很多，如：產量、氣象、品種類型等，各個地區(qū)相同的農產品在價格上也有差異，要對各個地區(qū)的農產品價格進行分析，就要收集各個地區(qū)的歷史農產品產量數據信息、歷史氣象數據信息和歷史品種價格數據信息，這些信息量的特點是規(guī)模巨大，一般分布比較分散，分布式的組織和管理成為一種必要的手段。

Hadoop作為一種開源的架構適合使用在廉價機器上對各種資源數據進行分布式存儲和分布式管理，具有可伸縮性和高容錯性。本文在研究開源框架Hadoop的基礎上，開發(fā)實現基于Hadoop農產品價格分析平臺。

2.1 平臺結構與功能

農產品價格分析平臺的設計目標是實現多區(qū)域多品種的價格分析、數據管理與信息服務。平臺由數據采集系統、大數據管理分析系統、信息服務平臺三個部分組成。平臺在設計上采用分布式、分層結構，將采集到的數據進行分析集群于數據集市（Data Mark）中，數據集市（Data Mark）與信息服務平臺構成映射檢索關系，信息服務平臺主要是為用戶提供服務。平臺結構如圖1所示。

圖1 系統結構與功能模塊

2.2 數據采集系統

數據采集系統主要實現數據源的采集和清洗，數據采集系統根據指定網站URL進行大規(guī)模的過濾挖掘網站公開數據，將各數據類型從來源端把數據進行清洗，根據數據類型的不同清洗過程也不同，數據經過抽?。‥xtract）、轉換（Transform）、加載（Load）至數據倉庫，清洗技術簡稱ETL；或經過解析（Parsing）、轉換（Transform）、加載（Load）至數據倉庫，簡稱 PTL?；玖鞒倘鐖D2所示。

圖2 數據采集系統結構圖

2.3 大數據管理分析系統

大數據管理系統主要包括數據分析和數據管理兩個模塊，數據分析首先要從數據倉庫中提取出需要分析的數據，每分析某個地區(qū)的某個農產品價格都需要很大的數據量，當同時分析多條數據時，要從海量的數據倉庫中提取分析的數據源就會更多，系統運行也會很慢，導致分析過程的時間很長，采用Hadoop分布式來進行數據提取分析，將會大大縮短分析過程的時間，工作效率也提高很多。如圖3中所示，Hadoop分布式分析模塊中有各種數據（氣象數據、價格數據等）對應的解析引擎，解析引擎將快速的檢索提取出全部同一類型的數據，Hadoop分布式分析模塊中的適配器再把這一類數據進行整合有序排列，適配器整合好的數據傳輸到匹配器中，匹配器根據日期匹配對應時間上各地區(qū)的各農產品價格和各氣象狀況和各農產品產量等信息結合起來（如圖4所示），存儲于局部存儲庫中。數據解析模塊根據區(qū)域名稱和品種類型名稱，從局部存儲庫中提取出需要分析的某個地區(qū)某個品種的全部歷史信息，數據解析模塊運用濾波算法和復雜的數學計算對提取到的數據進行運算分析，最后將分析出來的結果存儲于數據集市（Data Mark）中。

圖3 大數據管理系統結構圖

圖4 數據整合信息圖

2.4 信息服務平臺

信息服務平臺主要是為用戶提供信息服務，為用戶提供分析未來的數據信息查詢、消息推送、產品展示等服務，在數據集市（Data Mark）中存儲著已經分析出來的結果數據，信息服務平臺只需要和數據集市（Data Mark）建立一種檢索查詢的關系，就可以實現用戶信息服務。

3 平臺實現關鍵技術

對于市場變幻莫測的農產品價格，常常出現同一類型農產品在不同市場存在著很大的差異，也受天氣、臺風的影響，因此，很多農產品的價格臺高了很多，也曾出現過一天一個菜價的形式，這些狀況在生活中出現時都是難以接受的。為了對以上各種狀況的出現做出一定的預測和預防準備，該平臺每天都對各個市場農產品的價格信息不斷的收集，及結合以前的歷史價格信息，以及氣象對農產品價格產生影響度的信息，統一起來做一系列的分析運算，分析預測出未來可能出現的價位，實現對自然災害和市場變化做出預測結果，起到預防作用。在實現價格分析模塊中，分析每一個品種價格時需要提取的數據量都很大，同時分析多個農產品價格時需要提取的數據量就更大，以傳統的查詢提取方法會花費很多時間，降低工作效率，選用Hadoop框架，構建了基于HDFS的文件存儲系統，并對原始的大文件進行分塊，然后為分塊設計存儲管理策略，以增強對數據集的并發(fā)讀寫能力。

4 平臺實現及其效果

4.1 平臺實現

本平臺采集各個大小市場零散的價格數據信息，以及影響農產品價格因素信息，把各種信息集群于數據倉庫中分類存儲和管理，數據的管理和調度通過Hadoop分布式方式進行管理調度，快速的提取數據和分析數據結果。平臺在JAVA的Eclipse開發(fā)環(huán)境上基于組件模式開發(fā)實現，用爬蟲技術對相關網站的數據進行爬取挖掘，從數據的田頭開始采集，時刻跟隨著市場的變動；使用PTL、ETL對田頭采集的數據進行過濾清洗至數據倉庫中，在大數據管理分析系統中，以Hadoop框架實現數據分布式調度和管理，準確快速的提取出需要分析的數據，采用濾波算法和復雜的數學計算對數據進行分析，分析出來的結果存儲于數據集市（Data Mark）中；數據集市（Data Mark）與信息服務平臺構建一種檢索查詢的方式為用戶提供服務。

4.2 實驗效果

在部署好的系統中進行相關的實驗，驗證本文提出的基于Hadoop農產品價格分析是否實現未來價格的分析。

環(huán)境配置如下，CPU：3.30GHz；硬盤：500GB；內存：8GB；以太網卡：11MB/S；操作系統：Windows7。實驗開始由一個蔬菜網站源頭的URL和一個氣象網站源頭的URL進行數據爬取采集，每個網站都有大量的子URL，平臺以樹狀型的形式不斷循環(huán)過濾URL對每一個URL進行爬取挖掘數據，經過對源頭挖掘的數據進行過濾清洗，再提取出分析的數據進行分析，將分析出來的結果在信息服務平臺上展示，如圖5所示。

圖5 分析曲線統計圖

圖6 農產品價格信息表圖

圖5中實現部分的為歷史價格，虛線部分為分析的未來價格，圖中展示的只是某一地區(qū)某一品種的預測價格。信息服務平臺還以列表形式展示出各地區(qū)的所有品種的分析預測價格，展示效果如圖6所示。綜上信息表明，該平臺可以完成農產品價格的分析。

結束語

目前，基于Hadoop農產品價格分析平臺已經研發(fā)完成，也成功通過測試現實了農產品價格分析，即將投入于社會中使用，該平臺的預測結果會給予相關部門作為價格參照模型，預防出現較大價格波動時，能夠有效的對農產品價格出現過大波動做出相應的預防策略。在今后，該平臺也會對社會的需求而不斷的改進和開發(fā)出新的功能模塊，讓平臺不斷的擴大和推廣。

[1]大數據思維與決策[N].人民郵電出版社.

[2]大數據處理之道[N].電子工業(yè)出版社.

[3]Hadoop權威指南[N].清華大學出版社.

1004-7026（2017）19-0045-03

TP311.13

A

10.16675/j.cnki.cn14-1065/f.2017.19.029

2015年度海南省產學研一體化專項項目（cxy20150037）。

黃啟航（1975.12-），男，海南省儋州人，本科，工程師，海南易鼎天成電子科技有限公司軟件技術經理。

曾廣新（1964.12-），男，海南?？谑腥?，本科，高級工程師，海南省科學技術信息研究所副所長。

謝建行（1976.1-），男，海南省儋州人，研究生，工程師，海南易鼎天成電子科技有限公司軟件技術經理。

趙 永（1987.7-），男，江蘇省南京市人，研究生，博士生，海南省科學技術信息研究所科員。