基于大數(shù)據(jù)的食品追溯平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

張嘉偉

（廣東蘭貝斯科技有限公司，廣州 510160）

食品安全問(wèn)題是民生之本，食品從生產(chǎn)到流通的各個(gè)環(huán)節(jié)產(chǎn)生龐大的數(shù)據(jù)，如何對(duì)食品有效跟蹤和追溯，是社會(huì)普遍重視的焦點(diǎn)問(wèn)題。本項(xiàng)目基于大數(shù)據(jù)將各類(lèi)海量的食品數(shù)據(jù)聚合起來(lái)，并通過(guò)數(shù)據(jù)融合將離散的數(shù)據(jù)需求聚合成數(shù)據(jù)長(zhǎng)尾，為政府或食品相關(guān)企業(yè)的運(yùn)營(yíng)管理提供高效、穩(wěn)定、專(zhuān)業(yè)的數(shù)據(jù)檢索和建模分析服務(wù)，為食品安全監(jiān)管及行業(yè)經(jīng)營(yíng)決策提供直觀、精確、實(shí)時(shí)的數(shù)據(jù)支撐。

1 平臺(tái)架構(gòu)設(shè)計(jì)

基于大數(shù)據(jù)的食品追溯平臺(tái)包括“云”“網(wǎng)”“應(yīng)用”三端建設(shè)，分別為：基于互聯(lián)網(wǎng)的云數(shù)據(jù)庫(kù)、基于物聯(lián)網(wǎng)的終端采集設(shè)備，以及對(duì)食品數(shù)據(jù)進(jìn)行傳輸、存儲(chǔ)、處理、分析應(yīng)用等的追溯應(yīng)用，包括數(shù)據(jù)源、數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、分布計(jì)算、建模應(yīng)用五個(gè)部分，其中：數(shù)據(jù)源層定義大數(shù)據(jù)平臺(tái)可接入的數(shù)據(jù)來(lái)源，采用Apache Hadoop數(shù)據(jù)庫(kù)實(shí)現(xiàn)海量數(shù)據(jù)的低成本存儲(chǔ)，為超長(zhǎng)時(shí)間的海量歷史數(shù)據(jù)存儲(chǔ)和使用提供基礎(chǔ)支撐，存儲(chǔ)業(yè)務(wù)數(shù)據(jù)、日志數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，數(shù)據(jù)載體有業(yè)務(wù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、ODS、文檔庫(kù)、爬蟲(chóng)庫(kù)五種模式；數(shù)據(jù)采集層實(shí)現(xiàn)通過(guò)多種技術(shù)手段進(jìn)行數(shù)據(jù)采集，對(duì)終端數(shù)據(jù)通過(guò)二維碼、電子標(biāo)簽（EPC標(biāo)簽）、RFID讀寫(xiě)器（PDA）、智能傳感器等智能物聯(lián)網(wǎng)采集生產(chǎn)運(yùn)輸環(huán)境中的實(shí)時(shí)視頻、溫度、濕度、位置信息、輔助定位等數(shù)據(jù)，對(duì)其他來(lái)源的數(shù)據(jù)則根據(jù)數(shù)據(jù)特點(diǎn)分別通過(guò)FLUME技術(shù)實(shí)現(xiàn)對(duì)流式數(shù)據(jù)的采集，通過(guò)FTP技術(shù)實(shí)現(xiàn)對(duì)文件數(shù)據(jù)的采集，通過(guò)Sqoop組件實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的采集，通過(guò)Crawler技術(shù)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)數(shù)據(jù)的采集；

數(shù)據(jù)存儲(chǔ)層實(shí)現(xiàn)數(shù)據(jù)的分布式可靠全存儲(chǔ)管理，主要應(yīng)用的是HDFS中的HIVE和HBASE等列式存儲(chǔ)數(shù)據(jù)庫(kù)；分布式計(jì)算層主要是通過(guò)多種數(shù)據(jù)組件完成計(jì)算任務(wù)，如應(yīng)用SPARK技術(shù)進(jìn)行實(shí)時(shí)計(jì)算，應(yīng)用MapReduce實(shí)現(xiàn)批量分布計(jì)算等；業(yè)務(wù)應(yīng)用層結(jié)合溯源管理工作的需求，從業(yè)務(wù)的角度進(jìn)行數(shù)據(jù)處理、業(yè)務(wù)建模分析工作，主要包括數(shù)據(jù)搜索、展示和主題分析等。

2 平臺(tái)應(yīng)用設(shè)計(jì)

2.1 食品數(shù)據(jù)存儲(chǔ)系統(tǒng)

系統(tǒng)匯集存儲(chǔ)包括追溯系統(tǒng)內(nèi)部數(shù)據(jù)以及第三方數(shù)據(jù)的各種來(lái)源的海量數(shù)據(jù)，來(lái)源方式包括關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、文件數(shù)據(jù)、圖片數(shù)據(jù)等，平臺(tái)通過(guò)應(yīng)用Hadoop分布式文件存儲(chǔ)集群架構(gòu)及Hbase與Spark等在線(xiàn)高速計(jì)算分析算法，全面支持PB級(jí)別的數(shù)據(jù)存儲(chǔ)和秒級(jí)別的數(shù)據(jù)計(jì)算，并實(shí)現(xiàn)靈活地進(jìn)行計(jì)算和存儲(chǔ)節(jié)點(diǎn)的擴(kuò)展，大大提高平臺(tái)的存儲(chǔ)和計(jì)算能力。

2.2 食品數(shù)據(jù)采集系統(tǒng)

應(yīng)用數(shù)據(jù)庫(kù)、消息、文件、服務(wù)、API等多種數(shù)據(jù)采集適配技術(shù)手段將分散的、異構(gòu)的各種補(bǔ)充食品數(shù)據(jù)從生產(chǎn)商、銷(xiāo)售商和消費(fèi)者那邊進(jìn)行實(shí)時(shí)收集，并經(jīng)過(guò)拆解、過(guò)濾、分析轉(zhuǎn)換、數(shù)據(jù)整合等預(yù)處理后清洗進(jìn)入大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)整合的實(shí)效性，完整性及準(zhǔn)確性，為后期大數(shù)據(jù)的關(guān)聯(lián)、分析、共享以及挖掘打下基礎(chǔ)。針對(duì)不同的數(shù)據(jù)采集要求，采集引擎提供了不同的解決方法，如對(duì)于實(shí)時(shí)性要求較高的業(yè)務(wù)數(shù)據(jù)、狀態(tài)信息等通過(guò)數(shù)據(jù)查詢(xún)服務(wù)或者消息通知的方式獲得；對(duì)于實(shí)時(shí)性要求不高文檔處理或分析數(shù)據(jù)則基于增量日志分析的方式定時(shí)更新采集；對(duì)于數(shù)據(jù)量巨大的數(shù)據(jù)也提供了基于文件傳輸機(jī)制的方式提供。

2.3 食品數(shù)據(jù)搜索系統(tǒng)

將追溯鏈中收集的大量數(shù)據(jù)通過(guò)ES架構(gòu)平臺(tái)進(jìn)行索引并實(shí)現(xiàn)秒級(jí)的搜索查詢(xún)，可涵蓋多種索引策略、智能檢索輔助、內(nèi)容相關(guān)度排序、搜索結(jié)果不同維度排序及過(guò)濾等功能，對(duì)搜索關(guān)鍵詞進(jìn)行智能解讀和翻譯，實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的聯(lián)合檢索，實(shí)現(xiàn)T數(shù)量級(jí)的次秒級(jí)搜索性能及99%以上的搜索準(zhǔn)確度，并可在對(duì)生產(chǎn)數(shù)據(jù)庫(kù)無(wú)損耗的情況下，實(shí)時(shí)數(shù)據(jù)更新并同步索引，保證查詢(xún)結(jié)果信息的準(zhǔn)確性和實(shí)效性。同時(shí)還可對(duì)用戶(hù)搜索的情況進(jìn)行全面多元的統(tǒng)計(jì)分析，給出搜索熱詞頻率、點(diǎn)擊量、分布等分析報(bào)告。

2.4 食品數(shù)據(jù)展示系統(tǒng)

借助圖形化的手段，通過(guò)領(lǐng)先的技術(shù)手段與創(chuàng)意高度，對(duì)接大數(shù)據(jù)分析結(jié)果，提示實(shí)現(xiàn)各類(lèi)數(shù)據(jù)的圖形化，圖像化展示，清晰有效地傳達(dá)與溝通，構(gòu)建完整的數(shù)據(jù)可視化展示體系。

2.5 食品大數(shù)據(jù)分析主題模型

實(shí)現(xiàn)了食品生產(chǎn)數(shù)據(jù)分析主題、食品物流數(shù)據(jù)分析主題、食品零售數(shù)據(jù)分析主題和食品消費(fèi)數(shù)據(jù)分析主題。1）食品生產(chǎn)數(shù)據(jù)分析。平臺(tái)通過(guò)對(duì)種食品生產(chǎn)數(shù)據(jù)進(jìn)行多維分析，對(duì)良種選育、田間管理、設(shè)備采購(gòu)、疫情防范等方面提出有效措施，合理調(diào)整食品的生產(chǎn)結(jié)構(gòu)及規(guī)模，確保食品生產(chǎn)過(guò)程安全可控等。2）食品物流數(shù)據(jù)分析。食品物流數(shù)據(jù)包括食品的采購(gòu)、倉(cāng)儲(chǔ)、運(yùn)輸、配送等，每個(gè)環(huán)節(jié)的動(dòng)作都會(huì)產(chǎn)生海量的數(shù)據(jù)，對(duì)這些數(shù)據(jù)的分析后指導(dǎo)流通過(guò)程，可有效提高效率并降低成本，如利用歷史采購(gòu)數(shù)據(jù)來(lái)挑選優(yōu)質(zhì)食品供貨商可降低采購(gòu)成本；結(jié)合地圖數(shù)據(jù)綜合分析實(shí)時(shí)路況信息，合理規(guī)劃行車(chē)路徑，充分利用挖掘社會(huì)運(yùn)力可大大降低運(yùn)輸成本；基于物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行倉(cāng)儲(chǔ)庫(kù)存控制、儲(chǔ)位管理、貨物分揀等方面的智能化可明顯降低倉(cāng)儲(chǔ)成本等。3）零售數(shù)據(jù)分析主題。零售商通過(guò)平臺(tái)，對(duì)購(gòu)買(mǎi)零售商品的消費(fèi)者行為路徑及偏好進(jìn)行記錄，生成用戶(hù)畫(huà)像，并為每個(gè)個(gè)體定制選擇合適的營(yíng)銷(xiāo)策略，提升消費(fèi)者的購(gòu)物體驗(yàn)。系統(tǒng)還打通線(xiàn)上線(xiàn)下渠道，根據(jù)畫(huà)像構(gòu)建客戶(hù)關(guān)系管理系統(tǒng)，增加用戶(hù)粘性。