數(shù)據(jù)倉(cāng)庫(kù)在農(nóng)產(chǎn)品追溯系統(tǒng)中的應(yīng)用概況

摘要：介紹了農(nóng)產(chǎn)品質(zhì)量追溯的國(guó)內(nèi)外研究現(xiàn)狀及數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，分析了農(nóng)墾農(nóng)產(chǎn)品跨企業(yè)追溯的需求，并針對(duì)該需求提出了數(shù)據(jù)倉(cāng)庫(kù)的解決方案，主要內(nèi)容包括農(nóng)產(chǎn)品質(zhì)量追溯數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)邏輯模型、農(nóng)產(chǎn)品質(zhì)量追溯信息的編碼映射方法、在線分析處理（OLAP）服務(wù)器選型與多維數(shù)據(jù)模型設(shè)計(jì)、追溯分析報(bào)表制作與展現(xiàn)。

關(guān)鍵詞：數(shù)據(jù)倉(cāng)庫(kù)；農(nóng)產(chǎn)品質(zhì)量追溯；在線分析處理（OLAP）

中圖分類號(hào)：TP391；X836 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：0439-8114（2013）21-5126-03

Application of Data Warehouse in Agricultural Products Traceability System

ZHANG Xian-le，WANG Lei

（School of Computer Engineering， Zhejiang Institute of Mechanical and Electrical Engineering， Hangzhou 310053， China）

Abstract： Based on a general introduction of domestic and international research on agricultural products traceability system and data warehouse technology， the paper analyzed the demand of agricultural products traceability system among enterprises. According to the demand， a solution of data warehouse is proposed. The main contents included the data logic model of data warehouse in agricultural products quality traceability system， the mapping method of information code in agricultural products quality traceability， the online analytical processing（OLAP） server selection and design of multi-dimension data model， and the analysis report making and demonstrating of traceability information.

Key words： data warehouse； quality traceability of agricultural products； online analytical processing （OLAP）

如何建立農(nóng)產(chǎn)品可追溯系統(tǒng)是農(nóng)產(chǎn)品行業(yè)的相關(guān)企業(yè)及各級(jí)政府監(jiān)管部門面臨的重要任務(wù)。2002年歐盟頒布法令對(duì)有關(guān)食品的可追溯性、防止有害食品進(jìn)入市場(chǎng)、食品業(yè)者的義務(wù)及進(jìn)出口商要求進(jìn)行了規(guī)范，歐盟的可追溯系統(tǒng)覆蓋了從農(nóng)田到餐桌的全部食物鏈。美國(guó)、日本、澳大利亞等國(guó)家也建立了類似的制度[1，2]。國(guó)內(nèi)從2002年開(kāi)始對(duì)追溯系統(tǒng)開(kāi)展了研究。目前開(kāi)展的追溯系統(tǒng)研究主要側(cè)重于農(nóng)產(chǎn)品可追溯系統(tǒng)的探討以及針對(duì)單個(gè)企業(yè)農(nóng)產(chǎn)品追溯信息系統(tǒng)的構(gòu)建[3-6]，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在農(nóng)產(chǎn)品安全系統(tǒng)中的應(yīng)用國(guó)內(nèi)也有研究。例如李雅莉等[7]、管剛等[8]的基于DW和DM的農(nóng)產(chǎn)品加工企業(yè)DSS的研究，這些研究的重點(diǎn)集中在數(shù)據(jù)倉(cāng)庫(kù)技術(shù)在農(nóng)產(chǎn)品的加工數(shù)據(jù)或是安全數(shù)據(jù)等方面的應(yīng)用。姜洋等[9]針對(duì)農(nóng)業(yè)部農(nóng)墾局下屬的100多家不同農(nóng)產(chǎn)品生產(chǎn)企業(yè)的質(zhì)量追溯需求，設(shè)計(jì)了可定制的農(nóng)產(chǎn)品質(zhì)量系統(tǒng)，能較好地對(duì)每個(gè)企業(yè)內(nèi)的種植、生產(chǎn)加工以及流通環(huán)節(jié)建立追溯鏈，但不具備跨企業(yè)追溯的功能。

本研究針對(duì)農(nóng)墾農(nóng)產(chǎn)品質(zhì)量追溯系統(tǒng)存在的不具備跨企業(yè)追溯能力的問(wèn)題，對(duì)數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)技術(shù)與農(nóng)產(chǎn)品跨企業(yè)追溯需求進(jìn)行了分析，提出了應(yīng)用數(shù)據(jù)倉(cāng)庫(kù)相關(guān)技術(shù)來(lái)解決這類需求的方法。

1 數(shù)據(jù)倉(cāng)庫(kù)相關(guān)技術(shù)概述

1.1 數(shù)據(jù)倉(cāng)庫(kù)概念及其特點(diǎn)

目前，對(duì)數(shù)據(jù)倉(cāng)庫(kù)尚沒(méi)有統(tǒng)一的定義。著名數(shù)據(jù)倉(cāng)庫(kù)專家Inmon[10]認(rèn)為數(shù)據(jù)倉(cāng)庫(kù)是所有DSS處理的基礎(chǔ)，是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。對(duì)于數(shù)據(jù)倉(cāng)庫(kù)的概念，一般可從兩方面來(lái)理解：首先，數(shù)據(jù)倉(cāng)庫(kù)用于支持管理決策，面向分析型數(shù)據(jù)處理，它不同于現(xiàn)有的操作型數(shù)據(jù)庫(kù)；其次，數(shù)據(jù)倉(cāng)庫(kù)是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行重組，并包含歷史數(shù)據(jù)，存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改。

根據(jù)數(shù)據(jù)倉(cāng)庫(kù)概念的含義，數(shù)據(jù)倉(cāng)庫(kù)主要有4個(gè)特點(diǎn)：①面向主題：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織的。一個(gè)主題通常與多個(gè)操作型信息系統(tǒng)相關(guān)；②集成：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是在對(duì)原有分散的數(shù)據(jù)庫(kù)數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過(guò)系統(tǒng)加工、匯總和整理得到的，是組織范圍內(nèi)一致的全局信息；③相對(duì)穩(wěn)定：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)主要供企業(yè)決策分析之用，所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢，修改和刪除操作很少，通常只需要定期加載、刷新；④反映歷史變化：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)通常包括從過(guò)去某一時(shí)點(diǎn)到目前的各個(gè)階段的信息，通過(guò)這些信息可以對(duì)業(yè)務(wù)的發(fā)展歷程和未來(lái)趨勢(shì)進(jìn)行定量分析和預(yù)測(cè)。

1.2 在線分析處理（OLAP）技術(shù)

OLAP技術(shù)是使分析人員、管理人員或執(zhí)行人員能夠從多角度對(duì)信息進(jìn)行快速、一致、交互存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)，其目標(biāo)是滿足決策支持或者在多維環(huán)境下特定的查詢和報(bào)表需求。它的核心技術(shù)是維。OLAP的基本多維分析操作有鉆取、切片和切塊以及旋轉(zhuǎn)等。OLAP技術(shù)能使數(shù)據(jù)倉(cāng)庫(kù)快速響應(yīng)重復(fù)和復(fù)雜的分析查詢，從而使數(shù)據(jù)倉(cāng)庫(kù)有效地用于在線分析。OLAP的多維數(shù)據(jù)模型和數(shù)據(jù)聚合技術(shù)可以組織并匯總大量的數(shù)據(jù)，以便能夠利用在線分析工具迅速對(duì)數(shù)據(jù)進(jìn)行評(píng)估。

2 農(nóng)產(chǎn)品跨企業(yè)追溯需求分析

2.1 問(wèn)題農(nóng)產(chǎn)品追溯鏈分析

目前，農(nóng)墾農(nóng)產(chǎn)品質(zhì)量追溯系統(tǒng)能在一個(gè)企業(yè)范圍內(nèi)建立追溯鏈，以大米為例，如發(fā)現(xiàn)問(wèn)題產(chǎn)品，可根據(jù)最終產(chǎn)品追溯碼反向查詢出整條追溯鏈上的種植、加工和銷售等環(huán)節(jié)的信息，鎖定問(wèn)題后，可根據(jù)相應(yīng)環(huán)節(jié)的追溯碼再正向查詢相關(guān)的有問(wèn)題產(chǎn)品的流向范圍，便于質(zhì)量問(wèn)題的分析與監(jiān)管。而如果兩家企業(yè)是上下游關(guān)系，由于各個(gè)企業(yè)的追溯鏈信息存在于各自的數(shù)據(jù)庫(kù)系統(tǒng)中，系統(tǒng)則無(wú)法進(jìn)行問(wèn)題產(chǎn)品的追溯。所以，當(dāng)考慮到跨企業(yè)追溯的要求時(shí)，在農(nóng)產(chǎn)品發(fā)生質(zhì)量安全事件后，要能分析同批次問(wèn)題產(chǎn)品在農(nóng)墾農(nóng)產(chǎn)品追溯系統(tǒng)中的所有企業(yè)范圍內(nèi)的追溯信息。

2.2 問(wèn)題投入品追溯鏈分析

化肥、農(nóng)藥等投入品對(duì)農(nóng)產(chǎn)品質(zhì)量安全有很大的影響。在監(jiān)管平臺(tái)能根據(jù)問(wèn)題投入品的信息，分析問(wèn)題投入品在農(nóng)墾農(nóng)產(chǎn)品追溯系統(tǒng)中的所有企業(yè)范圍內(nèi)的追溯信息，為監(jiān)管部門和相關(guān)企業(yè)的決策提供依據(jù)。

2.3 農(nóng)藥安全周期分析

根據(jù)農(nóng)產(chǎn)品質(zhì)量追溯數(shù)據(jù)，分析農(nóng)藥施用安全周期，能在農(nóng)墾農(nóng)產(chǎn)品追溯系統(tǒng)中的所有企業(yè)范圍內(nèi)追溯出安全間隔周期異常的農(nóng)藥可能影響的農(nóng)產(chǎn)品范圍。安全周期分析可為進(jìn)一步評(píng)估相關(guān)上下游產(chǎn)品的農(nóng)藥殘留提供依據(jù)。

3 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)解決方案

針對(duì)目前農(nóng)墾農(nóng)產(chǎn)品質(zhì)量追溯系統(tǒng)跨企業(yè)追溯的需求，在研究數(shù)據(jù)倉(cāng)庫(kù)相關(guān)技術(shù)的基礎(chǔ)上，提出了相應(yīng)的農(nóng)墾農(nóng)產(chǎn)品質(zhì)量追溯數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的解決方案，主要描述如下。

3.1 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)邏輯模型設(shè)計(jì)

系統(tǒng)的數(shù)據(jù)邏輯模型設(shè)計(jì)如圖1所示。

在源數(shù)據(jù)層，當(dāng)企業(yè)數(shù)據(jù)中心上傳追溯數(shù)據(jù)時(shí)，利用農(nóng)墾數(shù)據(jù)中心的數(shù)據(jù)轉(zhuǎn)換程序，提取追溯數(shù)據(jù)到一個(gè)統(tǒng)一的數(shù)據(jù)庫(kù)；在數(shù)據(jù)倉(cāng)庫(kù)層，利用OLAP技術(shù)建立多維數(shù)據(jù)集的模型，并利用ETL工具加載源數(shù)據(jù)到OLAP服務(wù)器；在報(bào)表展現(xiàn)層，選擇商務(wù)智能報(bào)表開(kāi)發(fā)工具，對(duì)建立的多維數(shù)據(jù)集進(jìn)行基于Web報(bào)表的設(shè)計(jì)與分析。

3.2 農(nóng)產(chǎn)品質(zhì)量追溯信息的編碼映射

目前農(nóng)墾農(nóng)產(chǎn)品質(zhì)量追溯系統(tǒng)針對(duì)每個(gè)農(nóng)產(chǎn)品生產(chǎn)企業(yè)都生成一個(gè)在農(nóng)墾數(shù)據(jù)中心的數(shù)據(jù)庫(kù)，由于每個(gè)企業(yè)的農(nóng)產(chǎn)品的特點(diǎn)和生產(chǎn)流程都不同，企業(yè)采用可定制軟件生成追溯信息系統(tǒng)后，每個(gè)企業(yè)生成的數(shù)據(jù)庫(kù)中的追溯表結(jié)構(gòu)都會(huì)不同，系統(tǒng)目前能對(duì)單個(gè)企業(yè)的農(nóng)產(chǎn)品進(jìn)行追溯，將追溯范圍擴(kuò)大到多個(gè)企業(yè)后，則需要建立多個(gè)企業(yè)農(nóng)產(chǎn)品追溯信息的統(tǒng)一編碼，為建立數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)提供統(tǒng)一的數(shù)據(jù)源。為此，對(duì)原有的單個(gè)企業(yè)的追溯表結(jié)構(gòu)進(jìn)行擴(kuò)展，形成的表結(jié)構(gòu)主要字段及描述如表1所示。建立統(tǒng)一的編碼規(guī)則后，可按規(guī)則加載各個(gè)企業(yè)的數(shù)據(jù)信息，實(shí)現(xiàn)對(duì)不同農(nóng)產(chǎn)品質(zhì)量追溯信息的存儲(chǔ)。

3.3 OLAP服務(wù)器選型與多維數(shù)據(jù)模型設(shè)計(jì)

目前主流的OLAP產(chǎn)品有Oracle Express/Discoverer、SQL Server Analysis Services、DB2 OLAP Server、SAS OLAP Server等，這些產(chǎn)品都可以生成多維數(shù)據(jù)立方體，提供多維數(shù)據(jù)的快速分析，支持所有主流關(guān)系型數(shù)據(jù)庫(kù)如DB2、Oracle、SQL Server等。各廠商的OLAP Sever對(duì)自己的數(shù)據(jù)庫(kù)產(chǎn)品的支持均好于其他數(shù)據(jù)庫(kù)，各自的分析工具也都基于開(kāi)放的OLE DB標(biāo)準(zhǔn)，可以訪問(wèn)支持OLE DB標(biāo)準(zhǔn)的數(shù)據(jù)立方體。

現(xiàn)有的農(nóng)墾農(nóng)產(chǎn)品質(zhì)量追溯系統(tǒng)中，數(shù)據(jù)庫(kù)選用的是微軟的SQL Server 2000，針對(duì)農(nóng)產(chǎn)品質(zhì)量追溯數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)，綜合考慮有效利用現(xiàn)有IT投資、產(chǎn)品的兼容性和易用性以及快速實(shí)現(xiàn)對(duì)現(xiàn)有數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)進(jìn)行轉(zhuǎn)換、加載等要求，確定選擇SQL Server Analysis Services 2008作為OLAP服務(wù)器。并設(shè)計(jì)各個(gè)分析主題的多維數(shù)據(jù)模型，產(chǎn)品追溯鏈主題的多維數(shù)據(jù)模型（圖2）。

3.4 追溯分析報(bào)表制作與展現(xiàn)

在分析主流BI報(bào)表工具的基礎(chǔ)上，考慮報(bào)表開(kāi)發(fā)、發(fā)布的功能和易用性等要求，確定了利用美國(guó)Radar-Soft公司開(kāi)發(fā)的RadarCube ASP.NET for MSAS組件，在Visual Studio 2008中開(kāi)發(fā)分析報(bào)表。利用這些基于Web形式的報(bào)表，企業(yè)或監(jiān)管人員可以對(duì)建立的多維農(nóng)產(chǎn)品質(zhì)量追溯數(shù)據(jù)倉(cāng)庫(kù)信息模型進(jìn)行追溯分析，從多角度查詢追溯信息。圖3是利用RadarCube ASP.NET for MSAS組件建立的一個(gè)查詢多維數(shù)據(jù)集的示例ASP頁(yè)面。

分析人員可以針對(duì)不同的類型創(chuàng)建計(jì)算度量值，如基于行-表的度量值、自定義聚合度量值以及其他Cube單元格的度量值，在每個(gè)層次成員上進(jìn)行下鉆操作，在任何層級(jí)上的個(gè)別層次或維度進(jìn)行自定義排序，在OLAP網(wǎng)格中基于任意一列的值進(jìn)行排序操作，從而從各個(gè)角度來(lái)分析多維數(shù)據(jù)集的信息，進(jìn)行分析與決策。

4 小結(jié)

農(nóng)墾農(nóng)產(chǎn)品質(zhì)量追溯系統(tǒng)自2008年開(kāi)始建設(shè)以來(lái)，已經(jīng)有300多家國(guó)內(nèi)知名企業(yè)、農(nóng)場(chǎng)納入了追溯監(jiān)管系統(tǒng)，隨著追溯系統(tǒng)的不斷推廣，目前在追溯數(shù)據(jù)中心（農(nóng)業(yè)部）已經(jīng)存儲(chǔ)了海量的追溯數(shù)據(jù)。本研究通過(guò)對(duì)跨企業(yè)農(nóng)產(chǎn)品質(zhì)量追溯需求的分析，提出利用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)來(lái)滿足這類需求的思路，設(shè)計(jì)了農(nóng)產(chǎn)品質(zhì)量追溯數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)邏輯模型，建立了農(nóng)產(chǎn)品質(zhì)量追溯信息的編碼映射方法，分析了OLAP服務(wù)器選型與多維數(shù)據(jù)模型設(shè)計(jì)、追溯分析報(bào)表制作與展現(xiàn)等方面的工具選型、設(shè)計(jì)方法等，該數(shù)據(jù)倉(cāng)庫(kù)解決方案能使現(xiàn)有的數(shù)據(jù)發(fā)揮更大的作用，為政府對(duì)農(nóng)產(chǎn)品質(zhì)量安全的監(jiān)管、分析提供更多有效的手段。

參考文獻(xiàn)：

[1] 劉俊華，金海水.國(guó)外農(nóng)產(chǎn)品質(zhì)量快速溯源的現(xiàn)狀和啟示[J].物流技術(shù)，2009，28（11）：251-253.

[2] MOUSAVI A， SARHADI M， LENK A， et al. Tracking and traceability in the meat processing industry： A solution[J]. British Food Journal，2002，104（1）：7-19.

[3] 謝菊芳，陸昌華，李保明，等.基于.NET架構(gòu)的安全豬肉全程可追溯系統(tǒng)實(shí)現(xiàn)[J].農(nóng)業(yè)工程學(xué)報(bào)，2006，22（6）：218-220.

[4] 覃 嬋，文良娟，彭飛榮，等.農(nóng)產(chǎn)品質(zhì)量追溯體系在分散農(nóng)戶中的建立探討[J].安徽農(nóng)業(yè)科學(xué)，2009，37（27）：13264-13266.

[5] 黃海龍，蔣平安，張 霞，等.基于Web的農(nóng)產(chǎn)品追溯系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[J].新疆農(nóng)業(yè)科學(xué)，2010，47（9）：1832-1836.

[6] 楊世江，劉錦高.基于RFID的農(nóng)產(chǎn)品追溯系統(tǒng)研究[J].信息技術(shù)，2011（8）：144-146.

[7] 李雅莉，何東健.基于DW和DM的農(nóng)產(chǎn)品加工企業(yè)DSS的研究[J].農(nóng)機(jī)化研究，2007（3）：146-149.

[8] 管 剛，李 力，王 闖.食品安全分析數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建過(guò)程中的數(shù)據(jù)預(yù)處理技術(shù)[J].電腦編程技巧與維護(hù)，2011（18）：71-73.

[9] 姜 洋，王 雷.基于可定制的農(nóng)產(chǎn)品質(zhì)量追溯系統(tǒng)的構(gòu)建[J].安徽農(nóng)業(yè)科學(xué)，2011，39（35）：22175-22178.

[10] INMON W H. Building the Data Warehouse[M]. 3nd Ed. Hoboken，NJ： John Wiley Sons，2003.