食品安全檢測數(shù)據(jù)倉庫技術(shù)的應(yīng)用與研究

郭曙超，龔方，*，昃向君，周保華，于仕超

（1.山東出入境檢驗檢疫局，山東青島 266000；2.煙臺出入境檢驗檢疫局，山東煙臺 264000）

食品安全問題作為全世界范圍內(nèi)普遍關(guān)注的問題，得到了各國政府及相關(guān)機構(gòu)的高度重視，各國相繼開展食品安全監(jiān)測和預(yù)警系統(tǒng)的研究[1]，提高食品安全監(jiān)管效率。同時，食品安全問題是一個多學科交叉的既廣泛又深入的科學技術(shù)問題，提升食品安全水平必須依靠科學技術(shù)的發(fā)展和應(yīng)用。我國正處于食品安全風險高發(fā)期和矛盾凸顯期，研究如何發(fā)揮相關(guān)技術(shù)支撐在保障食品安全方面的作用，對有效提升我國食品安全監(jiān)管水平具有十分重要的意義。

本文主要以山東地區(qū)進出口食品檢測實驗室的數(shù)據(jù)為分析對象，研究食品安全檢測數(shù)據(jù)倉庫技術(shù)，并對構(gòu)建食品安全進出口食品農(nóng)產(chǎn)品安全風險預(yù)警與檢測數(shù)據(jù)挖掘分析平臺打好了基礎(chǔ)，從而為實現(xiàn)進出口食品安全問題的早發(fā)現(xiàn)、早預(yù)警、早控制和早處理提供準確的數(shù)據(jù)信息參考。

1 食品安全檢測數(shù)據(jù)信息與風險預(yù)警

食品質(zhì)量安全檢測數(shù)據(jù)是食品安全風險研判和實施食品安全科學監(jiān)管的重要技術(shù)依據(jù)，如何對各級食品安全檢驗實驗室產(chǎn)生的各類檢驗數(shù)據(jù)進行系統(tǒng)的信息化管理，為食品安全風險預(yù)警和科學監(jiān)管提供有效的數(shù)據(jù)和信息支持，已成為逐漸引起我國食品安全監(jiān)管部門和食品安全檢測機構(gòu)關(guān)注的技術(shù)難題。

全國各級食品檢測實驗室每天要開展大量的食品檢測工作，也就是說每天都在產(chǎn)生大量的食品檢測數(shù)據(jù)，近幾年以來已經(jīng)形成了一個巨大的食品安全數(shù)據(jù)倉庫，單個數(shù)據(jù)都只說明被檢測的樣品中某個項目（危害物）的殘留情況，但大量數(shù)據(jù)的集合包含了豐富的食品安全信息。如何利用這些數(shù)據(jù)進行分析，為食品安全監(jiān)管提供決策依據(jù)，是食品安全監(jiān)管部門迫切需要解決的問題，如何在這些數(shù)據(jù)海洋中找到隱藏的有價值信息，用于輔助政府對食品安全的管理與決策，是非常具有實際意義的。

1.1 食品安全檢測數(shù)據(jù)的特點

在構(gòu)建用于數(shù)據(jù)分析的數(shù)據(jù)倉庫時，從源系統(tǒng)中采集到的數(shù)據(jù)往往存在著來源眾多、種類繁雜以及數(shù)據(jù)不規(guī)范等現(xiàn)象，這些源數(shù)據(jù)可能存在兩種情況：第一種是有些列的數(shù)據(jù)對數(shù)據(jù)分析毫無意義，第二種是對那些有意義的數(shù)據(jù)，存在數(shù)據(jù)值定義不完整、數(shù)據(jù)冗余等情況、這種不規(guī)范、不完整的數(shù)據(jù)會影響后續(xù)數(shù)據(jù)分析的結(jié)果[2]。

食農(nóng)產(chǎn)品檢測結(jié)果是數(shù)據(jù)分析中最關(guān)鍵的部分，食品檢測項目種類較多，參考標準也有出入，使得檢測結(jié)果和項目信息存在很多的不規(guī)范，如限量類項目本應(yīng)為數(shù)值型結(jié)果，而錄入的檢測結(jié)果經(jīng)常包含字符；對結(jié)果的描述不統(tǒng)一，例如對陰性結(jié)果的描述包括了“未檢出”、“陰性”和“ND”等；檢測項目的名稱不統(tǒng)一，如“DDT”和“滴滴涕”為同一個項目。

由于食品檢測數(shù)據(jù)本身的復(fù)雜性和原始錄入的不規(guī)范，導(dǎo)致數(shù)據(jù)源較為雜亂，必須建立一整套針對性的規(guī)則和標簽對檢測數(shù)據(jù)進行清洗。數(shù)據(jù)的清洗處理工作是建立數(shù)據(jù)倉庫的基礎(chǔ)，數(shù)據(jù)的分析在屬性上具備不同的層次。對于實驗室檢測數(shù)據(jù)來說，需要考慮的有樣品種類、項目類別、國別地區(qū)、檢測結(jié)果等。比如時間上從年到季度到月到日，要實現(xiàn)這些不同層次的挖掘分析都需要對屬性進行概念分層?？茖W的概念分層的意義：一是可以為構(gòu)建數(shù)據(jù)倉庫提供支持；二是要考慮與限量標準專家知識庫有效關(guān)聯(lián)；三是要反過來對生產(chǎn)數(shù)據(jù)庫（實驗室業(yè)務(wù)系統(tǒng)）的基礎(chǔ)分類設(shè)置提供建議參考。

1.2 實驗室數(shù)據(jù)規(guī)范是食品安全信息化的基礎(chǔ)

信息是有用的數(shù)據(jù)，數(shù)據(jù)是信息的表現(xiàn)形式，信息是通過數(shù)據(jù)符號來傳播的，數(shù)據(jù)如果不具有知識性和有用性則不能稱其為信息，也就沒有價值。數(shù)據(jù)處理和分析就是討論如何對這些紛繁復(fù)雜的數(shù)據(jù)進行分析，揭示其中隱含的內(nèi)在規(guī)律、發(fā)掘有用的信息，為決策者的正確決策提供理論依據(jù)，它最大的特點就是“讓數(shù)據(jù)說話”。而數(shù)據(jù)規(guī)范是數(shù)據(jù)分析的依據(jù)和工具，只有建立切實可行的數(shù)據(jù)規(guī)則，對實驗室檢測的數(shù)據(jù)進行統(tǒng)一和規(guī)范，才有可能使得“數(shù)據(jù)能夠說話”，從中發(fā)掘有價值的食品安全信息。

2 食品安全檢測數(shù)據(jù)倉庫

2.1 數(shù)據(jù)倉庫的概念應(yīng)用

數(shù)據(jù)倉庫技術(shù)[3]是近年來出現(xiàn)的、發(fā)展迅速的一種技術(shù)，它通過把大量的歷史數(shù)據(jù)整理集中到一個中央倉庫中，將數(shù)據(jù)加以分析并呈現(xiàn)給用戶來支持管理者的決策。數(shù)據(jù)倉庫是一個整合式的、面向主題的、歷史性的以及只讀性的數(shù)據(jù)集合，其主要目的是提供給管理者作為管理決策的參考依據(jù)。

對于數(shù)據(jù)倉庫的概念我們可以從3 個層次予以理解[4]：

1）數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于實驗室現(xiàn)有的操作型數(shù)據(jù)庫。

2）數(shù)據(jù)倉庫是對多個異構(gòu)數(shù)據(jù)源的有效集成，集成后按照主題進行了重組，并包含歷史數(shù)據(jù)。

3）數(shù)據(jù)倉庫不是靜態(tài)的概念，只有把信息及時交給需要這些信息的使用者，供他們作出監(jiān)管和改進的決策，信息才能發(fā)揮作用，信息才有意義。而把信息加以整理、歸納和重組，并及時提供給相應(yīng)的管理決策人員是數(shù)據(jù)倉庫的根本任務(wù)。

2.2 食品安全數(shù)據(jù)倉庫的技術(shù)框架

數(shù)據(jù)倉庫與傳統(tǒng)的數(shù)據(jù)庫不同，數(shù)據(jù)庫是未經(jīng)整理后的一大堆數(shù)據(jù)集；而數(shù)據(jù)倉庫是從數(shù)據(jù)庫中萃取出來經(jīng)過整理、規(guī)劃、建構(gòu)而成的有系統(tǒng)的數(shù)據(jù)庫的集合。數(shù)據(jù)倉庫所含數(shù)據(jù)是干凈無誤的，完整的而且是經(jīng)過整合的，數(shù)據(jù)倉庫的順利建立并有效率的運行是進行數(shù)據(jù)分析挖掘有價值信息的基礎(chǔ)。傳統(tǒng)數(shù)據(jù)庫在日常的管理事務(wù)處理中獲得了巨大的成功，但是對管理人員的決策分析要求卻無法滿足。因為，管理人員常常希望能夠通過對組織中的大量數(shù)據(jù)進行分析，了解業(yè)務(wù)的發(fā)展趨勢。而傳統(tǒng)數(shù)據(jù)庫只保留了當前的業(yè)務(wù)處理信息，缺乏決策分析所需要的大量的歷史信息。

為滿足管理人員的決策分析需要，就需要在數(shù)據(jù)庫的基礎(chǔ)上產(chǎn)生適應(yīng)決策分析的數(shù)據(jù)環(huán)境——數(shù)據(jù)倉庫（Data Warehouse）。

本文主要在山東省各級進出口食品檢測機構(gòu)的日常食品安全檢測數(shù)據(jù)的基礎(chǔ)上，建立食品安全數(shù)據(jù)倉庫，實現(xiàn)對食品安全整體狀態(tài)的實時監(jiān)測與預(yù)警。通過統(tǒng)計分析與數(shù)據(jù)挖掘，評價食品安全狀態(tài)，分析和預(yù)測食品安全發(fā)展趨勢，為食品安全管理與控制提供科學的決策依據(jù)。主要技術(shù)框架和流程如下。

3 食品安全檢測數(shù)據(jù)倉庫建立研究和技術(shù)應(yīng)用

3.1 數(shù)據(jù)處理

存放這些檢測數(shù)據(jù)的數(shù)據(jù)庫中通常包含的信息有：食品的名稱、種類、產(chǎn)地、抽檢樣品號、檢測時間、檢測項目、檢測結(jié)果及單位、進出口國家、生產(chǎn)企業(yè)等等。數(shù)據(jù)分析主要關(guān)注的是食品的種類、產(chǎn)地、檢測時間、檢測項目及結(jié)果，在數(shù)據(jù)庫中分布較分散，在數(shù)據(jù)分析之前需將這些單獨提取出來。

食品檢測數(shù)據(jù)有其自身的特點[5]，處理過程中主要發(fā)現(xiàn)的問題有：

1）同類樣品所檢測項目分布不均，每個樣品通常檢測多個項目。

2）檢測的項目中限量類危害物是主要的關(guān)注對象，主要是指有著最大殘留規(guī)定的危害物，其類別涉及到農(nóng)藥殘留、獸藥殘留、食品添加劑、有害元素、毒素等，在所有的危害物中其數(shù)量占據(jù)了相當大的比例，對這類項目要進行概念分層。

3）錄入的檢測結(jié)果不規(guī)范，這主要表現(xiàn)在限量類項目本應(yīng)為數(shù)值型的項目檢測結(jié)果經(jīng)常包含字符，如“＞3 000”、“＜10”、“ND”、“未檢出”等，或結(jié)果值空缺，還包括進出口國和產(chǎn)地錄入的不規(guī)范等等。本文以山東地區(qū)進出口食品檢測數(shù)據(jù)為研究對象，分類整理檢測數(shù)據(jù)中的信息，科學的進行樣品類別、項目類別、國別地域的概念分層，即建立規(guī)范的樣品類別多級分類、項目類別多級分類、地域、國別字典表和閾值判定對照表等規(guī)則，逐步進行數(shù)據(jù)集中、處理、清洗、離散和概念分層，為統(tǒng)計數(shù)據(jù)設(shè)計數(shù)據(jù)標簽。設(shè)計方向見下圖。

3.2 數(shù)據(jù)離散分層規(guī)則的建立

搜集整理2006 年～2012 年連續(xù)6 年的食品農(nóng)產(chǎn)品檢測數(shù)據(jù)，通過以上數(shù)據(jù)清洗處理的方法和步驟，進行數(shù)據(jù)轉(zhuǎn)換，建立數(shù)據(jù)標簽和清洗規(guī)則，形成了山東口岸進出口食品農(nóng)產(chǎn)品檢測數(shù)據(jù)的數(shù)據(jù)字典系列，包括了項目字典表、產(chǎn)品字典表和國別地域字典表等一整套用于實驗室食品農(nóng)產(chǎn)品檢測數(shù)據(jù)關(guān)鍵屬性的概念分層與編碼規(guī)則體系。

1）產(chǎn)品字典表

產(chǎn)品字典表共分為動物、動物產(chǎn)品、植物、植物產(chǎn)品和食品5 個大類，每類有三層分級，共細分為130 余項小類。以植物產(chǎn)品大類為例，下分蔬菜、豆類、花生及制品等12 種中類，每個中類下分小類，以蔬菜為例，下分保鮮蔬菜、脫水蔬菜、速凍蔬菜、鹽漬蔬菜4 個小類，各小類下一級即為具體檢測商品的名稱。

2）項目字典表

梳理食品農(nóng)產(chǎn)品檢測風險物質(zhì)的主要種類，結(jié)合國際標準上通用的規(guī)則，對上千項檢測項目（除動植物疫病以外）進行分類，建立規(guī)則。共建立涉及微生物、農(nóng)藥殘留、獸藥殘留、理化檢測、轉(zhuǎn)基因、元素、毒素、添加劑8 個大類的檢測項目字典庫，每個大類下設(shè)兩級分類。以獸藥殘留大類為例，下分磺胺類、類固醇類、四環(huán)素族等近30 個中類，每個中類下分小類，以四環(huán)素族為例，下分金霉素、強力霉素、四環(huán)素及土霉素4種常見的檢測項目。

3）地域國別字典表

結(jié)合山東口岸進出口食品農(nóng)產(chǎn)品的區(qū)域分布情況，設(shè)計地域國別字典表，結(jié)合地理經(jīng)緯度建立地圖模式，分別對不同國家和地區(qū)，山東地區(qū)17 個地級市進行展現(xiàn)，直觀簡潔。

3.3 食品安全檢測數(shù)據(jù)倉庫的應(yīng)用

食品安全檢測數(shù)據(jù)倉庫建立的根本目的在于對決策的支持，即為提高檢驗監(jiān)管的效率和決策提供數(shù)據(jù)信息方面的支持。高層的風險分析者、中層的業(yè)務(wù)處理和監(jiān)管人員和基層的實驗室檢測人員等不同層次的管理人員均可以利用數(shù)據(jù)倉庫進行決策分析，提高管理決策的質(zhì)量。數(shù)據(jù)倉庫體系結(jié)構(gòu)[6]如圖1 所示。

圖1 數(shù)據(jù)倉庫體系結(jié)構(gòu)Fig.1 Data warehouse architecture

在圖1 表現(xiàn)層中，我們研究了多種形式對建立的數(shù)據(jù)倉庫進行分析利用，主要體現(xiàn)在以下三個方面：

1）研究數(shù)據(jù)分析結(jié)果的可視化展示

實驗室的大量檢測數(shù)據(jù)被利用起來，實現(xiàn)檢測情況和檢出情況的直觀化分析，為支持領(lǐng)導(dǎo)決策提供第一手資料，完善決策依據(jù)，優(yōu)化決策方法，使決策更加科學化；實現(xiàn)信息處理、報表展現(xiàn)、預(yù)警、和輔助決策的功能，具有動態(tài)性、綜合性和人—機系統(tǒng)的特點；利用管理信息系統(tǒng)，將進出口食品檢驗中的實驗室檢測數(shù)據(jù)整合成一個有機整體，實現(xiàn)數(shù)據(jù)分析的可靠性和準確性，提高了工作效率。

2）利用數(shù)據(jù)挖掘工具實現(xiàn)價值信息的提取

采用科學數(shù)據(jù)挖掘算法[7]，如關(guān)聯(lián)規(guī)則、聚類分析，自動預(yù)測等。在建立食品農(nóng)產(chǎn)品檢測數(shù)據(jù)倉庫的基礎(chǔ)上發(fā)掘有價值的信息，幫助決策者掌握和分析進出口食品安全當前的和歷史的、多層次的數(shù)據(jù)情況，并以較直觀的、易于理解的形式給出分析結(jié)論，以便于掌握食品安全變化規(guī)律，預(yù)測發(fā)展趨勢，更好的提高決策的科學性和預(yù)見性。

3）數(shù)理統(tǒng)計趨勢分析方法對檢測數(shù)據(jù)進行動態(tài)分析

食品安全趨勢分析是指通過對食品檢測的歷史數(shù)據(jù)和有關(guān)信息的統(tǒng)計分析，對食品安全未來發(fā)展前景作出預(yù)測。食品安全趨勢分析是食品安全控制決策科學化的工具，是食品安全管理部門編制計劃、預(yù)見計劃執(zhí)行情況、加強計劃指導(dǎo)的依據(jù)。在食品實驗室檢測數(shù)據(jù)庫的基礎(chǔ)上，選擇移動平均線趨勢分析、回歸分析、時間序列分析法等工具，在大量歷史數(shù)據(jù)的基礎(chǔ)上獲得接近危害物未來分布的趨勢，從而將預(yù)警控制前移到陽性風險出現(xiàn)之前，由“被動”預(yù)警轉(zhuǎn)為“主動”，并對預(yù)警的有效觸發(fā)和解除進行了驗證。

4 結(jié)語

目前，隨著食品安全問題越來越得到大眾的關(guān)注，食品安全風險預(yù)警和監(jiān)測體系也亟待加強與完善，而數(shù)據(jù)倉庫作為風險信息中最為基礎(chǔ)和關(guān)鍵的一環(huán)，也得到了更多的研究與重視[8]，其中本文所建立的進出口食品安全檢測數(shù)據(jù)倉庫就是對這一技術(shù)的具體研究與應(yīng)用，其建立的山東地區(qū)進出口食品檢測數(shù)據(jù)倉庫為進一步的食品安全預(yù)警分析提供了保障。

[1]王海明,鄭培,潘海虹.食品安全風險監(jiān)測預(yù)警系統(tǒng)研究[J].中國衛(wèi)生監(jiān)督雜志,2010,17(6)：106-110

[2]李聰,黃逸民.食品安全監(jiān)測與預(yù)警系統(tǒng)[M].北京：化學工業(yè)出版社,2006：200-246

[3]何玉潔,張俊超.數(shù)據(jù)倉庫與OLAP 實踐教程[M].北京：清華大學出版社,2008：10-56

[4]Tom Hammergren.數(shù)據(jù)倉庫技術(shù)[M].曹增強,王備戰(zhàn),岳曉奎,等譯.武漢：中國水利水電出版社,1998：88-256

[5]唐曉純.食品安全預(yù)警體系框架構(gòu)建研究[J].食品科學,2005,26(12)：246-249

[6]C J Date.數(shù)據(jù)庫系統(tǒng)導(dǎo)論[M].孟曉峰,王珊,姜芳艽,等譯.北京：機械工業(yè)出版社,2000：103-355

[7]王曙燕,耿國華,周明全.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)的研究與應(yīng)用[J].計算機應(yīng)用研究,2005,11(9)：194-196

[8]宋國杰,楊冬青,林子雨,等.實時主動數(shù)據(jù)倉庫的概念、問題及應(yīng)用[J].計算機研究與發(fā)展,2007,44(Suppl.)：441-446