基于云計(jì)算的食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)的風(fēng)險(xiǎn)分析算法及其應(yīng)用

王雅潔 楊冰 代姣 何錦林 陳愷 羅艷 譚紅 陶光燦

摘要基于云計(jì)算，結(jié)合食品安全檢驗(yàn)檢測(cè)的完備性與最小性原理，將影響食品安全的多維因素降維成平均含量（AVE）、限量標(biāo)準(zhǔn)（STA）、超限率（OUT）、超限程度（OUD）和最大值（MAX）5個(gè)因素，并建立食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)的風(fēng)險(xiǎn)分析算法。利用云計(jì)算技術(shù)實(shí)現(xiàn)對(duì)地理上分布廣泛、動(dòng)態(tài)、復(fù)雜性高的海量數(shù)據(jù)進(jìn)行存儲(chǔ)，并運(yùn)用云計(jì)算的MapReduce計(jì)算框架進(jìn)行智能的并行數(shù)據(jù)處理及計(jì)算，最后得到風(fēng)險(xiǎn)分析結(jié)果。通過(guò)對(duì)在基于Web端的實(shí)驗(yàn)室管理系統(tǒng)采集的1 000 000條檢驗(yàn)檢測(cè)數(shù)據(jù)結(jié)果進(jìn)行風(fēng)險(xiǎn)分析，得出食品安全指數(shù)IFS遠(yuǎn)小于1，表明消費(fèi)者人群的食品安全狀態(tài)良好。

關(guān)鍵詞云計(jì)算；食品有毒有害物質(zhì)檢測(cè)；大數(shù)據(jù)；風(fēng)險(xiǎn)分析算法

中圖分類號(hào)S126；R155文獻(xiàn)標(biāo)識(shí)碼A文章編號(hào)0517-6611（2017）21-0216-05

Risk Analysis Algorithm and Its Application of Poisonous and Harmful Substance in Food Testing Big Data Based on Cloud Computing

WANG Yajie，YANG Bing，DAI Jiao，TAO Guangcan* et al

（Guizhou Academy of Testing and Analysis，Guiyang，Guizhou 550002）

AbstractBased on cloud calculation，combined with the completeness and minimum principle in food safety inspection and testing，multiple dimensional factors that affected the food safety were reduced into five factors：average content （AVE），limit standard （STA），overload rate （OUT），out of limit degree （OUD），and the maximum value （MAX），and the poisonous and harmful substance risk analysis algorithm in food safety inspection and testing big data was established.The paper made use of cloud computing platform to achieve the data storage of massive extensive geographical distribution，dynamic，high complexity data，and applies MapReduce computational framework of cloud computing for intelligent parallel data processing and computing.Finally，we got the required risk analysis results.Through the risk analysis of collected 1 000 000 testing data results from the laboratory management information system based on web side，it was found that the food safety index was greater less than 1，which indicated that the food safety state was in good condition in consumer population.

Key wordsCloud computing；Food testing of poisonous and harmful substance；Big data；Risk analysis algorithm

近年來(lái)，隨著互聯(lián)網(wǎng)[1]的高速發(fā)展，云計(jì)算技術(shù)[2]已在金融[3-5]、汽車[6-7]、電力[8-9]等行業(yè)得到一定的應(yīng)用。李聰[10]提出的食品安全狀態(tài)評(píng)價(jià)指標(biāo)體系曾在食品安全風(fēng)險(xiǎn)分析中有所應(yīng)用，但由于風(fēng)險(xiǎn)分析的數(shù)據(jù)量過(guò)小，分析結(jié)果不具有說(shuō)服力，且并未實(shí)現(xiàn)在云技術(shù)下的應(yīng)用。目前，在食品行業(yè)“互聯(lián)網(wǎng)+食品檢驗(yàn)檢測(cè)”模式驅(qū)動(dòng)下，食品安全檢驗(yàn)檢測(cè)數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，大數(shù)據(jù)已經(jīng)形成。大量的食品檢測(cè)數(shù)據(jù)無(wú)疑能為人們帶來(lái)廣闊的信息量，但需要從海量食品安全檢驗(yàn)檢測(cè)數(shù)據(jù)中發(fā)現(xiàn)對(duì)監(jiān)管部門、企業(yè)及檢測(cè)機(jī)構(gòu)有用知識(shí)的難度隨之增加。食品安全風(fēng)險(xiǎn)分析是食品安全領(lǐng)域的重難點(diǎn)，基于云計(jì)算的食品有毒有害物質(zhì)的風(fēng)險(xiǎn)評(píng)估算法能夠有效解決海量數(shù)據(jù)潛在價(jià)值的挖掘及利用。筆者通過(guò)采集互聯(lián)網(wǎng)端實(shí)驗(yàn)室信息管理系統(tǒng)（Laboratory management information system，LIMS）匯聚的全國(guó)各檢驗(yàn)檢測(cè)機(jī)構(gòu)的食品檢驗(yàn)檢測(cè)大數(shù)據(jù)，并充分運(yùn)用云計(jì)算平臺(tái)高可用性及高度虛擬化等特征[11]，動(dòng)態(tài)調(diào)度和分配資源，以滿足精準(zhǔn)風(fēng)險(xiǎn)分析及高效數(shù)據(jù)挖掘的需求。筆者提出一種基于云計(jì)算的食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)的風(fēng)險(xiǎn)分析算法，將數(shù)學(xué)算法應(yīng)用在食品安全檢驗(yàn)檢測(cè)中。該模型是一種使食品安全檢驗(yàn)檢測(cè)結(jié)果反映數(shù)據(jù)間呈現(xiàn)出多變量間關(guān)系的一種算法應(yīng)用技術(shù)，該算法已在貴州省食品安全云平臺(tái)實(shí)際部署并上線運(yùn)行，取得了良好的效果。該文是“互聯(lián)網(wǎng)+食品安全檢驗(yàn)檢測(cè)”模式的實(shí)踐應(yīng)用，實(shí)現(xiàn)了一種以海量數(shù)據(jù)信息為中心的風(fēng)險(xiǎn)交流方法。

1云計(jì)算的定義及云計(jì)算環(huán)境下的并行計(jì)算模型

1.1云計(jì)算的定義云計(jì)算[12] 是一種實(shí)現(xiàn)海量數(shù)據(jù)的分布式計(jì)算模式，通過(guò)聚合海量分布在不同時(shí)間、不同地點(diǎn)、不同食品安全檢驗(yàn)檢測(cè)實(shí)驗(yàn)室的食品檢測(cè)結(jié)果的資源， 提供海量食品數(shù)據(jù)的存儲(chǔ)與計(jì)算能力。 云計(jì)算平臺(tái)通過(guò)虛擬化、 動(dòng)態(tài)資源調(diào)配等技術(shù)向食品行業(yè)的監(jiān)管部門、企業(yè)、檢測(cè)機(jī)構(gòu)、媒體、大眾提供數(shù)據(jù)計(jì)算的按需服務(wù)，避免資源浪費(fèi)，提高云服務(wù)器的利用率以及應(yīng)用性能。云計(jì)算使用大量廉價(jià)互連在互聯(lián)網(wǎng)上的計(jì)算機(jī)按需進(jìn)行任務(wù)的處理，為食品安全檢驗(yàn)檢測(cè)結(jié)果大數(shù)據(jù)提供了所需的存儲(chǔ)資源、計(jì)算資源等。所有用戶無(wú)需了解云計(jì)算基礎(chǔ)設(shè)施的管理。與此同時(shí)，云計(jì)算提供動(dòng)態(tài)負(fù)載均衡與橫向伸縮的能力，隨著數(shù)據(jù)量的增大，需要更多的數(shù)據(jù)節(jié)點(diǎn)來(lái)進(jìn)行計(jì)算。 云計(jì)算支持運(yùn)行時(shí)向數(shù)據(jù)中心按需新增節(jié)點(diǎn)， 并自動(dòng)將一些負(fù)載按需轉(zhuǎn)移到新的節(jié)點(diǎn)上，進(jìn)行運(yùn)算， 并保持節(jié)點(diǎn)間負(fù)載的平衡， 提高業(yè)務(wù)的承載能力[13]。

此外，利用虛擬化技術(shù)原理，云技算能實(shí)現(xiàn)分布式計(jì)算、信息資源的集中管理和智能調(diào)配。 云計(jì)算主要有3種主流的商業(yè)模式，分別為平臺(tái)即服務(wù)（PaaS） 、基礎(chǔ)架構(gòu)即服務(wù)（IaaS） 和軟件即服務(wù)（SaaS）。云計(jì)算邏輯圖如圖1所示。

在云計(jì)算環(huán)境中，所有數(shù)據(jù)資源分為多個(gè)數(shù)據(jù)中心的模式。 一個(gè)數(shù)據(jù)中心有成千上萬(wàn)的數(shù)據(jù)節(jié)點(diǎn)， 這些數(shù)據(jù)節(jié)點(diǎn)間通過(guò)互聯(lián)網(wǎng)進(jìn)行高效連接， 可為用戶提供存儲(chǔ)及計(jì)算資源。隨著云計(jì)算的快速發(fā)展，能夠利用虛擬化實(shí)現(xiàn)廉價(jià)大規(guī)模的計(jì)算平臺(tái)，并將存儲(chǔ)資源、網(wǎng)絡(luò)資源、計(jì)算資源、應(yīng)用程序等作為虛擬化的實(shí)體。虛擬化技術(shù)可被運(yùn)用于有效利用和組織空閑的計(jì)算平臺(tái)，對(duì)閑置的計(jì)算資源進(jìn)行抽象，使計(jì)算資源形成相互間獨(dú)立的虛擬服務(wù)器實(shí)例，從而獨(dú)立地完成被分配的數(shù)據(jù)處理和計(jì)算，以此實(shí)現(xiàn)底層硬件的虛擬化。

1.2云計(jì)算環(huán)境下的并行計(jì)算模型MapReduce是Google實(shí)驗(yàn)室提出的一個(gè)云計(jì)算環(huán)境下處理大規(guī)模數(shù)據(jù)的分布式并行計(jì)算模型框架[14-15]。MapReduce作業(yè)處理分為Map步驟和Reduce步驟，任務(wù)由大量獨(dú)立并行的Map任務(wù)和 Reduce任務(wù)組成，每個(gè)步驟可用一個(gè)函數(shù)來(lái)表示，即Map函數(shù)和Reduce函數(shù)，每個(gè)函數(shù)都以一個(gè)鍵值對(duì)的形式作為輸入和輸出。 Map步驟將大規(guī)模數(shù)據(jù)處理作業(yè)分成多個(gè)可獨(dú)立運(yùn)行的小任務(wù)，與此同時(shí)，Map函數(shù)會(huì)輸入一個(gè)鍵值對(duì)

數(shù)據(jù)挖掘也稱為知識(shí)發(fā)現(xiàn)過(guò)程，就是從采集的大規(guī)模數(shù)據(jù)中，通過(guò)挖掘算法，發(fā)現(xiàn)潛在可被理解的、有價(jià)值的信息的過(guò)程。對(duì)于食品有毒有害物質(zhì)的風(fēng)險(xiǎn)分析是數(shù)據(jù)挖掘的一種具體實(shí)現(xiàn)，最終的目的是從海量檢驗(yàn)檢測(cè)數(shù)據(jù)中提取出可理解的知識(shí)，挖掘出潛在價(jià)值。因此，希望數(shù)據(jù)規(guī)模的越大越好，這樣數(shù)據(jù)挖掘出結(jié)果更加精準(zhǔn)，即風(fēng)險(xiǎn)分析更加有說(shuō)服力。這樣高要求的風(fēng)險(xiǎn)分析對(duì)于開發(fā)環(huán)境和應(yīng)用環(huán)境有較高的要求，基于云計(jì)算的風(fēng)險(xiǎn)分析方式較為滿足。在云計(jì)算平臺(tái)中，大規(guī)模的數(shù)據(jù)被存儲(chǔ)在數(shù)據(jù)中心中，云計(jì)算根據(jù)風(fēng)險(xiǎn)分析算法的具體應(yīng)用需求動(dòng)態(tài)分配資源進(jìn)行計(jì)算處理，并采用自帶容錯(cuò)機(jī)制確保數(shù)據(jù)挖掘算法的可靠性及可擴(kuò)展性[17]。

① 基于云計(jì)算模式可使風(fēng)險(xiǎn)分析分布式并行的執(zhí)行，有效避免了資源浪費(fèi)，節(jié)約運(yùn)算時(shí)間。該模式可運(yùn)用在不同規(guī)模的行業(yè)組織中，為食品企業(yè)、監(jiān)管部門、檢測(cè)機(jī)構(gòu)帶來(lái)新型低成本的計(jì)算環(huán)境，減輕行業(yè)組織對(duì)成本大型昂貴的高性能機(jī)的依賴性。②基于云計(jì)算的風(fēng)險(xiǎn)分析算法開發(fā)方便，由于底層被屏蔽掉，行業(yè)組織不再需考慮底層數(shù)據(jù)的劃分、數(shù)據(jù)節(jié)點(diǎn)的分配以及云計(jì)算任務(wù)調(diào)度等。③基于云計(jì)算模式能很大程度上提升海量數(shù)據(jù)的處理能力，可按需智能化的增加結(jié)點(diǎn)，提高容錯(cuò)性。④基于云計(jì)算的風(fēng)險(xiǎn)分析保證了數(shù)據(jù)挖掘技術(shù)的共享，降低了行業(yè)數(shù)據(jù)挖掘應(yīng)用門檻，滿足了大規(guī)模食品檢驗(yàn)檢測(cè)數(shù)據(jù)的價(jià)值提取。

2.3.1系統(tǒng)架構(gòu)。

基于以上思想，設(shè)計(jì)了基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘系統(tǒng)，基于食品有毒有害物質(zhì)的風(fēng)險(xiǎn)分析算法即為數(shù)據(jù)挖掘算法庫(kù)中的一種，其整體結(jié)構(gòu)如圖2所示。

在設(shè)計(jì)的數(shù)據(jù)挖掘系統(tǒng)中，節(jié)點(diǎn)被分為主控節(jié)點(diǎn)（TotalCtrlNode）及工作節(jié)點(diǎn)（WorkerNode）。在整個(gè)系統(tǒng)架構(gòu)中只有一個(gè)TotalCtrlNode， 由HDFS中的NameNode、SecondNameNode、數(shù)據(jù)倉(cāng)庫(kù)、MapReduce計(jì)算模型下的JobTracker、以及數(shù)據(jù)挖掘算法庫(kù)組成，設(shè)計(jì)的風(fēng)險(xiǎn)分析算法即為數(shù)據(jù)挖掘算法庫(kù)中的一種，隨著業(yè)務(wù)系統(tǒng)的需要，此后可在數(shù)據(jù)挖掘算法庫(kù)中設(shè)計(jì)更多的基于食品安全行業(yè)的風(fēng)險(xiǎn)分析算法。其中，NameNode是HDFS的主服務(wù)器，用于管理及存儲(chǔ)文件系統(tǒng)的元數(shù)據(jù)，執(zhí)行HDFS打開、關(guān)閉、重命名等命名空間操作，并將文件塊分成若干個(gè)，到WorkerNode中的DataNode進(jìn)行映射。在設(shè)計(jì)的數(shù)據(jù)挖掘系統(tǒng)中，可按需部署若干個(gè)WorkerNode節(jié)點(diǎn)，它由HDFS中的DataNode以及MapReduce計(jì)算模型下的TaskTracker組成，分別負(fù)責(zé)數(shù)據(jù)的存儲(chǔ)和計(jì)算工作。 其中將實(shí)際的大規(guī)模數(shù)據(jù)分成數(shù)據(jù)塊存放在DataNode中，DataNode還負(fù)責(zé)按照NameNode的命令，處理實(shí)際的讀寫請(qǐng)求，并執(zhí)行數(shù)據(jù)塊的創(chuàng)建、復(fù)制、刪除等工作。TaskTracker則利用開發(fā)的風(fēng)險(xiǎn)分析算法，處理若干數(shù)據(jù)塊的實(shí)際數(shù)據(jù)挖掘工作。在實(shí)際系統(tǒng)運(yùn)行過(guò)程中，首先從架構(gòu)在云端、基于互聯(lián)網(wǎng)的應(yīng)用系統(tǒng)LIMS中采集的不同地點(diǎn)、不同時(shí)間、不同實(shí)驗(yàn)室的海量檢測(cè)數(shù)據(jù)，并存入數(shù)據(jù)倉(cāng)庫(kù)中，此時(shí)基于云計(jì)算模式下HDFS的NameNode會(huì)自動(dòng)將數(shù)據(jù)文件分成若干塊存儲(chǔ)到WorkerNode中的各個(gè)DataNode中。SeondNameNode和NameNode部署及運(yùn)行在不同的機(jī)器上，其功能主要是輔助NameNode處理映像文件和事務(wù)日志。

數(shù)據(jù)挖掘算法庫(kù)負(fù)責(zé)存儲(chǔ)數(shù)據(jù)挖掘所需的算法，開發(fā)了基于食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)的風(fēng)險(xiǎn)分析算法，利用云計(jì)算并行執(zhí)行的特點(diǎn)，算法使用MapReduce編程模型重新設(shè)計(jì)實(shí)現(xiàn)。

基于食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)的風(fēng)險(xiǎn)分析算法放入TotalCtrlNode的算法庫(kù)中，TotalCtrlNode節(jié)點(diǎn)中MapReduce計(jì)算模型下的JobTracker會(huì)進(jìn)行各計(jì)算節(jié)點(diǎn)之間的工作進(jìn)程的調(diào)度與協(xié)調(diào)，按需將數(shù)據(jù)挖掘任務(wù)跨WorkerNode節(jié)點(diǎn)進(jìn)行分發(fā)、監(jiān)控以及失敗任務(wù)的重新執(zhí)行，TaskTracker執(zhí)行時(shí)將會(huì)按需調(diào)用這些任務(wù)，或根據(jù)具體業(yè)務(wù)需要結(jié)合本地?cái)?shù)據(jù)庫(kù)執(zhí)行TotalCtrlNode分配的任務(wù)，并將計(jì)算結(jié)果及相應(yīng)狀態(tài)信息向TotalCtrlNode進(jìn)行反饋。JobTracker和TaskTracker采用Master/Slave模式進(jìn)行工作，Master和Slave通過(guò)相互發(fā)送命令實(shí)現(xiàn)交互。這樣的結(jié)構(gòu)機(jī)制具有高容錯(cuò)性，由于系統(tǒng)中可按需進(jìn)行WorkerNode的擴(kuò)展利用，當(dāng)其中某個(gè)WorkerNode出錯(cuò)時(shí)，只需將此WorkerNode上正在執(zhí)行或計(jì)算的任務(wù)向其他WorkerNode上進(jìn)行遷移，并重新執(zhí)行壞掉的WorkerNode上的計(jì)算任務(wù)，與此同時(shí)，向TotalCtrlNode發(fā)送遷移信息，TotalCtrlNode將重新對(duì)其他的WorkerNode節(jié)點(diǎn)進(jìn)行任務(wù)再分配，在此過(guò)程中壞掉的WorkerNode將被屏蔽在系統(tǒng)外等待修復(fù)。

設(shè)計(jì)的基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘系統(tǒng)可按功能上劃分成2個(gè)部件：存儲(chǔ)部件和計(jì)算部件。其中，系統(tǒng)存儲(chǔ)部件由HDFS中的NameNode、SecondNameNode、DataNode以及基于互聯(lián)網(wǎng)端的LIMS數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)組成，而計(jì)算部件則由MapReduce計(jì)算模型下的JobTracker、TaskTracker以及本文設(shè)計(jì)的數(shù)據(jù)挖掘算法庫(kù)組成。該基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘系統(tǒng)是Hadoop作為底層大數(shù)據(jù)解決方案，使用部署在云端的、基于Linux操作系統(tǒng)的計(jì)算機(jī)集群作為硬件設(shè)備。

2.3.2數(shù)據(jù)挖掘算法層-風(fēng)險(xiǎn)分析算法設(shè)計(jì)?；谑称钒踩珯z驗(yàn)檢測(cè)結(jié)構(gòu)化的完備性與最小性的原理[3]，在基于云計(jì)算的數(shù)據(jù)挖掘系統(tǒng)中設(shè)計(jì)了基于云計(jì)算的食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)的風(fēng)險(xiǎn)分析算法。由于影響食品安全的因素繁多，涉及的內(nèi)容較廣，因此對(duì)檢驗(yàn)檢測(cè)結(jié)果風(fēng)險(xiǎn)分析需要從全局視角出發(fā)，從不同層次來(lái)考慮食品安全的總體狀態(tài)。風(fēng)險(xiǎn)分析的原理主要是根據(jù)風(fēng)險(xiǎn)分析與食品安全狀態(tài)影響的重要程度、風(fēng)險(xiǎn)分析與食品安全狀態(tài)變化的協(xié)調(diào)性、風(fēng)險(xiǎn)分析反映食品安全狀態(tài)變化的可靠靈敏性和風(fēng)險(xiǎn)分析刻畫食品安全狀態(tài)變化的代表性來(lái)進(jìn)行評(píng)估的[18]。完備性就是能在食品安全狀態(tài)變化中找到相應(yīng)的結(jié)構(gòu)化量度，并能滿足食品安全檢驗(yàn)檢測(cè)數(shù)據(jù)分析結(jié)構(gòu)化的需要；最小性則是對(duì)任意結(jié)構(gòu)集QX，均有XI，使得結(jié)構(gòu)集在精減到最小限額結(jié)構(gòu)化前提下依然能獲得幾乎與其它結(jié)構(gòu)集同樣的信息來(lái)滿足食品安全數(shù)據(jù)分析結(jié)構(gòu)化的需要[3]。

2.3.2.1以閾值法（Threshhold approach）應(yīng)用的技術(shù)原理。

食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)結(jié)構(gòu)化的計(jì)算，其理論依據(jù)是人體與試驗(yàn)動(dòng)物存在著合理可比的閾劑量值[19]。但是，人的敏感性與動(dòng)物相比更高，遺傳差異性較大，并且膳食習(xí)慣更為不同。鑒于此，可采用ADI[20]、PTWI[21]或RDI[22]等數(shù)據(jù)進(jìn)行。

2.3.2.2食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)集的風(fēng)險(xiǎn)分析。

風(fēng)險(xiǎn)分析涉及到數(shù)據(jù)集中的具體檢測(cè)指標(biāo)，例如六六六在蔬菜中的含量、甲醛在啤酒中的含量等，檢測(cè)結(jié)果大數(shù)據(jù)是整個(gè)風(fēng)險(xiǎn)分析的最底層和最基礎(chǔ)的數(shù)據(jù)。確定大數(shù)據(jù)集的風(fēng)險(xiǎn)分析非常簡(jiǎn)單方便，主要根據(jù)國(guó)內(nèi)外所制定的有關(guān)各類食品的檢驗(yàn)標(biāo)準(zhǔn)或法規(guī)，針對(duì)有毒有害指標(biāo)，通過(guò)基于Web端的實(shí)驗(yàn)室檢測(cè)管系統(tǒng)理（LIMS），利用互聯(lián)網(wǎng)采集跨地區(qū)、跨實(shí)驗(yàn)室的相關(guān)檢驗(yàn)檢測(cè)大數(shù)據(jù)，并設(shè)計(jì)實(shí)現(xiàn)以下算法，利用互聯(lián)網(wǎng)采集的原數(shù)據(jù)和云計(jì)算技術(shù)，計(jì)算相關(guān)參數(shù)，從而進(jìn)一步進(jìn)行風(fēng)險(xiǎn)分析。

（1）影響食品安全的多維因素降維。結(jié)合食品安全檢驗(yàn)檢測(cè)結(jié)構(gòu)化的完備性與最小性原理，首先將影響食品安全的多維因素降維成以下幾個(gè)因素[3]，并進(jìn)行相關(guān)計(jì)算，這5個(gè)因素即為風(fēng)險(xiǎn)評(píng)價(jià)指標(biāo)。

①平均含量（AVE）。平均含量AVEitem指在某類有毒有害物質(zhì)在某種特定食品中的的平均值，也是具體某個(gè)有毒有害物質(zhì)檢測(cè)項(xiàng)目結(jié)果都數(shù)據(jù)平均值。其計(jì)算公式為：

AVEitem=ni=1Cin （1）

式中，AVEitem為檢測(cè)指標(biāo)數(shù)據(jù)的平均值，由某一有毒有害物質(zhì)的檢驗(yàn)檢測(cè)指標(biāo)值計(jì)算得到，Ci表示第i個(gè)樣品中該檢測(cè)結(jié)果的含量，n為樣本總個(gè)數(shù)。

②限量標(biāo)準(zhǔn)（STA）。針對(duì)每一個(gè)檢測(cè)結(jié)果指標(biāo)，按照國(guó)際或國(guó)家標(biāo)準(zhǔn)，標(biāo)準(zhǔn)中會(huì)規(guī)定該指標(biāo)的限量標(biāo)準(zhǔn)（STAitem）。由于在食品安全領(lǐng)域，有毒有害物質(zhì)、致病微生物等有害物的風(fēng)險(xiǎn)分析通常是人們所關(guān)注的，因此限量標(biāo)準(zhǔn)（STAitem）在食品安全檢驗(yàn)檢測(cè)的風(fēng)險(xiǎn)分析中的都應(yīng)該為上限標(biāo)準(zhǔn)。對(duì)于標(biāo)準(zhǔn)中規(guī)定為“沒有”或“未檢出”等非數(shù)字的情況，可以將其視為“0”處理。

③超限率（OUT）。超限率是在整個(gè)的數(shù)據(jù)集中，該檢測(cè)項(xiàng)目結(jié)果數(shù)據(jù)值超過(guò)限量標(biāo)準(zhǔn)（STAitem）的樣品個(gè)數(shù)占整個(gè)結(jié)果數(shù)據(jù)集的比例，計(jì)算公式如下：

OUTitem=MN×100% （2）

式中，OUTitem為超限率，M為超出限量標(biāo)準(zhǔn)的數(shù)據(jù)個(gè)數(shù)，N為整個(gè)數(shù)據(jù)集中的數(shù)據(jù)個(gè)數(shù)。

④超限程度（OUD）。超限程度（OUDitem）代表在整個(gè)的監(jiān)測(cè)結(jié)構(gòu)集中，所有超限數(shù)據(jù)超出限量標(biāo)準(zhǔn)（STAitem）的偏離程度。

OUDitem=j=1，2，…，m（Cj-STAitem）2M （3）

式中，OUDitem代表超限程度，Cj為在該指標(biāo)結(jié)構(gòu)化上超限的某一具體數(shù)據(jù)值，STAitem指該指標(biāo)的限量標(biāo)準(zhǔn)，M代表超出限量標(biāo)準(zhǔn)的數(shù)據(jù)個(gè)數(shù)。

⑤最大值（MAX）。計(jì)算在整個(gè)數(shù)據(jù)集中，該檢測(cè)指標(biāo)項(xiàng)檢測(cè)結(jié)果的最大值（MAXitem）。

（2）食品種類指標(biāo)。設(shè)計(jì)了針對(duì)具體某個(gè)食品中具體檢測(cè)項(xiàng)目的5個(gè)評(píng)價(jià)指標(biāo)，解決了具體食品中具體項(xiàng)目的風(fēng)險(xiǎn)分析問(wèn)題。由于各種食品的構(gòu)成非常復(fù)雜，其中可能含有多種致病微生物和多種有毒有害物質(zhì)，要實(shí)現(xiàn)對(duì)某一類食品檢驗(yàn)檢測(cè)風(fēng)險(xiǎn)分析，需要在指標(biāo)基礎(chǔ)上建立食品種類指標(biāo)。食品種類的指標(biāo)風(fēng)險(xiǎn)分析主要有以下2個(gè)方面。

①食品的合格率（σ）。

針對(duì)具體某個(gè)食品，比如肉制品，根據(jù)其各個(gè)檢測(cè)項(xiàng)目的具體結(jié)構(gòu)化的數(shù)據(jù)結(jié)果，可根據(jù)與國(guó)家的肉制品評(píng)價(jià)標(biāo)準(zhǔn)比對(duì)，評(píng)價(jià)出該肉制品樣品是否達(dá)到國(guó)家標(biāo)準(zhǔn)，即是否合格。不同種類的食品合格性評(píng)價(jià)的標(biāo)準(zhǔn)和方法不同， 比如在某些食品中，只要有任何一個(gè)檢測(cè)項(xiàng)目的結(jié)構(gòu)化結(jié)果超出其限量標(biāo)準(zhǔn)就可判定為這整個(gè)食品不合格。在有些食品中，則需要綜合考慮多個(gè)檢測(cè)項(xiàng)目后，再進(jìn)行評(píng)價(jià)。無(wú)論哪種方式，所有樣本都可以作出合格與否的評(píng)價(jià)，因此可以得到整個(gè)云計(jì)算數(shù)據(jù)集中，該食品的合格率（σfood），計(jì)算公式為：

σfood=LN×100% （4）

式中，σfood為食品合格率，L表示在整個(gè)數(shù)據(jù)集達(dá)到國(guó)家標(biāo)準(zhǔn)的樣品量，即合格的樣品量，N表示數(shù)據(jù)集中的樣品總量。（1-σfood）則為該食品的不合格率。

②食品的不安全度（h）。食品的不安全度（h）表示具體某食品整體的不安全程度，是一個(gè)無(wú)量綱的數(shù)值。由于食品中往往有許多微生物或化學(xué)物質(zhì)等危害安全的物質(zhì)，所以要用一個(gè)結(jié)構(gòu)化來(lái)表示該類食品的不安全程度，肯定要對(duì)食品中危害物質(zhì)的含量進(jìn)行無(wú)量綱化處理，同時(shí)還需要知道該類危害物質(zhì)的危害系數(shù)[23]，食品的不安全度（hfood）的計(jì)算公式為：

hfood=AVEitem>STAitem（AVEitem-STAitemSTAitem×Fitem） （5）

式中，hfood為某類食品不安全度，F(xiàn)item代表該有毒有害物質(zhì)或致病微生物項(xiàng)目的危害系數(shù)，通常情況下，F(xiàn)item≤1，AVEitem為檢測(cè)指標(biāo)數(shù)據(jù)的平均值，STAitem為該指標(biāo)的限量標(biāo)準(zhǔn)；公式（5）表示在該食品所有危害物結(jié)構(gòu)化中，挑出其平均含量AVEitem超出限量標(biāo)準(zhǔn)STAitem的結(jié)構(gòu)化，將所有超限危害物結(jié)構(gòu)化進(jìn)行無(wú)量綱化處理，即AVEitem-STAitemSTAitem，然后與該項(xiàng)目的危害系數(shù)Fitem相乘，最后累加求和得到該食品的不安全度（hfood）。

（3）食品安全檢驗(yàn)檢測(cè)整體狀態(tài)數(shù)據(jù)風(fēng)險(xiǎn)分析。

食品安全檢驗(yàn)檢測(cè)整體狀態(tài)數(shù)據(jù)風(fēng)險(xiǎn)分析主要是基于暴露評(píng)估方法的食品安全指數(shù)（IFS）， IFS表示食品中的危害物時(shí)消費(fèi)者健康是否存在危害以及危害的程度，即IFS能對(duì)食品安全整體狀態(tài)進(jìn)行評(píng)估。

IFS=nc=c1…，cnIFScn（6）

式中，IFSc表示食品中某種危害物質(zhì)C對(duì)消費(fèi)者健康影響的單項(xiàng)食品安全指數(shù)，n代表樣品總個(gè)數(shù)。

由于食品中各種危害物的毒害作用與其進(jìn)入人體的絕對(duì)量有關(guān)，運(yùn)用閾值法（Threshhold approach）應(yīng)用的技術(shù)原理，在設(shè)計(jì)食品有毒有含物質(zhì)風(fēng)險(xiǎn)分析的評(píng)價(jià)時(shí)，認(rèn)為評(píng)價(jià)食品安全整體狀態(tài)以人體通過(guò)飲食途徑而對(duì)危害物質(zhì)的實(shí)際攝人量與其安全攝入量比較更為科學(xué)合理。通常對(duì)長(zhǎng)期動(dòng)物試驗(yàn)資料的安全系數(shù)為100[19]，但不同的國(guó)家采用的是不同的標(biāo)準(zhǔn)，一般采用ADI[20]、PTWI[21]、或RDI[22]數(shù)據(jù)。在這樣一種理論思想指導(dǎo)下，首先導(dǎo)出可以用來(lái)評(píng)價(jià)食品中某種危害物C對(duì)消費(fèi)者健康影響的食品安全指數(shù)IFSc，結(jié)構(gòu)化的計(jì)算公式為：

IFSc=EDIc×fSIc×bw（7）

式中，SIc為食品安全攝入量，可根據(jù)不同的危害物可采用ADI[20]、PTWI[21]、或RDI[22]標(biāo)準(zhǔn)進(jìn)行取值；bw為平均體重（kg），缺省值為60；f為校正因子，如果安全攝人量采用ADI、PTDI等日攝入量數(shù)據(jù)，f取1；如果安全攝入量采用PTWI等周攝入量數(shù)據(jù)，f取7；EDIc為化學(xué)物質(zhì)C的實(shí)際日攝入量估算值，EDIc可按照公式（8）計(jì)算：

EDIc=（Ri×Fi） （8）

式中，Ri為食品i中化學(xué)物質(zhì)C的殘留水平，即化學(xué)物質(zhì)C的檢測(cè)結(jié)果，單位為mg/kg；Fi是食品i的估計(jì)日消費(fèi)量，單位是g/（人· d）； 式（7）可用來(lái)計(jì)算危害物C的食品安全指數(shù)IFSc，根據(jù)計(jì)算結(jié)果可以得出該危害物質(zhì)對(duì)食品安全的影響程度。當(dāng)IFSc遠(yuǎn)小于1，危害物對(duì)食品安全沒有影響；當(dāng)IFSc≤1，危害物C對(duì)食品安全影響的風(fēng)險(xiǎn)是可以接受的；當(dāng)IFSc>1，危害物對(duì)食品安全影響的風(fēng)險(xiǎn)超過(guò)了可接受的限度?？紤]了所研究的消費(fèi)者人群的飲食習(xí)慣及各種食品和化學(xué)物質(zhì)的殘留情況下，IFSc值就具備了可加和性：

IFS=nc=c1…，cnIFScn（9）

在這種情況下，當(dāng)IFS遠(yuǎn)小于1，證明食品安全狀態(tài)很好；當(dāng)IFS≤1，食品安全狀態(tài)較好，可接受；IFS>1，消費(fèi)者人群的食品安全狀態(tài)不可接受。無(wú)論以上哪一種情況，對(duì)于任何一個(gè)IFSc值超過(guò)l，都說(shuō)明消費(fèi)者人群對(duì)化學(xué)物質(zhì)C的暴露已超過(guò)了可接受的程度，應(yīng)該進(jìn)入風(fēng)險(xiǎn)管理程序。

3應(yīng)用實(shí)例

基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘同傳統(tǒng)數(shù)據(jù)挖掘的基本過(guò)程一致。系統(tǒng)由6臺(tái)物理計(jì)算機(jī)組成，其中1臺(tái)為TotalCtrlNode，另5臺(tái)為WorkerNode。通過(guò)從基于互聯(lián)網(wǎng)的應(yīng)用系統(tǒng)LIMS中，采集不同時(shí)間、不同地點(diǎn)、不同實(shí)驗(yàn)室9月份某貴州本土品牌肉制品的檢測(cè)數(shù)據(jù)1 000 000條，對(duì)食品污染物鉛（Pb）、汞（Hg）、砷（As）的檢測(cè)結(jié)果進(jìn)行風(fēng)險(xiǎn)分析，采集結(jié)果匯集了遍布貴州省9個(gè)實(shí)驗(yàn)室的檢測(cè)數(shù)據(jù)。進(jìn)行數(shù)據(jù)挖掘與分析工作，以期進(jìn)行食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)的風(fēng)險(xiǎn)分析及評(píng)估。采集到的數(shù)據(jù)先被存放于TotalCtrlNode中的數(shù)據(jù)倉(cāng)庫(kù)中，由HDFS中的NameNode進(jìn)行數(shù)據(jù)分塊，并將若干個(gè)數(shù)據(jù)塊分配到5臺(tái)WorkerNode節(jié)點(diǎn)中的DataNode進(jìn)行存儲(chǔ)。基于在TotalCtrlNode節(jié)點(diǎn)中的數(shù)據(jù)挖掘算法層設(shè)計(jì)的基于食品有毒有含物質(zhì)的檢驗(yàn)檢測(cè)風(fēng)險(xiǎn)分析算法，由MapReduce云計(jì)算模型的JobTracker進(jìn)行不同數(shù)據(jù)塊的分析計(jì)算任務(wù)分配，由TaskTracker進(jìn)行分析計(jì)算任務(wù)的執(zhí)行，所得結(jié)果存儲(chǔ)在若干個(gè)DataNode當(dāng)中。

根據(jù)國(guó)家標(biāo)準(zhǔn)GB2762，污染物鉛（Pb）、汞（Hg）、砷（As）的限量標(biāo)準(zhǔn)STA分別為0.50、0.05和0.50 mg/kg[24]。在1 000 000組檢測(cè)數(shù)據(jù)中，鉛（Pb）檢測(cè)結(jié)果不合格的有3組，汞（Hg）不合格的有2組，砷（As）不合格的有2組。不合格的指標(biāo)檢測(cè)結(jié)果分別如下：鉛（Pb）：0.60、0.65、0.66 mg/kg；汞（Hg）：0.06、0.068 mg/kg；砷（As）：0.60、0.611 mg/kg。

應(yīng)用實(shí)例中，采用ADI[20]攝入量數(shù)據(jù)，鉛（Pb）、汞（Hg）、砷（As）的分別為0.003 56、0.000 1和0.002 15 mg/kg。該肉制品日均估計(jì)消費(fèi)量為100 g，即0.1 kg。

根據(jù)設(shè)計(jì)的基于云計(jì)算的食品有毒有害物質(zhì)的大數(shù)據(jù)的風(fēng)險(xiǎn)分析算法，對(duì)采集的肉制品檢測(cè)數(shù)據(jù)進(jìn)行了云計(jì)算，得到表1。

在計(jì)算食品不安全程度（hfood）時(shí)，由于得到的AVEitem4小結(jié)

通過(guò)采集基于互聯(lián)網(wǎng)端應(yīng)用系統(tǒng)LIMS的食品安全檢驗(yàn)檢測(cè)數(shù)據(jù)，在云平臺(tái)PaaS層設(shè)計(jì)了一種基于云技術(shù)的食品有毒有害物質(zhì)檢驗(yàn)檢測(cè)大數(shù)據(jù)的風(fēng)險(xiǎn)分析算法，該算法是在云技術(shù)基礎(chǔ)上設(shè)計(jì)實(shí)現(xiàn)基于MapReduce的編程模型，與傳統(tǒng)食品安全風(fēng)險(xiǎn)分析相比，采用云計(jì)算模式使得成本更加低廉、計(jì)算更加快速、節(jié)點(diǎn)增加容易，且由于云計(jì)算的高容錯(cuò)性，可避免因節(jié)點(diǎn)損壞造成的數(shù)據(jù)丟失， 實(shí)現(xiàn)了不同地點(diǎn)、不同實(shí)驗(yàn)室、不同檢測(cè)機(jī)構(gòu)采集的食品安全檢驗(yàn)檢測(cè)數(shù)據(jù)的高效分析及價(jià)值挖掘，是一種基于云計(jì)算下以海量數(shù)據(jù)信息為中心的風(fēng)險(xiǎn)交流方法。隨著數(shù)據(jù)量的增多，數(shù)據(jù)挖掘結(jié)果的準(zhǔn)確性會(huì)更加有所提高，分析結(jié)果也會(huì)更加有價(jià)值，該風(fēng)險(xiǎn)分析算法的優(yōu)勢(shì)會(huì)愈發(fā)明顯。

參考文獻(xiàn)

[1]

ALBERT R，JEONG H.Internet：Diameter of the World-Wide Web[J].Nature，1999，401（6）：130-131.

[2] MELL P M，GRANCE T.The NIST Definition of Cloud Computing：SP 800-145[M].Washington，DC：National Institute of Standards & Technology，2011.

[3] 謝世清.論云計(jì)算及其在金融領(lǐng)域中的應(yīng)用[J].金融與經(jīng)濟(jì)，2010（11）：9-11.

[4] 楊大泉.云計(jì)算下的金融信息集成與服務(wù)：兼論上海證券報(bào)戰(zhàn)略轉(zhuǎn)型規(guī)劃[D].上海：上海交通大學(xué)，2013.

[5] 肖四如，肖可礫.云計(jì)算時(shí)代的金融創(chuàng)新[J].銀行家，2013（3）：116-119.

[6] 曹子健，林今，宋永華.主動(dòng)配電網(wǎng)中云計(jì)算資源的優(yōu)化配置模型[J].中國(guó)電機(jī)工程學(xué)報(bào)，2014，34（19）：3043-3049.

[7] 李石清.基于Hadoop的汽車后市場(chǎng)商品數(shù)據(jù)平臺(tái)設(shè)計(jì)[D].廣州：華南理工大學(xué)，2013.

[8] 張林鍹，辛獻(xiàn)杰，崔冰，等.面向汽車產(chǎn)品設(shè)計(jì)的虛擬現(xiàn)實(shí)服務(wù)平臺(tái)研究[J].系統(tǒng)仿真學(xué)報(bào)，2014，26（10）：2407-2411.

[9] 吳凱峰，劉萬(wàn)濤，李彥虎，等.基于云計(jì)算的電力大數(shù)據(jù)分析技術(shù)與應(yīng)用[J].中國(guó)電力，2015，48（2）：111-116.

[10] 李聰.食品安全監(jiān)測(cè)與預(yù)警系統(tǒng)[M].北京：化學(xué)工業(yè)出版社，2006.

[11] WANG Q L，VARELA C A.Impact of cloud computing virtualization strategies on workloads performance[C]//IEEE International Conference on Utility & Cloud Computing.Melbourne：IEEE Computer Society，2011：130-137.

[12] BUYYA R，YEO C S，VENUGOPAL S，et al.Cloud computing and emerging IT platforms：Vision，hype，and reality for delivering computing as the 5th utility[J].Future generation computer systems，2009，25（6）：599-616.

[13] ARMBRUST M，F(xiàn)OX A，JOSEPH A D，et al.Above the clouds：A berkeley view of cloud computing[J].Eecs department university of california berkeley，2009，53（4）：50-58.

[14] DEAN J，GHEMAWAT S.MapReduce：Simplified data processing on large clusters.[J].Communications of the acm，2008，51（1）：107-113.

[15] DEAN J，GHEMAWAT S.MapReduce：Simplified data processing on large clusters.[J].Communications of the acm，2008，51（1）：107-113.

[16] 應(yīng)毅，任凱，劉正濤.基于云計(jì)算技術(shù)的數(shù)據(jù)挖掘[J].微電子學(xué)與計(jì)算機(jī)，2013，30（2）：161-164.

[17] 賀瑤，王文慶，薛飛.基于云計(jì)算的海量數(shù)據(jù)挖掘研究[J].計(jì)算機(jī)技術(shù)與發(fā)展，2013（2）：69-72.

[18] 黃曉娟，劉北林.食品安全風(fēng)險(xiǎn)預(yù)警指標(biāo)體系設(shè)計(jì)研究[J].哈爾濱商業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，24（5）：621-623.

[19] 蔣定國(guó).鉛、鎘污染與膳食暴露評(píng)估的實(shí)證研究[D].北京：中國(guó)疾病預(yù)防控制中心，2008.

[20] LU F C.A review of the acceptable daily intakes of pesticides assessed by WHO[J].Regulatory toxicology & pharmacology rtp，1995，21（3）：352-364.

[21] HERRMAN J L，YOUNES M.Background to the ADI/TDI/PTWI[J].Regulatory toxicology & pharmacology，1999，30（2）：109-113.

[22] HEGSTED D M.Recommended dietary intakes of elderly subjects.[J].American journal of clinical nutrition，1989，50（S5）：1231-1235.

[23] 劉為軍.中國(guó)食品安全控制研究[D].楊凌：西北農(nóng)林科技大學(xué)，2006.

[24] 田洪蕓，任雪梅，馮煒，等.GB2762-2012《 食品安全國(guó)家標(biāo)準(zhǔn)食品中污染物限量》 的解讀[J].中國(guó)科技博覽，2013（25）：295-296.