大數(shù)據(jù)的研究現(xiàn)狀及對食品安全監(jiān)管帶來的機遇與挑戰(zhàn)

陳世奇

(重慶市食品藥品檢驗檢測研究院，重慶 401121)

大數(shù)據(jù)的研究現(xiàn)狀及對食品安全監(jiān)管帶來的機遇與挑戰(zhàn)

陳世奇

(重慶市食品藥品檢驗檢測研究院，重慶 401121)

闡述了大數(shù)據(jù)技術(shù)的概念和特點，結(jié)合我國食品藥品檢驗機構(gòu)數(shù)據(jù)資源的獲取、分析、利用現(xiàn)狀，提出了大數(shù)據(jù)時代食品藥品檢測機構(gòu)面臨的機遇和挑戰(zhàn)，食品藥品監(jiān)管部門需要加快大數(shù)據(jù)信息化平臺建設(shè)，促進(jìn)監(jiān)管檢測信息共享；以數(shù)據(jù)分析應(yīng)用為重心，為決策層提供數(shù)據(jù)支撐，形成智慧監(jiān)管。

大數(shù)據(jù);數(shù)據(jù)挖掘;食品藥品監(jiān)管

當(dāng)今世界正處在一個數(shù)據(jù)爆炸的時代。物聯(lián)網(wǎng)、云計算等新技術(shù)快速發(fā)展，以及全球定位、移動互聯(lián)、物聯(lián)網(wǎng)、電子商務(wù)、安全監(jiān)控、社交網(wǎng)絡(luò)、金融電信等隨處可見，由此而產(chǎn)生的數(shù)據(jù)呈現(xiàn)井噴式暴漲，給社會各界乃至每個人的工作和生活帶來了巨大的變化，食品行業(yè)處在這一浪潮中面臨巨大的機遇和挑戰(zhàn)。黨的十八屆三中全會通過的《中共中央關(guān)于全面深化改革若干重大問題的決定》中明確指出：完善統(tǒng)一權(quán)威的食品藥品安全監(jiān)管機構(gòu)，建立最嚴(yán)格的覆蓋全過程的監(jiān)管制度，建立食品原產(chǎn)地可追溯制度和質(zhì)量標(biāo)識制度，保障食品藥品安全。"建立最嚴(yán)格的覆蓋全過程的監(jiān)管制度"將食品藥品安全監(jiān)管納入了一個全新的定位，是食品藥品監(jiān)管工作定位的重大飛躍，充分說明食品安全監(jiān)管工作不僅是保障和改善民生的重要內(nèi)容，而且已處在維護(hù)公共安全、促進(jìn)社會和諧的關(guān)鍵點上。監(jiān)管體系是國家治理體系的重要組成部分，食品安全監(jiān)管更是公共安全治理的重要內(nèi)容。這就要求監(jiān)管工作跳出固有的模式，加快信息化建設(shè)步伐，打造現(xiàn)代化監(jiān)管體系，讓“智能監(jiān)管”成為監(jiān)管新常態(tài)，食品行業(yè)“大數(shù)據(jù)”、“云計算”的時代已經(jīng)到來。

1 大數(shù)據(jù)概述

1.1 大數(shù)據(jù)的定義及其特點

大數(shù)據(jù)是指經(jīng)過長期收集所得的資料, 因規(guī)模巨大而復(fù)雜, 無法通過目前主流的數(shù)據(jù)庫管理工具和數(shù)據(jù)處理軟件來處理[1]。大數(shù)據(jù)與過去的海量數(shù)據(jù)的區(qū)別不僅僅在于數(shù)據(jù)量更大, 更在于數(shù)據(jù)類型繁多[2],不單純包括“數(shù)字”,還包括文本、圖片、音頻、視頻等多種格式, 涵蓋內(nèi)容十分豐富[3]。

1.2 大數(shù)據(jù)的價值鏈

大數(shù)據(jù)的價值鏈?zhǔn)怯蓴?shù)據(jù)、技能和思維構(gòu)成。其中, 數(shù)據(jù)指數(shù)據(jù)化; 技能指對數(shù)據(jù)的分析處理技術(shù), 而大數(shù)據(jù)思維則與目前的互聯(lián)網(wǎng)思維有著本質(zhì)區(qū)別: 前者指的是一種意識, 挖掘數(shù)據(jù)的新價值的獨特想法，后者的本質(zhì)是如何找到針對不同事物的有效分析模型[4],是大數(shù)據(jù)的核心價值所在。

2 大數(shù)據(jù)及其質(zhì)量研究的國內(nèi)外研究現(xiàn)狀

2.1 國外研究現(xiàn)狀分析

國外關(guān)于數(shù)據(jù)質(zhì)量的研究開展較早，已經(jīng)從不同角度進(jìn)行了深入研究：D.Boyd 等分別從文化、技術(shù)、學(xué)術(shù)現(xiàn)象、數(shù)據(jù)分析等方面說明大數(shù)據(jù)所帶來的影響和意義； Y.Demchenko 等描述了大數(shù)據(jù)的定義及其“5V”特征，指出了不同科研團(tuán)體對大數(shù)據(jù)管理、獲取控制和安全的需求情況，并對大數(shù)據(jù)中非結(jié)構(gòu)化因素等問題提出了建議； J.M.Tien 概述了大數(shù)據(jù)時代的數(shù)據(jù)采集、數(shù)據(jù)存取、數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用的基本理論及其改進(jìn)方法[5]。I.Taleb 等提出在數(shù)據(jù)預(yù)處理階段解決大數(shù)據(jù)質(zhì)量問題，包括子過程如清洗、整合、過濾和歸一化等，并提出了一種結(jié)合流程的大數(shù)據(jù)質(zhì)量模型來支持?jǐn)?shù)據(jù)質(zhì)量的選擇和適應(yīng)；B.Saha 指出當(dāng)前大型數(shù)據(jù)庫和網(wǎng)絡(luò)中存在大量的低質(zhì)量數(shù)據(jù)，會對數(shù)據(jù)分析結(jié)果產(chǎn)生嚴(yán)重影響；T.Lukoianova 等認(rèn)為大數(shù)據(jù)的來源、處理技術(shù)、數(shù)據(jù)收集和科學(xué)發(fā)現(xiàn)方法的不同，導(dǎo)致大數(shù)據(jù)存在偏差、模棱兩可與不準(zhǔn)確等質(zhì)量問題，詳細(xì)闡述了“大數(shù)據(jù)準(zhǔn)確性”的概念，并分別從客觀性和主觀性、誠實與欺騙、信任和難以置信三個主要維度探索大數(shù)據(jù)的“準(zhǔn)確性”[6]。2014 年聯(lián)合國統(tǒng)計司和聯(lián)合國歐洲經(jīng)濟(jì)委員會對78 個國家統(tǒng)計局和 28 個國際組織的大數(shù)據(jù)項目調(diào)查顯示，超過 2/3 的國家尚未定義大數(shù)據(jù)質(zhì)量評估框架，許多國家正積極推動大數(shù)據(jù)質(zhì)量框架建設(shè)[7]；聯(lián)合國歐洲經(jīng)濟(jì)委員會提出了大數(shù)據(jù)質(zhì)量評估的 11 個維度，分別是機構(gòu)/商業(yè)環(huán)境、隱私和安全、復(fù)雜性、完整性、可用性、時間因素、準(zhǔn)確性、連續(xù)性、真實性、可獲得性和清晰、相關(guān)性；歐盟BLUE-ETS 項目已經(jīng)開始將大數(shù)據(jù)的基本框架用于評估二手資料的輸入質(zhì)量；聯(lián)合國亞太經(jīng)社會(ESCAP)雖尚未提出大數(shù)據(jù)質(zhì)量評估框架，但會對數(shù)據(jù)的相關(guān)性、可獲得性、代表性和持續(xù)性等數(shù)據(jù)質(zhì)量的重要指標(biāo)進(jìn)行評估。

2.2 國內(nèi)研究現(xiàn)狀分析

相對于國外而言，國內(nèi)的大數(shù)據(jù)研究和應(yīng)用尚處于起步階段，國內(nèi)文獻(xiàn)的研究成果主要集中于大數(shù)據(jù)述評研究和大數(shù)據(jù)技術(shù)研究，雖然大數(shù)據(jù)質(zhì)量相關(guān)研究文獻(xiàn)較少，但大數(shù)據(jù)質(zhì)量問題已經(jīng)得到了學(xué)者們的廣泛關(guān)注。陶雪嬌、方巍等人較詳細(xì)的介紹了大數(shù)據(jù)的含義、基本特征、大數(shù)據(jù)興起的時代背景[8]；涂新莉等人分析了大數(shù)據(jù)的研究及應(yīng)用現(xiàn)狀，并對國內(nèi)外大數(shù)據(jù)處理工具及技術(shù)進(jìn)行了相應(yīng)的論述；王乾、周世佳等人闡述了大數(shù)據(jù)思維的重要意義[9]；孟小峰、王珊等對大數(shù)據(jù)帶來的機遇和挑戰(zhàn)進(jìn)行了相應(yīng)分析；馮登國、王璐、劉雅輝、戚建國等人對大數(shù)據(jù)時代的信息安全和用戶隱私問題進(jìn)行了探討[10]。程學(xué)旗等人總結(jié)了深度學(xué)習(xí)、知識計算、社會計算與可視化等技術(shù)在大數(shù)據(jù)分析理解過程中的關(guān)鍵作用，梳理了大數(shù)據(jù)處理和分析過程中面臨的數(shù)據(jù)、計算和系統(tǒng)等多重復(fù)雜性挑戰(zhàn)，并提出了相應(yīng)的對策；楊單、趙夢龍、蘇毅娟、張順龍等人提出了一系列關(guān)于大數(shù)據(jù)聚類、分類、數(shù)據(jù)分析的算法[11]；費仕憶、于富東、程耀東等人探討了大數(shù)據(jù)平臺構(gòu)建中面臨的數(shù)據(jù)采集清洗、存儲、處理、傳輸、共享與安全等關(guān)鍵技術(shù)，提出了大數(shù)據(jù)平臺的系統(tǒng)架構(gòu)并開展了實踐研究[12]。宗威等人從流程、技術(shù)和管理的視角分別討論了大數(shù)據(jù)時代下企業(yè)數(shù)據(jù)質(zhì)量的挑戰(zhàn)、重要性及應(yīng)對措施[13]；李建中等人指出大數(shù)據(jù)質(zhì)量問題產(chǎn)生的原因在于大數(shù)據(jù)具有規(guī)模性大、高速性和多樣性等特點；王宏志總結(jié)了大數(shù)據(jù)質(zhì)量管理的問題與挑戰(zhàn)，認(rèn)為大數(shù)據(jù)質(zhì)量管理的挑戰(zhàn)主要有計算困難、錯誤混雜和缺少知識三個方面，并相應(yīng)地提出了解決方案；黃沈濱等人則從技術(shù)的角度探討了大數(shù)據(jù)的數(shù)據(jù)清洗問題，基于 Hadoop 設(shè)計并實現(xiàn)了一個大數(shù)據(jù)云清洗系統(tǒng)，通過 Mapreduce 計算模型檢測并修復(fù)數(shù)據(jù)質(zhì)量問題[14]；蔡莉等人提出了大數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，包含可獲得性、可用性、可靠性、相關(guān)性、表達(dá)質(zhì)量等 5 個維度，該維度進(jìn)一步細(xì)化出 17 個質(zhì)量特征和 32 個質(zhì)量指標(biāo)，并探討了大數(shù)據(jù)質(zhì)量動態(tài)評估的流程。

3 大數(shù)據(jù)呈現(xiàn)的特點：

3.1 數(shù)據(jù)來源社會化，應(yīng)用廣泛化

大數(shù)據(jù)時代，隨著電子商務(wù)，即時通訊、搜索引擎和網(wǎng)絡(luò)交友等為主體的互聯(lián)網(wǎng)經(jīng)濟(jì)飛速發(fā)展，物聯(lián)網(wǎng)、云計算、移動互聯(lián)、手機平板電腦、臺式終端以及遍布全球的各種傳感器，都成為數(shù)據(jù)的來源或者載體。數(shù)據(jù)采集不再局限于統(tǒng)計者人工有意識地主動采集，其來源被分散化、社會化、自動化。其數(shù)據(jù)覆蓋了數(shù)字、文本、聲音、圖片、視頻等多種信息類型；數(shù)據(jù)對象分布廣泛，可能來源于不同的主體或個體；即使來源于相同的主體或個體，但觀察的視角、維度、頻率也可能有所區(qū)別，結(jié)構(gòu)異常復(fù)雜；數(shù)據(jù)量的增長快速。所以，數(shù)據(jù)采集是社會化的。另外，數(shù)據(jù)的應(yīng)用也是社會化的。如此豐富龐大的數(shù)據(jù)為人類的社會生活創(chuàng)造出前所未有的可量化的維度，任何個體、組織都可以各取所需，進(jìn)行不同程度不同方向的數(shù)據(jù)挖掘；大數(shù)據(jù)時代人們關(guān)注的重點已經(jīng)由對精確性的追求讓位于混雜性與全面性，由因果關(guān)系的探索讓位于追求相關(guān)關(guān)系。大數(shù)據(jù)已經(jīng)成為了許多新發(fā)明構(gòu)想和新服務(wù)開發(fā)的源泉，正滲透到政府、科技、商業(yè)、經(jīng)濟(jì)、醫(yī)療、教育、人文以及社會生活的各個領(lǐng)域，大數(shù)據(jù)的開發(fā)應(yīng)用日益成為經(jīng)濟(jì)價值的重要來源之一。

3.2 數(shù)據(jù)需求層次多元化

大數(shù)據(jù)時代，給了人們條件可以在廣泛的領(lǐng)域和深入的層次獲得和分析整個數(shù)據(jù)。政府層面，可應(yīng)用大數(shù)據(jù)來提高應(yīng)急處理及安全防御能力，改進(jìn)社會管理和治安管理；企業(yè)層面，可以衍生出許多基于大數(shù)據(jù)分析的商業(yè)模式，幫助批零商及時掌握市場動態(tài)并快速做出反應(yīng)，幫助生產(chǎn)商準(zhǔn)確把握市場需求脈搏、提升產(chǎn)品設(shè)計、提高生產(chǎn)效率，幫助電商制定更加準(zhǔn)確有效的營銷策略等；公眾層面，可以享用到更多個性化、人性化、多樣化的商業(yè)產(chǎn)品和公共服務(wù)。

3.3 數(shù)據(jù)分析方法智能化

大數(shù)據(jù)除了傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)外，還涵蓋所有格式的辦公文檔、文本、XML、HTML、各類報表、圖片和音頻、視頻等多種數(shù)據(jù)類型，數(shù)據(jù)的預(yù)測功能成為核心。分析完整過程中產(chǎn)生的不間斷海量數(shù)據(jù)，能夠總結(jié)發(fā)現(xiàn)相對穩(wěn)定的規(guī)律。通過數(shù)據(jù)比對，去除偶然性和外界環(huán)境干擾帶來的噪點，通過數(shù)據(jù)累積，找出異常波動和結(jié)果之間的對應(yīng)關(guān)系。而傳統(tǒng)的數(shù)據(jù)主要通過單個數(shù)據(jù)精確來反應(yīng)當(dāng)時狀態(tài)，且由于數(shù)據(jù)產(chǎn)生的時滯性，往往只能事后反映。大數(shù)據(jù)包含大量非結(jié)構(gòu)性或半結(jié)構(gòu)化的數(shù)據(jù)必須實用智能化方法才能進(jìn)行有效的分析，大數(shù)據(jù)中包含大量傳統(tǒng)分析方法難以處理的非機構(gòu)化的數(shù)據(jù)，處理這些數(shù)據(jù)就必須使用大數(shù)據(jù)時代先進(jìn)的分析方法。

4 大數(shù)據(jù)應(yīng)用的分析技術(shù)

分析技術(shù)指的是尋找被分析者之間的關(guān)系及其隱藏的內(nèi)容來獲取有用的信息，我國對大數(shù)據(jù)的分析應(yīng)用目前還處于起步階段，多種新技術(shù)日新月異，主要有以下幾個方面：

(1)可視化分析 數(shù)據(jù)的可視化分析對普通分析或者深入分析都是最基本的功能。數(shù)據(jù)圖像化可以讓抽象數(shù)據(jù)具體化，給用戶直觀的感受；

(2)數(shù)據(jù)挖掘算法 可視化分析是將機器語言翻譯給人看，而數(shù)據(jù)挖掘就是機器的初始語言。分割、集群、孤立點分析還有各種各樣五花八門的算法讓我們精煉數(shù)據(jù)，挖掘價值，這些算法符合大數(shù)據(jù)時代的要求，同時還提高數(shù)據(jù)處理的速度；

(3)語義引擎 大數(shù)據(jù)時代非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)越來越多，我們需要一套工具系統(tǒng)去分析，提煉數(shù)據(jù)，而語義引擎恰好滿足這個條件；

(4)預(yù)測分析能力 數(shù)據(jù)挖掘算法是讓分析師對數(shù)據(jù)承載信息更快更好地消化理解，進(jìn)而提升自身判斷能力，而預(yù)測性分析可以讓分析師根據(jù)前兩種分析的結(jié)果做出一些前瞻性判斷；

(5)數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理 數(shù)據(jù)質(zhì)量與管理是管理的最佳實踐，透過預(yù)先設(shè)定好的流程和機器對數(shù)據(jù)進(jìn)行處理確保獲得一個可靠的結(jié)果。

5 利用大數(shù)據(jù)的環(huán)境做好食品藥品的監(jiān)管工作

食品藥品監(jiān)管部門需要以創(chuàng)新理念指導(dǎo)頂層設(shè)計,以總體架構(gòu)方法加強整合;加快信息化標(biāo)準(zhǔn)規(guī)范建設(shè),促進(jìn)監(jiān)管檢測信息共享;以數(shù)據(jù)分析應(yīng)用為重心,為決策層提供數(shù)據(jù)支撐,形成善用＂大數(shù)據(jù)＂成就食品藥品智慧監(jiān)管的新局面。根據(jù)國家食品藥品監(jiān)督管理總局要求，食品藥品檢驗系統(tǒng)將建立全國食品藥品檢驗檢測信息化體系，實現(xiàn)自動化、流程化開展業(yè)務(wù)工作，并實現(xiàn)各級食品藥品檢驗機構(gòu)間的互聯(lián)互通的信息共享，完成多級系統(tǒng)間的數(shù)據(jù)交換工作，同時建設(shè)與應(yīng)用系統(tǒng)相配套的基礎(chǔ)運行環(huán)境、數(shù)據(jù)資源、應(yīng)用支撐平臺、標(biāo)準(zhǔn)規(guī)范體系等。這一切都推動著食品藥品檢驗業(yè)務(wù)服務(wù)和業(yè)務(wù)統(tǒng)計信息及監(jiān)管工作從手工報告向網(wǎng)絡(luò)電子報告，從統(tǒng)計報表向數(shù)據(jù)服務(wù)平臺方式轉(zhuǎn)變，食品藥品檢驗信息平臺和業(yè)務(wù)系統(tǒng)也因此逐步建立完善，并將積累豐富的統(tǒng)計信息大數(shù)據(jù)資源。同時，隨著大數(shù)據(jù)技術(shù)的不斷應(yīng)用，食品藥品大數(shù)據(jù)將為我們提供了一種新的看待數(shù)據(jù)的方法，不再完全依賴于隨機抽樣，不再熱衷于追求精確度，不再熱衷于尋找因果關(guān)系，通過大數(shù)據(jù)分析，挖掘出小數(shù)據(jù)無法提取的有價值信息，服務(wù)于經(jīng)濟(jì)社會發(fā)展，大數(shù)據(jù)必將對食品藥品檢驗領(lǐng)域帶來重大影響。

[1] Wikipedia. big data[EB/OL]. http://en.wikipedia.org/wiki/Big_data,2014-05-16.

[2] Grobelnik M. Big data tutorial [EB/OL].[2012-10-22].Http://viedeolectures.net/eswc2012-grobelnik-big-data/.

[3] 陳冠如. 善用“大數(shù)據(jù)”成就智慧監(jiān)管[N]. 中國醫(yī)藥報, 2014-04-08(8).

[4] 維克托·邁爾-舍爾維恩,肯尼斯·庫克耶. 大數(shù)據(jù)時代[M]. 浙江: 浙江人民出版社, 2012.

[5] Viktor Mayer-Schonberger, Kenneth Cukier. Big Data: A Revolution That Will Transform How We Live, Work, and Think[M]. New York:Eamon Dolan / Houghton Mifflin Harcourt, 2013.

[6] Decandia G， Hastorun D， Jampani M.Dynamo: amazon's highly available key-value store[J].Acm Sigops Operating Systems Review. 2007 , 41 (6) :205-220.

[7] Fauconnier G，Turner M.The way we think : conceptual blending and the mind's hidden complexities[J].Wired, 2003 (2) :254.

[8] 陶雪嬌,胡曉峰,劉 洋. 大數(shù)據(jù)研究綜述[J]. 系統(tǒng)仿真學(xué)報,2013(s1): 142-146.

[9] 周世佳. 大數(shù)據(jù)思維初探:提出、特征及意義[J]. 中共山西省直機關(guān)黨校學(xué)報,2014(5):10-12.

[10] 馮登國,張 敏,李 昊. 大數(shù)據(jù)安全與隱私保護(hù)[J]. 計算機學(xué)報,2014(01):246-258.

[11] 楊 單. 基于圖像差分特征的彩色圖像差分預(yù)測與信息提取算法研究[J]. 計算機科學(xué),2015(01):308-311,316.

[12] 費仕憶. Hadoop 大數(shù)據(jù)平臺與傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作研究[D].上海：東華大學(xué),2014.

[13] 宗 威,吳 鋒.大數(shù)據(jù)時代下數(shù)據(jù)質(zhì)量的挑戰(zhàn)[J]. 西安交通大學(xué)學(xué)報(社會科學(xué)版),2013(05):38-43.

[14] 金 連,王宏志,黃沈濱,等. 基于 Map-Reduce 的大數(shù)據(jù)缺失值填充算法[J]. 計算機研究與發(fā)展,2013(s1):312-321.

TheResearchStatusofLargeDataandtheOpportunitiesandChallengesforFoodSafetySupervision

ChenShiqi

(Chongqing Institute for Food and Drug Control，Chongqing 401121,China)

This paper expounds the concept and characteristics of large data technology. The opportunities and challenges of food and drug testing organizations in large data age are proposed based on the acquisition, analysis and utilization of data resources of food and drug inspection institutions in China. Moreover, the food and drug supervision departments need to accelerate the construction of the big data information platform and promote the supervision and testing of information sharing; the intelligent supervision is formed with data analysis applications as the focus and being data supportfor the decision-making level.

large data;data mining;food and drug regulation

2017-07-13

陳世奇(1968—),重慶人,正高級工程師,主要從事食品化工檢驗、技術(shù)管理。

F426.82;F203

A

1008-021X(2017)18-0136-03

(本文文獻(xiàn)格式陳世奇.大數(shù)據(jù)的研究現(xiàn)狀及對食品安全監(jiān)管帶來的機遇與挑戰(zhàn)[J].山東化工，2017，46(18)：136-138.)