ISO 8000（大）數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)及應(yīng)用

張?zhí)?，黃偉,2，石勇

1．西安交通大學(xué)管理學(xué)院，陜西 西安 710049；2．昆士蘭科技大學(xué)，澳大利亞 昆士蘭州 布里斯班市 4702；3．中國科學(xué)院大學(xué)管理學(xué)院，北京 100190

ISO 8000（大）數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)及應(yīng)用

張?zhí)?，黃偉1,2，石勇3

1．西安交通大學(xué)管理學(xué)院，陜西 西安 710049；2．昆士蘭科技大學(xué)，澳大利亞 昆士蘭州 布里斯班市 4702；3．中國科學(xué)院大學(xué)管理學(xué)院，北京 100190

闡述了ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)產(chǎn)生的背景，將ISO 8000與已有的產(chǎn)品質(zhì)量標(biāo)準(zhǔn)ISO 9000進(jìn)行對比，分析了實施ISO 8000可以為企業(yè)帶來的優(yōu)勢，并舉例介紹了ISO 8000的應(yīng)用方式。分析了我國數(shù)據(jù)質(zhì)量現(xiàn)狀，并對我國在金融和醫(yī)療領(lǐng)域?qū)嵤㊣SO 8000 數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)提出了實施建議。旨在幫助我國在大數(shù)據(jù)、數(shù)據(jù)質(zhì)量等前沿研究和工業(yè)領(lǐng)域找到國際化標(biāo)準(zhǔn)契合點(diǎn)，推進(jìn)大數(shù)據(jù)和數(shù)據(jù)質(zhì)量建設(shè)。

大數(shù)據(jù)質(zhì)量；ISO 8000；大數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)

1 引言

如今，人們正處于大數(shù)據(jù)時代。隨著計算機(jī)技術(shù)的發(fā)展，個人和組織需要處理越來越多的數(shù)據(jù)。這些海量數(shù)據(jù)產(chǎn)生自人、物以及他們之間的相互作用。大數(shù)據(jù)不是指數(shù)據(jù)量大，而是搜索、聚合和交叉引用的能力大。組織在跨業(yè)務(wù)、跨系統(tǒng)或跨組織利用信息時經(jīng)常會遇到困難，當(dāng)組織相信其擁有的數(shù)據(jù)開展某項業(yè)務(wù)而事實上卻不可以開展時，就會產(chǎn)生挫敗感。公司希望進(jìn)行某些趨勢分析，或者與顧客或合作者建立更緊密的關(guān)系，信息技術(shù)部門卻無法為顧客提供其所需的整合信息，無法在顧客要求的時間范圍內(nèi)為其提供所需信息，公司因此可能會失去利用這些已經(jīng)收集和整理信息的機(jī)會。高質(zhì)量的數(shù)據(jù)有助于管理者高效地做出最優(yōu)決策，而低質(zhì)量數(shù)據(jù)（如不完整的、冗雜的、錯誤的數(shù)據(jù)）將會極大地影響決策者的判斷，造成低效的資源分配和利用，為個人或組織帶來巨大的損失。什么樣的數(shù)據(jù)才是高質(zhì)量的數(shù)據(jù)？研究者從不同角度對數(shù)據(jù)質(zhì)量做出了描述和定義。從信息技術(shù)角度來看，數(shù)據(jù)質(zhì)量可以從數(shù)據(jù)的精確性、完整性、一致性、及時性等維度來衡量，高質(zhì)量的數(shù)據(jù)精確度高、數(shù)據(jù)完整、與其他數(shù)據(jù)有相互印證的一致性，并能及時更新，保證數(shù)據(jù)的及時性；從用戶角度來看，數(shù)據(jù)質(zhì)量的高低取決于用戶是否可以高效地使用數(shù)據(jù)，不同用戶對數(shù)據(jù)質(zhì)量的要求不同，需要針對其需求制定適合用戶使用的數(shù)據(jù)，適合用戶使用的數(shù)據(jù)即高質(zhì)量的數(shù)據(jù)，不適合用戶使用的數(shù)據(jù)為低質(zhì)量數(shù)據(jù)，從這一角度來看，數(shù)據(jù)質(zhì)量不僅包括信息技術(shù)領(lǐng)域討論的精確性、完整性、一致性、及時性等方面，也包括數(shù)據(jù)的表現(xiàn)形式是否可以被用戶理解、數(shù)據(jù)是否容易獲取、數(shù)據(jù)量是否足量或過量等。Lee Y等人深度調(diào)查了多個企業(yè)的數(shù)據(jù)質(zhì)量項目，并總結(jié)出數(shù)據(jù)質(zhì)量低下的問題，具體如下。

● 多數(shù)據(jù)源。當(dāng)同樣一個信息擁有多個來源時，會產(chǎn)生不同數(shù)值，這包括數(shù)值在某個給定的時間點(diǎn)是準(zhǔn)確的，如研究某個股票的價格，需要明確該股票在對應(yīng)時間點(diǎn)上的數(shù)值，脫離了時間限定的股票價格無法討論其準(zhǔn)確程度。

● 信息產(chǎn)生過程中的主觀判斷。信息產(chǎn)生的過程中如果有主觀判斷存在，則會導(dǎo)致結(jié)果含有偏見因素信息。

● 有限的計算資源。缺乏足夠的計算資源，將限制相關(guān)信息的可訪問性。

● 安全性和可訪問性的權(quán)衡。信息的可訪問性會與安全、隱私和保密的要求發(fā)生沖突。

● 跨學(xué)科的編碼數(shù)據(jù)。來自不同的部門和學(xué)科的編碼數(shù)據(jù)的識別和理解很困難，這些代碼之間也可能會發(fā)生沖突。

● 復(fù)雜數(shù)據(jù)的表示。到目前為止，還沒有一種算法可以自動分析同時具有文本和圖像信息的樣例，非數(shù)字信息很難用索引的方式來定位。

● 數(shù)據(jù)量過大。當(dāng)一個數(shù)據(jù)庫的信息存儲量過大時，用戶難以在一個合理的時間內(nèi)獲取其所需的信息。

● 輸入規(guī)則過于嚴(yán)格或被跳過。如果輸入規(guī)則過于嚴(yán)格，則會出現(xiàn)不必要的控制并導(dǎo)致某些重要數(shù)據(jù)的丟失。數(shù)據(jù)錄入人員可能會跳過某些數(shù)據(jù)的輸入（造成信息缺失），或擅自改變這些數(shù)值，使其符合錄入規(guī)則并通過編輯檢查（造成信息錯誤）。

● 數(shù)據(jù)需求的改變。當(dāng)用戶的任務(wù)和組織環(huán)境（如新的市場、新的法律要求、新的趨勢）發(fā)生變化時，相關(guān)的有用信息也會隨之改變。

● 分布式異構(gòu)系統(tǒng)。沒有適當(dāng)整合機(jī)制的分布式異構(gòu)系統(tǒng)，會導(dǎo)致其內(nèi)部數(shù)據(jù)的定義、格式、規(guī)則和數(shù)值的不一致。數(shù)據(jù)的原本含義可能會在數(shù)據(jù)的流動過程中丟失或扭曲，隨后在不同的系統(tǒng)、時間、地點(diǎn)、用戶使用情況下，因為相同或不同的用途而被檢索。

目前，不論在制造業(yè)、金融業(yè)、醫(yī)療衛(wèi)生領(lǐng)域，還是其他各個工業(yè)領(lǐng)域，不論企業(yè)規(guī)模大小，信息或數(shù)據(jù)質(zhì)量問題均是工業(yè)界普遍認(rèn)同的問題。面對快速發(fā)展的計算機(jī)技術(shù)以及爆炸式增長的數(shù)據(jù)量，企業(yè)需要關(guān)注數(shù)據(jù)質(zhì)量問題，贏得先動者優(yōu)勢，從而幫助公司增加市場份額，維持市場領(lǐng)導(dǎo)者地位，對新的商業(yè)機(jī)遇迅速采取行動，對組織生存的潛在威脅率先采取行動。反過來會轉(zhuǎn)變成企業(yè)總收入、凈利潤的增長和企業(yè)形象的提升。由于很難達(dá)到挑戰(zhàn)的要求，進(jìn)入壁壘較高，因此企業(yè)能更好地維持競爭優(yōu)勢。工業(yè)界和學(xué)術(shù)界對數(shù)據(jù)質(zhì)量進(jìn)行了大量的應(yīng)用性和學(xué)術(shù)性研究，其中一個重要的領(lǐng)域就是對數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的研究與規(guī)范，通過制定統(tǒng)一化的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，國家之間、組織之間、部門之間可以進(jìn)行更高效的數(shù)據(jù)質(zhì)量統(tǒng)一管理，從而利于數(shù)據(jù)存儲、傳遞和共享，減少由于數(shù)據(jù)不兼容、數(shù)據(jù)冗雜、數(shù)據(jù)缺失等各種數(shù)據(jù)質(zhì)量問題造成的判斷和決策失誤。國際標(biāo)準(zhǔn)化組織（International Organization for Standardization，ISO）為此也進(jìn)行了大量努力，專門制定了ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)對國際化數(shù)據(jù)質(zhì)量進(jìn)行規(guī)范。

2 ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的介紹

ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)是針對數(shù)據(jù)質(zhì)量制定的國際標(biāo)準(zhǔn)化組織標(biāo)準(zhǔn)，它是由ISO工業(yè)自動化系統(tǒng)與集成技術(shù)委員會（TC 184）SC4小組委員會開發(fā)的，ISO TC 184/SC4是負(fù)責(zé)工業(yè)數(shù)據(jù)的國際標(biāo)準(zhǔn)組織，這一標(biāo)準(zhǔn)以一系列文件的形式發(fā)布，每個文件被ISO稱為“部分”。該組織開發(fā)和維護(hù)ISO標(biāo)準(zhǔn)，在產(chǎn)品的整個生命周期中描述和管理工業(yè)產(chǎn)品數(shù)據(jù)。它在自動化系統(tǒng)領(lǐng)域制定標(biāo)準(zhǔn)，并在相關(guān)的設(shè)計、采購、制造和交付、支持、維護(hù)和處置產(chǎn)品及其相關(guān)集成服務(wù)方面進(jìn)行標(biāo)準(zhǔn)的制定。標(biāo)準(zhǔn)化領(lǐng)域包括信息系統(tǒng)、用于工業(yè)和特定非工業(yè)環(huán)境中的固定和移動機(jī)器人技術(shù)、自動化和控制軟件以及集成技術(shù)。

ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)致力于管理數(shù)據(jù)質(zhì)量，具體來說，包括規(guī)范和管理數(shù)據(jù)質(zhì)量活動、數(shù)據(jù)質(zhì)量原則、數(shù)據(jù)質(zhì)量術(shù)語、數(shù)據(jù)質(zhì)量特征（標(biāo)準(zhǔn)）和數(shù)據(jù)質(zhì)量測試。通過ISO 8000的標(biāo)準(zhǔn)規(guī)范，可以保證用戶在滿足決策需求和數(shù)據(jù)質(zhì)量的基礎(chǔ)上，在整個產(chǎn)品或服務(wù)的周期內(nèi)高質(zhì)量地交換、分享和存儲數(shù)據(jù)，從而保證用戶可以依托獲取的數(shù)據(jù)高效地做出最優(yōu)化的安全決策。根據(jù)ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的要求，數(shù)據(jù)質(zhì)量高低程度由系統(tǒng)數(shù)據(jù)與明確定義的數(shù)據(jù)要求進(jìn)行對比而得到。ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的目的是使其更容易定義質(zhì)量數(shù)據(jù)，并識別可以提供高質(zhì)量數(shù)據(jù)的公司和軟件應(yīng)用程序。滿足ISO 8000質(zhì)量標(biāo)準(zhǔn)的數(shù)據(jù)是“滿足規(guī)定要求的便攜式數(shù)據(jù)”，便攜式數(shù)據(jù)是指可以與軟件應(yīng)用程序分離的數(shù)據(jù)，這一特征非常重要，因為如果數(shù)據(jù)只能被特定的許可軟件應(yīng)用程序使用或讀取，那么數(shù)據(jù)也必須受許可證的條款約束，這就導(dǎo)致企業(yè)自己的數(shù)據(jù)不屬于企業(yè)自身，企業(yè)對數(shù)據(jù)的操作可能會受軟件許可證條款的限制。使用ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，企業(yè)可以不受某個軟件應(yīng)用的約束，獨(dú)立地購買或銷售高質(zhì)量的數(shù)據(jù)，若企業(yè)想要長期保存數(shù)據(jù)，將數(shù)據(jù)與軟件分離是非常重要的。

ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)由以下4個部分組成，每個部分獨(dú)立發(fā)布，該標(biāo)準(zhǔn)是受版權(quán)保護(hù)的，不可免費(fèi)使用。

● 一般原則：第0～99部分。

● 主數(shù)據(jù)質(zhì)量：第100～199部分。

● 交易數(shù)據(jù)質(zhì)量：第200～299部分。

● 產(chǎn)品數(shù)據(jù)質(zhì)量：第300～399部分。

3 ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的優(yōu)勢

在ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)發(fā)布之前，各個國家、地區(qū)、不同行業(yè)提出過針對自身特點(diǎn)的一些數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。例如，英國政府出臺了政府?dāng)?shù)據(jù)質(zhì)量的管理標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)文字?jǐn)⑹隽烁麟A層政府工作人員在數(shù)據(jù)質(zhì)量管理過程中需要遵循的準(zhǔn)則和流程。英國國家醫(yī)療服務(wù)體系（national health service，NHS）提出了醫(yī)療人員在突發(fā)事件發(fā)生時，需要遵從數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)進(jìn)行報告，該標(biāo)準(zhǔn)用文字描述和流程評分方式規(guī)范了突發(fā)事件報告的流程以及報告內(nèi)信息的準(zhǔn)確性和及時性。另外，在空間數(shù)據(jù)質(zhì)量、金融數(shù)據(jù)質(zhì)量等領(lǐng)域均有相關(guān)的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)提出。然而，并沒有一個跨學(xué)科、跨行業(yè)的國際化數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，用詳細(xì)的技術(shù)性解決方案規(guī)范信息時代的數(shù)據(jù)質(zhì)量問題。而隨著經(jīng)濟(jì)全球化的發(fā)展，跨國家、跨組織的信息交流日益頻繁，對數(shù)據(jù)質(zhì)量的要求也越來越高。

圖1 ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、ISO 9000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)和其他數(shù)據(jù)的產(chǎn)品標(biāo)準(zhǔn)之間的關(guān)系

ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)是一個國際認(rèn)可的全球性數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，正是為了統(tǒng)一規(guī)范國際性數(shù)據(jù)質(zhì)量而產(chǎn)生的。在ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)發(fā)布之前，存在部分涉及數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的較成熟的產(chǎn)品質(zhì)量標(biāo)準(zhǔn)管理體系—— ISO 9000。1987年，國際標(biāo)準(zhǔn)化組織首次發(fā)布了ISO 9000，并在之后的多年間進(jìn)行了多次改進(jìn)，ISO 9000系列標(biāo)準(zhǔn)與質(zhì)量管理體系相關(guān)，旨在幫助組織確保滿足客戶和其他利益相關(guān)者的需求，同時滿足與產(chǎn)品相關(guān)的法律法規(guī)要求。SO 9000是一個質(zhì)量管理的一般性要求和指南，可以幫助組織有效地實施和運(yùn)行質(zhì)量管理體系。

ISO 9000主要關(guān)注產(chǎn)品的質(zhì)量，而SO 8000標(biāo)準(zhǔn)主要關(guān)注數(shù)據(jù)的質(zhì)量。ISO 8000標(biāo)準(zhǔn)是ISO 9000標(biāo)準(zhǔn)的擴(kuò)展，旨在改善以數(shù)據(jù)為主的質(zhì)量管理體系，ISO 8000標(biāo)準(zhǔn)彌合了ISO 9000標(biāo)準(zhǔn)和數(shù)據(jù)產(chǎn)品之間的差距。ISO 8000標(biāo)準(zhǔn)保證了用戶在質(zhì)量管理體系，可以達(dá)到標(biāo)準(zhǔn)的數(shù)據(jù)質(zhì)量要求。此外，雖然已有較成熟的ISO 9000標(biāo)準(zhǔn)來進(jìn)行產(chǎn)品質(zhì)量管理，ISO 8000標(biāo)準(zhǔn)仍是必不可少的，因為在沒有高質(zhì)量數(shù)據(jù)支持的情況下，很難通過單獨(dú)實施ISO 9000標(biāo)準(zhǔn)來實現(xiàn)高質(zhì)量的目標(biāo)。

圖1展示了ISO 8000標(biāo)準(zhǔn)與ISO 9000標(biāo)準(zhǔn)以及其他數(shù)據(jù)產(chǎn)品標(biāo)準(zhǔn)之間的關(guān)系。數(shù)據(jù)產(chǎn)品標(biāo)準(zhǔn)（如ISO 22745）可以用于交換數(shù)據(jù)模型和格式。ISO 8000標(biāo)準(zhǔn)是在這些標(biāo)準(zhǔn)的基礎(chǔ)上開發(fā)的，并增加了關(guān)于使用這些標(biāo)準(zhǔn)的要求，以確保高質(zhì)量的數(shù)據(jù)交換?？梢钥吹?，ISO 8000標(biāo)準(zhǔn)填補(bǔ)了ISO 9000標(biāo)準(zhǔn)和數(shù)據(jù)產(chǎn)品之間的空白。

與未實施ISO 8000標(biāo)準(zhǔn)的企業(yè)相比，實施ISO 8000標(biāo)準(zhǔn)有提高運(yùn)營效率、優(yōu)化運(yùn)營過程中的數(shù)據(jù)可用性、降低風(fēng)險、助于改善企業(yè)之間的關(guān)系、強(qiáng)化品牌形象等優(yōu)勢。具體來說，ISO 8000標(biāo)準(zhǔn)的優(yōu)勢可以在以下4個技術(shù)方面的規(guī)范中體現(xiàn)。

（1）實施ISO 8000標(biāo)準(zhǔn)可以提高運(yùn)營效率

由于組織之間有統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，在信息溝通和傳遞過程中可以進(jìn)行高效的匹配和識別，減少因為數(shù)據(jù)不可識別等問題造成的時間成本、編碼成本和人工成本。使用清晰的語義編碼（如ISO 22745）可以有效地在組織中記錄各項條目，這比使用混合和不一致編碼標(biāo)準(zhǔn)更有效。根據(jù)ISO 8000標(biāo)準(zhǔn)的指導(dǎo)方針，系統(tǒng)中所有項目都使用唯一的代碼進(jìn)行編碼。這種做法可以提升添加、刪除和搜索某個項目信息的效率。此外，統(tǒng)一編碼和語法使計算機(jī)更容易存儲和處理數(shù)據(jù)。

（2）實施ISO 8000標(biāo)準(zhǔn)可以優(yōu)化運(yùn)營可用性

通過將ISO 8000標(biāo)準(zhǔn)應(yīng)用于組織內(nèi)部，可以對組織內(nèi)數(shù)據(jù)進(jìn)行規(guī)范化整合和管理，對各個部門的數(shù)據(jù)進(jìn)行統(tǒng)一識別和管理，從組織的整體層面進(jìn)行資源與信息的協(xié)調(diào)管理，從而減少因為信息溝通不暢帶來的運(yùn)營成本。如果在合作公司之間或整個行業(yè)采用ISO 8000標(biāo)準(zhǔn)，數(shù)據(jù)或信息將更有可用性。例如，如果部件供應(yīng)商和汽車制造商都使用ISO 8000標(biāo)準(zhǔn)作為其存儲庫存和庫存信息的數(shù)據(jù)標(biāo)準(zhǔn)，當(dāng)汽車制造商需要采購3 000個特定型號的輪胎時，制造商可以采用與供應(yīng)商共同遵守的ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)發(fā)布訂單，使采購材料變得更加清楚、簡潔、準(zhǔn)確，避免由于術(shù)語、測量單位等不一致造成的訂單錯誤。如果整個行業(yè)都應(yīng)用ISO 8000標(biāo)準(zhǔn)，將使信息更加可用，使通信和信息價值鏈更加暢通無阻。

（3）實施ISO 8000標(biāo)準(zhǔn)可降低風(fēng)險

在為公司做出決策時，正確的數(shù)據(jù)或信息的重要性不言而喻。組織可以基于高質(zhì)量的數(shù)據(jù)和信息進(jìn)行風(fēng)險評估和決策分析，同時，可以高效地獲得標(biāo)準(zhǔn)化的行業(yè)數(shù)據(jù)、市場數(shù)據(jù)，便于整合多種信息來源，做出更全面的分析和決策。ISO 8000標(biāo)準(zhǔn)為公司提供了一系列說明，使公司能夠通過數(shù)據(jù)出處、準(zhǔn)確性、完整性和質(zhì)量管理框架的標(biāo)準(zhǔn)，生產(chǎn)和維護(hù)高質(zhì)量的數(shù)據(jù)，使接收者能夠跟蹤主數(shù)據(jù)并評估數(shù)據(jù)的可信度。ISO 8000標(biāo)準(zhǔn)使組織能夠保持來自權(quán)威數(shù)據(jù)源的高質(zhì)量數(shù)據(jù)，使決策比以前風(fēng)險更小。

（4）實施ISO 8000標(biāo)準(zhǔn)有助于改善企業(yè)之間的關(guān)系，強(qiáng)化品牌形象

應(yīng)用ISO 8000標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)質(zhì)量規(guī)范和管理的企業(yè)之間可以更順暢、高效地進(jìn)行溝通，并給對方更好的國際化標(biāo)準(zhǔn)形象，降低了企業(yè)間溝通的成本，有利于維護(hù)企業(yè)之間的關(guān)系，強(qiáng)化品牌形象。

4 ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的組成

ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)包括一般原則、主數(shù)據(jù)質(zhì)量、交易數(shù)據(jù)質(zhì)量和產(chǎn)品數(shù)據(jù)質(zhì)量的標(biāo)準(zhǔn)。 ISO 8000標(biāo)準(zhǔn)的結(jié)構(gòu)見表1。本部分主要對ISO 8000標(biāo)準(zhǔn)進(jìn)行概要性介紹。下文包含了整個ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的聲明，明確了數(shù)據(jù)質(zhì)量原則和ISO 8000標(biāo)準(zhǔn)的高級數(shù)據(jù)架構(gòu)，描述了ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的結(jié)構(gòu)，對其他部分內(nèi)容進(jìn)行了總結(jié)，并描述了ISO 8000標(biāo)準(zhǔn)和其他標(biāo)準(zhǔn)之間的關(guān)系。最后，解釋了整個ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)中使用的術(shù)語，方便讀者的閱讀和參考。

表1 ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)結(jié)構(gòu)

4.1 ISO 8000-110主數(shù)據(jù)的語法、語義和數(shù)據(jù)規(guī)范

即組織和系統(tǒng)之間主數(shù)據(jù)的通用規(guī)則、語法、語義編碼和數(shù)據(jù)規(guī)范要求。ISO 8000-110規(guī)定了可由計算機(jī)檢查組織和系統(tǒng)之間交換主要數(shù)據(jù)（由特征數(shù)據(jù)組成）的要求，包括關(guān)于符合主數(shù)據(jù)信息的正式語法的要求、主數(shù)據(jù)信息的語義編碼要求以及關(guān)于與主數(shù)據(jù)信息的數(shù)據(jù)規(guī)范一致性的要求。

（1）語法

ISO 8000標(biāo)準(zhǔn)要求必須有一種語法，語法必須在數(shù)據(jù)中引用，而且引用必須可解析為語法。語法可以是所有種類的，例如，EDI（ISO 9735）、ebXML、SWIFT MT、SWIFT MX、ISO 20022、eOTD-rxml（ISO 22745）都是可接受的語法。

（2）語義編碼

所有元數(shù)據(jù)必須在外部開源字典中顯式定義，或者定義必須包含在數(shù)據(jù)中。任何定義的元數(shù)據(jù)都是可以接受的，這包括以電子形式、電子表格或數(shù)據(jù)庫表格顯式定義的字段、標(biāo)題或?qū)傩?。例如，ISO 22745通過使用符合ISO 22745的開放技術(shù)詞典（例如ECCMA開放技術(shù)字典（eOTD））標(biāo)記數(shù)據(jù)來創(chuàng)建便攜式數(shù)據(jù)。eOTD就可用于語義編碼，它是來自多源術(shù)語的注冊表，其中每個概念被分配唯一和永久的公共域標(biāo)識符，概念標(biāo)識符可以彼此映射并根據(jù)它們的使用量來排列。ISO 22745-30是用于說明XML中的數(shù)據(jù)需求以及用于交換便攜式數(shù)據(jù)的首選標(biāo)準(zhǔn)。

（3）符合數(shù)據(jù)規(guī)范

語法和語義編碼需要支持業(yè)務(wù)功能，允許訪問計算機(jī)、網(wǎng)站或軟件程序，只需要用所需的數(shù)據(jù)來提供正確的產(chǎn)品或服務(wù)。只要數(shù)據(jù)滿足需求，就認(rèn)為是高質(zhì)量數(shù)據(jù)。ISO 22745可用于以簡單的XML格式生成和交換數(shù)據(jù)請求，發(fā)送方和接收方可以自動創(chuàng)建一個集成的數(shù)據(jù)交換系統(tǒng)（如圖2所示）。

圖2 ISO 22745標(biāo)準(zhǔn)下的數(shù)據(jù)規(guī)范

4.2 ISO 8000-120主數(shù)據(jù)的數(shù)據(jù)來源

數(shù)據(jù)來源（provenance）對屬性值對和數(shù)據(jù)集的來源信息在表示和交換方面進(jìn)行了規(guī)范和要求，包括數(shù)據(jù)來源的背景、捕獲和交換數(shù)據(jù)來源信息的要求以及用于數(shù)據(jù)源信息的概念數(shù)據(jù)模型。它允許接收者跟蹤已經(jīng)交換的主數(shù)據(jù)，并追溯其源頭，幫助接收者評估數(shù)據(jù)的可信性，并且?guī)椭邮照咴谑盏酵粚傩缘牟煌禃r做出值的選擇。

4.3 ISO 8000-130主數(shù)據(jù)的準(zhǔn)確性

該標(biāo)準(zhǔn)提出的是數(shù)據(jù)捕獲和數(shù)據(jù)交換精度方面的需求，并提出了以聲明和擔(dān)保的形式確保數(shù)據(jù)準(zhǔn)確性的概念模型。數(shù)據(jù)準(zhǔn)確性對屬性值對、記錄和數(shù)據(jù)集的準(zhǔn)確性信息在表示和交換方面進(jìn)行了規(guī)范和要求，這涉及主數(shù)據(jù)準(zhǔn)確性的情況、捕獲和交換主數(shù)據(jù)準(zhǔn)確性信息的要求、主數(shù)據(jù)準(zhǔn)確性信息的概念數(shù)據(jù)模型。

4.4 ISO 8000-140主數(shù)據(jù)的完整性

數(shù)據(jù)完整性對屬性值對、記錄和數(shù)據(jù)集的完整性信息在表示和交換方面進(jìn)行了規(guī)范和要求。它包括主數(shù)據(jù)完整性的情況、捕獲和交換主數(shù)據(jù)完整性信息的要求以及主數(shù)據(jù)完整性信息的概念數(shù)據(jù)模型。

4.5 ISO 8000-150質(zhì)量管理框架

該框架規(guī)定了主數(shù)據(jù)質(zhì)量管理的基本原則以及對ISO 8000標(biāo)準(zhǔn)的實施、數(shù)據(jù)交換和出處的要求。它還包含了一個信息框架，用于確定和識別數(shù)據(jù)質(zhì)量管理的過程。該框架可以與質(zhì)量管理系統(tǒng)標(biāo)準(zhǔn)（如ISO 9001）結(jié)合或獨(dú)立使用。

5 ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的應(yīng)用舉例

以一家汽車制造商應(yīng)用ISO 8000標(biāo)準(zhǔn)為其信息系統(tǒng)進(jìn)行規(guī)范為例，展示ISO 8000標(biāo)準(zhǔn)的實施過程。例如，汽車制造商在ISO 8000標(biāo)準(zhǔn)的指令下構(gòu)建其信息系統(tǒng)。首先，公司選擇ebXML作為語法，構(gòu)建初始信息系統(tǒng)。

其次，使用eOTD作為語義編碼，將自然語言映射到eOTD，從而將庫存數(shù)據(jù)存儲在數(shù)據(jù)庫中。這是一個工作量巨大的任務(wù)，因為在ISO 22745標(biāo)準(zhǔn)的要求下，每個項目都應(yīng)該有一個獨(dú)特的代碼。例如，螺栓的信息可以進(jìn)行如下編碼，見表2和表3。

表2 螺栓信息的語義編碼示例（原始信息）

表3 螺栓信息的語義編碼示例（編碼信息）

在建立數(shù)據(jù)庫之后，可以方便地用XML格式編寫檢索請求。例如要檢索某一螺母的具體信息，就可用XML調(diào)出數(shù)據(jù)庫中存儲的ID為0161-1#01-014161#1的產(chǎn)品信息。如果需要查詢每包價格在0.80美元以下的螺母數(shù)量，就可通過查詢語句找到ID為0161-1#02-027378#1，值小于0.80的螺母ID，并得到所有螺母ID對應(yīng)的產(chǎn)品數(shù)量（ID=0161-1#02-027375#1），并將每個產(chǎn)品數(shù)量相加得到螺母總數(shù)。該廠商如果發(fā)現(xiàn)ID為0161-1#01-014161#1的螺母數(shù)量較低需要采購，可以向螺母生產(chǎn)商發(fā)送請求訂購，請求中引用螺母ID=0161-1#01-014161#1，訂購量為ID-0161-1#02-027375#1，值為采購量。

6 推廣和實施ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的現(xiàn)狀與展望

如今，大多數(shù)組織意識到了內(nèi)容開放標(biāo)準(zhǔn)的好處。為了建立一個真正的標(biāo)準(zhǔn)，需要允許所有利益相關(guān)組織和機(jī)構(gòu)平等參與，參與標(biāo)準(zhǔn)開發(fā)是了解世界各地公司的最佳途徑，同時可以與國際企業(yè)建立密切關(guān)系。ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)觸及各行業(yè)的大、中、小企業(yè)的各個業(yè)務(wù)，無論是高速發(fā)展的互聯(lián)網(wǎng)行業(yè)，還是傳統(tǒng)制造業(yè)、金融業(yè)、醫(yī)療產(chǎn)業(yè)、服務(wù)產(chǎn)業(yè)等。每個企業(yè)、每個人都可以參與并影響標(biāo)準(zhǔn)開發(fā)。目前，美國、英國發(fā)達(dá)國家對于ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的開發(fā)、發(fā)展和使用處于領(lǐng)先地位。例如，美國于1999年成立了電子商務(wù)編碼管理協(xié)會（Electronic Commerce Code Management Association，ECCMA），它是一家非營利性國際主數(shù)據(jù)質(zhì)量管理者協(xié)會，該協(xié)會的宗旨是開發(fā)和維護(hù)開放式解決方案，以更快更好地獲取權(quán)威主數(shù)據(jù)。ECCMA成員可以獲得數(shù)據(jù)質(zhì)量相關(guān)的軟件和管理培訓(xùn)、ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)實施培訓(xùn)、ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)專業(yè)咨詢和評估以及對企業(yè)信息系統(tǒng)的ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)認(rèn)證。通過一系列的培訓(xùn)和認(rèn)證，大大推廣了ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的應(yīng)用，同時企業(yè)可以最大程度地和國際信息質(zhì)量標(biāo)準(zhǔn)接軌，獲得高質(zhì)量、可共享的數(shù)據(jù)。英國的MRO Insyte公司為企業(yè)提供專業(yè)的企業(yè)數(shù)據(jù)和資料管理咨詢服務(wù)，并為ECCMA提供咨詢。MRO Insyte同時提供主數(shù)據(jù)管理咨詢，并為制造業(yè)、零售業(yè)和終端用戶提供數(shù)據(jù)質(zhì)量培訓(xùn)。同時，該公司也為數(shù)據(jù)、系統(tǒng)和個人提供ECCMA ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的認(rèn)證。

我國在ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的實施和應(yīng)用方面尚處于起步階段，目前沒有相關(guān)的權(quán)威推廣、培訓(xùn)和認(rèn)證機(jī)構(gòu)。西安交通大學(xué)管理學(xué)院與美國麻省理工學(xué)院合作，于2012年成立了數(shù)據(jù)科學(xué)和數(shù)據(jù)質(zhì)量研究中心，開始對ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)等進(jìn)行研究。國際化數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的重要性毋庸置疑，為了在大數(shù)據(jù)時代占領(lǐng)數(shù)據(jù)質(zhì)量的高地，促進(jìn)我國企業(yè)與國際接軌，我國需要加大對ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的重視程度，組織數(shù)據(jù)質(zhì)量研究專家、工業(yè)界專家、成熟的數(shù)據(jù)質(zhì)量研究中心或機(jī)構(gòu)成立權(quán)威的數(shù)據(jù)質(zhì)量推廣和培訓(xùn)協(xié)會，幫助更多國內(nèi)企業(yè)達(dá)到ISO 8000數(shù)據(jù)質(zhì)量認(rèn)證水平。另外，現(xiàn)階段，我國可以首先針對不同行業(yè)進(jìn)行細(xì)分推廣和應(yīng)用。例如，在醫(yī)療衛(wèi)生領(lǐng)域，各個醫(yī)療機(jī)構(gòu)的信息系統(tǒng)不能很好地兼容，導(dǎo)致同一病人在不同醫(yī)院的信息無法快速共享和傳遞。通過全國范圍內(nèi)的應(yīng)用ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，可以將病歷信息與特定信息系統(tǒng)分離，病歷的所有信息可以獨(dú)立于醫(yī)療信息系統(tǒng)存在，并可被任意一個根據(jù)ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的信息系統(tǒng)讀取，患者可以更加自主地選擇就醫(yī)醫(yī)院，而不用擔(dān)心由于自身的健康信息缺失導(dǎo)致的醫(yī)療誤判。在金融領(lǐng)域，銀行業(yè)是一個數(shù)據(jù)大量聚集的領(lǐng)域，這些來自銀行賬戶交易、貸款申請、貸款還款以及信用卡還款等業(yè)務(wù)的海量操作的數(shù)據(jù)庫，包含了對客戶財務(wù)狀況有價值的信息。對銀行信息系統(tǒng)進(jìn)行ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的規(guī)范可以幫助銀行內(nèi)部整合各部門之間的數(shù)據(jù)，并快速識別外部獲得的用戶信息，對各渠道、各類型數(shù)據(jù)進(jìn)行提取和整合，能夠更準(zhǔn)確、更全面、更實時地掌握借款人信息，并找到不同變量間的關(guān)聯(lián)關(guān)系，使決策更加準(zhǔn)確、統(tǒng)一和合理，從而大大提高銀行風(fēng)險管理能力。

總之，ISO 8000數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)在各行各業(yè)都可以有廣泛和有效的應(yīng)用。我國應(yīng)該加快該標(biāo)準(zhǔn)的推廣和實施步伐，抓住經(jīng)濟(jì)全球化和大數(shù)據(jù)時代的機(jī)遇，參與數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的全球性應(yīng)用，并在此基礎(chǔ)上積極參與數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的制定，為我國企業(yè)贏得更大更好的國際發(fā)展空間。

[1] MCAFEE A, BRYNJOLFSSON E, DAVENPORT T H, et al. Big data: the management revolution[J]. Harvard Business Review, 2012, 90(10): 61-67.

[2] LIU L, CHI L. Evolutional data quality: atheory-specific view[C]//The 7th International Conference on Information Quality, November 8-10, Berkeley, California. [S.l.:s.n.], 2002: 292-304.

[3] LEE Y W, PIPINO L, FUNK J D, et al. Journey to data quality[M]. Cambridge: MIT Press, 2009.

[4] MADNICK S E, WANG R Y, LEE Y W, et al. Overview and framework for data and information quality research[J]. Journal of Data and Information, 2009, 1(1): 2.

[5] 蔚趙春, 凌鴻. 商業(yè)銀行大數(shù)據(jù)應(yīng)用的理論,實踐與影響[J]. 上海金融, 2013(9): 5. WEI Z C, LING H. The theory, practice and influence of big data application in commercial banks[J]. Shanghai Finance, 2013(9): 5.

ISO 8000 (big) data quality standard and application

ZHANG Tan1, HUANG Wei1,2, SHI Yong3
1. School of Management, Xi’an Jiaotong University, Xi’an, Shanxi 710049, China 2. Queensland University of Technology, Brisbane, Queensland 4702, Australia 3. School of Economics and Management, University of Chinese Academy of Sciences, Beijing 100190, China

Background of ISO 8000 was introduced, and ISO 8000 was compared with existing product quality standard ISO 9000. After that, the advantages that ISO 8000 can bring to the enterprise were analyzed. Then, the application of ISO 8000 with a simple example was demonstrated. The current situation of data quality in China was analyzed, and some suggestions on implementing ISO 8000 data quality standards in financial and medical fields were put forward. It aims to promote the construction of large data and data quality.

big data quality, ISO 8000, big data quality standard

C931.6

A

10.11959/j.issn.2096-0271.2017001

張?zhí)梗?989-），女，西安交通大學(xué)管理學(xué)院信息系統(tǒng)系博士生，主要研究方向為數(shù)據(jù)質(zhì)量和文本挖掘。

黃偉（1964-），男，博士，西安交通大學(xué)管理學(xué)院教授、博士生導(dǎo)師、院長，教育部長江學(xué)者特聘教授，美國哈佛大學(xué)Fellow和俄亥俄大學(xué)商學(xué)院管理信息系統(tǒng)系終身正教授。主要研究方向為新一代信息技術(shù)的管理溝通（CMC）、群體支持系統(tǒng)（GSS）、大數(shù)據(jù)管理與數(shù)據(jù)質(zhì)量、電子政務(wù)/電子商務(wù)、IT與服務(wù)外包、IT/IS管理。

石勇（1956-），男，中國科學(xué)院大學(xué)經(jīng)濟(jì)管理學(xué)院教授、博士生導(dǎo)師，發(fā)展中國家科學(xué)院院士，國務(wù)院參事，中國科學(xué)院虛擬經(jīng)濟(jì)與數(shù)據(jù)科學(xué)研究中心主任，中國科學(xué)院大數(shù)據(jù)挖掘與知識管理重點(diǎn)實驗室主任。被列為Elsevier發(fā)布2014/2015中國高被引學(xué)者榜單之一、入選湯普生路透（Thomson Reuters）2016全球高被引作者（計算機(jī)科學(xué)領(lǐng)域）?，F(xiàn)在擔(dān)任《國際信息技術(shù)和決策雜志（IJITDM）》《國際數(shù)據(jù)科學(xué)年鑒（Annals of Data Science）》創(chuàng)立主編。先后榮獲以集合論創(chuàng)始人命名的康拓學(xué)術(shù)獎、中國復(fù)旦管理學(xué)杰出貢獻(xiàn)獎、教育部自然科學(xué)獎一等獎（2012年、2016年）。中國科學(xué)院百人計劃學(xué)者、國家杰出青年科學(xué)基金獲得者。

2017-01-04