進(jìn)口鐵礦品質(zhì)信息數(shù)據(jù)倉建設(shè)及其數(shù)據(jù)挖掘

王振新余春暉李雪蓮楊東彪應(yīng)海松

（1.中國(guó)檢驗(yàn)認(rèn)證集團(tuán)寧波有限公司，浙江 寧波 315012；2.北侖出入境檢驗(yàn)檢疫局，浙江 寧波 315800）

進(jìn)口鐵礦品質(zhì)信息數(shù)據(jù)倉建設(shè)及其數(shù)據(jù)挖掘

王振新1余春暉2李雪蓮2楊東彪2應(yīng)海松2

（1.中國(guó)檢驗(yàn)認(rèn)證集團(tuán)寧波有限公司，浙江 寧波 315012；2.北侖出入境檢驗(yàn)檢疫局，浙江 寧波 315800）

隨著計(jì)算機(jī)技術(shù)的發(fā)展，數(shù)據(jù)積累急劇增長(zhǎng)，為利用積累的大數(shù)據(jù)進(jìn)行知識(shí)再發(fā)現(xiàn)創(chuàng)造了條件，數(shù)據(jù)倉和數(shù)據(jù)挖掘是近幾年來發(fā)展迅速的大數(shù)據(jù)信息化技術(shù)，也是知識(shí)再發(fā)現(xiàn)的最有效手段。上世紀(jì)國(guó)內(nèi)開始大規(guī)模進(jìn)口鐵礦石以來，一些口岸進(jìn)口鐵礦石檢驗(yàn)的機(jī)構(gòu)也逐漸積累寶貴品質(zhì)信息資源，但這些信息資源是凌亂的、甚至是跨越不同數(shù)據(jù)庫的。進(jìn)口鐵礦品質(zhì)的數(shù)據(jù)倉建設(shè)就是利用檢驗(yàn)檢疫系統(tǒng)的信息優(yōu)勢(shì)，通過相關(guān)的數(shù)據(jù)挖掘技術(shù)建立進(jìn)口鐵礦品質(zhì)信息收集方式，為進(jìn)口鐵礦檢驗(yàn)和國(guó)家相關(guān)政策法規(guī)的出臺(tái)提供技術(shù)支持，為國(guó)內(nèi)鋼鐵企業(yè)了解進(jìn)口鐵礦的質(zhì)量特性而有選擇地采購進(jìn)口鐵礦提供重要提供技術(shù)參考，為國(guó)外供貨商改進(jìn)工藝提高鐵礦質(zhì)量提供對(duì)比數(shù)據(jù)。

鐵礦；信息；數(shù)據(jù)倉；數(shù)據(jù)挖掘

1 前言

數(shù)據(jù)倉是面向主題的、集成的、穩(wěn)定的、隨時(shí)間不斷變化的數(shù)據(jù)集合，數(shù)據(jù)挖掘就是從大量的數(shù)據(jù)中挖掘出新的知識(shí)。鐵礦石是一種涉及國(guó)計(jì)民生的極其重要的戰(zhàn)略性資源，其質(zhì)量?jī)?yōu)劣直接關(guān)系到我國(guó)鋼鐵工業(yè)的健康發(fā)展，也關(guān)系到國(guó)家經(jīng)濟(jì)建設(shè)和宏觀調(diào)控。我國(guó)的鐵礦資源多為貧雜礦，需要花大量人力、財(cái)力進(jìn)行精選，而多數(shù)進(jìn)口鐵礦為高品位富礦。自我國(guó)于二十世紀(jì)七、八十年代開始進(jìn)口鐵礦始，至近幾年進(jìn)口量迅速飆升，目前我國(guó)鐵礦進(jìn)口量已為世界第一，進(jìn)口依賴度超過50%。但在進(jìn)口鐵礦石價(jià)格持續(xù)上漲的同時(shí)，其質(zhì)量卻難以得到保障。近幾年多數(shù)口岸的進(jìn)口鐵礦不合格率超過 60%，以廢充好，摻雜使假，有毒有害元素超常的現(xiàn)象屢屢發(fā)生。在國(guó)務(wù)院“關(guān)于加強(qiáng)鐵礦石進(jìn)口協(xié)調(diào)和管理，整頓和規(guī)范鐵礦石經(jīng)營(yíng)秩序”的總體要求下，按照質(zhì)檢總局“質(zhì)量和安全年”活動(dòng)要求和全國(guó)檢驗(yàn)監(jiān)管工作會(huì)議的統(tǒng)一部署，進(jìn)一步完善進(jìn)口鐵礦質(zhì)量管理體系，提高監(jiān)管的針對(duì)性和有效性，切實(shí)加強(qiáng)質(zhì)量綜合分析和風(fēng)險(xiǎn)監(jiān)管，提高決策支持和風(fēng)險(xiǎn)防范水平，嚴(yán)防各類欺詐行為發(fā)生，有效地維護(hù)國(guó)內(nèi)鋼鐵企業(yè)的權(quán)益。為此需要構(gòu)建信息平臺(tái)。各地檢驗(yàn)機(jī)構(gòu)現(xiàn)有的進(jìn)口鐵礦石質(zhì)量監(jiān)控手段基本為批批檢驗(yàn)，大量檢驗(yàn)數(shù)據(jù)和檢驗(yàn)結(jié)果在完成出證和年度質(zhì)量分析后作為檔案庫存，沒有被進(jìn)一步深度挖掘利用，因此未能形成基礎(chǔ)性的綜合質(zhì)量數(shù)據(jù)倉和數(shù)據(jù)挖掘方式以支撐風(fēng)險(xiǎn)分析和管理，并科學(xué)地調(diào)整檢驗(yàn)監(jiān)管的方式。在進(jìn)口鐵礦貿(mào)易中，我國(guó)常處于較為被動(dòng)的地位，使國(guó)家經(jīng)濟(jì)利益得不到應(yīng)有的保障、國(guó)內(nèi)企業(yè)遭受不菲的損失。為此，通過進(jìn)口鐵礦質(zhì)量數(shù)據(jù)倉建設(shè)，通過數(shù)據(jù)挖掘技術(shù)為不同類型的用戶提供風(fēng)險(xiǎn)分析和實(shí)時(shí)預(yù)警，以防止貿(mào)易欺詐，維護(hù)國(guó)家經(jīng)濟(jì)安全，從而為國(guó)家制定進(jìn)口鐵礦相關(guān)政策提供決策支持，為國(guó)內(nèi)鋼鐵企業(yè)選購進(jìn)口鐵礦石提供質(zhì)量信息，為進(jìn)口鐵礦檢驗(yàn)技術(shù)發(fā)展的提供必要的基礎(chǔ)。積極營(yíng)造數(shù)據(jù)文化，提高數(shù)據(jù)意識(shí)，是質(zhì)檢系統(tǒng)行政執(zhí)法技術(shù)保障的重要建設(shè)方向[1-3]。

2 進(jìn)口鐵礦石品質(zhì)信息數(shù)據(jù)倉基本原理

數(shù)據(jù)倉是一種環(huán)境，是提供用戶用于決策支持的當(dāng)前及其歷史數(shù)據(jù)，這些數(shù)據(jù)在傳統(tǒng)的操作型數(shù)據(jù)庫中很難或不可能找到，數(shù)據(jù)倉是應(yīng)數(shù)據(jù)分析處理要求而建設(shè)的分析型數(shù)據(jù)庫基礎(chǔ)。由于進(jìn)口鐵礦石是法檢商品，所有入境的鐵礦都要通過入境口岸的檢驗(yàn)檢疫機(jī)構(gòu)重量與品質(zhì)檢驗(yàn)，因此口岸檢驗(yàn)檢疫機(jī)構(gòu)能夠收集信息齊全的數(shù)據(jù)，這為進(jìn)口鐵礦品質(zhì)信息數(shù)據(jù)倉的建設(shè)創(chuàng)造了條件。數(shù)據(jù)倉是數(shù)據(jù)挖掘的基礎(chǔ)。

2.1進(jìn)口鐵礦石品質(zhì)信息數(shù)據(jù)倉構(gòu)成

根據(jù)進(jìn)口鐵礦石檢驗(yàn)的不同工作性質(zhì)，可以建立不同的數(shù)據(jù)庫，將不同的數(shù)據(jù)庫作為元數(shù)據(jù)庫進(jìn)行整合建立數(shù)據(jù)倉，可將靜態(tài)的的歷史信息以不同的主題進(jìn)行再利用。數(shù)據(jù)倉可支持多維分析，可根據(jù)不同需求以多種形式輸出分析情報(bào)信息，為不同類型的用戶提供形式豐富、內(nèi)容真實(shí)、功能完備的瀏覽和查詢，滿足不同的需求輸出。

2.2數(shù)據(jù)倉的數(shù)據(jù)組織管理

數(shù)據(jù)倉的數(shù)據(jù)可從上述分散的數(shù)據(jù)庫提取，數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉之前，必須要將其進(jìn)行轉(zhuǎn)換、統(tǒng)一與綜合。數(shù)據(jù)倉數(shù)據(jù)的生成即可從元數(shù)據(jù)庫提取生成，也可進(jìn)入數(shù)據(jù)倉后經(jīng)過計(jì)算、綜合生成，它不是對(duì)數(shù)據(jù)簡(jiǎn)單存儲(chǔ)，而是進(jìn)行再組織。數(shù)據(jù)倉的組織需要考慮數(shù)據(jù)的粒度，根據(jù)不同的需要，可以選擇按時(shí)間段綜合數(shù)據(jù)的粒度和按采樣率高低劃分的樣本數(shù)據(jù)庫。為了提高數(shù)據(jù)處理效率，需要將數(shù)據(jù)倉數(shù)據(jù)分割到各自的物理單元。進(jìn)口鐵礦石信息數(shù)據(jù)倉的數(shù)據(jù)組織可以采樣簡(jiǎn)單堆積，可以按相應(yīng)的主題集成為數(shù)據(jù)倉的記錄。

2.3數(shù)據(jù)倉的設(shè)計(jì)

首先在原有數(shù)據(jù)庫基礎(chǔ)上進(jìn)行概念模型設(shè)計(jì)，先要對(duì)原有數(shù)據(jù)庫進(jìn)行分析理解，要界定系統(tǒng)邊界、確定主題域；然后進(jìn)行確定數(shù)據(jù)倉各項(xiàng)性能指標(biāo)的技術(shù)評(píng)估和技術(shù)環(huán)境準(zhǔn)備，主要涉及數(shù)據(jù)存取、重組、收發(fā)、裝載等，估算內(nèi)容包括數(shù)據(jù)量、程序沖突、數(shù)據(jù)通訊量，環(huán)境準(zhǔn)備包括軟硬件配置，如存取設(shè)備、網(wǎng)絡(luò)、操作系統(tǒng)、軟件界面、數(shù)據(jù)倉管理軟件；第三進(jìn)行邏輯模型設(shè)計(jì)，包括分析主題域、確定當(dāng)前裝載主題、確定粒度層次、確定數(shù)據(jù)分割、確定關(guān)系與記錄的系統(tǒng)定義；第四是物理模型設(shè)計(jì)，主要是數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)、確定索引策略、數(shù)據(jù)存放位置、確定存儲(chǔ)分配；第五是數(shù)據(jù)倉生存，包括接口設(shè)計(jì)、數(shù)據(jù)裝入；最后為數(shù)據(jù)倉的維護(hù)，即進(jìn)一步完善數(shù)據(jù)倉系統(tǒng)、維護(hù)數(shù)據(jù)、進(jìn)行決策系統(tǒng)的應(yīng)用開發(fā)。

3 進(jìn)口鐵礦石品質(zhì)信息數(shù)據(jù)挖掘

大數(shù)據(jù)科技背景下，數(shù)據(jù)已成為一種重要的資源，數(shù)據(jù)的應(yīng)用已不是簡(jiǎn)單的數(shù)據(jù)匯總，而是將其按科學(xué)方法進(jìn)行挖掘。數(shù)據(jù)挖掘是從大量的數(shù)據(jù)中抽取出潛在的、有價(jià)值的知識(shí)、模型、規(guī)律等，現(xiàn)代大數(shù)據(jù)的數(shù)據(jù)挖掘涉及人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析等多種技術(shù)，它能自動(dòng)分析、歸類、推理、建立新的業(yè)務(wù)模型，最終達(dá)到業(yè)務(wù)和決策支持目的。

3.1數(shù)據(jù)挖掘的準(zhǔn)備

數(shù)據(jù)挖掘可從大量不完全的、帶噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含其中有價(jià)值的信息和知識(shí)工程。因此數(shù)據(jù)準(zhǔn)備就相當(dāng)重要。主要工作首先要確定業(yè)務(wù)對(duì)象，然后進(jìn)行數(shù)據(jù)選擇、數(shù)據(jù)預(yù)處理和數(shù)據(jù)轉(zhuǎn)換。

3.2數(shù)據(jù)挖掘功能

功能包括對(duì)數(shù)據(jù)之間的關(guān)聯(lián)規(guī)律進(jìn)行分析、數(shù)據(jù)聚類、偏差分析、趨勢(shì)預(yù)測(cè)等，常用方法有：聚類分析、決策樹、人工神經(jīng)網(wǎng)絡(luò)、小波分析、統(tǒng)計(jì)分析等。

3.3數(shù)據(jù)挖掘工具

常用數(shù)據(jù)挖掘工具有：Intelligent Miner、SQL Sever、SPSS、SAS、MATLAB等，這些工具包括專用數(shù)據(jù)挖掘工具、數(shù)據(jù)庫自帶工具、社會(huì)統(tǒng)計(jì)學(xué)軟件包和智能處理軟件。

4 進(jìn)口鐵礦石數(shù)據(jù)倉建設(shè)及數(shù)據(jù)挖掘?qū)嵗?/h2>

自計(jì)算機(jī)技術(shù)普及人們的日常工作生活以來，質(zhì)檢系統(tǒng)已經(jīng)建有數(shù)量龐大的各種業(yè)務(wù)數(shù)據(jù)庫，就鐵礦石檢驗(yàn)業(yè)務(wù)而言，在一個(gè)單位就有七八種之多，它們之間有些是完全獨(dú)立的信息孤島，有些為僅兩兩關(guān)聯(lián)的數(shù)據(jù)庫或信息半島，但這些數(shù)據(jù)庫都已經(jīng)經(jīng)過多年建設(shè)，并已積累大量數(shù)據(jù)，進(jìn)口鐵礦石品質(zhì)信息數(shù)據(jù)倉數(shù)據(jù)是圍繞品質(zhì)評(píng)價(jià)這一主題組織、展開的，因此這些原有的資源為目的實(shí)施提供了條件[4]。

4.1可利用的數(shù)據(jù)庫資源

進(jìn)口鐵礦信息元數(shù)據(jù)庫包含進(jìn)口鐵礦質(zhì)量信息平臺(tái)、進(jìn)口鐵礦石檢驗(yàn)綜合業(yè)務(wù)系統(tǒng)、CIQ2000系統(tǒng)、數(shù)字實(shí)驗(yàn)室系統(tǒng)、取制樣管理系統(tǒng)、水尺計(jì)重管理系統(tǒng)所含數(shù)據(jù)庫。

4.1.1CIQ2000系統(tǒng)

CIQ2000系統(tǒng)為全國(guó)檢驗(yàn)檢疫綜合業(yè)務(wù)系統(tǒng),系統(tǒng)以檢驗(yàn)檢疫業(yè)務(wù)流程為主線，以出入境檢驗(yàn)檢疫管理為重點(diǎn)，功能包括受理報(bào)檢、簽證、統(tǒng)計(jì)、計(jì)收費(fèi)、檢驗(yàn)檢疫及其鑒定、包裝等業(yè)務(wù)管理。數(shù)據(jù)庫為ORCALE，主要存儲(chǔ)檢驗(yàn)檢疫檢務(wù)信息、檢驗(yàn)檢疫業(yè)務(wù)信息及其證稿證書。

4.1.2數(shù)字實(shí)驗(yàn)室系統(tǒng)

該系統(tǒng)是寧波檢驗(yàn)檢疫局在檢驗(yàn)檢疫系統(tǒng)推廣的LRP2000基礎(chǔ)上開發(fā)的實(shí)驗(yàn)室管理系統(tǒng)，系統(tǒng)以實(shí)驗(yàn)室流程管理為主線，專門為實(shí)驗(yàn)室業(yè)務(wù)管理設(shè)計(jì)，功能包括報(bào)檢受理、質(zhì)量體系管理、檢測(cè)、方法與標(biāo)準(zhǔn)、計(jì)收費(fèi)、項(xiàng)目管理等，部分信息采用 CIQ2000，與其他多數(shù)相關(guān)系統(tǒng)互聯(lián)互通或互相讀寫，對(duì)儀器設(shè)備進(jìn)行物聯(lián)。數(shù)據(jù)庫為SQL Sever 2008，主要存儲(chǔ)實(shí)驗(yàn)室檢測(cè)結(jié)果、報(bào)告、標(biāo)準(zhǔn)、收費(fèi)標(biāo)準(zhǔn)等。

4.1.3進(jìn)口鐵礦質(zhì)量信息平臺(tái)

能實(shí)時(shí)采集全國(guó)各口岸進(jìn)口鐵礦的質(zhì)量信息以及相關(guān)進(jìn)口鐵礦貿(mào)易信息，是一個(gè)進(jìn)口鐵礦全方位信息的數(shù)據(jù)庫，作為進(jìn)口鐵礦質(zhì)量基礎(chǔ)數(shù)據(jù)信息查詢、統(tǒng)計(jì)、分析平臺(tái)。能讀取CIQ2000和數(shù)字實(shí)驗(yàn)室系統(tǒng)的數(shù)據(jù)。數(shù)據(jù)庫為ORCALE，存儲(chǔ)內(nèi)容包括進(jìn)口鐵礦石品質(zhì)信息、重量信息。

4.1.4進(jìn)口鐵礦石檢驗(yàn)綜合業(yè)務(wù)系統(tǒng)

該系統(tǒng)為《檢驗(yàn)檢疫綜合管理系統(tǒng)》，即CIQ2000在進(jìn)口鐵礦石檢驗(yàn)管理的補(bǔ)充，因CIQ2000為追求軟件運(yùn)行的速度和效率，選取涉及檢驗(yàn)檢疫各個(gè)業(yè)務(wù)的基本共性，代表性地對(duì)檢驗(yàn)檢疫業(yè)務(wù)進(jìn)行記錄和管理。系統(tǒng)以O(shè)RCALE為主機(jī)數(shù)據(jù)庫，使用ASP.NET匯編語言，能完成進(jìn)口鐵礦品質(zhì)及貿(mào)易數(shù)據(jù)錄入、檢驗(yàn)出證、計(jì)收費(fèi)、統(tǒng)計(jì)分析和系統(tǒng)維護(hù)等功能。該系統(tǒng)目前已經(jīng)被進(jìn)口鐵礦質(zhì)量信息平臺(tái)替代，但存有多年的數(shù)據(jù)積累。

4.1.5大宗散貨綜合業(yè)務(wù)管理信息系統(tǒng)

該系統(tǒng)將寧波檢驗(yàn)檢疫局原開發(fā)的取制樣管理系統(tǒng)、水尺計(jì)重和品質(zhì)管理等業(yè)務(wù)系統(tǒng)進(jìn)行有機(jī)的整合，并增加衡器計(jì)重、報(bào)檢錄入、任務(wù)維護(hù)、工作動(dòng)態(tài)、工作提醒、手機(jī)平臺(tái)、糧食檢疫結(jié)果查詢等模塊，形成標(biāo)準(zhǔn)統(tǒng)一、功能完善、安全可靠的業(yè)務(wù)管理平臺(tái)，該系統(tǒng)提高信息資源共享程度，減少重復(fù)工作，提高工作效率，加強(qiáng)過程監(jiān)控，使檢驗(yàn)檢疫業(yè)務(wù)向自動(dòng)化和即時(shí)化方向發(fā)展。主要目標(biāo)達(dá)到：節(jié)省人力與設(shè)備費(fèi)用；提高業(yè)務(wù)處理速度；提高過程監(jiān)控能力；改進(jìn)管理信息服務(wù)；改進(jìn)決策支持系統(tǒng)；提高人員的工作效率。系統(tǒng)由三個(gè)數(shù)據(jù)庫構(gòu)成，分別采用 Win2000 Server、SQL Server2000、Office2000，開發(fā)工具采用Delphi7.0 和VBA，存儲(chǔ)數(shù)據(jù)主要為進(jìn)口鐵礦石取制樣信息、水分粒度檢測(cè)信息（含每個(gè)份樣）、水尺鑒定及其常用船舶常數(shù)，數(shù)據(jù)能實(shí)現(xiàn)遠(yuǎn)程傳輸。

4.1.6進(jìn)口鐵礦石多港分卸網(wǎng)上操作平臺(tái)

該系統(tǒng)為配合進(jìn)口鐵礦石多港分卸檢驗(yàn)?zāi)Ｊ窖邪l(fā)。由于進(jìn)口鐵礦多港分卸中的數(shù)據(jù)多，創(chuàng)建者、時(shí)間不確定，使得資料會(huì)產(chǎn)生大量重復(fù)再現(xiàn)，造成在品質(zhì)分析或數(shù)據(jù)統(tǒng)計(jì)的諸多不便。因此，為加強(qiáng)文件資源信息共享，開發(fā)一套適合于多港分卸的直觀有效的平臺(tái)，使系統(tǒng)具有對(duì)同批貨的多港分卸的水尺報(bào)告分析進(jìn)行快捷簽發(fā)，系統(tǒng)擁有對(duì)進(jìn)口鐵礦石化學(xué)成分及物理特性進(jìn)行加權(quán)求值，軟件具有可擴(kuò)展性、可移植性。技術(shù)構(gòu)架上采用REDHAT LINUX 9作為服務(wù)器的操作系統(tǒng)平臺(tái)。在應(yīng)用層服務(wù)器和數(shù)據(jù)庫服務(wù)器的選擇上，針對(duì)平臺(tái)的客戶需求，采用 Tomcat作為應(yīng)用層服務(wù)器，MySQL作為數(shù)據(jù)庫服務(wù)器的平臺(tái)組合方案。后臺(tái)服務(wù)器層架構(gòu)上采用Spring、Struts、Hibernate作為J2EE應(yīng)用的MVC框架，對(duì)于前臺(tái)的表現(xiàn)層則采用Sun公司的JSP技術(shù)以及時(shí)下流行的成熟技術(shù)，如AJAX、Mashup、RIA等。

4.2聯(lián)機(jī)分析

數(shù)據(jù)倉從各系統(tǒng)數(shù)據(jù)庫中提取數(shù)據(jù)并對(duì)其進(jìn)行預(yù)處理，然后通過聯(lián)機(jī)分析處理(OLAP)將數(shù)據(jù)倉的數(shù)據(jù)進(jìn)行分析操作。聯(lián)機(jī)分析指的是應(yīng)用人員能多維度分析從原始數(shù)據(jù)轉(zhuǎn)化出來、能為被用戶理解的、能反應(yīng)用戶決策目的的信息，并對(duì)其進(jìn)行快速交互存儲(chǔ)，從而獲得新的知識(shí)信息一類軟件。推薦采用SQL Sever作為聯(lián)機(jī)分析工具，在SQL Sever高版本軟件中，可以建立數(shù)據(jù)倉并新建數(shù)據(jù)源。

4.3系統(tǒng)模型

如圖 1所示，數(shù)據(jù)從面向應(yīng)用的相應(yīng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫提取，進(jìn)入數(shù)據(jù)倉并轉(zhuǎn)化后，利用數(shù)據(jù)挖掘技術(shù)解決不同問題。

圖1　系統(tǒng)模型圖

4.4應(yīng)用實(shí)例

4.4.1鐵礦檢驗(yàn)質(zhì)量風(fēng)險(xiǎn)評(píng)估

隨著檢驗(yàn)檢疫工作職能的轉(zhuǎn)變，風(fēng)險(xiǎn)管理及預(yù)警評(píng)估越來越成為對(duì)出入境檢驗(yàn)檢疫管理的重要手段。檢驗(yàn)檢疫作為國(guó)家出入境貨物的法定管理機(jī)構(gòu)，承擔(dān)著日益繁重的監(jiān)管任務(wù)，但是目前我國(guó)檢驗(yàn)檢疫的人力、物力、財(cái)力投入無法滿足監(jiān)管業(yè)務(wù)量不斷增長(zhǎng)的需要。通過風(fēng)險(xiǎn)分析，對(duì)監(jiān)管對(duì)象進(jìn)行分類管理，可以突出監(jiān)管重點(diǎn)，合理配置有限的人力、物力，從而實(shí)現(xiàn)有限資源的最佳配置。利用數(shù)據(jù)庫的信息，可以根據(jù)不同用途建立在線和離線兩種評(píng)估方式，在線評(píng)估指利用大型進(jìn)口鐵礦石質(zhì)量信息平臺(tái)的數(shù)據(jù)庫存儲(chǔ)的信息，利用嵌入相關(guān)的軟件通過互聯(lián)網(wǎng)發(fā)布或交互平臺(tái)，在線輸出預(yù)警評(píng)估結(jié)果，離線評(píng)估同樣利用大型進(jìn)口鐵礦石質(zhì)量信息平臺(tái)的數(shù)據(jù)庫存儲(chǔ)的信息，利用先進(jìn)的技術(shù)建立相關(guān)固定模型或特殊的臨時(shí)模型對(duì)數(shù)據(jù)進(jìn)行分析評(píng)估。步驟為：（1）進(jìn)口鐵礦石風(fēng)險(xiǎn)影響因子的識(shí)別；（2）風(fēng)險(xiǎn)評(píng)估的神經(jīng)網(wǎng)絡(luò)建立，樣本數(shù)據(jù)的來源可從全國(guó)進(jìn)口鐵礦石質(zhì)量數(shù)據(jù)庫獲得，訓(xùn)練目標(biāo)可從實(shí)際發(fā)生的不誠(chéng)信供貨方和國(guó)外檢驗(yàn)機(jī)構(gòu)調(diào)查名單所得；（3）風(fēng)險(xiǎn)管理和預(yù)警評(píng)估網(wǎng)絡(luò)設(shè)計(jì)，口岸檢驗(yàn)機(jī)構(gòu)通過對(duì)國(guó)外鐵礦公司和國(guó)外裝貨港檢驗(yàn)公司及供貨方的全面情況進(jìn)行評(píng)估，核定供貨方及檢驗(yàn)公司的信譽(yù)程度，設(shè)置A、B、C、D等4個(gè)管理類別，以便實(shí)施不同的管理措施。網(wǎng)絡(luò)采用BP神經(jīng)網(wǎng)絡(luò)。也可以選取相應(yīng)的樣本集，對(duì)所選樣本集的警示閾值進(jìn)行精確計(jì)算，得出對(duì)應(yīng)于不同閾值的警示級(jí)別，如不發(fā)警報(bào)、一級(jí)警報(bào)、二級(jí)警報(bào)等。一般采用BP網(wǎng)絡(luò)[5]。

4.4.2基于SOM網(wǎng)絡(luò)的企業(yè)分類管理

對(duì)進(jìn)出口企業(yè)進(jìn)行分類管理也是檢驗(yàn)檢疫管理新模式的一種，其目的是為引導(dǎo)企業(yè)樹立質(zhì)量主體責(zé)任意識(shí)，加強(qiáng)企業(yè)自律，督促企業(yè)建立健全質(zhì)量和誠(chéng)信管理體系，加強(qiáng)和規(guī)范企業(yè)分類管理，提高檢驗(yàn)檢疫執(zhí)法把關(guān)和監(jiān)督管理的質(zhì)量和效率，對(duì)于不同的鋼鐵企業(yè)和代理企業(yè)，可根據(jù)它們的資信情況劃分一定的類別，進(jìn)行不同的監(jiān)管方式。數(shù)據(jù)來源為CIQ2000，來源數(shù)據(jù)需要預(yù)處理，目的是采集到的數(shù)據(jù)可能會(huì)存在著大量的冗余，也可能存在著數(shù)據(jù)不準(zhǔn)確、不完整、不一致，甚至有些數(shù)據(jù)可能根本就不適合，數(shù)據(jù)預(yù)處理主要是通過對(duì)這些數(shù)據(jù)的瀏覽、驗(yàn)證、選擇、集成、轉(zhuǎn)換等過程，提高數(shù)據(jù)質(zhì)量，降低數(shù)據(jù)維數(shù)，形成適合數(shù)據(jù)挖掘的數(shù)據(jù)集合。采用自組織特征映射（SOM）網(wǎng)絡(luò)，輸入變量的選擇通常有靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)。靜態(tài)數(shù)據(jù)指的是通常不會(huì)經(jīng)常改變的數(shù)據(jù)，包括企業(yè)的基本資信。動(dòng)態(tài)數(shù)據(jù)指的是經(jīng)?；蚨ㄆ诟淖兊臄?shù)據(jù)，如檢驗(yàn)費(fèi)拖欠、提供假單證等等。利用數(shù)據(jù)準(zhǔn)備階段形成的數(shù)據(jù)集輸入已經(jīng)建立的 SOM網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，將訓(xùn)練結(jié)果的聚類賦予一定的意義。將聚類的企業(yè)根據(jù)所賦的定義分別設(shè)計(jì)不同的監(jiān)管方式。分類結(jié)果可以用來分類管理類別劃分的依據(jù)，信用評(píng)估是利用SOM模型對(duì)企業(yè)的一些不誠(chéng)信行為進(jìn)行監(jiān)測(cè)，SOM模型可以建立正常信用度模型，當(dāng)數(shù)據(jù)輸入時(shí)，SOM模型會(huì)對(duì)異常的企業(yè)信息出異常警告。企業(yè)的一些行為變化，如提供假單證、檢驗(yàn)費(fèi)拖欠等，客戶分類模型可以及時(shí)辨別，同時(shí)作出類別降格而加大監(jiān)控力度的決定，有些甚至將它們放入黑名單嚴(yán)加監(jiān)控。

4.4.3品位波動(dòng)應(yīng)用

品位波動(dòng)可由因礦山礦體、采礦方法、選礦方法、堆積和采取的方法、裝／卸的方法、交貨批的質(zhì)量的變化而改變。因此，任何礦石的品位波動(dòng)應(yīng)經(jīng)常校核以確定上述變化的影響。一般礦產(chǎn)品的取樣標(biāo)準(zhǔn)都必須引用品位波動(dòng)結(jié)果來確定所采取樣品的品位是選擇“大”、“中”或“小”，不同的選擇直接影響采用的代表性樣品的質(zhì)量，也影響工作人員的實(shí)際工作量，以往的方法大都采用人工作業(yè)，勞動(dòng)強(qiáng)度大，時(shí)間周期長(zhǎng)。用神經(jīng)網(wǎng)絡(luò)方法建立數(shù)學(xué)模式來判斷鐵礦的品位波動(dòng)，可以將原本需要大量人工勞力輔助的鐵礦石品質(zhì)波動(dòng)評(píng)定，成為只需計(jì)算機(jī)運(yùn)算的模擬處理，使品位波動(dòng)評(píng)估大大簡(jiǎn)單化，也使鐵礦石取制樣人員不再將品位波動(dòng)評(píng)估認(rèn)為負(fù)擔(dān)，可以規(guī)范鐵礦石取制樣程序，大大降低實(shí)驗(yàn)成本。采用BP網(wǎng)設(shè)計(jì)一個(gè)狀態(tài)分類器，利用數(shù)字實(shí)驗(yàn)室和進(jìn)口鐵礦石檢驗(yàn)綜合業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)，每交貨批進(jìn)口鐵礦石的成分分析結(jié)果作為狀態(tài)樣本數(shù)據(jù)，分別對(duì)應(yīng)品位波動(dòng)的大、中、小，最終達(dá)到能夠判別品位波動(dòng)的目的。也可以利用大宗散貨綜合業(yè)務(wù)管理信息系統(tǒng)和進(jìn)口鐵礦石多港分卸網(wǎng)上操作平臺(tái)數(shù)據(jù)庫，將在線粒度水分檢測(cè)、重量鑒定結(jié)果，能在取樣之初能夠發(fā)現(xiàn)品位波動(dòng)情況，并對(duì)取樣方案依照實(shí)際品位波動(dòng)情況進(jìn)行調(diào)整。

4.4.4神經(jīng)網(wǎng)絡(luò)在鐵礦品質(zhì)特性分類

利用上述數(shù)據(jù)庫，將利用歷年來積累的進(jìn)口鐵礦檢測(cè)數(shù)據(jù)，用神經(jīng)網(wǎng)絡(luò)技術(shù)分析其品質(zhì)特性情況，并對(duì)未知礦種進(jìn)行特性分類，為確定產(chǎn)品的歸屬提供依據(jù)。所有鐵礦石品質(zhì)特征，就是鐵礦石本身所具有的化學(xué)、物理、礦物性質(zhì)。這些品質(zhì)特性有些是鐵礦石原礦固有的，有些是經(jīng)過加工后，原礦的化學(xué)、物理及礦物性質(zhì)發(fā)生了變化，形成了新的品質(zhì)特性。采用自組織競(jìng)爭(zhēng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)是各網(wǎng)絡(luò)競(jìng)爭(zhēng)層的各神經(jīng)元通過競(jìng)爭(zhēng)來獲得對(duì)輸入模式的響應(yīng)機(jī)會(huì)，最后一個(gè)神經(jīng)元為競(jìng)爭(zhēng)勝利者，并將與獲勝神經(jīng)元有關(guān)的各連接權(quán)值向有利于其競(jìng)爭(zhēng)方向調(diào)整。競(jìng)爭(zhēng)型網(wǎng)絡(luò)可分為輸入層和競(jìng)爭(zhēng)層。

5 結(jié)論

進(jìn)口鐵礦品質(zhì)信息數(shù)據(jù)倉建設(shè)和數(shù)據(jù)挖掘技術(shù)能將看似雜亂無章，但采用相關(guān)的方法進(jìn)行評(píng)估、解析，就可得出有規(guī)律的信息，可以針對(duì)進(jìn)口鐵礦檢驗(yàn)，利用原先已有的數(shù)據(jù)庫數(shù)據(jù)，采用挖掘技術(shù)高效、自動(dòng)完成鐵礦檢驗(yàn)業(yè)務(wù)輔助、質(zhì)量分析、預(yù)警監(jiān)控、決策支持、操作控制等。它可以將人從繁重的體力、腦力勞動(dòng)中解放出來，不僅將檢驗(yàn)操作人員的注意力在微觀的角度起到放大效應(yīng)，還可使檢驗(yàn)管理人員的目光從短期轉(zhuǎn)向長(zhǎng)期、從戰(zhàn)術(shù)轉(zhuǎn)向戰(zhàn)略。對(duì)促進(jìn)進(jìn)口鐵礦石的宏觀監(jiān)控、指導(dǎo)進(jìn)口鐵礦石貿(mào)易、傳播知識(shí)起到關(guān)鍵的作用。

[1] 張興會(huì).數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)[M].北京:清華大學(xué)出版社,2011.

[2] 趙爾丹,張照楓.基于數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的決策支持系統(tǒng)的研究與應(yīng)用[J].河北軟件技術(shù)職業(yè)學(xué)院學(xué)報(bào),2005, 1(7):47-50.

[3] 方富貴.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘探析[J].信息系統(tǒng)工程,2012, (9):118-119.

[4] 應(yīng)海松,朱波.鐵礦石商品的檢驗(yàn)管理[M].北京:冶金工業(yè)出版社,2009.

[5] 應(yīng)海松.小波神經(jīng)網(wǎng)絡(luò)在鐵礦石檢驗(yàn)中應(yīng)用[M].北京:冶金工業(yè)出版社,2010.

Construction of data warehouse and data mining for import iron ore quality information

Along with computer technology developing, the datum are accumulating quickly and it is possible for knowledge to be re-created by use of big data. Data warehouse and data mining has been big data IT developing rapidly during these years, and also is important tool for knowledge recreation. Since last century, China began import iron ore with large-scale, the valued quality information resource of iron ore has been pile up in many iron ore inspection institutions. But these information are all disorder and inter-database. It is by use of advantage of information for CIQ to construct import iron ore quality data warehouse, the methods of information collection is set up through technology of data mining, in order to support releasing of national policy and import iron ore inspection. Using these data, he Chinese steel plants could realize quality of import iron ore and purchase selectively, the oversea iron ore companies could improve technology.

Iron ore; information; data warehouse; data mining

F407

A

1008-1151(2015)11-0020-04

2015-10-10

國(guó)家質(zhì)檢總局計(jì)劃項(xiàng)目（2012IK045）。

王振新（1965－），男，浙江寧波人，中國(guó)檢驗(yàn)認(rèn)證集團(tuán)寧波有限公司總經(jīng)理，研究方向?yàn)榇笞谫Y源產(chǎn)品檢驗(yàn)監(jiān)管。

楊東彪（1978－），男，浙江諸幾人，北侖出入境檢驗(yàn)檢疫局副研究員，從事大宗資源礦產(chǎn)品檢驗(yàn)監(jiān)管工作。