數(shù)據(jù)挖掘技術(shù)在綠色家用電子產(chǎn)品評(píng)價(jià)中的應(yīng)用

何鸝潁 張起聞

（1.北京出入境檢驗(yàn)檢疫局 北京 100176；2.北京師范大學(xué)）

1 前言

綠色家用電子產(chǎn)品評(píng)價(jià)，是指評(píng)價(jià)某類家用電子產(chǎn)品在生產(chǎn)、使用、處置等整個(gè)生命周期均符合環(huán)境保護(hù)的要求，不對(duì)人體健康造成危害。許多國(guó)家非常關(guān)注綠色產(chǎn)品，德國(guó)萊茵TüV集團(tuán)（TüV Rheinland）于2012年推出綠色產(chǎn)品標(biāo)識(shí)，旨在針對(duì)消費(fèi)品及其對(duì)環(huán)境的影響做自律性規(guī)范。我國(guó)也高度重視綠色產(chǎn)品，國(guó)家質(zhì)檢總局與認(rèn)監(jiān)委已經(jīng)開始建立統(tǒng)一的綠色產(chǎn)品標(biāo)準(zhǔn)、認(rèn)證、標(biāo)識(shí)體系。

綠色產(chǎn)品中包括綠色家用電子產(chǎn)品，本文結(jié)合數(shù)據(jù)挖掘技術(shù)對(duì)綠色家用電子產(chǎn)品進(jìn)行分析和評(píng)價(jià)。

2 數(shù)據(jù)挖掘技術(shù)[1]

目前，社會(huì)已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，人們生活、工作等都會(huì)產(chǎn)生大量數(shù)據(jù)，匯成浩瀚的大數(shù)據(jù)海洋。如何有效地利用大數(shù)據(jù)，從大數(shù)據(jù)中提取有用信息，創(chuàng)造價(jià)值，就需要數(shù)據(jù)挖掘技術(shù)。

數(shù)據(jù)挖掘技術(shù)一般是指從大量、不完整、有噪聲、隨機(jī)、模糊的數(shù)據(jù)中發(fā)現(xiàn)隱藏在數(shù)據(jù)中的關(guān)系，通過(guò)建立模型，提取有價(jià)值的信息和數(shù)據(jù)的技術(shù)。

數(shù)據(jù)挖掘有以下幾個(gè)階段：

（1）確定挖掘的任務(wù)或目標(biāo)。用回歸、分類、估計(jì)、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)或序列模式發(fā)現(xiàn)等進(jìn)行（圖1）。

圖1 數(shù)據(jù)挖掘目標(biāo)模型

（2）數(shù)據(jù)與信息收集。搜集不同渠道來(lái)源的數(shù)據(jù)，如相關(guān)數(shù)據(jù)庫(kù)和互聯(lián)網(wǎng)，根據(jù)確定的數(shù)據(jù)分析對(duì)象，抽象出在數(shù)據(jù)分析中所需要的特征信息，然后選擇合適的信息收集方法，將收集到的信息存入數(shù)據(jù)庫(kù)。對(duì)于海量數(shù)據(jù)，選擇一個(gè)合適的存儲(chǔ)和管理的數(shù)據(jù)倉(cāng)庫(kù)至關(guān)重要。

（3）數(shù)據(jù)選取。根據(jù)需要從原始數(shù)據(jù)庫(kù)中抽取一組數(shù)據(jù)，其目的是確定發(fā)現(xiàn)任務(wù)的目標(biāo)數(shù)據(jù)。

（4）數(shù)據(jù)預(yù)處理。由于數(shù)據(jù)源來(lái)自多方面，根據(jù)數(shù)據(jù)來(lái)源的質(zhì)量，在有必要的情況下需要進(jìn)行消除噪聲、數(shù)據(jù)過(guò)濾、消除冗余數(shù)據(jù)、完成數(shù)據(jù)類型轉(zhuǎn)換等預(yù)處理。

（5）根據(jù)挖掘任務(wù)選擇合適的算法。選擇算法有兩個(gè)考慮因素：一是不同的數(shù)據(jù)有不同的特點(diǎn)，因此需要用與之相關(guān)的算法來(lái)挖掘；二是用戶或?qū)嶋H運(yùn)行系統(tǒng)的要求。

數(shù)據(jù)挖掘算法有很多，如C4.5、k-Means、SVM、Apriori、EM、PageRank、AdaBoost、kNN、Naive Bayes、CART等，使用頻率最高的算法是決策樹（如C4.5、CART）、聚類算法（如 k-Means）。決策樹算法本質(zhì)上是導(dǎo)致做出某項(xiàng)決策的問(wèn)題或數(shù)據(jù)點(diǎn)的流程圖，其最容易讓人理解，具有很強(qiáng)直觀性。

在決策樹算法上需要避免的一個(gè)問(wèn)題是把決策樹構(gòu)建得過(guò)大，過(guò)于復(fù)雜。過(guò)于復(fù)雜的決策樹往往會(huì)過(guò)度擬合（Over-Fitting），不穩(wěn)定，而且有時(shí)候無(wú)法詮釋，這時(shí)可以把一棵大的決策樹分解成多棵較小的決策樹來(lái)解決這一問(wèn)題。

（6）建立模型。根據(jù)數(shù)據(jù)挖掘的目標(biāo)和數(shù)據(jù)特征，選擇合適的模型。在這個(gè)階段，可以選擇和應(yīng)用不同的模型技術(shù)，模型參數(shù)被調(diào)整到最佳數(shù)值，如決策樹模型。通過(guò)創(chuàng)建挖掘結(jié)構(gòu)定義要使用的數(shù)據(jù)列，將挖掘結(jié)構(gòu)鏈接到數(shù)據(jù)源，但只有對(duì)挖掘結(jié)構(gòu)進(jìn)行處理后，該結(jié)構(gòu)才會(huì)實(shí)際包含數(shù)據(jù)。

（7）評(píng)估。評(píng)價(jià)數(shù)據(jù)挖掘的結(jié)果，選擇最優(yōu)的評(píng)估模型。

評(píng)估分類器的技術(shù)有保持方法、隨機(jī)二次抽樣、k-折交叉確認(rèn)方法、自助法。評(píng)價(jià)數(shù)據(jù)挖掘分類模型除用準(zhǔn)確度以外，還需要使用靈敏性和特效性等評(píng)價(jià)指標(biāo)，還可以用精度即表示被分為正例的示例中實(shí)際為正例的比例來(lái)度量。需要注意的是，評(píng)估分類模型時(shí)，通常使用的是準(zhǔn)確度，它的功能是評(píng)估模型分類是否正確，但并不是說(shuō)準(zhǔn)確度越高模型就越好。因?yàn)閷?duì)于評(píng)估來(lái)講有2類錯(cuò)誤，第1類為棄真錯(cuò)誤，第2類為取偽錯(cuò)誤，很明顯第2類錯(cuò)誤造成的危害和損失比第1類錯(cuò)誤要大，因此即使第2類的準(zhǔn)確度高于采用第1類的準(zhǔn)確度，也不能說(shuō)明前者優(yōu)于后者。

此外，在生成模型時(shí)，通常需要使用不同配置創(chuàng)建多個(gè)模型，并對(duì)所有這些模型進(jìn)行測(cè)試，驗(yàn)證生成最佳結(jié)果的模型。

3 數(shù)據(jù)挖掘在綠色家用電子產(chǎn)品評(píng)價(jià)中的應(yīng)用

綠色家用電子產(chǎn)品評(píng)價(jià)的基礎(chǔ)來(lái)自其整個(gè)生命周期，而檢驗(yàn)檢測(cè)認(rèn)證是其重要的一個(gè)環(huán)節(jié)，通過(guò)檢驗(yàn)檢測(cè)認(rèn)證來(lái)證實(shí)家用電子產(chǎn)品是否綠色環(huán)保。關(guān)于檢驗(yàn)檢測(cè)認(rèn)證行業(yè)，每年要出具數(shù)億份報(bào)告，可以提供幾百億個(gè)數(shù)據(jù)，是大數(shù)據(jù)的制造者。雖然這些大數(shù)據(jù)很有價(jià)值，但由于大數(shù)據(jù)具有數(shù)據(jù)體量巨大，持續(xù)實(shí)時(shí)產(chǎn)生，增長(zhǎng)量高，類型復(fù)雜等多種特性，因此有用數(shù)據(jù)被淹沒(méi)在巨量的數(shù)據(jù)大海中，要利用如此海量的大數(shù)據(jù)進(jìn)行綠色家用電子產(chǎn)品評(píng)價(jià)，需要使用數(shù)據(jù)挖掘技術(shù)來(lái)挖掘出節(jié)能性能與環(huán)保數(shù)據(jù)。通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行分析整理，就能判斷家用電子產(chǎn)品是否符合綠色產(chǎn)品的指標(biāo)和標(biāo)準(zhǔn)，診斷出家用電子產(chǎn)品達(dá)不到要求、出問(wèn)題的環(huán)節(jié)，這樣就可以對(duì)家用電子產(chǎn)品進(jìn)行風(fēng)險(xiǎn)分類和評(píng)估，通過(guò)讓企業(yè)進(jìn)行改進(jìn)、對(duì)產(chǎn)品進(jìn)行召回，對(duì)家用電子產(chǎn)品進(jìn)行風(fēng)險(xiǎn)控制。

利用數(shù)據(jù)挖掘技術(shù)進(jìn)行綠色家用電子產(chǎn)品評(píng)價(jià)有以下幾個(gè)階段：

（1）確定挖掘的任務(wù)或目標(biāo)，首先確定綠色電子產(chǎn)品評(píng)價(jià)所需信息和參數(shù)。

①產(chǎn)品類別或名稱。電子產(chǎn)品大類有：音視頻設(shè)備、信息技術(shù)設(shè)備、家用電器設(shè)備；每類又包括很多產(chǎn)品，如音視頻設(shè)備包括電視機(jī)、機(jī)頂盒等，信息技術(shù)設(shè)備包括計(jì)算機(jī)、顯示器、便攜式電腦、打印機(jī)等，家用電器設(shè)備包括空調(diào)、冰箱、洗衣機(jī)、電飯鍋、抽油煙機(jī)等。

②產(chǎn)品測(cè)試數(shù)據(jù)。開機(jī)功率、能耗、待機(jī)功率、關(guān)閉狀態(tài)功率、RoHS、REACH結(jié)果等。

③產(chǎn)品品牌。如海爾、三星等。

④產(chǎn)品制造商和生產(chǎn)企業(yè)。銘牌和產(chǎn)品證書顯示的制造商和生產(chǎn)企業(yè)。

⑤時(shí)間段。產(chǎn)品數(shù)據(jù)參數(shù)對(duì)應(yīng)的時(shí)間段。

⑥回收機(jī)制。

（2）數(shù)據(jù)與信息收集。對(duì)于綠色電子產(chǎn)品的評(píng)價(jià)，權(quán)威數(shù)據(jù)來(lái)源渠道很多，生產(chǎn)企業(yè)、檢測(cè)機(jī)構(gòu)會(huì)上報(bào)認(rèn)證機(jī)構(gòu)或者質(zhì)量監(jiān)督管理部門，回收企業(yè)、銷售企業(yè)會(huì)上報(bào)節(jié)能環(huán)保管理部門，也有數(shù)據(jù)來(lái)自政府相關(guān)管理部門或其授權(quán)網(wǎng)站的報(bào)道、投訴和相關(guān)內(nèi)容。數(shù)據(jù)和信息分散儲(chǔ)存在上述機(jī)構(gòu)和單位的服務(wù)器中，可能存儲(chǔ)格式會(huì)有不同。根據(jù)確定的數(shù)據(jù)分析對(duì)象，將收集到的信息存入數(shù)據(jù)庫(kù)，建立數(shù)據(jù)存儲(chǔ)和管理的數(shù)據(jù)倉(cāng)庫(kù)。

（3）綠色家用電子產(chǎn)品評(píng)價(jià)數(shù)據(jù)選取。對(duì)于綠色電子產(chǎn)品認(rèn)證，數(shù)據(jù)庫(kù)和信息主要來(lái)源于認(rèn)監(jiān)委、認(rèn)證機(jī)構(gòu)、質(zhì)量監(jiān)督部門、質(zhì)量抽查部門、檢測(cè)機(jī)構(gòu)、相關(guān)企業(yè)等的信息和數(shù)據(jù)。

（4）綠色家用電子產(chǎn)品評(píng)價(jià)數(shù)據(jù)預(yù)處理。由于數(shù)據(jù)源來(lái)自主管部門、認(rèn)證機(jī)構(gòu)、檢測(cè)機(jī)構(gòu)、相關(guān)企業(yè)等數(shù)據(jù)庫(kù)，也有取自網(wǎng)頁(yè)或其他途徑，因此需根據(jù)不同數(shù)據(jù)來(lái)源的質(zhì)量，進(jìn)行消噪、數(shù)據(jù)過(guò)濾、消除重復(fù)、數(shù)據(jù)類型轉(zhuǎn)換等預(yù)處理。

（5）選擇合適的算法，建立綠色家用電子產(chǎn)品評(píng)價(jià)模型[2]。例如可以選擇使用頻率最高的決策樹算法（如C4.5，CART），建立決策樹模型。第一分支查能效等級(jí)，根據(jù)能效等級(jí)設(shè)立數(shù)據(jù)分隔點(diǎn)，按照能效等級(jí)把產(chǎn)品劃為幾組，其中能效等級(jí)為3級(jí)的直接變?yōu)槿~子節(jié)點(diǎn)，不再往下延伸。對(duì)于能效等級(jí)為1級(jí)、2級(jí)的可以設(shè)為決策樹的第二層，按照產(chǎn)品各部分是否滿足RoHS、REACH要求，不滿足的直接變?yōu)槿~子節(jié)點(diǎn)，不再往下延伸；滿足的可以設(shè)為決策樹的第三層，以此類推。判斷依據(jù)是電子產(chǎn)品滿足綠色產(chǎn)品的要求的個(gè)數(shù)，還可以按更細(xì)的參數(shù)再做層次劃分。這樣不斷通過(guò)創(chuàng)建挖掘結(jié)構(gòu)定義要使用的數(shù)據(jù)列，將挖掘結(jié)構(gòu)鏈接到數(shù)據(jù)源。

利用決策樹系統(tǒng)創(chuàng)建評(píng)價(jià)綠色電子產(chǎn)品最優(yōu)路徑是將綠色電子產(chǎn)品涉及的參數(shù)和指標(biāo)進(jìn)行排序，這樣，經(jīng)過(guò)最少的步驟，得出綠色電子產(chǎn)品評(píng)價(jià)結(jié)果。

（6）評(píng)估。評(píng)價(jià)數(shù)據(jù)挖掘的結(jié)果，選擇最優(yōu)的模型，評(píng)估模型是否適用于可以判斷綠色電子產(chǎn)品相關(guān)的實(shí)際情況。選擇準(zhǔn)確度高的模型，同時(shí)避免取偽錯(cuò)誤給綠色家用電子產(chǎn)品評(píng)價(jià)帶來(lái)的危害和損失。

總之，可以利用數(shù)據(jù)挖掘技術(shù)，通過(guò)整合各相關(guān)機(jī)構(gòu)大量的檢測(cè)報(bào)告和檢測(cè)數(shù)據(jù)，建立電子產(chǎn)品相關(guān)數(shù)據(jù)庫(kù)。用功率、能耗、有毒有害物質(zhì)含量等參數(shù)，形成個(gè)性化變量特征庫(kù)；采用數(shù)據(jù)挖掘技術(shù)，對(duì)大量數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、分析和模型化處理，從中提取關(guān)鍵性數(shù)據(jù)；通過(guò)綠色產(chǎn)品標(biāo)準(zhǔn)，建立數(shù)據(jù)模型，分析電子產(chǎn)品每個(gè)參數(shù)是否均滿足綠色產(chǎn)品相應(yīng)每個(gè)限值的要求；根據(jù)數(shù)據(jù)挖掘的基本模型和工具，在綠色家用電子產(chǎn)品評(píng)價(jià)的數(shù)據(jù)建模中進(jìn)行運(yùn)用，尤其是與綠色家用電子產(chǎn)品評(píng)價(jià)過(guò)程進(jìn)行相關(guān)運(yùn)用，利用數(shù)據(jù)挖掘中的粗糙集、神經(jīng)網(wǎng)絡(luò)、關(guān)聯(lián)規(guī)則、決策樹等來(lái)研究綠色家用電子產(chǎn)品評(píng)價(jià)問(wèn)題；可以通過(guò)事先設(shè)定的標(biāo)準(zhǔn)找到匹配的電子產(chǎn)品，也可以把電子產(chǎn)品進(jìn)行聚類分析讓其自然分群，通過(guò)功率、能耗、有毒有害物質(zhì)含量等相關(guān)數(shù)據(jù)變量的分析預(yù)測(cè)和優(yōu)化，找到滿足綠色電子產(chǎn)品目標(biāo)，發(fā)現(xiàn)評(píng)價(jià)信息和數(shù)據(jù)；利用數(shù)據(jù)挖掘的理論和方法，可以得到綠色電子產(chǎn)品的數(shù)據(jù)挖掘結(jié)果，如確定是否為綠色電子產(chǎn)品、綠色電子產(chǎn)品等級(jí)、電子產(chǎn)品不合格情況等，實(shí)現(xiàn)綠色家用電子產(chǎn)品的評(píng)價(jià)系統(tǒng)，從而為社會(huì)和公眾能夠提供判斷依據(jù)。

4 結(jié)束語(yǔ)

大數(shù)據(jù)技術(shù)和數(shù)據(jù)挖掘技術(shù)為檢驗(yàn)檢測(cè)認(rèn)證行業(yè)帶來(lái)了新的應(yīng)用工具，本文結(jié)合對(duì)綠色電子產(chǎn)品的評(píng)價(jià)，探討數(shù)據(jù)挖掘技術(shù)在檢驗(yàn)檢測(cè)和認(rèn)證領(lǐng)域的應(yīng)用范例，希望國(guó)家主管行政部門牽頭建立一個(gè)檢驗(yàn)檢測(cè)認(rèn)證行業(yè)的大數(shù)據(jù)平臺(tái)，用數(shù)據(jù)挖掘方法發(fā)現(xiàn)檢驗(yàn)檢測(cè)認(rèn)證行業(yè)中的所有關(guān)鍵信息和潛在信息，在避免非法用戶對(duì)數(shù)據(jù)進(jìn)行篡改或竊取的安全保護(hù)措施下，給公眾和社會(huì)提供信息和數(shù)據(jù)查詢，給不同層次的管理人員提供決策的依據(jù)，從而提升檢驗(yàn)檢測(cè)認(rèn)證行業(yè)在國(guó)家的公信力和權(quán)威地位，提高管理者的決策水平。

[1]David Hand，Heikki Mannila，Padhraic Smyth. 數(shù)據(jù)挖掘原理[M].張銀奎，廖麗，宋俊，等譯.機(jī)械工業(yè)出版社，2003.

[2]趙連寶.數(shù)據(jù)挖掘在銀行業(yè)中的應(yīng)用[J].財(cái)政金融，2014，（40）：28-31.