家電服務(wù)全生命周期多源異構(gòu)大數(shù)據(jù)集成技術(shù)研究

張志強(qiáng) 鄒文杰 陳豪賢

（順德職業(yè)技術(shù)學(xué)院 廣東省佛山市 528333）

1 引言

隨著互聯(lián)網(wǎng)的普及應(yīng)用，“互聯(lián)網(wǎng)+家電服務(wù)”越發(fā)成為了我國(guó)家電行業(yè)的一個(gè)新方向，傳統(tǒng)的企業(yè)內(nèi)部信息系統(tǒng)難以滿足家電服務(wù)行業(yè)信息資源共享，優(yōu)化服務(wù)效率的需要，取而代之的是通過互聯(lián)網(wǎng)技術(shù)跨部門、跨企業(yè)、跨平臺(tái)的大數(shù)據(jù)集成技術(shù)應(yīng)用[1]。當(dāng)今，家電行業(yè)產(chǎn)品同質(zhì)化越來越嚴(yán)重，企業(yè)的售后服務(wù)質(zhì)量成為企業(yè)在同行中獲勝的關(guān)鍵，但大部分企業(yè)往往售后服務(wù)跟不上，影響到自身品牌的信譽(yù)度，其主要原因是家電服務(wù)信息網(wǎng)的數(shù)據(jù)比較復(fù)雜，應(yīng)用分散，數(shù)據(jù)結(jié)構(gòu)不一致，數(shù)據(jù)分析十分困難導(dǎo)致的[2]。根據(jù)南方周末的數(shù)據(jù)統(tǒng)計(jì)，全國(guó)十大城市家電報(bào)告中顯示，只有20%的家電企業(yè)建立了售后服務(wù)信息系統(tǒng)，不到5%的家電企業(yè)擁有比較完善的售后服務(wù)相關(guān)機(jī)制[3]。因此，解決我國(guó)當(dāng)今復(fù)雜結(jié)構(gòu)的海量家電服務(wù)數(shù)據(jù)異構(gòu)問題，建立完善的家電售后服務(wù)網(wǎng)絡(luò)，對(duì)我國(guó)家電行業(yè)的發(fā)展和壯大起到至關(guān)重要的作用。

2 家電服務(wù)的全生命周期數(shù)據(jù)集成方法與技術(shù)

2.1 面向家電企業(yè)服務(wù)質(zhì)量的大數(shù)據(jù)集成頂層設(shè)計(jì)

但如果想要使用多源異構(gòu)大數(shù)據(jù)集成技術(shù)來進(jìn)行相應(yīng)家電服務(wù)模式的改革與完善，就需要進(jìn)行各個(gè)生命周期數(shù)據(jù)信息的進(jìn)一步收集。然而這些數(shù)據(jù)一般情況下都分散在不同的企業(yè)和部門中，單純從技術(shù)上很難集成在一起，更主要是管理上的問題，例如缺乏相應(yīng)的數(shù)據(jù)管理機(jī)制、企業(yè)不愿意分享自己的數(shù)據(jù)、高層對(duì)數(shù)據(jù)分享意識(shí)薄弱等[4]，因此，首先要對(duì)家電服務(wù)數(shù)據(jù)集成進(jìn)行頂層設(shè)計(jì)，所謂頂層設(shè)計(jì)，既包括相應(yīng)數(shù)據(jù)的標(biāo)準(zhǔn)化研究，又包括有關(guān)數(shù)據(jù)信息的進(jìn)一步市場(chǎng)分析和集成。如圖1所示。

圖1：面向家電服務(wù)的大數(shù)據(jù)集成頂層設(shè)計(jì)

大數(shù)據(jù)集成的標(biāo)準(zhǔn)化：我國(guó)目前家電服務(wù)數(shù)據(jù)結(jié)構(gòu)復(fù)雜混亂，沒有統(tǒng)一的標(biāo)準(zhǔn)，因此，制定家電數(shù)據(jù)集成相關(guān)標(biāo)準(zhǔn)十分重要，這些標(biāo)準(zhǔn)應(yīng)包括：知識(shí)網(wǎng)絡(luò)標(biāo)準(zhǔn)、專利引用標(biāo)準(zhǔn)等，作為頂層設(shè)計(jì)的技術(shù)依據(jù)[5]。

大數(shù)據(jù)集成的市場(chǎng)分析：使用線上和線下相結(jié)合的方法，調(diào)研和分析我國(guó)家電服務(wù)行業(yè)的現(xiàn)狀和存在問題，形成統(tǒng)計(jì)數(shù)據(jù)和相關(guān)量表，通過對(duì)統(tǒng)計(jì)數(shù)據(jù)的研究，得出有針對(duì)性的解決方案，作為頂層設(shè)計(jì)的數(shù)據(jù)基礎(chǔ)[6]。

大數(shù)據(jù)集成的關(guān)鍵技術(shù)：主要研究家電服務(wù)大數(shù)據(jù)環(huán)境下多源異構(gòu)數(shù)據(jù)集成的關(guān)鍵技術(shù)，有關(guān)關(guān)鍵技術(shù)包括和涵蓋的范圍較為廣泛，諸如數(shù)據(jù)安全技術(shù)以及異構(gòu)數(shù)據(jù)集成技術(shù)等都是其中較為關(guān)鍵的組成部分，能夠在家電服務(wù)過程中起到舉足輕重的作用。

2.2 面向家電服務(wù)質(zhì)量的多源異構(gòu)數(shù)據(jù)集成方法

針對(duì)家電服務(wù)數(shù)據(jù)的多源異構(gòu)特征，可以采用數(shù)據(jù)批量離線集成方法，異構(gòu)數(shù)據(jù)根據(jù)數(shù)據(jù)源的不同，分為面向關(guān)系模式的數(shù)據(jù)源和面向其他模式的數(shù)據(jù)源兩種[7]。

2.2.1 面向關(guān)系模式的數(shù)據(jù)源數(shù)據(jù)集成技術(shù)

對(duì)于比較大型或信息化管理比較規(guī)范的家電企業(yè)，一般會(huì)具備自己的數(shù)據(jù)庫(kù)管理系統(tǒng)，這些數(shù)據(jù)庫(kù)管理系統(tǒng)是面向關(guān)系模式，使用數(shù)據(jù)源集成的方式而形成的數(shù)據(jù)管理系統(tǒng)。他們能夠通過服務(wù)器監(jiān)控的方式，來對(duì)各個(gè)關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)信息變化程度進(jìn)行深入的了解與分析，并通過相應(yīng)的數(shù)據(jù)共享和交互來進(jìn)行一手資料的獲取。在關(guān)系數(shù)據(jù)庫(kù)的建成與使用過程中，所有的數(shù)據(jù)信息更新操作都能夠通過同步到日志文件中來進(jìn)行保存。因此在進(jìn)行關(guān)系型數(shù)據(jù)庫(kù)使用的過程中，即便是數(shù)據(jù)庫(kù)在數(shù)據(jù)記錄和數(shù)據(jù)更新過程中發(fā)生了突發(fā)狀況，相關(guān)數(shù)據(jù)也能夠通過日志文件備份的方式進(jìn)行進(jìn)一步的集成，倘若此時(shí)使用數(shù)據(jù)源B，該數(shù)據(jù)源就能夠通過讀取日志文件的方式來進(jìn)行數(shù)據(jù)信息的讀取，使得有關(guān)信息在兩個(gè)不同數(shù)據(jù)源中進(jìn)行相互間的轉(zhuǎn)換，與數(shù)據(jù)共享，這是關(guān)系數(shù)據(jù)庫(kù)較為典型的特征和使用優(yōu)勢(shì)。

2.2.2 面向其他數(shù)據(jù)模式的數(shù)據(jù)源的數(shù)據(jù)集成

部分家電企業(yè)使用基于XML 的數(shù)據(jù)集成方法進(jìn)行集成，基于XML 的多源異構(gòu)數(shù)據(jù)集成的方法包括異構(gòu)數(shù)據(jù)源、XML 轉(zhuǎn)換器、加載器、元數(shù)據(jù)和集成后的數(shù)據(jù)存儲(chǔ)幾部分的內(nèi)容[9]。通過XML轉(zhuǎn)換器將各種異構(gòu)的源數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一格式的XML 數(shù)據(jù)文件。通過XML 加載器將XML 數(shù)據(jù)文件中的數(shù)據(jù)統(tǒng)一到集成后的數(shù)據(jù)存儲(chǔ)。

2.3 面向家電服務(wù)企業(yè)的多源異構(gòu)數(shù)據(jù)集成技術(shù)

2.3.1 多源異構(gòu)數(shù)據(jù)存儲(chǔ)研究

在進(jìn)行家電服務(wù)展開的過程中，其所包含的數(shù)據(jù)涵蓋范圍較為廣泛，不論是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)都涵蓋在其中，并且在進(jìn)行數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)使用的過程中，只要下達(dá)數(shù)據(jù)分析和量化處理的指令，有關(guān)數(shù)據(jù)就能夠快速響應(yīng)。

2.3.2 多源異構(gòu)海量數(shù)據(jù)計(jì)算和分析

家電企業(yè)中有海量異構(gòu)數(shù)據(jù)，在進(jìn)行異構(gòu)數(shù)據(jù)的實(shí)時(shí)處理過程中，相關(guān)技術(shù)可以通過進(jìn)行在線監(jiān)控和分析的方式來進(jìn)行有關(guān)數(shù)據(jù)的持續(xù)性提供，并且通過大數(shù)據(jù)的應(yīng)用來進(jìn)行實(shí)施的批量計(jì)算和儲(chǔ)存，使得異構(gòu)數(shù)據(jù)能夠通過離線分析的狀態(tài)進(jìn)行相應(yīng)分析任務(wù)的完成。在進(jìn)行數(shù)據(jù)處理的過程中，大數(shù)據(jù)挖掘和分析算法能夠有效的保障有關(guān)數(shù)據(jù)分析順利進(jìn)行，并且還可以通過跨業(yè)務(wù)的數(shù)據(jù)轉(zhuǎn)存和共享形式來進(jìn)行相關(guān)數(shù)據(jù)庫(kù)的建立，這是大數(shù)據(jù)分析和挖掘模型在使用上的擴(kuò)展。

2.3.3 多源異構(gòu)數(shù)據(jù)應(yīng)用服務(wù)接口

包括家電企業(yè)大數(shù)據(jù)所提供的共享服務(wù)以及數(shù)據(jù)分析和挖掘等服務(wù)。面向家電服務(wù)企業(yè)的多源異構(gòu)數(shù)據(jù)集成技術(shù)研究框架圖如圖2所示。

圖2：面向家電服務(wù)企業(yè)的多源異構(gòu)數(shù)據(jù)集成技術(shù)研究框架圖

2.4 面向家電服務(wù)企業(yè)的多源異構(gòu)數(shù)據(jù)處理

2.4.1 異構(gòu)數(shù)據(jù)并行處理技術(shù)

有些離線數(shù)據(jù)在處理過程中并不需要進(jìn)行實(shí)時(shí)數(shù)據(jù)分析，在這種情況下可以使用mapreduce 框架來進(jìn)行有關(guān)數(shù)據(jù)的處理。進(jìn)行這一框架進(jìn)行有關(guān)數(shù)據(jù)處理的過程中，可以充分的發(fā)揮相應(yīng)系統(tǒng)的拓展性使得計(jì)算節(jié)點(diǎn)得到進(jìn)一步的動(dòng)態(tài)增加進(jìn)行海量歷史數(shù)據(jù)的計(jì)算與存儲(chǔ)，這能夠在一定程度上滿足家電進(jìn)行非實(shí)時(shí)性數(shù)據(jù)處理的要求。

但倘若有關(guān)數(shù)據(jù)需要在線進(jìn)行實(shí)時(shí)處理，那么使用上述框架來進(jìn)行數(shù)據(jù)分析，顯然是無法達(dá)到較為良好效果的，這種情況下有關(guān)數(shù)據(jù)研究人員應(yīng)當(dāng)嘗試采用storm 來進(jìn)行數(shù)據(jù)計(jì)算。相比較上述框架而言，storm 有較為明顯的分布式特征，能夠通過并發(fā)處理的方式來進(jìn)行相應(yīng)數(shù)據(jù)的處理和計(jì)算，他也如同上述框架一樣具有較為良好的可拓展性呢，能夠在日常進(jìn)行實(shí)時(shí)數(shù)據(jù)的并流處理。

如果在進(jìn)行相關(guān)實(shí)時(shí)數(shù)據(jù)處理的過程中，數(shù)據(jù)涵蓋量較為廣泛，需要以較強(qiáng)的工作頻率來進(jìn)行數(shù)據(jù)處理和數(shù)據(jù)記錄，那么就不應(yīng)當(dāng)使用storm 來進(jìn)行有關(guān)數(shù)據(jù)的處理，而應(yīng)當(dāng)嘗試使用apache Spark來進(jìn)行有關(guān)數(shù)據(jù)的處理。相比較上述框架而言，Apache Spark 在處理過程中能夠進(jìn)行多線程的計(jì)算，這能夠減少不必要的程序，使得有關(guān)數(shù)據(jù)處理速度得到進(jìn)一步的提升，但在這一過程中內(nèi)存消耗的提升也較為明顯，故而有關(guān)技術(shù)人員應(yīng)當(dāng)謹(jǐn)慎使用。

2.4.2 數(shù)據(jù)安全技術(shù)研究

家電企業(yè)大數(shù)據(jù)的安全主要存在兩方面的問題：首先，在進(jìn)行相應(yīng)的數(shù)據(jù)分析與計(jì)算技術(shù)使用的過程中，用戶的個(gè)人隱私無法得到進(jìn)一步的保障，在用戶進(jìn)行有關(guān)家電使用的過程中，很可能會(huì)出現(xiàn)顯示信息數(shù)據(jù)泄露的情況，這些數(shù)據(jù)一旦遭到泄露，不僅會(huì)使得用戶的個(gè)人隱私安全受到侵害，還很可能會(huì)影響到相應(yīng)家電企業(yè)的名譽(yù)和銷售潛力，最終使得有關(guān)家電企業(yè)的口碑受到影響。其次，在進(jìn)行數(shù)據(jù)處理的過程中，相應(yīng)數(shù)據(jù)的可信程度也無法得到必要的保障，由于不同企業(yè)在進(jìn)行家電生產(chǎn)和制作的過程中，處于各個(gè)不同的生命周期，因此倘若數(shù)據(jù)處理的可信性無法得到必要的保障，那么很可能會(huì)對(duì)有關(guān)家電企業(yè)的日常業(yè)務(wù)活動(dòng)發(fā)展產(chǎn)生不良影響，導(dǎo)致有關(guān)管理人員在活動(dòng)推進(jìn)與計(jì)劃過程中出現(xiàn)決策失誤，最終讓企業(yè)的經(jīng)濟(jì)效益受到影響。

首先有關(guān)企業(yè)工作人員應(yīng)當(dāng)嘗試建立更為科學(xué)合理的權(quán)限管理機(jī)制，讓普通業(yè)務(wù)人員在日常的工作過程中通過大數(shù)據(jù)挖掘和平臺(tái)分析訪問的方式，進(jìn)行核心數(shù)據(jù)竊取的概率得到進(jìn)一步的控制，有關(guān)平臺(tái)只有內(nèi)部運(yùn)營(yíng)那樣才可以直接進(jìn)入，并對(duì)相應(yīng)數(shù)據(jù)進(jìn)行處理和分析，普通業(yè)務(wù)人員無法進(jìn)行相關(guān)數(shù)據(jù)的更改和復(fù)制，只有如此才能夠從根本上保障相應(yīng)數(shù)據(jù)的安全性，確保用戶隱私不會(huì)遭到泄露。

其次，有關(guān)技術(shù)研究人員應(yīng)當(dāng)對(duì)接口的接入進(jìn)行嚴(yán)格的審查，只有如此才能夠進(jìn)一步的避免沒有得到授權(quán)，用戶通過非法接入的方式進(jìn)行家電企業(yè)內(nèi)部核心數(shù)據(jù)的獲取，確保家電企業(yè)內(nèi)部核心數(shù)據(jù)不會(huì)被不法分子盜取，終導(dǎo)致家電企業(yè)的日常發(fā)展和運(yùn)行遭受到嚴(yán)重的損失。最后，在進(jìn)行日常平臺(tái)運(yùn)營(yíng)和維護(hù)的過程中，有關(guān)技術(shù)人員應(yīng)當(dāng)增加數(shù)據(jù)修改的可追蹤機(jī)制，換句話說，有關(guān)平臺(tái)的核心數(shù)據(jù)一旦遭到了非法篡改，那么相應(yīng)技術(shù)研究人員便可以通過非法篡改的數(shù)據(jù)來進(jìn)行數(shù)據(jù)追溯，不僅能夠使得非法篡改數(shù)據(jù)回到原始狀態(tài)，還能夠通過相應(yīng)的數(shù)據(jù)追溯來進(jìn)行不法分子的查處。確保有關(guān)數(shù)據(jù)安全，使得家電企業(yè)的日常數(shù)據(jù)信息安全得到更進(jìn)一步的維護(hù)。

3 家電服務(wù)大數(shù)據(jù)挖掘和分析方法

實(shí)際上產(chǎn)品服務(wù)作為家電企業(yè)日常運(yùn)行和建設(shè)過程中不可或缺的重要組成部分，也是家電制造企業(yè)經(jīng)濟(jì)利益的重要來源，不然任何家電制造企業(yè)都不應(yīng)當(dāng)忽視產(chǎn)品服務(wù)這一環(huán)節(jié)的重要性。為了能夠使得家電服務(wù)的日常產(chǎn)品服務(wù)質(zhì)量能夠得到進(jìn)一步的改進(jìn)與完善，并通過合理的大數(shù)據(jù)挖掘和分析來進(jìn)行產(chǎn)品服務(wù)質(zhì)量的提升，有關(guān)家電企業(yè)應(yīng)當(dāng)嘗試使用更為先進(jìn)的大數(shù)據(jù)挖掘和分析技術(shù)，來進(jìn)行相應(yīng)產(chǎn)品服務(wù)方式和理念的革新，具體大數(shù)據(jù)挖掘和分析應(yīng)用技術(shù)，如圖3所示。

圖3：大數(shù)據(jù)挖掘和分析框架

4 結(jié)論

本文研究我國(guó)家電服務(wù)全生命周期多源異構(gòu)大數(shù)據(jù)集成技術(shù)，具有3 個(gè)創(chuàng)新點(diǎn)：首先，課題研究成員從離線與在線數(shù)據(jù)從分析處理方面的區(qū)別著手，進(jìn)行了適宜家電企業(yè)進(jìn)行多源異構(gòu)數(shù)據(jù)分析集成模式的提出，它有助于提升有關(guān)數(shù)據(jù)的處理安全性和靈活性，并使得相應(yīng)數(shù)據(jù)集成的效率得到進(jìn)一步的提升與完善。其次，有關(guān)家電企業(yè)很可以嘗試通過綜合考量進(jìn)行相關(guān)計(jì)算模型的建設(shè)，這有助于進(jìn)行大數(shù)據(jù)挖掘和分析技術(shù)的進(jìn)一步使用，讓家電制造企業(yè)的日常產(chǎn)品服務(wù)質(zhì)量得到更進(jìn)一步的提升。最后，在進(jìn)行有關(guān)數(shù)據(jù)挖掘和分析模型的建立過程中，技術(shù)人員對(duì)家電企業(yè)的服務(wù)生命周期大數(shù)據(jù)集成進(jìn)行了全面的考察與分析，這能夠使得未來的數(shù)據(jù)分析涉及到家電企業(yè)日常生產(chǎn)與建設(shè)的方方面面。因此，家電大數(shù)據(jù)的多技術(shù)整合、數(shù)據(jù)保密性和可信性將是下一步研究的重點(diǎn)。