紡織行業(yè)數(shù)據(jù)處理過(guò)程中大數(shù)據(jù)技術(shù)的選擇與應(yīng)用

劉佩全

紡織行業(yè)擁有經(jīng)濟(jì)運(yùn)行數(shù)據(jù)、海關(guān)進(jìn)出口數(shù)據(jù)、企業(yè)生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)、產(chǎn)業(yè)集群的經(jīng)濟(jì)運(yùn)行數(shù)據(jù)、市場(chǎng)價(jià)格數(shù)據(jù)、電商平臺(tái)以及經(jīng)濟(jì)信息資訊等各類(lèi)行業(yè)數(shù)據(jù)信息，這些數(shù)據(jù)能夠從宏觀上反映行業(yè)的運(yùn)行態(tài)勢(shì)。紡織行業(yè)開(kāi)展行業(yè)運(yùn)行數(shù)據(jù)的統(tǒng)計(jì)分析工作已有多年，簡(jiǎn)單的數(shù)據(jù)統(tǒng)計(jì)分析經(jīng)驗(yàn)已經(jīng)很豐富，但要說(shuō)清多種數(shù)據(jù)之間的相關(guān)性，依靠傳統(tǒng)的BI技術(shù)和統(tǒng)計(jì)分析方法相對(duì)困難。大數(shù)據(jù)技術(shù)Hadoop可以很好地解決紡織行業(yè)海量數(shù)據(jù)的處理、計(jì)算、存儲(chǔ)以及挖掘等問(wèn)題，再結(jié)合隨機(jī)森林、支持向量機(jī)、樸素貝葉斯、決策樹(shù)、線性回歸等數(shù)學(xué)統(tǒng)計(jì)算法，有助于探索紡織行業(yè)大數(shù)據(jù)處理的最佳方案，在紡織大數(shù)據(jù)中找到影響市場(chǎng)發(fā)展、價(jià)格等的關(guān)鍵因素，從而為整合紡織行業(yè)數(shù)據(jù)提供保障，為行業(yè)發(fā)展和政策制定提供借鑒和參考。

一、紡織行業(yè)大數(shù)據(jù)技術(shù)的應(yīng)用

1.數(shù)據(jù)的抓取與清洗

紡織行業(yè)數(shù)據(jù)種類(lèi)繁多，其中包括互聯(lián)網(wǎng)抓取各國(guó)海關(guān)數(shù)據(jù)、電商銷(xiāo)售產(chǎn)品價(jià)格數(shù)據(jù)、國(guó)家統(tǒng)計(jì)局?jǐn)?shù)據(jù)、匯率、專(zhuān)業(yè)市場(chǎng)產(chǎn)品價(jià)格、產(chǎn)業(yè)集群企業(yè)經(jīng)營(yíng)狀況數(shù)據(jù)、上市公司財(cái)務(wù)數(shù)據(jù)及經(jīng)濟(jì)運(yùn)行信息等約40大類(lèi)數(shù)據(jù)，100個(gè)左右小類(lèi)數(shù)據(jù)，它們統(tǒng)一存儲(chǔ)于關(guān)系型數(shù)據(jù)庫(kù)和Hadoop的HIVE中。

利用大數(shù)據(jù)Hadoop技術(shù)的MapReduce框架多實(shí)例下并行清洗紡織數(shù)據(jù)，以數(shù)據(jù)字典為基礎(chǔ)，通過(guò)對(duì)入庫(kù)語(yǔ)句進(jìn)行分詞或者語(yǔ)義分析，使得大數(shù)據(jù)的預(yù)處理得以準(zhǔn)確實(shí)現(xiàn)。MapReduce框架通過(guò)任務(wù)追蹤器啟動(dòng)“Reduce”任務(wù)，匯總Map階段存儲(chǔ)在各個(gè)節(jié)點(diǎn)上的結(jié)果數(shù)據(jù)，獲得原始查詢(xún)的“答案”，然后將“答案”加載到集群的另一個(gè)節(jié)點(diǎn)中，實(shí)現(xiàn)了多種分析環(huán)境結(jié)合的結(jié)果分析。Hadoop技術(shù)高效處理和分析數(shù)據(jù)的能力，節(jié)省了非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)處理的成本和開(kāi)支。Hadoop集群可靈活增加數(shù)據(jù)節(jié)點(diǎn)，數(shù)據(jù)由TB級(jí)擴(kuò)展到EB級(jí)很方便，不必依賴(lài)樣本數(shù)據(jù)集，就可以處理和分析所有相關(guān)數(shù)據(jù)。 具體如圖 1 所示。

2.數(shù)據(jù)恢復(fù)

大數(shù)據(jù)Hadoop技術(shù)已充分考慮數(shù)據(jù)安全問(wèn)題，數(shù)據(jù)至少保存 3 份，并設(shè)置回收站功能，對(duì)于誤刪除的數(shù)據(jù)可隨時(shí)恢復(fù)，只需簡(jiǎn)單配置即可。

找到配置文件core-site.xml，在其中添加如下信息：

fs.trash.interval

9999

其中9999代表分鐘數(shù)，即代表刪除的文件或目錄在“.Trash”（回收站）中保留的時(shí)間，可自行設(shè)置。

用hadoop fs -lsr 時(shí)暫時(shí)看不到.Trash，在刪除某個(gè)文件或者目錄之后，再次用lsr即可看到所在目錄下的回收站.Trash已經(jīng)建好：再用hadoop fs -mv user/cloud/.Trash/ Current/user/cloud/123456789/user/cloud，即可恢復(fù)需修復(fù)的數(shù)據(jù)。

3.數(shù)據(jù)離散化

依托大數(shù)據(jù)技術(shù)對(duì)紡織行業(yè)數(shù)據(jù)進(jìn)行離散化處理。由于紡織行業(yè)數(shù)據(jù)中的極端值對(duì)模型效果影響較大，容易導(dǎo)致模型虛假現(xiàn)象出現(xiàn)，將原本不存在的關(guān)系作為重要關(guān)系學(xué)習(xí)，從而導(dǎo)致模型算出錯(cuò)誤的結(jié)果。為了防止此現(xiàn)象產(chǎn)生，必須對(duì)連續(xù)型數(shù)據(jù)進(jìn)行離散化處理，自變量和目標(biāo)變量之間的相對(duì)關(guān)系變得清晰。如果自變量和目標(biāo)變量之間是非線性關(guān)系，可以重新定義離散后變量取值，如采取0，1的形式，由一個(gè)變量派生為多個(gè)變量，分別確定每段和目標(biāo)變量間的聯(lián)系，雖減少了模型的自由度，但可提高模型的靈活度。

4.數(shù)據(jù)模型的選擇

大數(shù)據(jù)技術(shù)含有豐富的計(jì)算方法和數(shù)據(jù)模型，利用這些模型和算法對(duì)紡織行業(yè)數(shù)據(jù)進(jìn)行相關(guān)性分析和挖掘，分析出紡織行業(yè)數(shù)據(jù)之間潛在的關(guān)系和價(jià)值，實(shí)現(xiàn)對(duì)紡織行業(yè)發(fā)展的預(yù)測(cè)和預(yù)警。常用的分類(lèi)算法有決策樹(shù)、樸素貝葉斯分類(lèi)、K-近鄰、支持向量機(jī)、線性回歸、曲線擬合等，不同應(yīng)用場(chǎng)景應(yīng)選擇不同的應(yīng)用模型，同一應(yīng)用場(chǎng)景則選擇計(jì)算結(jié)果最好的模型。

5.大數(shù)據(jù)技術(shù)架構(gòu)和結(jié)果展現(xiàn)

大數(shù)據(jù)Hadoop技術(shù)集群可提供海量數(shù)據(jù)的存儲(chǔ)與處理能力，通過(guò)軟硬件優(yōu)化與整合，形成一套高性能的軟硬一體的紡織大數(shù)據(jù)解決方案，其體系架構(gòu)如圖 2 所示。

紡織數(shù)據(jù)進(jìn)入Hadoop系統(tǒng)，經(jīng)過(guò)數(shù)據(jù)處理和模型選擇之后，各類(lèi)數(shù)據(jù)指標(biāo)結(jié)合各種分析模型，利用Hadoop高效處理紡織數(shù)據(jù)的能力，可秒級(jí)生成分析結(jié)果，再根據(jù)結(jié)果進(jìn)行紡織行業(yè)的研判與預(yù)測(cè)。

在紡織行業(yè)運(yùn)行指標(biāo)預(yù)測(cè)時(shí)，經(jīng)常用到線性回歸模型，以找到不同指標(biāo)之間可能存在的關(guān)系。以城鎮(zhèn)居民衣著類(lèi)消費(fèi)支出和城鎮(zhèn)居民收入兩個(gè)指標(biāo)為例。多年來(lái)居民收入的快速增長(zhǎng)帶動(dòng)了衣著類(lèi)消費(fèi)的增長(zhǎng)，2004 — 2014年，我國(guó)城鎮(zhèn)居民人均衣著類(lèi)消費(fèi)增長(zhǎng)2.08倍，年均增長(zhǎng)11.91%，兩個(gè)指標(biāo)之間似乎存在某種動(dòng)態(tài)關(guān)系。從Hadoop中調(diào)取若干年指標(biāo)，應(yīng)用回歸模型進(jìn)行擬合運(yùn)算，得到回歸方程， Y=0.073X+30.823（Y代表城鎮(zhèn)居民衣著類(lèi)消費(fèi)支出，X代表城鎮(zhèn)居民收入）。圖 3 給出了計(jì)算過(guò)程，但圖中數(shù)據(jù)不作為現(xiàn)實(shí)分析數(shù)據(jù)使用。

一是選擇模型，根據(jù)紡織行業(yè)分析需要，從模型庫(kù)調(diào)取分析模型，每種模型對(duì)應(yīng)不同的影響因素和分析算法；

二是選擇參數(shù)，調(diào)取指標(biāo)庫(kù)數(shù)據(jù)，選擇要分析的幾個(gè)指標(biāo)，并選擇合適的周期（如年、月、時(shí)間段）；

三是生成結(jié)果，根據(jù)模型運(yùn)算，生成分析結(jié)果，并可對(duì)各系數(shù)進(jìn)行手動(dòng)調(diào)整，對(duì)未來(lái)指標(biāo)進(jìn)行預(yù)測(cè)。

通過(guò)模型運(yùn)算，可發(fā)現(xiàn)不同指標(biāo)之間的關(guān)系，為紡織行業(yè)進(jìn)行運(yùn)行分析及預(yù)測(cè)提供數(shù)據(jù)參考。

二、大數(shù)據(jù)技術(shù)在紡織行業(yè)數(shù)據(jù)處理中的應(yīng)用前景

當(dāng)今，紡織行業(yè)正在采用多種方式采集行業(yè)數(shù)據(jù)及信息，以期能夠建立覆蓋紡織行業(yè)經(jīng)濟(jì)運(yùn)行、專(zhuān)業(yè)市場(chǎng)、產(chǎn)業(yè)集群、進(jìn)出口、電子商務(wù)等多方面的行業(yè)綜合數(shù)據(jù)庫(kù)系統(tǒng)，最終構(gòu)建行業(yè)大數(shù)據(jù)信息服務(wù)平臺(tái)，更好地為國(guó)家宏觀管理部門(mén)的決策服務(wù)，為企業(yè)應(yīng)對(duì)市場(chǎng)變化服務(wù)，促進(jìn)行業(yè)平穩(wěn)、健康、可持續(xù)發(fā)展。

大數(shù)據(jù)技術(shù)Hadoop本身是一個(gè)全新的數(shù)據(jù)處理和分析技術(shù)，擁有超過(guò)現(xiàn)有技術(shù)的強(qiáng)大處理能力和深度挖掘數(shù)據(jù)的能力，這是以往的方式所不具有的優(yōu)點(diǎn)。因此，紡織行業(yè)在利用Hadoop進(jìn)行數(shù)據(jù)處理之時(shí)，必須真正認(rèn)識(shí)并充分利用其優(yōu)點(diǎn)，根據(jù)實(shí)際情況和需求選擇合適的方式進(jìn)行數(shù)據(jù)處理。大數(shù)據(jù)技術(shù)在紡織行業(yè)數(shù)據(jù)處理中，不但能夠節(jié)約大量的時(shí)間和人工成本，更重要的是可以完成傳統(tǒng)數(shù)據(jù)庫(kù)無(wú)法完成的非結(jié)構(gòu)化數(shù)據(jù)的直接處理，在建立紡織行業(yè)大數(shù)據(jù)信息服務(wù)平臺(tái)中發(fā)揮重要作用。