離散傅立葉變換用于非連續(xù)工業(yè)數(shù)據(jù)分析

孫學(xué)輝 趙 冰 駱 震 孫培健 彭 斌 聶 聰* 邵學(xué)廣

1(中國(guó)煙草總公司鄭州煙草研究院， 鄭州 450001) 2(河南中煙工業(yè)有限責(zé)任公司， 鄭州 450000) 3(南開(kāi)大學(xué)化學(xué)學(xué)院， 分析科學(xué)研究中心， 天津 300071)

1 引 言

隨著大數(shù)據(jù)時(shí)代的來(lái)臨，科學(xué)研究、工業(yè)生產(chǎn)、商務(wù)活動(dòng)等諸多領(lǐng)域均出現(xiàn)了大規(guī)模的數(shù)據(jù)增長(zhǎng)，如何通過(guò)大數(shù)據(jù)的挖掘和應(yīng)用產(chǎn)生新的知識(shí)和價(jià)值已經(jīng)成為高度關(guān)注的熱點(diǎn)[1,2]。當(dāng)前，很多行業(yè)和領(lǐng)域都涉及到了大數(shù)據(jù)問(wèn)題，例如利用商業(yè)大數(shù)據(jù)進(jìn)行消費(fèi)者行為模式的研究，利用醫(yī)療大數(shù)據(jù)進(jìn)行疾病診斷新方法的研究等等。大數(shù)據(jù)的突出特點(diǎn)是數(shù)量大、產(chǎn)生速度快、數(shù)據(jù)類型多樣和價(jià)值密度較低，必須通過(guò)數(shù)據(jù)的深度挖掘才能得到其高的價(jià)值，但同時(shí)也給數(shù)據(jù)的分析帶來(lái)了挑戰(zhàn)。

在化學(xué)測(cè)量學(xué)領(lǐng)域，大數(shù)據(jù)也越來(lái)越受到重視[3,4]?；瘜W(xué)測(cè)量技術(shù)和儀器的發(fā)展使得化學(xué)測(cè)量數(shù)據(jù)迅速增長(zhǎng)，已經(jīng)難以使用常規(guī)的統(tǒng)計(jì)分析方法直接進(jìn)行處理。因此，用于大數(shù)據(jù)分析的化學(xué)計(jì)量學(xué)方法得到發(fā)展，建立了針對(duì)高維、多類型、時(shí)間序列等數(shù)據(jù)的分析方法[5]。這些方法多為傳統(tǒng)的化學(xué)計(jì)量學(xué)方法，如多元統(tǒng)計(jì)、多元校正與建模、多元分辨與模式識(shí)別等，但在實(shí)際應(yīng)用過(guò)程中，往往與信號(hào)處理、變量選擇、優(yōu)化算法、數(shù)據(jù)融合等方法聯(lián)合，用于相關(guān)分析、定量預(yù)測(cè)、聚類分析與判別分析等，其中基于不同原理的數(shù)據(jù)分割、樣本壓縮、分布式計(jì)算與共識(shí)策略相結(jié)合等技術(shù)在巨量數(shù)據(jù)的分析中發(fā)揮了重要作用。同時(shí)，基于核函數(shù)變換的主成分分析和偏最小二乘算法為大數(shù)據(jù)分析提供了基礎(chǔ)算法[6,7]。

近年來(lái)，深度學(xué)習(xí)在大數(shù)據(jù)分析中的應(yīng)用日益增加。2019年，Belthangady等[8]對(duì)于深度學(xué)習(xí)在圖像恢復(fù)和超高分辨成像分析中的應(yīng)用進(jìn)行了綜述，介紹了深度學(xué)習(xí)應(yīng)用于圖像重建的最新研究進(jìn)展，同時(shí)也對(duì)深度學(xué)習(xí)面臨的挑戰(zhàn)，如訓(xùn)練數(shù)據(jù)的獲取、未知結(jié)構(gòu)發(fā)現(xiàn)的可能性、不確定圖像細(xì)節(jié)的推斷等進(jìn)行了評(píng)述。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在圖像生成和圖像分析方面得到了應(yīng)用，如體層攝影圖像、磁共振圖像以及熒光顯微成像，廣泛應(yīng)用于圖像修復(fù)、卷積與超高分辨率成像、圖像著色(染色)、圖像分割、聚類分析與表型分析等。深度學(xué)習(xí)在光譜數(shù)據(jù)分析中的應(yīng)用也已有報(bào)道，特別是在熒光成像分析、生物醫(yī)學(xué)光譜數(shù)據(jù)分析等中的應(yīng)用。有文獻(xiàn)建立了一種基于卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)結(jié)合深度學(xué)習(xí)方法用于單分子熒光成像光漂白事件計(jì)數(shù)數(shù)據(jù)的分析，獲得單分子熒光漂白軌跡，改善了計(jì)算效率，提高了分析的準(zhǔn)確性，并用于蛋白質(zhì)復(fù)合物化學(xué)計(jì)量比的自動(dòng)預(yù)測(cè)[9]。在近紅外光譜研究領(lǐng)域，采用卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)相結(jié)合建立了一種深度學(xué)習(xí)方法用于“情感模型”研究[10]。采用功能近紅外光譜測(cè)量對(duì)人腦血流進(jìn)行無(wú)損檢測(cè)，檢測(cè)在受到外部刺激時(shí)的光譜變化，然后通過(guò)所設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)建立光譜變化與響應(yīng)之間的關(guān)系。也有文獻(xiàn)報(bào)道了用于建立近紅外光譜定量模型的深度學(xué)習(xí)方法[11], 設(shè)計(jì)了包括三個(gè)卷積層和一個(gè)全連層的網(wǎng)絡(luò)結(jié)構(gòu)，用于4組開(kāi)放的近紅外光譜數(shù)據(jù)分析，簡(jiǎn)化了數(shù)據(jù)處理步驟，計(jì)算結(jié)果也得到了明顯改善。

本研究提出了一種工業(yè)生產(chǎn)大數(shù)據(jù)的分析方案與方法。對(duì)于間歇式、分批次、由多種原料形成產(chǎn)品的工業(yè)生產(chǎn)，產(chǎn)品質(zhì)量的檢測(cè)一般按照產(chǎn)品的生產(chǎn)批次進(jìn)行，而原料的檢驗(yàn)則按照進(jìn)貨數(shù)量和時(shí)間進(jìn)行檢驗(yàn)，無(wú)論是檢驗(yàn)的頻次還是檢驗(yàn)的時(shí)間都不盡相同，產(chǎn)品質(zhì)量的檢驗(yàn)指標(biāo)和原料的檢測(cè)數(shù)據(jù)之間很難具有一一對(duì)應(yīng)關(guān)系。因此，難以建立產(chǎn)品質(zhì)量與原料參數(shù)之間的定量模型。本研究將產(chǎn)品的質(zhì)量指標(biāo)和原料的檢測(cè)數(shù)據(jù)都假定為周期性變化的數(shù)據(jù)，采用傅里葉變換(Fourier transform, FT)得到各指標(biāo)和參數(shù)的頻率信息，并利用逆變換重構(gòu)相對(duì)應(yīng)的指標(biāo)和參數(shù)，然后再建立質(zhì)量指標(biāo)和參數(shù)之間的關(guān)系模型，用于考察各生產(chǎn)原料對(duì)產(chǎn)品質(zhì)量的影響。

2 數(shù)據(jù)與分析方法

2.1 數(shù)據(jù)收集

本研究收集了某卷煙生產(chǎn)過(guò)程的工業(yè)生產(chǎn)數(shù)據(jù)，作為產(chǎn)品的質(zhì)量控制指標(biāo)，收集了煙氣的常規(guī)成分含量，即焦油、煙氣煙堿、一氧化碳和煙氣總粒相物，分別用y1、y2、y3、y4表示。為了研究質(zhì)量指標(biāo)與卷煙材料之間的關(guān)系，還收集了煙支物理參數(shù)(煙支重量、煙支吸阻、總通風(fēng)率)、濾棒參數(shù)(濾棒壓降均值)以及卷煙紙參數(shù)(卷煙紙定量，即每平方米卷煙紙的重量)，分別用x1、x2、x3、x4、x5表示。所有指標(biāo)和參數(shù)均參照國(guó)家標(biāo)準(zhǔn)檢測(cè)得到，煙氣的常規(guī)成分含量的測(cè)試標(biāo)準(zhǔn)分別是GB/T 19609-2004(卷煙用常規(guī)分析用吸煙機(jī)測(cè)定總粒相物和焦油)、GB/T 23355-2009(卷煙總粒相物中煙堿的測(cè)定，氣相色譜法)、GB/T 23356-2009(卷煙煙氣氣相中一氧化碳的測(cè)定，非散射紅外法)； 煙支重量、煙支吸阻、總通風(fēng)率和濾棒壓降的測(cè)試標(biāo)準(zhǔn)是GB/T 22838-2009(卷煙和濾棒物理性能的測(cè)定)； 卷煙紙定量的測(cè)試標(biāo)準(zhǔn)是GB/T 451.2-2002(紙和紙板定量的測(cè)定)。所收集指標(biāo)和參數(shù)的時(shí)間跨度為2013年1月1日到2018年12月31日，但各指標(biāo)和參數(shù)數(shù)據(jù)的采集日期和數(shù)據(jù)點(diǎn)的多少均不相同，即數(shù)據(jù)之間無(wú)法進(jìn)行一一對(duì)應(yīng)。因此，無(wú)法直接采用這些數(shù)據(jù)對(duì)生產(chǎn)工藝參數(shù)對(duì)產(chǎn)品質(zhì)量指標(biāo)的影響進(jìn)行研究。本實(shí)驗(yàn)所使用的數(shù)據(jù)中，煙氣成分、煙支物理參數(shù)、濾棒參數(shù)和卷煙紙參數(shù)分別有72、1700、1728和80個(gè)數(shù)據(jù)，對(duì)于每天對(duì)同一指標(biāo)或參數(shù)進(jìn)行多次檢測(cè)的情況，采用了平均值進(jìn)行計(jì)算。涉及的數(shù)據(jù)雖然數(shù)據(jù)量并不是很大，但收集時(shí)間跨度為6年，并且數(shù)據(jù)的采樣密度不一， 采樣時(shí)間也不同步，因此具備了大數(shù)據(jù)的某些特征。

2.2 計(jì)算方法

FT是一種常用的信號(hào)分析方法，最常用于周期性信號(hào)分析，考察信號(hào)中的不同頻率成分。許多波形可作為信號(hào)的成分，比如正弦波、方波、鋸齒波等，F(xiàn)T采用正弦波作為信號(hào)的成分。連續(xù)FT用于函數(shù)的連續(xù)頻譜分析，而離散傅立葉變換(Discrete Fourier Transform，DFT)是信號(hào)分析的基本算法，把信號(hào)從時(shí)間域變換到頻率域，進(jìn)而研究信號(hào)的頻譜結(jié)構(gòu)和變化規(guī)律。DFT的正、反變換定義為：

(1)

(2)

其中，

(3)

任何連續(xù)測(cè)量的離散時(shí)序信號(hào)x(n)都可以表示為不同頻率的正弦/余弦波信號(hào)的無(wú)限疊加，通過(guò)FT對(duì)測(cè)量信號(hào)進(jìn)行分析可以得到信號(hào)中不同正弦/余弦波信號(hào)的頻率、振幅和相位。因此，F(xiàn)T的實(shí)質(zhì)是分析信號(hào)中的不同頻率成分及它們的相對(duì)大小。在實(shí)際應(yīng)用中, DFT一般使用快速傅里葉變換(Fast Fourier transform, FFT)算法進(jìn)行計(jì)算，將DFT計(jì)算轉(zhuǎn)化為循環(huán)卷積，減少了乘法計(jì)算，提高了計(jì)算速度。本研究采用MATLAB系統(tǒng)中的FFT函數(shù)，使用的是Cooley-Tukey算法[12]。

計(jì)算時(shí)，首先將各時(shí)間上各自獨(dú)立的控制指標(biāo)和工業(yè)生產(chǎn)參數(shù)按照時(shí)間順序排列，然后進(jìn)行傅里葉分析，得到數(shù)據(jù)隨時(shí)間的變化規(guī)律，并對(duì)數(shù)據(jù)中最主要的頻率成分進(jìn)行考察，分析各指標(biāo)和參數(shù)的周期性變化規(guī)律。然后，采用傅里葉逆變換重構(gòu)各指標(biāo)和參數(shù)，得到時(shí)間上一一對(duì)應(yīng)的指標(biāo)和參數(shù)值，再利用逐步回歸方法建立指標(biāo)和參數(shù)之間的多元線性模型，得到對(duì)各指標(biāo)與參數(shù)之間的定量模型。

3 結(jié)果與討論

3.1 數(shù)據(jù)預(yù)處理與數(shù)據(jù)分布

數(shù)據(jù)預(yù)處理往往是大數(shù)據(jù)分析的第一個(gè)步驟，使數(shù)據(jù)分析適用于后續(xù)的計(jì)算方法，同時(shí)保證數(shù)據(jù)分析與預(yù)測(cè)結(jié)果的準(zhǔn)確性與可靠性, 主要包括數(shù)據(jù)清理(或稱為“數(shù)據(jù)清洗”)、數(shù)據(jù)集成、數(shù)據(jù)歸約與數(shù)據(jù)轉(zhuǎn)換等。本研究的數(shù)據(jù)包括不同的化學(xué)測(cè)量值和原材料及產(chǎn)品的物理參數(shù)，具有不同的量綱，數(shù)值的差異較大。因此首先將數(shù)據(jù)進(jìn)行了標(biāo)準(zhǔn)化處理，即將各參數(shù)的數(shù)值減去其平均值再除以其標(biāo)準(zhǔn)偏差。同時(shí)，本研究的數(shù)據(jù)中各參數(shù)或指標(biāo)在收集時(shí)間上具有較大差異，即數(shù)據(jù)點(diǎn)數(shù)、收集時(shí)間、收集密度等都不相同。為了便于時(shí)間上的一致性，本研究采用“時(shí)間數(shù)”作為時(shí)間量度，即采樣時(shí)間距公元1年1月1日0時(shí)的時(shí)間差值，其數(shù)值包括整數(shù)部分和小數(shù)部分，前者表示天數(shù)，后者表示時(shí)、分、秒等。只采用整數(shù)部分，如2013年1月1日對(duì)應(yīng)的數(shù)值是735235，而2018年12月31日的數(shù)值是737425。

圖1是經(jīng)數(shù)據(jù)處理后的5個(gè)自變量(過(guò)程參數(shù))和4個(gè)因變量(質(zhì)量指標(biāo))隨時(shí)間的變化。首先，各參數(shù)在數(shù)據(jù)量上有很大不同，且采樣時(shí)間并不對(duì)應(yīng)。其次，某些參數(shù)(如x1、x2、x3、x4)在2018年期間有一段時(shí)間的缺失，需要對(duì)這些數(shù)據(jù)進(jìn)行補(bǔ)充才能開(kāi)展后續(xù)的研究工作。另一方面，該圖展示了生產(chǎn)過(guò)程在6年內(nèi)基本穩(wěn)定，但存在著一定的波動(dòng)或變動(dòng)，如x2存在階段性的下降現(xiàn)象，x3存在整體上的上升趨勢(shì)，而4個(gè)質(zhì)量參數(shù)均具有比較明顯的下降趨勢(shì)。

圖1 過(guò)程參數(shù)(A)和質(zhì)量指標(biāo)(B)隨時(shí)間的變動(dòng)Fig.1 Variation of production (A) and quality (B) parameters with the date of the detection

3.2 數(shù)據(jù)的周期性分析

為了考察各參數(shù)和指標(biāo)的周期性變化，分別對(duì)各參數(shù)進(jìn)行了FT。采用DFT得到的系數(shù)如圖2所示。由于各參數(shù)和各指標(biāo)的結(jié)果具有很高的相似性，圖中只顯示了過(guò)程參數(shù)x1和質(zhì)量指標(biāo)y1的計(jì)算結(jié)果。盡管圖1顯示各參數(shù)和指標(biāo)都具有不同程度的波動(dòng)，從圖2可以清楚地看出，數(shù)據(jù)的變動(dòng)無(wú)明顯的周期性，兩圖中絕對(duì)值最大的系數(shù)占所有系數(shù)的百分比只有0.12%和2.78%。但是與長(zhǎng)周期對(duì)應(yīng)的前幾個(gè)系數(shù)還是相對(duì)較大，表明數(shù)據(jù)在6年的時(shí)間里仍然具有單調(diào)下降或上升的趨勢(shì)以及周期在一年以上級(jí)別的周期性變化，說(shuō)明無(wú)論是生產(chǎn)原料還是產(chǎn)品都存在著隨時(shí)間逐漸小幅度變化的因素。

3.3 重構(gòu)數(shù)據(jù)與定量模型

為了建立質(zhì)量指標(biāo)與過(guò)程參數(shù)之間的定量關(guān)系模型，采用傅里葉逆變換對(duì)所有參數(shù)和指標(biāo)進(jìn)行了重構(gòu)計(jì)算，對(duì)原始數(shù)據(jù)中心缺失的數(shù)據(jù)進(jìn)行了補(bǔ)充并得到了時(shí)間上一一對(duì)應(yīng)的過(guò)程參數(shù)和質(zhì)量指標(biāo)數(shù)據(jù)。在重構(gòu)計(jì)算中，整個(gè)時(shí)間跨度(6年)劃分為1000個(gè)等間隔的時(shí)間點(diǎn)，利用公式(2)計(jì)算每個(gè)時(shí)間點(diǎn)的各參數(shù)和指標(biāo)的數(shù)值。圖3顯示了重構(gòu)計(jì)算的結(jié)果。

通過(guò)圖3與圖1的比較可以發(fā)現(xiàn)，數(shù)據(jù)隨時(shí)間的變化在基本輪廓上保持了一致，說(shuō)明重構(gòu)數(shù)據(jù)保持了原始數(shù)據(jù)的基本信息。但仔細(xì)比較各曲線的細(xì)節(jié)可以進(jìn)一步發(fā)現(xiàn)，無(wú)論是采樣密度很高的4個(gè)參數(shù)(x1、x2、x3、x4)還是采樣密度較低的參數(shù)(x5和y)均得到了平滑處理，既對(duì)高密度數(shù)據(jù)中的快速變動(dòng)進(jìn)行了平滑， 也對(duì)低密度數(shù)據(jù)中由于采用時(shí)間間隔不合適帶來(lái)的大幅變動(dòng)進(jìn)行了修正，在一定程度上增加了數(shù)據(jù)的可用性。同時(shí)，重構(gòu)數(shù)據(jù)對(duì)原始數(shù)據(jù)中的缺失數(shù)據(jù)進(jìn)行了有效補(bǔ)充， 因此，數(shù)據(jù)的重構(gòu)達(dá)到了提升數(shù)據(jù)質(zhì)量的目的。更為重要的是，高密度數(shù)據(jù)的數(shù)據(jù)點(diǎn)數(shù)得到了縮減，而低密度數(shù)據(jù)的數(shù)據(jù)點(diǎn)數(shù)得到了提高，并且在時(shí)間點(diǎn)上一一對(duì)應(yīng)，為建立質(zhì)量指標(biāo)和過(guò)程參數(shù)之間的定量模型提供了可行的數(shù)據(jù)集。

圖2 過(guò)程參數(shù)x1(A)和質(zhì)量指標(biāo)y1(B)的傅里葉變換系數(shù)Fig.2 Coefficients obtained by Fourier transform of production for parameter x1 (A) and quality for parameter y1 (B), respectively

圖3 過(guò)程參數(shù)(A)和質(zhì)量指標(biāo)(B)的重構(gòu)數(shù)據(jù)Fig.3 Reconstructed data for production for parameter x1 (A) and quality for parameter y1 (B)

表1是基于重構(gòu)數(shù)據(jù)所建立的定量模型及模型的評(píng)價(jià)參數(shù)。建模采用了基于多元線性回歸的逐步回歸方法，通過(guò)對(duì)每個(gè)自變量參數(shù)在回歸模型中的顯著性進(jìn)行了刪除。表中模型系數(shù)為0的參數(shù)是指由于置信度大于0.05而被逐步回歸移除的參數(shù)，在定量模型中沒(méi)有被使用。另外，由于所有參數(shù)和指標(biāo)均經(jīng)過(guò)了標(biāo)準(zhǔn)化處理， 模型的常數(shù)項(xiàng)基本為零(實(shí)際計(jì)算值均在10-4級(jí)別)，因此表中沒(méi)有列出。RMSE是模型的擬合總誤差，即每個(gè)質(zhì)量指標(biāo)數(shù)據(jù)擬合誤差平方和的均值，數(shù)值越小, 表示模型的質(zhì)量越高。表中的最后一列是模型自預(yù)測(cè)結(jié)果的平均偏差和最大偏差?？梢钥闯?，平均偏差均<5%，結(jié)合表中的標(biāo)準(zhǔn)偏差數(shù)據(jù)可以進(jìn)一步說(shuō)明, 大部分預(yù)測(cè)結(jié)果的偏差都在可接受的范圍之內(nèi)。因此，所建立的模型具有較好的預(yù)測(cè)準(zhǔn)確性。最大誤差的最大值達(dá)到17%，說(shuō)明還存在個(gè)別預(yù)測(cè)誤差較大的預(yù)測(cè)結(jié)果，但對(duì)實(shí)際生產(chǎn)數(shù)據(jù)來(lái)說(shuō)，此結(jié)果仍在可接受的范圍。

表1 質(zhì)量指標(biāo)與過(guò)程參數(shù)之間的定量關(guān)系模型及評(píng)價(jià)參數(shù)

4 結(jié) 論

工業(yè)生產(chǎn)數(shù)據(jù)往往具有采樣不連續(xù)、數(shù)據(jù)密度差異較大、數(shù)據(jù)缺失或不完整等特點(diǎn)。本研究針對(duì)工業(yè)生產(chǎn)數(shù)據(jù)的特點(diǎn)，采用傅里葉變換對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，實(shí)現(xiàn)了數(shù)據(jù)的平滑、缺失數(shù)據(jù)的補(bǔ)充以及時(shí)間上不能對(duì)應(yīng)等問(wèn)題，實(shí)現(xiàn)了時(shí)間上不能一一對(duì)應(yīng)的因變量和自變量之間的模型建立。采用時(shí)間跨度為6年的產(chǎn)品質(zhì)量指標(biāo)、物理指標(biāo)和原材料的性能指標(biāo)等數(shù)據(jù)，研究了工業(yè)生產(chǎn)數(shù)據(jù)的數(shù)據(jù)分布，進(jìn)行了數(shù)據(jù)變動(dòng)的周期性分析，建立了產(chǎn)品質(zhì)量指標(biāo)與物理指標(biāo)和原材料性能之間的定量模型，本研究所建立的模型具有較好的預(yù)測(cè)能力。隨著各行業(yè)的發(fā)展和分析能力的提高，為實(shí)際生產(chǎn)服務(wù)的大數(shù)據(jù)分析需求會(huì)逐步提升，發(fā)展針對(duì)分析測(cè)試大數(shù)據(jù)的分析方法具有重要意義。所建立的方法為非連續(xù)采樣的多參數(shù)數(shù)據(jù)分析提供了一種可行的方法，為工業(yè)生產(chǎn)數(shù)據(jù)，特別是工業(yè)生產(chǎn)大數(shù)據(jù)的數(shù)據(jù)分析與建模將具有一定的參考價(jià)值。