消費者偏好預(yù)測的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型

金忠星 李東

摘 要：通過對于人類大腦活動的研究來分析消費者對廣告和產(chǎn)品的反應(yīng)的神經(jīng)營銷正在受到新的關(guān)注。針對基于腦電波（EEG）的神經(jīng)營銷，提出了一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的消費者對產(chǎn)品的偏好預(yù)測方法。首先，為了提取消費者EEG的特征，采用短時傅里葉變換（STFT）與雙調(diào)和樣條插值，從多通道腦電信號中得到了5個不同頻帶的EEG形圖視頻;然后，提出了一種結(jié)合5個三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）與多層長短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)的預(yù)測模型，用于從腦電地形圖視頻預(yù)測到消費者的偏好。與卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型和LSTM神經(jīng)網(wǎng)絡(luò)模型相比，消費者依賴模型的平均準(zhǔn)確度分別提高了15.05個百分點和19.44個百分點，消費者獨立模型的平均準(zhǔn)確度分別提高了16.34個百分點和17.88個百分點。理論分析與實驗結(jié)果表明，所提出的消費者偏好預(yù)測系統(tǒng)可以以低成本提供有效的營銷策略開發(fā)和營銷管理。

關(guān)鍵詞：深度學(xué)習(xí);三維卷積神經(jīng)網(wǎng)絡(luò);長短期記憶神經(jīng)網(wǎng)絡(luò);神經(jīng)營銷;腦電地形圖視頻

Abstract： Neuromarketing， by which consumer responses to advertisements and products are analyzed through research on human brain activity， is receiving new attention. Aiming at neuromarketing based on ElectroEncephaloGraphy （EEG）， a method of consumer preference prediction based on deep learning neural network was proposed. Firstly， in order to extract features of consumers EEG， five different frequency bands of EEG topographic videos were obtained from multi-channel EEG signals by using Short Time Fourier Transform （STFT） and biharmonic spline interpolation. Then， a prediction model combining five three-Dimensional Convolutional Neural Networks （3D CNNs） and multi-layer Long Short-Term Memory （LSTM） neural networks was proposed for predicting consumer preference from EEG topographic videos. Compared with the Convolutional Neural Network （CNN） model and LSTM neural network model， the average accuracy of consumer-dependence model was increased by 15.05 percentage points and 19.44 percentage points respectively， and the average accuracy of consumer-independence model was increased by 16.34 percentage points and 17.88 percentage points respectively. Theoretical analysis and experimental results show that the proposed consumer preference prediction system can provide effective marketing strategy development and marketing management at low cost.

Key words： deep learning; 3D Convolutional Neural Network （3D CNN）; Long Short-Term Memory （LSTM） neural network; neuromarketing; ElectroEncephaloGraphy （EEG） topographic video

0 引言

準(zhǔn)確了解消費者想要什么以及消費者愿意做什么，對每家公司來說既是渴望又是挑戰(zhàn)，因此，許多公司在消費者研究方面投入了大量資金，以提前掌握消費者對產(chǎn)品或廣告的反應(yīng)。然而，與由于各種原因（包括消費者和社會關(guān)系的主觀感受）導(dǎo)致的公司所花費的成本和時間相比，傳統(tǒng)的研究技術(shù)（例如焦點小組訪談和調(diào)查）往往未能提供令人滿意的結(jié)果。

最近，“神經(jīng)營銷”作為克服傳統(tǒng)消費者研究局限的更科學(xué)的研究技術(shù)而備受關(guān)注。神經(jīng)營銷，是人類大腦生物學(xué)研究中的神經(jīng)和商業(yè)營銷的結(jié)合名詞。它通過測量消費者的大腦活動，分析大腦活動信息（如無意識反應(yīng)等），進而了解消費者的心理和行為，并將其應(yīng)用于營銷。在21世紀，先進的高級工程技術(shù)應(yīng)用于腦生理學(xué)領(lǐng)域，這使人們能夠通過開發(fā)安全的大腦活動測量裝置來測量大腦活動信息，創(chuàng)造了一種研究消費者意識的新分析方法。通過這種方法，公司在投入大量營銷成本之前，能夠定量地測量產(chǎn)品或廣告對消費者潛意識的影響。

近年來，如功能磁共振成像（functional Magnetic Resonance Imaging， fMRI）、腦磁圖（MagnetoEncephaloGraphy， MEG）和腦電波（ElectroEncephaloGraph， EEG）的測量裝置已經(jīng)頻繁用于神經(jīng)營銷。一項研究利用fMRI數(shù)據(jù)分析了27名青少年的大腦活動，并預(yù)測了音樂的受歡迎度，該研究結(jié)果顯示參與者的大腦反應(yīng)與三年后的銷售量成正比。然而，這些實驗的成本是巨大的，并且由于諸如保險、維護和可移植性問題之類的額外成本，在神經(jīng)營銷中使用fMRI是有限的。MEG用于捕獲由神經(jīng)元活動引起的大腦活動。這種神經(jīng)元活動產(chǎn)生的磁場由MEG通過時空信息放大和映射。然而，由于成本較高、技術(shù)復(fù)雜并且皮層下區(qū)域的成像訪問受限，因此不優(yōu)選作為開發(fā)神經(jīng)營銷系統(tǒng)的裝置。與fMRI和MEG相比，腦電波測量裝置便宜，不限制電極的數(shù)量，易于操作，易于攜帶，維護成本低得多，同時提供高時間分辨率，因此，本研究專注于使用腦電信號來分析大腦活動信息，并對消費者產(chǎn)品偏好進行分類和預(yù)測[1-2]。

目前，使用腦電波信號的神經(jīng)營銷研究已取得一定成果。有一些研究者發(fā)現(xiàn)消費者對產(chǎn)品的腦電波與消費者購買決策之間存在相關(guān)關(guān)系，因此得到采用腦電波方法的利潤增長率幾乎是問卷調(diào)查方法三倍的研究結(jié)論[3-4]。在研究中，有學(xué)者提出了通過使用主成分分析或帶通濾波器進行預(yù)處理并進行傅里葉變換來定量計算消費者偏好和腦電波頻帶之間的相關(guān)性的方法[5-6]。此外，一些學(xué)者還提出了消費者偏好預(yù)測框架來預(yù)測消費者對顏色和視頻的情緒狀態(tài)[7-8]。

根據(jù)以往的研究結(jié)果，本研究開發(fā)了一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)從消費者腦電信號功率譜密度預(yù)測產(chǎn)品偏好的新方法。近來，作為人工智能的機器學(xué)習(xí)領(lǐng)域的深度學(xué)習(xí)已經(jīng)成功地應(yīng)用于各種領(lǐng)域，例如計算機視覺、圖像和視頻分類、預(yù)測、語音識別、自然語言處理、網(wǎng)絡(luò)搜索和自主導(dǎo)航。當(dāng)然，在腦電圖研究領(lǐng)域也有許多研究使用深度學(xué)習(xí)[9-10]。本研究的目的是提出一種神經(jīng)營銷框架，通過分析腦電波信號來預(yù)測消費者對電子商務(wù)產(chǎn)品的偏好。該研究首先使用短時傅里葉變換（Short Time Fourier Transform， STFT）來計算多通道腦電波信號的功率譜密度，并且用雙調(diào)和樣條插值（Biharmonic spline interpolation）從多通道腦電波信號功率譜密度來作出腦電地形圖。由于腦電地形圖是圓形的，因此沒有數(shù)值的非數(shù)區(qū)域存在腦電地形圖矩陣的四個角中。這些腦電地形圖隨時間排列的話，它變成與視頻類似的三維格式，稱為腦電地形圖視頻。從5個頻帶中得到的5個腦電地形圖視頻分別輸入到5個三維卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional Neural Network， 3D CNN）。為了處理腦電地形圖的非數(shù)區(qū)域，定義面膜層并將其插入到卷積層與池化層之間。將5個卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的結(jié)果連接成一個矩陣，接著將其輸入到長短期記憶（Long Short-Term Memory， LSTM）神經(jīng)網(wǎng)絡(luò)。在這里，卷積神經(jīng)網(wǎng)絡(luò)用作特征學(xué)習(xí)端，用于從5個頻帶的消費者功率譜密度腦電地形圖視頻中提取特征，并且長短期記憶神經(jīng)網(wǎng)絡(luò)作用于得到的特征預(yù)測消費者的產(chǎn)品偏好的分類端。通過實驗過程和結(jié)果，確定了結(jié)合三維卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶神經(jīng)網(wǎng)絡(luò)的預(yù)測模型的結(jié)構(gòu)參數(shù)，并與其他預(yù)測方法進行了準(zhǔn)確度對比。

1 腦電波信號測量和預(yù)處理

如圖1所示，根據(jù)國際10-20電極放置方案，在32個電極位置上測量腦電波信號。32個電極的位置如下：FP1、FP2、AF3、AF4、Fz、F3、F4、F7、F8、FC1、FC2、FC5、FC6、Cz、C3、C4、T7、T8、CP1、CP2、CP5、CP6、Pz、P3、P4、P7、P8、PO3、PO4、Oz、O1、O2。測量的腦電波信號以1024Hz采樣并發(fā)送到電腦。在電腦中，腦電波信號再次被下采樣到128Hz并通過50Hz巴特沃斯（Butterworth）低通濾波器。

在該實驗中，20名年齡在18至40歲之間的男女消費者（13名男性和7名女性）自愿參加。產(chǎn)品圖片在電腦屏幕上顯示4秒鐘，消費者就所顯示的產(chǎn)品選擇“喜歡”或“不喜歡”。電腦屏幕上顯示的產(chǎn)品如圖2所示。如圖中所示，6種類型的產(chǎn)品選擇了3種不同顏色和不同形式的樣本。

2 本研究提出的預(yù)測系統(tǒng)

在本章中，本文敘述了使用短時傅里葉變換和雙調(diào)和樣條插值[13]，作出5個頻帶功率譜密度腦電地形圖視頻的預(yù)處理過程，然后提出了構(gòu)建預(yù)測模型的過程。

2.1 腦電地形圖視頻

正如在引言中已經(jīng)提到的，許多研究人員已經(jīng)研究并建議消費者對產(chǎn)品的偏好可以引起腦電波信號頻帶的變化，因此，本研究感興趣的是腦電波信號的功率譜密度作為研究中預(yù)測模型的輸入數(shù)據(jù)。功率譜密度可以通過短時傅里葉變換獲得。短時傅里葉變換是用于利用窗函數(shù)表示非平穩(wěn)信號的時頻分布的時頻分析方法。短時間傅里葉變換的計算方法是將長時間信號分成相同長度的窗段，然后分別在每個窗段上計算傅里葉變換[11]。信號s（t）的短時間傅里葉變換F（τ，ω）定義為;

從上面的公式中可以看出，通過沿著輸入信號時間軸移動窗來計算每個窗段的傅里葉變換。在短時間傅里葉變換的功率譜密度中，更寬的窗函數(shù)導(dǎo)致更好的頻率分辨率，并且更窄的窗函數(shù)導(dǎo)致更好的時間分辨率[12]。該研究中，窗的長度和相鄰窗之間的重蓋交疊長度“重蓋長度”這個詞是表述正確嗎？請明確分別設(shè)置為128和120，并且使用哈明窗函數(shù)。

腦電波信號具有時間、頻率和空間特征，空間特征反映了頭皮上的電極位置。通用腦電波信號分類預(yù)測方法從多通道腦電波信號中提取特征并應(yīng)用分類預(yù)測算法。然而，沒有建議此句不通順，需作相應(yīng)調(diào)整反映電極位置信息的分類預(yù)測方法。該研究試圖基于電極的位置制作腦電地形圖。當(dāng)腦電地形圖隨著時間排列時，最終獲得腦電地形圖視頻。腦電地形圖視頻可以顯示頭皮上腦電波信號的功率譜密度如何隨時間變化。為了作出腦電地形圖，將Cz電極位置設(shè)定為極坐標(biāo)系的中心點，并將剩余的31個電極位置相對排列。

然后，這32個電極的位置矢量被轉(zhuǎn)換成正交坐標(biāo)系的位置矢量。將雙調(diào)和樣條插值[13]應(yīng)用于32個正交坐標(biāo)系上的坐標(biāo)點處的腦電信號功率譜密度，并在41×41網(wǎng)格上繪制腦電地形圖。通過在每個時間點重復(fù)該過程來獲取腦電地形圖視頻。通常，根據(jù)頻帶將腦電波信號分為δ波（0～4Hz）、θ波（4～8Hz）、α波（8～13Hz）、β波（13～30Hz）和λ波（30～50Hz），因此，計算每個頻帶中的功率譜密度的總和來獲得5個頻帶的腦電地形圖視頻。當(dāng)從4s的腦電波信號生成腦電地形圖視頻時，該腦電地形圖視頻由41×41×49矩陣數(shù)據(jù)表示。其中49是時間點數(shù)。該腦電地形圖視頻在[-1，+1]區(qū)間縮放并輸入到神經(jīng)網(wǎng)絡(luò)輸入層。圖3顯示0.5、1.5、2.5和3.5s時間點的腦電地形圖。

如圖3所示，在41×41網(wǎng)絡(luò)上繪制的腦電地形圖具有圓形形狀，四個角上的空白區(qū)域是沒有數(shù)值的區(qū)域。將此區(qū)域定義為非數(shù)區(qū)域。該研究中，為了便于在神經(jīng)網(wǎng)絡(luò)中進行計算，非數(shù)區(qū)域用0填充。當(dāng)輸入數(shù)據(jù)通過神經(jīng)網(wǎng)絡(luò)的每個層時，在非數(shù)區(qū)域中可以生成非零值，并且這些非數(shù)區(qū)域的非零值可以影響后層的計算，因此，每當(dāng)在非數(shù)區(qū)域中生成非零值時，就必須將其除去。

2.2 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是在人類神經(jīng)系統(tǒng)中提出的非常有用的神經(jīng)網(wǎng)絡(luò)，并且在各種應(yīng)用中表現(xiàn)出優(yōu)異的性能。卷積神經(jīng)網(wǎng)絡(luò)是一種分層結(jié)構(gòu)，在卷積層和池化層交錯時提取入口數(shù)據(jù)的特征。

卷積層通過滑動窗口方式從輸入數(shù)據(jù)中提取特征，該方式實現(xiàn)表示數(shù)據(jù)特征的特征映射。執(zhí)行特征映射的卷積內(nèi)核的權(quán)重在卷積層中共享，并且本地鏈接到輸入數(shù)據(jù)。池化層通過卷積層中的特征映射的平均池化或最大池化來減小輸出維度的大小，因此，可以忽略諸如輸入數(shù)據(jù)中的精細移位或失真的變化。在卷積神經(jīng)網(wǎng)絡(luò)的最終結(jié)構(gòu)中，神經(jīng)網(wǎng)絡(luò)完全連接并輸出到一維向量。卷積神經(jīng)網(wǎng)絡(luò)包括一維、二維和三維的卷積神經(jīng)網(wǎng)絡(luò)，通常，一維應(yīng)用于序列數(shù)據(jù)，二維應(yīng)用于圖像數(shù)據(jù)，三維應(yīng)用于視頻數(shù)據(jù)。

人腦活動產(chǎn)生的腦電信號不僅隨著時間和頻率而變化，而且隨著通道而變化。這些三維數(shù)據(jù)不僅應(yīng)考慮空間（通道和頻率）特征，還應(yīng)考慮時間特征。二維卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在許多圖像識別應(yīng)用中得到了廣泛的研究，并且已經(jīng)顯示出良好的結(jié)果，但僅限于處理單幀輸入。三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）可以同時提取空間和時間的特征，超過了視頻分析中二維卷積神經(jīng)網(wǎng)絡(luò)的性能[14-15]。在這研究中，三維卷積神經(jīng)網(wǎng)絡(luò)用于三維腦電地形圖視頻的特征學(xué)習(xí)。圖4顯示了三維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

三維卷積神經(jīng)網(wǎng)絡(luò)通過以三維體積格式輸入數(shù)據(jù)來一起學(xué)習(xí)空間特征和時間特征。這種時空特征學(xué)習(xí)是通過三維卷積和三維池化操作實現(xiàn)的。使用ReLU（Rectified Linear Unit請補充ReLU的英文全稱）作為激活函數(shù)的屬于第i層的第j個特征映射中的（x，y，z）位置的值通過式（3）計算：

2.3 長短期記憶神經(jīng)網(wǎng)絡(luò)模型

長短期記憶（Long Short-Term Memory， LSTM）神經(jīng)網(wǎng)絡(luò)是一種能夠?qū)W習(xí)長期依賴性的特殊類型的循環(huán)神經(jīng)網(wǎng)絡(luò)，旨在通過短期記憶解決長期依賴性問題。長短期記憶神經(jīng)網(wǎng)絡(luò)能夠處理甚至最長的序列數(shù)據(jù)而不會消失梯度，現(xiàn)在，它被廣泛用于解決序列數(shù)據(jù)問題，例如語音識別、自然語言處理和圖像的自動注釋。

如圖5所示，長短期記憶神經(jīng)網(wǎng)絡(luò)在單個單元中具有復(fù)雜的循環(huán)結(jié)構(gòu)，其在時間上按時間順序連接。長短期記憶神經(jīng)網(wǎng)絡(luò)具有兩個屬性值：一個是隨時間變化的單元的隱藏狀態(tài)H（t）值，另一個是使得可以長期維持存儲器的單元狀態(tài)C（t）。在圖5中，在框圖中沿著長短期記憶神經(jīng)網(wǎng)絡(luò)單元的頂行水平改變單元狀態(tài)。長短期記憶神經(jīng)網(wǎng)絡(luò)可以在單元狀態(tài)中添加或刪除信息。遺忘門F（t）調(diào)整輸入X（t）和先前隱藏狀態(tài)H（t-1）與單元狀態(tài)C（t）的連接，允許單元記住或忘記X（t）和H（t-1），并且輸入門I（t）和I′（t）確定是否將輸入值送到單元狀態(tài)C（t）。輸出門O（t）還基于單元狀態(tài)C（t）確定單元的輸出[16-18]。該過程如式（4）～（9）所示：

其中：W和B分別表示權(quán)重矩陣和偏差矢量，σ（·）表示sigmoid函數(shù)，tanh（·）表示雙曲正切函數(shù)。從長短期記憶神經(jīng)網(wǎng)絡(luò)的特性可以看出，可以通過反映單元的狀態(tài)和內(nèi)部狀態(tài)來精確地控制輸入數(shù)據(jù)。此外，固定長度和可變長度數(shù)據(jù)都可以在長短期記憶神經(jīng)網(wǎng)絡(luò)入口和出口處理。當(dāng)將長短期記憶神經(jīng)網(wǎng)絡(luò)與其他類型的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)一起結(jié)合使用時，這種優(yōu)勢比單獨使用長短期記憶神經(jīng)網(wǎng)絡(luò)更明顯。

2.4 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與長短期記憶神經(jīng)網(wǎng)絡(luò)的預(yù)測模型

三維卷積神經(jīng)網(wǎng)絡(luò)可以提取許多有用的特征，以確保從輸入數(shù)據(jù)成功預(yù)測，具體取決于三維內(nèi)核的大小。這樣提取的特征也以三維矩陣表示。也就是說，它是一種時空特征。然而，像典型的卷積神經(jīng)網(wǎng)絡(luò)一樣，當(dāng)通過在最后全連接層將三維特征矩陣制作成單個矢量來進行分類時，可能時空特征丟失它們自己的信息。另一方面，如上所述，長短期記憶神經(jīng)網(wǎng)絡(luò)具有非常適合于時間序列數(shù)據(jù)的結(jié)構(gòu)，因此，可以從其固有特性在記憶輸入數(shù)據(jù)的長時間歷史并同時輸出結(jié)果。如果建立將三維卷積神經(jīng)網(wǎng)絡(luò)作為特征學(xué)習(xí)端與將長短期記憶神經(jīng)網(wǎng)絡(luò)作為分類/預(yù)測端的結(jié)合模型，該模型可以獲得非常好的結(jié)果，所以，本研究提出了一種新的消費者偏好預(yù)測模型，通過長短期記憶層而不是全連接層，以便在保持從三維卷積神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)獲得的時空特征信息同時執(zhí)行預(yù)測。

圖6顯示所提出的結(jié)合三維卷積神經(jīng)網(wǎng)絡(luò)與長短期記憶神經(jīng)網(wǎng)絡(luò)的預(yù)測模型。如圖6所示，由于腦電地形圖是圓形，因此在輸入到卷積神經(jīng)網(wǎng)絡(luò)的腦電地形圖視頻中存在未定義數(shù)值的非數(shù)區(qū)域（參見圖3）。為了便于在卷積神經(jīng)網(wǎng)絡(luò)中進行計算，非數(shù)區(qū)域填充了零。然而，由于卷積神經(jīng)網(wǎng)絡(luò)的特性，在通過卷積層之后在非數(shù)區(qū)域中產(chǎn)生一些非零數(shù)值。這是不必要的結(jié)果，會對后層產(chǎn)生不利影響，因此，在通過卷積層之后，應(yīng)該去除在非數(shù)區(qū)域中產(chǎn)生的非零數(shù)。在該研究中，定義一個面膜層來去除非零值并將其插入到在卷積層和池化層之間。面膜層預(yù)定義0和1元素組成的面膜矩陣，并進行面膜矩陣與卷積層結(jié)果的對應(yīng)元素乘法，以去除在非數(shù)區(qū)域中的非零值。非數(shù)區(qū)域在通過卷積層和池化層的過程中逐漸變小并消失，因此必須應(yīng)用面膜層，直到非數(shù)區(qū)域消失。

如圖6所示，在5個頻帶中得到的腦電地形圖視頻數(shù)據(jù)分別輸入到5個三維卷積神經(jīng)網(wǎng)絡(luò)。每個三維卷積神經(jīng)網(wǎng)絡(luò)由幾個卷積層、面膜層和池化層組成。各個三維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果保留時間順序來組成一個矩陣，并輸入到長短期記憶神經(jīng)網(wǎng)絡(luò)層。預(yù)測結(jié)果通過幾個長短期記憶神經(jīng)網(wǎng)絡(luò)層輸出。

本文提出的這種預(yù)測模型可以應(yīng)用于腦電信號的分類和預(yù)測，同時它可以提供良好的結(jié)果。首先，與一種基于特定公式或算法從時間頻率通道格式的大規(guī)模腦電波數(shù)據(jù)中提取特征的方法不同，本文提出的方法具有能夠從三維卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中學(xué)習(xí)特征以產(chǎn)生理想的最終結(jié)果的優(yōu)點。簡而言之，可以通過三維卷積神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)來學(xué)習(xí)適合于從腦電波數(shù)據(jù)傳遞到結(jié)果的特征。另外，由于長短期記憶神經(jīng)網(wǎng)絡(luò)被用作分類/預(yù)測端，因此其優(yōu)點在于它可以充分反映根據(jù)時間的腦電波信號的變化特性。

3 實驗結(jié)果和分析

如第2章已經(jīng)提到的，在電腦上以128Hz下采樣的腦電波數(shù)據(jù)由32個通道中的512個樣本值組成。通過短時間傅里葉變換將該腦電波數(shù)據(jù)轉(zhuǎn)換成在32個通道、49個時間樣本和50個頻帶樣本中以三維形式表示的功率譜密度。該功率譜密度是預(yù)測模型的輸入數(shù)據(jù)?？偰X電波數(shù)據(jù)中的80%用于學(xué)習(xí)數(shù)據(jù)，20%用于檢查數(shù)據(jù)。

為了評估所提出的預(yù)測模型的性能，本研究比較了所提出的預(yù)測模型與三維卷積神經(jīng)網(wǎng)絡(luò)預(yù)測模型和長短期記憶神經(jīng)網(wǎng)絡(luò)預(yù)測模型。針對兩種情況進行了性能評估：消費者依賴預(yù)測模型和消費者獨立預(yù)測模型。

本研究在Intel 2.5GHz Core i7處理器和內(nèi)存8GHz計算機上使用深度學(xué)習(xí)專用包tensorflow開發(fā)了一個Python程序。性能評估的準(zhǔn)確度（Accuracy， Acc）計算如下：

當(dāng)消費者對產(chǎn)品的偏好表示為“喜歡”和“不喜歡”時，TP（True Positive）、FP（False Positive）、TN（True Negative）、FN（False Negative請補充TP、TN、FP、FN的英文全稱）分別表示將“喜歡”樣本預(yù)測為“喜歡”樣本的次數(shù)，將“不喜歡”樣本預(yù)測為“喜歡”樣本的次數(shù)、將“喜歡”樣本預(yù)測為“不喜歡”樣本的次數(shù)、將“不喜歡”樣本預(yù)測為“不喜歡”樣本的次數(shù)。

3.1 預(yù)測模型的結(jié)構(gòu)和參數(shù)確定以及對比模型

進行實驗以確定圖6所示預(yù)測模型的結(jié)構(gòu)和參數(shù)，為此提出了4種候選模型，4種候選模型的結(jié)構(gòu)和參數(shù)如表1所示。其中特征學(xué)習(xí)端（第二列）的參數(shù)說明為：卷積層（高度×寬度×深度輸出數(shù)量）;面膜層（高度×寬度））;（池化層（高度×寬度×深度）;LSTM層（長短期記憶單元數(shù)量）。

為了評估3D CNN-LSTM預(yù)測模型的有效性，本研究將其與3D CNN和LSTM的單獨預(yù)測模型進行了比較。3D CNN預(yù)測模型如3D CNN-LSTM，由兩個卷積層、一個面膜層和兩個池化層組成，最后層連接全連接層輸出預(yù)測結(jié)果和全連接輸出層組成此句不太通順。對于LSTM預(yù)測模型，輸入數(shù)據(jù)隨著時間軸被轉(zhuǎn)換為二維格式，并且兩個LSTM層的單元數(shù)分別被設(shè)置為100、20，并且層之間的壓差系數(shù)被設(shè)置為0.6。

3.2 消費者依賴模型的性能對比

該實驗通過訓(xùn)練和測試每個消費者的預(yù)測模型來進行，因此，所學(xué)習(xí)的預(yù)測模型就是消費者依賴預(yù)測模型。首先，當(dāng)產(chǎn)品類型設(shè)置為1、3、5和6時，為每個消費者訓(xùn)練和測試本文提出的3D CNN-LSTM模型。這些結(jié)果如圖8所示。從圖8中可見，消費者在實驗中的偏好預(yù)測結(jié)果通常顯示出超過80%的準(zhǔn)確度。尤其是第3、第4和第17消費者的平均預(yù)測準(zhǔn)確度超過85%;而第5、第14和第15消費者的平均預(yù)測準(zhǔn)確度在75%至80%。消費者之間準(zhǔn)確度的差異是由于消費者對產(chǎn)品偏好對的情緒狀態(tài)不同此句不太通順，因此腦電波信號的激活狀態(tài)彼此不同。由于消費者們對產(chǎn)品的情緒狀態(tài)互相不同，所以消費者們的大腦激活狀態(tài)也互相不同，因此存在消費者們之間的準(zhǔn)確度差異。

除了第15和第17消費者以外，每個消費者對產(chǎn)品類型數(shù)量的預(yù)測準(zhǔn)確度沒有顯示出很明顯的差異。由此可以看出，預(yù)測消費者產(chǎn)品偏好的準(zhǔn)確度不會受到產(chǎn)品類型數(shù)量的影響。

接下來，使用3個預(yù)測模型來訓(xùn)練每個消費者對于所有產(chǎn)品類型的預(yù)測模型并測試。該實驗的結(jié)果如圖9所示。

3D CNN-LSTM模型、3D CNN模型和LSTM神經(jīng)網(wǎng)絡(luò)模型的平均預(yù)測準(zhǔn)確度分別為82.36%，67.31%和62.92%。本文所提出的3D CNN-LSTM模型的平均預(yù)測準(zhǔn)確度分別比3D CNN模型和LSTM神經(jīng)網(wǎng)絡(luò)模型提高15.05個百分點和19.44個百分點。3D CNN模型的預(yù)測準(zhǔn)確度比LSTM神經(jīng)網(wǎng)絡(luò)模型提高4.39個百分點。3D CNN預(yù)測模型通過特征學(xué)習(xí)充分反映了時空特征，但準(zhǔn)確度較低的原因是在全連接層中沒有考慮特征矩陣的時間順序。在LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測模型的情況下，由于僅將連接矩陣連接到輸入層和輸出層而不能通過時空特征來進行模型學(xué)習(xí)，因此，盡管反映了輸入數(shù)據(jù)的整體時間特性，但未反映空間特性。這就是LSTM預(yù)測模型的性能較低的原因。然而，3D CNN-LSTM預(yù)測模型獲得了良好的結(jié)果是因為特征矩陣是通過CNN特征提取階段中的時空特征學(xué)習(xí)來計算的，并且預(yù)測結(jié)果是在反映特征矩陣的時間順序的LSTM分類階段中進行的。

3.3 消費者獨立模型性能對比

在之前的實驗中，進行消費者依賴預(yù)測模型的性能評估。在該實驗中，重點在于構(gòu)建可應(yīng)用于所有消費者的預(yù)測模型，而不考慮每個消費者的特性。表2顯示了消費者獨立預(yù)測模型的產(chǎn)品類型性能對比。

因為消費者的大腦活動進展不同，消費者獨立模型的預(yù)測結(jié)果比消費者依賴模型大約低10個百分點。每種產(chǎn)品準(zhǔn)確度的差異與消費者對產(chǎn)品的不同響應(yīng)狀態(tài)有關(guān)。與之前的實驗結(jié)果相似，使用3D CNN和LSTM的預(yù)測模型分別與3D CNN-LSTM預(yù)測模型的準(zhǔn)確度大約低16.34個百分點和17.88個百分點。3D CNN-LSTM的消費者獨立預(yù)測模型平均準(zhǔn)確度為71.33%，其中最高73.24%是鞋子產(chǎn)品的，最低69.36%是包箱包產(chǎn)品的。

為了測試所提出模型的可擴展性，本研究分析了消費者人數(shù)對預(yù)測模型的預(yù)測準(zhǔn)確性的影響，為此，通過將消費者人數(shù)改變?yōu)?、10、15和20來評估預(yù)測模型的預(yù)測準(zhǔn)確度。這些結(jié)果顯示在表3中，可見所提出的模型仍然優(yōu)于3D CNN和LSTM神經(jīng)網(wǎng)絡(luò)模型;而且，隨著消費者人數(shù)的增加，所提出模型的預(yù)測準(zhǔn)確度幾乎保持穩(wěn)定。

4 結(jié)語

本文提出了一種利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)預(yù)測模型從消費者腦電波信號預(yù)測消費者產(chǎn)品偏好的新方法，并對該方法進行了評估實驗。

首先，本研究使用短時間傅里葉變換和雙調(diào)和樣條插值從多通道腦電波信號得到五個頻帶功率譜密度的腦電地形圖視頻;其次，本研究提出結(jié)合特征學(xué)習(xí)端和分類預(yù)測端的消費者偏好預(yù)測模型，該模型中，特征學(xué)習(xí)端由5個三維卷積神經(jīng)網(wǎng)絡(luò)的并聯(lián)連接組成，而且分類預(yù)測段由2個長短期記憶神經(jīng)網(wǎng)絡(luò)的串聯(lián)連接組成;最后，在選取20名消費者（13名男性和7名女性）參與實驗并對預(yù)測模型進行性能評估模型的訓(xùn)練和測試后，結(jié)果顯示，與卷積神經(jīng)網(wǎng)絡(luò)模型和長短期記憶神經(jīng)網(wǎng)絡(luò)模型相比，消費者依賴模型的平均準(zhǔn)確度分別提高了15.05個百分點和19.44個百分點，消費者獨立模型的平均準(zhǔn)確度分別提高了16.34個百分點和17.88個百分點。綜上，本文提出的預(yù)測模型的理論特性與實驗結(jié)果，為消費者偏好預(yù)測系統(tǒng)低成本且高效服務(wù)于企業(yè)營銷策略研發(fā)與營銷管理提供了參考。

參考文獻 （References）

[1] SOLEYMANI M， CHANEL G， KIERKELS J J， et al. Affective ranking of movie scenes using physiological signals and content analysis[C]// Proceedings of the 2nd ACM Workshop on Multimedia Semantics. New York： ACM， 2008：32-39.

[2] TELPAZ A， WEBB R， LEVY D J. Using EEG to predict consumers future choices[J]. Journal of Marketing Research， 2015， 52（4）： 511-529.

[3] AMBLER T， BRAEUTIGAM S， STINS J， et al. Salience and choice： neural correlates of shopping decisions[J]. Psychology and Marketing， 2004， 21（4）： 247-261.

[4] BALDO D， PARIKH H， PIU Y， et al. Brain waves predict success of new fashion products： a practical application for the footwear retailing industry[J]. Journal of Creating Value， 2015， 1（1）： 61-71.

[5] KHUSHABA R N， GREENACRE L， KODAGODA S， et al. Choice modeling and the brain： a study on the electroencephalogram （EEG） of preferences[J]. Expert Systems with Applications， 2012， 39（16）： 12378-12388.

[6] MURUGAPPAN M. Wireless EEG signals based neuromarketing system using fast Fourier transform （FFT）[C]// CSPA 2014： Proceedings of the 10th International Colloquium on Signal Processing and Its Applications. Piscataway， NJ： IEEE， 2014：25-30.

[7] BOKSEM M A， SMIDTS A. Brain responses to movie trailers predict individual preferences for movies and their population-wide commercial success[J]. Journal of Marketing Research， 2015， 52（4）： 482-492.

[8] KAWASAKI M， YAMAGUCHI Y. Effects of subjective preference of colors on attention-related occipital theta oscillations[J]. Neuroimage， 2012， 59（1）： 808-814.

[9] FAUST O， HAGIWARA Y， HONG T J， et al. Deep learning for healthcare applications based on physiological signals： A review[J]. Computer Methods and Programs in Biomedicine， 2018， 161： 1-13.

[10] SHU L， XIE J Y， YANG M Y， et al. A review of emotion recognition using physiological signals[J]. Sensors， 2018， 18（7）： 2074.

[11] LIANG J W， CHAUDHURI S R， SHINOZUKA M. Simulation of nonstationary stochastic processes by spectral representation[J]. Journal of Engineering Mechanics， 2007， 133（6）： 616-627.

[12] HUANG G Q， SU Y W， KAREEM A， et al. Time-frequency analysis of nonstationary process based on multivariate empirical mode decomposition[J]. Journal of Engineering Mechanics， 2016， 142（1）： 04015065.

[13] Mathworks Inc. Griddata function description[EB/OL]. [2018-11-20]. https：//ww2.mathworks.cn/help/matlab/ref/griddata.html.

[14] TRAN D， BOURDEV L， FERGUS R， et al. Learning spatiotemporal features with 3D convolutional networks[C]// ICCV 2015： Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 4489-4497.

[15] 孔祥浩，馬琳，李海峰，等.CNN與CSP相結(jié)合的腦電特征提取與識別方法研究[J].信號處理，2018，34（2）：164-173.（KONG X H， MA L， LI H F， et al. Research on EEG feature extraction and recognition method based on CNN and CSP[J]. Journal of Signal Processing， 2018， 34（2）： 164-173.）

[16] 謝逸，饒文碧，段鵬飛，等.基于CNN和LSTM混合模型的中文詞性標(biāo)注[J].武漢大學(xué)學(xué)報（理學(xué)版），2017，63（3）：246-250.（XIE Y， RAO W B， DUAN P F， et al. A Chinese POS tagging approach using CNN and LSTM-based hybrid model[J]. Wuhan University Journal of Natural Sciences， 2017， 63（3）： 246-250.）

[17] GREFF K， SRIVASTAVA R K， KOUTNíK J， et al. LSTM： a search space odyssey[J]. IEEE Transactions on Neural Networks and Learning Systems， 2015， 28（10）： 2222-2232.

[18] GERS F A， ECK D， SCHMIDHUBER J. Applying LSTM to time series predictable through time-window approaches[C]// ICANN 2001： Proceedings of the 10th International Conference on Artificial Neural Networks. Berlin： Springer， 2001： 21-25.