二維傅里葉圖像預(yù)處理對(duì)DNN 網(wǎng)絡(luò)的影響研究

雷嘉興 王 偉*

（西安電子工程研究所，陜西 西安 710100）

傅里葉變換[1]是一種將時(shí)域信號(hào)變換變換為頻域信號(hào)的方法，二維傅里葉變換是其在二維圖像信號(hào)上的推廣應(yīng)用，可以將二維圖像信號(hào)變換到頻域進(jìn)行分析。目前對(duì)傅里葉變換及二維傅里葉變換的原理研究已經(jīng)很透徹了，信號(hào)分析領(lǐng)域當(dāng)前主要的研究熱點(diǎn)是傅里葉及二維傅里葉變換的應(yīng)用研究。機(jī)器學(xué)習(xí)[3]是自1980 發(fā)展起來的計(jì)算機(jī)科學(xué)研究領(lǐng)域，目前最主流的機(jī)器學(xué)習(xí)研究分支是神經(jīng)網(wǎng)絡(luò)的研究。主要的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有深度神經(jīng)網(wǎng)絡(luò)(DNN)[4]、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長短期記憶網(wǎng)絡(luò)(LSTM)等。其中深度神經(jīng)網(wǎng)絡(luò)(DNN)、卷積神經(jīng)網(wǎng)絡(luò)(CNN)主要用于圖像分類與識(shí)別、圖像分割等用途；循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長短期記憶網(wǎng)絡(luò)(LSTM)則主要用于處理帶時(shí)序的一維或者二維信號(hào)。將傅里葉變換應(yīng)用于神經(jīng)網(wǎng)絡(luò)領(lǐng)域是一個(gè)較新的研究方向和熱點(diǎn)。例如文獻(xiàn)[5]研究了對(duì)Fourier 基函數(shù)局部最優(yōu)問題的優(yōu)化問題[5]，文獻(xiàn)[6]提出一種將一維水聲信號(hào)轉(zhuǎn)化為二維傅里葉時(shí)頻信號(hào)進(jìn)行特征提取的思路[6]。本文以DNN 網(wǎng)絡(luò)為研究目標(biāo)，研究了通過二維傅里葉變換對(duì)輸入圖片做預(yù)處理后，對(duì)DNN 網(wǎng)絡(luò)的識(shí)別性能有何影響。并且本文提出了一種將原始圖像與二維傅里葉圖像加權(quán)聯(lián)合的圖像預(yù)處理算法，最終在公開數(shù)據(jù)集Fashion_mnist 上進(jìn)行了對(duì)照驗(yàn)證。

1 DNN 網(wǎng)絡(luò)結(jié)構(gòu)

深度神經(jīng)網(wǎng)絡(luò)(DNN)也叫多層感知機(jī)，主要由輸入層、若干個(gè)隱藏層、輸出層構(gòu)成。隱藏層中有若干個(gè)神經(jīng)元，決定了該神經(jīng)網(wǎng)絡(luò)的擬合能力。

一個(gè)經(jīng)典DNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示：

圖1 經(jīng)典DNN 網(wǎng)絡(luò)結(jié)構(gòu)

本實(shí)驗(yàn)中使用的DNN 網(wǎng)絡(luò)結(jié)構(gòu)為：含有一個(gè)輸出層，一個(gè)隱藏層和一個(gè)輸出層。其中輸入層輸入隨訓(xùn)練集圖像像素值而改變，例如一張5x5 圖像，其輸入單元就為25，隱藏層神經(jīng)元根據(jù)不同的圖像尺寸使用相同的神經(jīng)元密度，即25.51%。輸出層根據(jù)Fashion_mnist 數(shù)據(jù)集的固有標(biāo)簽數(shù)量，設(shè)置為10 個(gè)輸出，分別對(duì)應(yīng)如表1 所示。

表1 輸出和圖片類型的對(duì)應(yīng)關(guān)系

2 二維傅里葉加權(quán)聯(lián)合圖像預(yù)處理算法

二維離散傅里葉變換是一維信號(hào)傅里葉變換的拓展，通過二維離散傅里葉變、換可以將圖像從空間域變換到頻域進(jìn)行分析。

將一副M×N 的圖像以M×N 的矩陣表示，其中第x 行y 列的圖像像素灰度值記為f（x，y），則該圖像的二維傅里葉變換為：

由于灰度值只能以實(shí)數(shù)的形式表示，對(duì)這個(gè)值取模：

將取模的值乘以加權(quán)系數(shù)，與原圖像求并集：

預(yù)處理算法效果如圖2 所示。

圖2 二維傅里葉加權(quán)聯(lián)合圖像預(yù)處理算法效果圖

3 對(duì)比實(shí)驗(yàn)過程

3.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)實(shí)驗(yàn)環(huán)境為：

CPU：Intel(R) Core(TM) i5-10200H

GPU：GTX 1050

CUDNN:8.1

CUDA:11.2

Tensorflow:2.4.1

Python: 3.8

3.2 實(shí)驗(yàn)數(shù)據(jù)集來源

實(shí)驗(yàn)數(shù)據(jù)集為德國公司Zalando 提供的公開數(shù)據(jù)集Fshion-mnist，它是一個(gè)28×28 像素縮略圖的合集，共有60000 張訓(xùn)練集圖像和10000 張測(cè)試集圖像。

Fshion-mnist 包括十大類的服飾、鞋類等商品，并用數(shù)字0 到9 對(duì)每一張圖像作了區(qū)分，對(duì)應(yīng)關(guān)系如表1 所示。

Fashion-mnist 數(shù)據(jù)集圖像示例如圖3、圖4。

圖3 運(yùn)動(dòng)鞋

圖4 T 恤

3.3 實(shí)驗(yàn)過程

首先，搭建好DNN 網(wǎng)絡(luò)結(jié)構(gòu)。使用Fashion-mnist 原始訓(xùn)練集與測(cè)試集對(duì)DNN 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練epoch=50，batch_size=500。記錄前十次重復(fù)訓(xùn)練完成后，在驗(yàn)證集上的準(zhǔn)確率。

隨后，將Fshion-mnist 的所有圖像全部應(yīng)用二維傅里葉加權(quán)聯(lián)合圖像預(yù)處理算法后，生成新的訓(xùn)練集與測(cè)試集（記為Fashion-mnist2），并且不改變相應(yīng)的標(biāo)簽，使其仍為一一對(duì)應(yīng)。將算法處理后的訓(xùn)練集，重新輸入原DNN 網(wǎng)絡(luò)中，進(jìn)行十次訓(xùn)練。epoch=50，batch_size=500。記錄前十次重復(fù)訓(xùn)練完成后，在現(xiàn)測(cè)試集上的準(zhǔn)確率。

兩次實(shí)驗(yàn)結(jié)果對(duì)比如表2 所示。

表2 對(duì)照實(shí)驗(yàn)結(jié)果

分 別 繪 制 出 val_acc 在 Fashion-mnist 和Fashion-mnist2 上隨epoch 變化的平均值曲線如圖5、圖6 所示。

圖5 Fashion-mnist（十次平均）

圖6 Fashion-mnist2（十次平均）

4 結(jié)論

通過對(duì)比表2 中使用二維傅里葉加權(quán)聯(lián)合圖像預(yù)處理算法前后fashion-mnist 數(shù)據(jù)集在DNN 網(wǎng)絡(luò)上準(zhǔn)確率的表現(xiàn)可以發(fā)現(xiàn)，二維傅里葉加權(quán)聯(lián)合圖像預(yù)處理算法不會(huì)影響DNN 網(wǎng)絡(luò)的分類準(zhǔn)確率，甚至略有提升。

通過對(duì)比圖5、圖6 使用二維傅里葉加權(quán)聯(lián)合圖像預(yù)處理算法前后fashion-mnist 數(shù)據(jù)集在DNN 網(wǎng)絡(luò)上收斂情況的結(jié)果可以發(fā)現(xiàn)：使用二維傅里葉加權(quán)聯(lián)合圖像預(yù)處理算法前，F(xiàn)ashion-mnist 數(shù)據(jù)集經(jīng)50 個(gè)epoch 的訓(xùn)練，在訓(xùn)練集上的準(zhǔn)確率才能達(dá)到97.5%。而使用二維傅里葉加權(quán)聯(lián)合圖像預(yù)處理算法后，只需34 個(gè)epoch 的訓(xùn)練，在訓(xùn)練集上的準(zhǔn)確率就可達(dá)到97.5%，當(dāng)經(jīng)過50 個(gè)epoch 的訓(xùn)練后，在訓(xùn)練集上的準(zhǔn)確率明顯超過97.5%。

綜上所述，可以得出結(jié)論：本文提出的二維傅里葉加權(quán)聯(lián)合圖像預(yù)處理算法對(duì)DNN 網(wǎng)絡(luò)識(shí)別準(zhǔn)確率無負(fù)面影響，并可以加快DNN 網(wǎng)絡(luò)的收斂速度。