基于神經(jīng)網(wǎng)絡(luò)的數(shù)字信號(hào)多分類識(shí)別方法

楊栩

基于神經(jīng)網(wǎng)絡(luò)的數(shù)字信號(hào)多分類識(shí)別方法

楊栩

（成都師范學(xué)院物理與工程技術(shù)學(xué)院，四川 成都 611130）

文章針對(duì)數(shù)字信號(hào)的圖像分類識(shí)別問(wèn)題，提出了一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)算法，該算法利用隨機(jī)梯度下降增量規(guī)則實(shí)現(xiàn)誤差和上層輸出共同影響權(quán)重的監(jiān)督機(jī)制，采用softmax激活函數(shù)避免出現(xiàn)以很高的概率同時(shí)分到不同的類的問(wèn)題，從而大大提高了識(shí)別準(zhǔn)確率。

BP神經(jīng)網(wǎng)絡(luò)；隨機(jī)梯度下降；多分類；激活函數(shù)

引言

圖像分類識(shí)別是數(shù)字圖像處理中的核心問(wèn)題，數(shù)字多分類識(shí)別在現(xiàn)實(shí)中有著廣泛的應(yīng)用，比如車牌識(shí)別、手寫(xiě)數(shù)字識(shí)別等。神經(jīng)網(wǎng)絡(luò)[1,2,3]是圖像模式識(shí)別中的一種重要算法，它模擬生物神經(jīng)網(wǎng)絡(luò)，由輸入節(jié)點(diǎn)、隱藏層節(jié)點(diǎn)、輸出節(jié)點(diǎn)等多層節(jié)點(diǎn)組成，無(wú)監(jiān)督學(xué)習(xí)[4]的神經(jīng)網(wǎng)絡(luò)只有前饋通道至輸出，無(wú)法調(diào)整神經(jīng)網(wǎng)絡(luò)各層之間的權(quán)重，監(jiān)督學(xué)習(xí)對(duì)于無(wú)隱藏層的神經(jīng)網(wǎng)絡(luò)比較有效，一旦加入隱藏層或者多個(gè)隱藏層后，輸出節(jié)點(diǎn)與正確值之間的誤差可以反向傳播，而隱藏層的誤差如何定義？本文用隱藏層右側(cè)鄰近一層的反向傳播的增量的加權(quán)和作為隱藏層節(jié)點(diǎn)的誤差。權(quán)重調(diào)整用隨機(jī)梯度下降的BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，實(shí)現(xiàn)了對(duì)5*5像素的數(shù)字的多分類識(shí)別。

1 神經(jīng)網(wǎng)絡(luò)建模

神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)模型的核心部分，分為訓(xùn)練和分類兩部分，訓(xùn)練數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)建立模型的數(shù)據(jù)來(lái)源，經(jīng)過(guò)預(yù)處理后的二值化數(shù)字圖像數(shù)據(jù)在隨機(jī)梯度下降算法學(xué)習(xí)規(guī)則的作用下訓(xùn)練神經(jīng)網(wǎng)絡(luò)權(quán)重，采用誤差反向傳播的神經(jīng)網(wǎng)絡(luò)。建立神經(jīng)網(wǎng)絡(luò)模型后輸入測(cè)試數(shù)據(jù)觀察訓(xùn)練效果，神經(jīng)網(wǎng)絡(luò)建模及預(yù)測(cè)框圖如圖1所示。

圖1 神經(jīng)網(wǎng)絡(luò)建模及預(yù)測(cè)

1.1 隨機(jī)梯度下降學(xué)習(xí)規(guī)則

由于梯度是方向?qū)?shù)最大的方向，用梯度下降算法計(jì)算誤差曲面的最快下降方向，隨機(jī)梯度下降算法計(jì)算訓(xùn)練數(shù)據(jù)的誤差并隨機(jī)調(diào)整權(quán)重，激活函數(shù)權(quán)重更新公式如下：

其中（0<≤1）為學(xué)習(xí)率，W為兩層極點(diǎn)間的權(quán)重，輸出節(jié)點(diǎn)i的誤差e=d-y(d為輸出節(jié)點(diǎn)i的正確輸出)，輸出節(jié)點(diǎn)的激活函數(shù)為φ，X為輸入節(jié)點(diǎn)j的數(shù)據(jù)。本文中隱藏層節(jié)點(diǎn)采用sigmoid函數(shù)（公式2）作為激活函數(shù)，它的導(dǎo)數(shù)為公式3，它能將范圍很寬的坐標(biāo)區(qū)域投射到[0,1]區(qū)域，如圖2所示。

1.2 BP神經(jīng)網(wǎng)絡(luò)

對(duì)于單層神經(jīng)網(wǎng)絡(luò)或者不可訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)是沒(méi)有意義的，隨機(jī)梯度下降增量規(guī)則在多層神經(jīng)網(wǎng)絡(luò)中應(yīng)用的最大障礙是隱藏層的正確輸出不得而知，進(jìn)而隱藏層的誤差不能確定，本文隱藏層誤差用反向傳播的增量的加權(quán)和來(lái)定義。進(jìn)而誤差可以反向傳播到輸入層，從而神經(jīng)網(wǎng)絡(luò)的每一層的權(quán)重都可以進(jìn)行調(diào)整，BP神經(jīng)網(wǎng)絡(luò)模型如圖3所示。

圖3 BP神經(jīng)網(wǎng)絡(luò)模型

1.2.1 節(jié)點(diǎn)的正向傳播計(jì)算

假設(shè)BP神經(jīng)網(wǎng)絡(luò)模型有n個(gè)輸入節(jié)點(diǎn)，m個(gè)隱藏節(jié)點(diǎn)，k個(gè)輸出節(jié)點(diǎn)，W1為輸入層和隱藏層之間的權(quán)重向量矩陣，X為輸入向量，v為隱藏節(jié)點(diǎn)加權(quán)和，v’為輸出層節(jié)點(diǎn)加權(quán)和，W2為隱藏層和輸出層之間的權(quán)重向量矩陣，Y’為隱藏層節(jié)點(diǎn)通過(guò)激活函數(shù)后的輸出向量。隱藏層節(jié)點(diǎn)的加權(quán)和為：

隱藏層節(jié)點(diǎn)通過(guò)激活函數(shù)后的輸出為：

輸出層節(jié)點(diǎn)加權(quán)和為：

1.2.2 誤差的反向傳播計(jì)算

計(jì)算正確輸出與模型輸出之間的誤差向量e，再計(jì)算輸出節(jié)點(diǎn)的增量，該增量與節(jié)點(diǎn)間權(quán)重的加權(quán)和作為隱藏層誤差e'，反向傳播至輸入層，進(jìn)而調(diào)整到神經(jīng)網(wǎng)絡(luò)的所有權(quán)值。

訓(xùn)練數(shù)據(jù)經(jīng)過(guò)正向傳播后形成誤差再反向傳播到輸入層，神經(jīng)網(wǎng)絡(luò)得到了訓(xùn)練。

2 數(shù)字多分類識(shí)別

數(shù)字分類屬于神經(jīng)網(wǎng)絡(luò)中的多分類問(wèn)題，這類問(wèn)題存在線性不可分割的問(wèn)題，本文將每一個(gè)數(shù)字標(biāo)準(zhǔn)化為5*5像素的二值化圖像，如圖5所示。該25個(gè)像素作為神經(jīng)網(wǎng)絡(luò)的輸入向量，輸出向量個(gè)數(shù)與分類個(gè)數(shù)相同，輸出向量個(gè)數(shù)為10。隱藏層取50個(gè)節(jié)點(diǎn)。

softmax激活函數(shù)不僅考慮到了輸入的加權(quán)和，還考慮到了其它輸出節(jié)點(diǎn)的輸出值，且滿足條件(v)=1，也即所有輸出節(jié)點(diǎn)通過(guò)激活函數(shù)后會(huì)以不同概率分類到每一類，并且所有分類概率之和為1，不會(huì)出現(xiàn)重復(fù)分類現(xiàn)象，softmax激活函數(shù)如圖8所示，輸出節(jié)點(diǎn)用softmax激活函數(shù)的分類結(jié)果如表1所示。

表1 輸出層節(jié)點(diǎn)用softmax作為激活函數(shù)后的分類結(jié)果

通過(guò)試驗(yàn)可以看出，基于隨機(jī)梯度下降增量規(guī)則的BP神經(jīng)網(wǎng)絡(luò)算法對(duì)于數(shù)字分類識(shí)別具有非常高的識(shí)別率。

[1] 陳綿書(shū),于錄錄.基于卷積神經(jīng)網(wǎng)絡(luò)的多標(biāo)簽圖像分類[J].吉林大學(xué)學(xué)報(bào).2019(09).

[2] 李松,汪圣利.基于BP神經(jīng)網(wǎng)絡(luò)的雷達(dá)點(diǎn)跡分類方法[J].現(xiàn)代雷達(dá).2018(12).

[3] 韋鵬宇,潘福成,李帥.改進(jìn)人工蜂群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的分類研究[J].計(jì)算機(jī)工程與應(yīng)用.2018(10).

[4] 楊東海,林敏敏,張文杰,楊敬民.無(wú)監(jiān)督混階棧式自編碼器的圖像分類學(xué)習(xí)[J].計(jì)算機(jī)應(yīng)用.2018(8).

[5] 葛為民,申耀華,王肖鋒.箱梁結(jié)構(gòu)件焊縫表面缺陷特征提取及分類研究[J].儀器儀表學(xué)報(bào).2018(10).

[6] 趙鵬,韋興竹.基于多特征融合的田間雜草分類識(shí)別[J].農(nóng)業(yè)機(jī)械學(xué)報(bào).2014(03).

[7] 顧寄南,唐良穎,許悅.機(jī)器視覺(jué)在網(wǎng)片缺陷檢測(cè)與分類中的應(yīng)用[J]..機(jī)械設(shè)計(jì)與制造.2019(6).

[8] 王鑫,李可.改進(jìn)的基于深度學(xué)習(xí)的遙感圖像分類算法[J].計(jì)算機(jī)應(yīng)用.2019（2）.

[9] 許飛翔,葉霞.基于SA_BP算法的本體概念語(yǔ)義相似度綜合計(jì)算[J].計(jì)算機(jī)科學(xué).2019(09).

[10] 於海明,徐佳琪.基于高光譜和頻譜特征的注水肉識(shí)別方法研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào).2019(5).

[11] 楊鎏,舒祥波.基于全局_局部卷積神經(jīng)網(wǎng)絡(luò)的阻生牙分類[J].計(jì)算機(jī)應(yīng)用.2019(07).

Multi-Classification Recognition Method for Digital Signals Based on Neural Network

Yang Xu

( School of Physics and Engineering Technology, Chengdu Normal University, Sichuan Chengdu 611130）

Aiming at the problem of image classification and recognition of digital signals, this paper proposed an improved neural network algorithm. The algorithm uses the random gradient descent incremental rule to realize the supervisory mechanism that errors and upper output affect the weight together. Softmax activation function is used to avoid the problem of classifying different signals at the same time with high probability. Thus, the recognition accuracy is greatly improved.

BP neural network;Random gradient descent; Multi-classification;Activation function

B

1671-7988(2019)21-56-03

TN911.72

B

1671-7988(2019)21-56-03

楊栩，男，講師，碩士，就職于成都師范學(xué)院物理與工程技術(shù)學(xué)院。研究方向：智能控制、信號(hào)處理、圖像分析等。

10.16638/j.cnki.1671-7988.2019.21.019

CLC NO.:TN911.72