ARM 與神經(jīng)網(wǎng)絡(luò)處理器的通信方案設(shè)計(jì)

周齊國，黃晞，趙悔

（福建師范大學(xué)光電與信息工程學(xué)院，福州350108）

引 言

人工神經(jīng)網(wǎng)絡(luò)在很多領(lǐng)域得到了很好的應(yīng)用，尤其是具有分布存儲(chǔ)、并行處理、自學(xué)習(xí)、自組織以及非線性映射等特點(diǎn)的網(wǎng)絡(luò)應(yīng)用更加廣泛。嵌入式便攜設(shè)備也越來越多地得到應(yīng)用，多數(shù)是基于ARM 內(nèi)核及現(xiàn)場可編程門陣列FPGA 的嵌入式應(yīng)用。某人工神經(jīng)網(wǎng)絡(luò)的FPGA 處理器能夠?qū)?shù)據(jù)進(jìn)行運(yùn)算處理，為了實(shí)現(xiàn)集數(shù)據(jù)通信、操作控制和數(shù)據(jù)處理于一體的便攜式神經(jīng)網(wǎng)絡(luò)處理器，需要設(shè)計(jì)一種基于嵌入式ARM 內(nèi)核及現(xiàn)場可編程門陣列FPGA的主從結(jié)構(gòu)處理系統(tǒng)滿足要求。

1 人工神經(jīng)網(wǎng)絡(luò)處理器

1.1 人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)是基于模仿大腦功能而建立的一種信息處理系統(tǒng)。它實(shí)際上是由大量的、很簡單的處理單元（或稱神經(jīng)元），通過廣泛的互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)。最早的神經(jīng)元模型是MP 模型，由輸入X、連接權(quán)值W 和閾值θ、激活函數(shù)f和輸出O組成，如圖1所示。

神經(jīng)元j的輸出為：

式中：netj是神經(jīng)元j的凈輸入，xi是神經(jīng)元j的輸入，wij是神經(jīng)元i到神經(jīng)元j的權(quán)值，θj是神經(jīng)元j的閾值，f（）是神經(jīng)元凈輸入和輸出之間的變換函數(shù)，稱為激活函數(shù)。［1］

后來的各種網(wǎng)絡(luò)模型基本都由這幾個(gè)因素構(gòu)成，例如圖2的三層BP神經(jīng)網(wǎng)絡(luò)模型。

圖1 人工神經(jīng)元的MP模型

三層BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法如下［2］，當(dāng)網(wǎng)絡(luò)輸出與

圖2 三層BP神經(jīng)網(wǎng)絡(luò)模型

期望輸出不等時(shí)，存在輸出誤差E，定義如下：

進(jìn)一步展開，是各層權(quán)值wij（隱層到輸出層）、vij（輸入層到隱層）的函數(shù)：

要使誤差不斷減小，需對權(quán)值進(jìn)行處理，最終的權(quán)值調(diào)整的公式為：

三層前饋神經(jīng)網(wǎng)絡(luò)的BP學(xué)習(xí)算法的向量形式如下，對于輸出層：

對于隱層：

容易看出，各層權(quán)值調(diào)整公式均由3個(gè)因素決定，即學(xué)習(xí)率η、本層輸出的誤差信號δ以及本層出入信號Y（或X）。其中，輸出層誤差信號與網(wǎng)絡(luò)的期望輸出與實(shí)際輸出之差有關(guān)，直接反映了輸出誤差，而各隱層的誤差信號與前面各層的誤差信號都有關(guān)，是從輸出層開始逐層反傳過來的。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)的過程就是通過不斷地調(diào)整各個(gè)節(jié)點(diǎn)的權(quán)值，使輸出誤差達(dá)到最小，最終獲得穩(wěn)定可靠的權(quán)值，實(shí)現(xiàn)網(wǎng)絡(luò)的預(yù)定功能。

1.2 人工神經(jīng)網(wǎng)絡(luò)的FPGA實(shí)現(xiàn)

算法公式實(shí)際隱含著各種運(yùn)算過程，乘累加計(jì)算、激活函數(shù)及其導(dǎo)數(shù)的計(jì)算和邏輯運(yùn)算是3種必不可少的運(yùn)算，因此FPGA 的實(shí)現(xiàn)主要是各種運(yùn)算器的設(shè)計(jì)和連接。處理器要處理各種類型的數(shù)據(jù)，樣本數(shù)據(jù)X（訓(xùn)練樣本、實(shí)際樣本），網(wǎng)絡(luò)參數(shù)（學(xué)習(xí)速率η、每層神經(jīng)元個(gè)數(shù)n等）和權(quán)值W 是必不可少的。網(wǎng)絡(luò)參數(shù)和初始權(quán)值用來對網(wǎng)絡(luò)初始化，訓(xùn)練樣本用來訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)，最后在網(wǎng)絡(luò)應(yīng)用階段對實(shí)際樣本進(jìn)行處理。

圖3展示的是FPGA 神經(jīng)網(wǎng)絡(luò)處理器的主體部分：存儲(chǔ)模塊和運(yùn)算模塊。根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，連接權(quán)值處于各個(gè)神經(jīng)元節(jié)點(diǎn)的連接處，與各自的權(quán)值運(yùn)算結(jié)構(gòu)一一對應(yīng)，為分布式，所以分布式存儲(chǔ)器WM 中存儲(chǔ)權(quán)值數(shù)據(jù)；樣本數(shù)據(jù)統(tǒng)一從網(wǎng)絡(luò)的輸入層進(jìn)入網(wǎng)絡(luò)，故DM 中存儲(chǔ)樣本數(shù)據(jù)；MAE是處理器的運(yùn)算部分。［1］

圖3 神經(jīng)網(wǎng)絡(luò)的運(yùn)算模塊和數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)圖

2 通信硬件設(shè)計(jì)

2.1 系統(tǒng)整體架構(gòu)

系統(tǒng)整體結(jié)構(gòu)框圖如圖4所示，分為ARM 端和FPGA 端兩個(gè)部分。ARM 端有兩個(gè)功能：一是從內(nèi)存中讀取已有數(shù)據(jù)，通過DMA 方式下載到FPGA 端，按照數(shù)據(jù)類型將數(shù)據(jù)下載到不同的存儲(chǔ)設(shè)備和存儲(chǔ)空間；二是對FPGA 進(jìn)行控制，主要是各種中斷操作。FPGA 端的功能是接收ARM 傳送的數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)，并在微程序控制器的控制下進(jìn)行運(yùn)算處理，最后把結(jié)果上傳給ARM。

圖4 系統(tǒng)整體結(jié)構(gòu)框圖

ARM 端以S3C44B0X芯片為核心，外部擴(kuò)展各類設(shè)備構(gòu)成。S3C44B0X 是三星公司的16／32位微處理器，片內(nèi)集成了ARM7TDMI核，并在此基礎(chǔ)上集成了豐富的外圍功能模塊，為嵌入式設(shè)備提供一個(gè)低成本高性能的方案。

S3C44B0X 擁有4通道的DMA 控制器，兩個(gè)ZDMA，連接于SSB（三星系統(tǒng)總線）；另外兩個(gè)BDMA，連接在SSB和SPB（三星外圍總線）之間的接口層。其中ZDMA可從存儲(chǔ)器到存儲(chǔ)器、存儲(chǔ)器到I／O 設(shè)備和I／O 設(shè)備到存儲(chǔ)器傳送數(shù)據(jù)。DMA 操作由S／W 或來自外部請求引腳（nXDREQ0／1）的請求來啟動(dòng)。［3］

在DMA 操作中，通過配置DMA 特殊功能寄存器來實(shí)現(xiàn)對DMA 的控制，如圖5所示。

圖5 ZDMA 控制器框圖

FPGA端的組成為FPGA芯片和擴(kuò)展存儲(chǔ)器。按處理數(shù)據(jù)類型的不同設(shè)計(jì)不同的存儲(chǔ)結(jié)構(gòu)，具體如下所列。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)存放于控制寄存器組，初始權(quán)值、穩(wěn)定權(quán)值存放于分布式存儲(chǔ)器，其他參數(shù)（學(xué)習(xí)速率、學(xué)習(xí)速率調(diào)整因子等）存放于專用寄存器組A 中，處理結(jié)果存放于專用寄存器組B中，樣本數(shù)據(jù)存放于擴(kuò)展存儲(chǔ)器SD卡中。

以上所述的存儲(chǔ)體，除擴(kuò)展存儲(chǔ)器外其他結(jié)構(gòu)都在FPGA芯片內(nèi)部設(shè)計(jì)完成。采用這種設(shè)計(jì)是基于FPGA 片上存儲(chǔ)資源的使用情況：①FPGA 的配置文件占用；②分布式存儲(chǔ)器占用；③各類寄存器組占用。當(dāng)樣本數(shù)據(jù)數(shù)量較大時(shí)會(huì)占用比較大的空間，F(xiàn)PGA 芯片將不能滿足，因此不能把樣本數(shù)據(jù)存儲(chǔ)在片上，而是存儲(chǔ)于擴(kuò)展存儲(chǔ)器。

2.2 硬件連接

從上面的介紹容易發(fā)現(xiàn)，ARM 芯片的通信對象是基于SRAM 工藝的FPGA 芯片上的存儲(chǔ)體。因此，F(xiàn)PGA芯片作為存儲(chǔ)設(shè)備時(shí)，ARM 芯片可直接與其相連。ARM與FPGA 硬件連接示意圖如圖6所示。

圖6 ARM 與FPGA硬件連接示意圖

ARM 與FPGA 的片上存儲(chǔ)體的地址總線連接設(shè)置為12位，足夠存儲(chǔ)和尋址需求。

數(shù)據(jù)總線的寬度為28位。神經(jīng)網(wǎng)絡(luò)處理器的數(shù)據(jù)精度為16位［4］，F(xiàn)PGA 樣本數(shù)據(jù)寄存器還有12位外部擴(kuò)展存儲(chǔ)器的地址數(shù)據(jù)，因此整個(gè)數(shù)據(jù)總線的寬度為二者之和。除樣本數(shù)據(jù)寄存器之外的片上存儲(chǔ)體，數(shù)據(jù)線占用28位數(shù)據(jù)總線中的低16位。

控制總線包括ARM 端的片選線nGCS6 和讀／寫控制線。對ARM 相應(yīng)的寄存器進(jìn)行配置可激活BANK6（FPGA 片上存儲(chǔ)體）和讀／寫數(shù)據(jù)。

根據(jù)數(shù)據(jù)存儲(chǔ)位置的不同，硬件連接可分成兩方面。如圖7所示。

圖7 FPGA端部分硬件連接示意圖

第一，存儲(chǔ)位置為FPGA 端的外部擴(kuò)展存儲(chǔ)器。①ARM 與FPGA 通過12位地址總線、28位數(shù)據(jù)總線及控制總線直接相連，數(shù)據(jù)寫入樣本數(shù)據(jù)寄存器。②樣本數(shù)據(jù)寄存器的28位數(shù)據(jù)按照12位地址數(shù)據(jù)、16位樣本數(shù)據(jù)，通過FPGA 與外部擴(kuò)展存儲(chǔ)器之間的12位地址總線、16位數(shù)據(jù)總線，在存儲(chǔ)控制模塊的控制下，把樣本數(shù)據(jù)寫入擴(kuò)展存儲(chǔ)器。因此，把樣本數(shù)據(jù)寄存器分為兩部分，低16位為樣本數(shù)據(jù)，高12位為該樣本數(shù)據(jù)在外部擴(kuò)展存儲(chǔ)器的存儲(chǔ)地址，如下所示。

存儲(chǔ)地址樣本數(shù)據(jù)27 26 25…17 16 15 14 13…2 1 0

第二，存儲(chǔ)位置為FPGA 的片上存儲(chǔ)體。ARM 與FPGA 通過12位地址總線、28位數(shù)據(jù)總線中的低16位、控制總線直接相連，控制寄存器組、專用寄存器組、分布式存儲(chǔ)器連接在這些總線上面。

片上集成存儲(chǔ)系統(tǒng)采用統(tǒng)一編址的方式，其優(yōu)勢在于可以通過ARM 芯片的DMA 方式進(jìn)行數(shù)據(jù)傳輸，既可以提高傳輸速率又能夠釋放CPU。外部擴(kuò)展存儲(chǔ)器因?yàn)橹皇蹻PGA 控制而采用獨(dú)立編址，但地址域的設(shè)計(jì)接續(xù)片上集成存儲(chǔ)系統(tǒng)的地址，如此方便操作。

3 ZDMA控制設(shè)計(jì)

ARM 端與FPGA 端的數(shù)據(jù)通信如圖8所示，分為3個(gè)階段：

①網(wǎng)絡(luò)初始化階段的數(shù)據(jù)通信：配置網(wǎng)絡(luò)初始化數(shù)據(jù)。a）需對網(wǎng)絡(luò)訓(xùn)練執(zhí)行階段②，b）否則執(zhí)行階段③。

②網(wǎng)絡(luò)訓(xùn)練階段的通信：下載訓(xùn)練樣本數(shù)據(jù)，訓(xùn)練完成上傳穩(wěn)定的權(quán)值。

③實(shí)際應(yīng)用階段的通信：下載實(shí)際樣本數(shù)據(jù)，上傳處理結(jié)果。

每一個(gè)階段都是在ZDMA的方式下進(jìn)行。每一個(gè)階段完成后都會(huì)進(jìn)入中斷，提示本階段完成并進(jìn)行下一步操作。

圖8 數(shù)據(jù)通信階段流程圖

3.1 下載數(shù)據(jù)時(shí)ZDMA的配置

按照是否為樣本數(shù)據(jù)，通信可分為兩個(gè)階段：一是面向FPGA 片上集成存儲(chǔ)系統(tǒng)的非樣本數(shù)據(jù)通信，二是面向FPGA 片外擴(kuò)展存儲(chǔ)器的樣本數(shù)據(jù)通信。

本設(shè)計(jì)使用ZDMA0、ZDMA1 兩個(gè)通道中的一個(gè)。與ZDMA 有關(guān)的特殊功能寄存器有：

ZDMA 控制寄存器（①ZDCONn）：主要用于對DMA通道進(jìn)行控制，允許外部DMA 請求（nXDREQ）。

ZDMA0／1初始源／目的地址和計(jì)數(shù)寄存器、ZDMA0／1當(dāng)前源／目的地址和計(jì)數(shù)寄存器。

ZDMAn 初始／當(dāng)前源地址寄存器（②ZDISRC、③ZDCSRC）：初始源地址為數(shù)據(jù)在ARM 芯片內(nèi)存的存放地址；當(dāng)前源地址為即將傳輸?shù)臄?shù)據(jù)的內(nèi)存地址，值為初始源地址＋計(jì)數(shù)值。

ZDMAn初始／當(dāng)前目的地址寄存器（④ZDIDES、⑤ZDCDES）：分為兩個(gè)階段：第一階段傳輸非樣本數(shù)據(jù)時(shí)初始目的地址為BANK6的起始地址；當(dāng)前目的地址是變化的，為初始目的地址＋計(jì)數(shù)值。第二階段傳輸樣本數(shù)據(jù)時(shí)初始目的地址也是當(dāng)前目的地址，為樣本數(shù)據(jù)寄存器的地址。

ZDMAn初始／當(dāng)前目的計(jì)數(shù)寄存器（⑥ZDICNT、⑦ZDCCNT）：初始值為0，當(dāng)前值隨著傳輸數(shù)據(jù)的個(gè)數(shù)逐一遞增，直至達(dá)到所有數(shù)據(jù)的數(shù)量。樣本數(shù)據(jù)和非樣本數(shù)據(jù)的傳輸分兩個(gè)階段進(jìn)行，各自獨(dú)立。

從這個(gè)過程中可以看出，配置ZDMA 時(shí)需考慮FPGA 端存儲(chǔ)結(jié)構(gòu)體多樣性的問題。

3.2 上傳數(shù)據(jù)時(shí)ZDMA的配置

神經(jīng)網(wǎng)絡(luò)處理器的穩(wěn)定權(quán)值和處理結(jié)果存儲(chǔ)在FPGA 上統(tǒng)一編址的專用寄存器組B中，不存在存儲(chǔ)結(jié)構(gòu)體多樣性的問題，所以上傳數(shù)據(jù)時(shí)ZDMA 的配置相對簡單：

初始源地址即專用寄存器組B的起始地址，每傳送一次數(shù)據(jù)專用寄存器組的地址指針＋1并作為當(dāng)前源地址。

初始目的地址為要存放數(shù)據(jù)的內(nèi)存塊的起始地址，每傳送一次數(shù)據(jù)內(nèi)存塊地址指針＋1并作為當(dāng)前目的地址。

計(jì)數(shù)寄存器的初始值為0，每傳送一次數(shù)據(jù)其值＋1，達(dá)到設(shè)定的目標(biāo)值時(shí)數(shù)據(jù)上傳即完成。

結(jié) 語

本文首先介紹了人工神經(jīng)網(wǎng)絡(luò)的模型和算法以及FPGA 的實(shí)現(xiàn)，并通過對網(wǎng)絡(luò)結(jié)構(gòu)的分析設(shè)計(jì)了FPGA 端的數(shù)據(jù)存儲(chǔ)系統(tǒng)。然后分析了ARM 端和FPGA 端各自的功能，在此基礎(chǔ)上把兩者結(jié)合在一起，設(shè)計(jì)了一種利用ARM 的ZDMA 方式相互通信的方案。

［1］翁宗煌.基于FPGA 的BP 網(wǎng)絡(luò)可重構(gòu)設(shè)計(jì)及實(shí)現(xiàn)［D］.福州：福建師范大學(xué)，2007.

［2］韓力群.人工神經(jīng)網(wǎng)絡(luò)教程［M］.北京：北京郵電大學(xué)出版社，2006：60-62.

［3］田澤.嵌入式系統(tǒng)開發(fā)與應(yīng)用教程［M］.北京：北京航空航天大學(xué)出版社，2005：316-323.

［4］張蕭，黃晞，仲偉漢，等.Sigmoid函數(shù)及其導(dǎo)函數(shù)的FPGA 實(shí)現(xiàn)［J］.福建師范大學(xué)學(xué)報(bào)：自然科學(xué)版，2011，27（2）：62-65.