基于數(shù)據(jù)流計(jì)算圖的卷積神經(jīng)網(wǎng)絡(luò)的理論和設(shè)計(jì)

謝仁杰

摘要：近年來(lái)在許多信號(hào)處理應(yīng)用領(lǐng)域中，深度卷積神經(jīng)網(wǎng)絡(luò)引起了學(xué)術(shù)界和工業(yè)界很大的關(guān)注，其中基于數(shù)據(jù)流圖的深度學(xué)習(xí)網(wǎng)絡(luò)Tensorflow框架得到了很多人的青睞。但在一些商業(yè)落地的研究和調(diào)查中發(fā)現(xiàn)，部分機(jī)構(gòu)涉及一些自開(kāi)發(fā)的計(jì)算單元，而它不被大型網(wǎng)絡(luò)框架所支持，又出于技術(shù)的保密性往往需要自行修改工業(yè)界的深度學(xué)習(xí)框架，這就造成了以下情況，①工業(yè)級(jí)大型代碼框架極其復(fù)雜，各大庫(kù)之間的調(diào)用很深且一般沒(méi)有注釋，不容易讀懂和修改，②對(duì)某一個(gè)單一應(yīng)用來(lái)說(shuō)，工業(yè)界絕大多數(shù)的代碼都是有冗余的，這就使得代碼整體比較臃腫（厚），性能會(huì)受點(diǎn)影響?；谶@種受限的情況下，本文提出了一種基于信號(hào)處理數(shù)據(jù)流計(jì)算圖模型的方法，在多個(gè)平臺(tái)多核下實(shí)現(xiàn)車輛分類。該方法在整個(gè)使用過(guò)程中，展現(xiàn)了靈活地設(shè)計(jì)實(shí)現(xiàn)優(yōu)化轉(zhuǎn)換能力，多平臺(tái)的兼容可實(shí)施性，可在有限的資源內(nèi)根據(jù)自己的算法需求，分立式地量身定制。在硬件電路加速或芯片的設(shè)計(jì)中，數(shù)據(jù)流所得到的高輸出率、低延時(shí)特點(diǎn)是各廠家在寫RTL硬件設(shè)計(jì)語(yǔ)言時(shí)著重提出的特點(diǎn)，其次基于數(shù)據(jù)流的軟硬件設(shè)計(jì)易于算法代碼之間的轉(zhuǎn)換、實(shí)現(xiàn)、移植、調(diào)試、分析、綜合、集成、優(yōu)化和驗(yàn)證。

關(guān)鍵詞：深度學(xué)習(xí);數(shù)據(jù)流;計(jì)算圖;多核運(yùn)算;車輛分類

0引言

隨著國(guó)家進(jìn)入人工智能時(shí)代，深度學(xué)習(xí)在嵌入式和計(jì)算機(jī)應(yīng)用領(lǐng)域無(wú)處不在，例如汽車嵌入式系統(tǒng)和物聯(lián)網(wǎng)，從而激發(fā)了在資源受限的邊緣端做深度卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法和研究。本文中以車輛分類作為具體研究案例，設(shè)計(jì)一種基于信號(hào)處理的數(shù)據(jù)流計(jì)算圖的模型框架和實(shí)現(xiàn)優(yōu)化方法，迭代式的實(shí)現(xiàn)，實(shí)驗(yàn)及優(yōu)化，并在不同的平臺(tái)及有限的計(jì)算資源下實(shí)現(xiàn)針對(duì)四種相近車輛的分類。本文以數(shù)據(jù)流計(jì)算圖原理出發(fā)，介紹不同數(shù)據(jù)流技術(shù)建模的原理和形式，后舉一個(gè)從零開(kāi)始基于車輛分類的例子，從訓(xùn)練某個(gè)應(yīng)用的網(wǎng)絡(luò)，選取網(wǎng)絡(luò)參數(shù)和神經(jīng)元權(quán)重開(kāi)始，進(jìn)行Matlab的仿真代碼實(shí)現(xiàn)，并以此為參考代碼進(jìn)行基于數(shù)據(jù)流計(jì)算圖c代碼實(shí)現(xiàn)，隨后對(duì)整個(gè)計(jì)算圖進(jìn)行深度優(yōu)化，最后單核和多核在不同平臺(tái)下的性能進(jìn)行了——對(duì)比。數(shù)據(jù)流計(jì)算圖的簡(jiǎn)潔，跨平臺(tái)，可擴(kuò)展的完全自主的特性，可用于任何特定領(lǐng)域，特別適合量身定制的的嵌入圖像和視頻信號(hào)的操作。

1數(shù)據(jù)流模型（DatafIow Modemg）

1.1數(shù)據(jù)流模型原理

在數(shù)據(jù)流建模模型中，數(shù)據(jù)流圖可表示為有向圖，由一系列Actors（頂點(diǎn)）和edges（前進(jìn)先出，F(xiàn)IFO）組成，其中actor表示任意復(fù)雜程度的計(jì)算單元（可以是高節(jié)點(diǎn)的actor封裝了一些計(jì)算圖），edge表示連接各actors的連線，從而構(gòu)成一組計(jì)算圖，代表一個(gè)函數(shù)功能系統(tǒng)，數(shù)據(jù)類型則封裝在token，在一個(gè)actor通過(guò)edge輸出至另一個(gè)actor輸入端。數(shù)據(jù)流邊緣可以表示e=（vl;v2），表示數(shù)據(jù)從v1至0v2。這里src（e）表示的v1稱為源actor，sink（e）表示的1，2稱為接收器。在一個(gè)數(shù)據(jù)流計(jì)算圖中，一個(gè)actor在其接受的數(shù)據(jù)足以計(jì)算該單元actor的算法時(shí)可以啟動(dòng)和調(diào)用該actor通過(guò)其enable和invoke函數(shù)，每個(gè)actor需要明確定義其輸入口消耗和輸出口產(chǎn)生的token的數(shù)量。整個(gè)數(shù)據(jù)流計(jì)算圖運(yùn)行是一個(gè)離散的操作。在圖1中，Actor：FS 1，F(xiàn)S2是2個(gè)源的參與者;Actor：Adder是加法操作：Actor：FK是接收器。整個(gè)圖表產(chǎn)生每個(gè)actor觸發(fā)（消耗）一個(gè)token到每個(gè)actor輸出（輸入）端口上。

1.2數(shù)據(jù)流模型概述

Core Functional Dataflow（CFDF）是一種可編程的模型，常用于設(shè)計(jì)、分析及實(shí)現(xiàn)信號(hào)處理系統(tǒng)，尤其是一種確定消耗產(chǎn)出比和有著動(dòng)態(tài)數(shù)據(jù)流比例的的信號(hào)處理單元的系統(tǒng)開(kāi)發(fā);Synchronous Dataflow（SDF）是最簡(jiǎn)單最流行的數(shù)據(jù)流模型，它有個(gè)限制，即一個(gè)actor在每個(gè)傳出邊緣上產(chǎn)生的數(shù)據(jù)值是個(gè)數(shù)字常量，同時(shí)actor從進(jìn)入邊緣消耗的數(shù)據(jù)值的數(shù)量也需要是常量;Cyclo-StOic Dataflow（cSDF）是一種類型的SDF，在一個(gè)actor產(chǎn)生和消耗的token比是可變的，只要這個(gè)變值是一個(gè)固定的周期性的模式;Parameterized Dataflow（PDF）是一種結(jié)合動(dòng)態(tài)參數(shù)與運(yùn)行參數(shù)化的數(shù)據(jù)流計(jì)算圖，尤其是那些有很明確的圖迭代概念的圖形;Boolean Dataflow（BDF）是SDF的擴(kuò)展，其中一個(gè)actor產(chǎn)生和消耗的吞吐率取決于控制的二值函數(shù)token，它源自于動(dòng)態(tài)數(shù)據(jù)流actor中的一個(gè)指定控制端口;Enable-Invoke Dataflow（EIDF）是另一種動(dòng)態(tài)數(shù)據(jù)流建模技術(shù)。它將actors分成一系列模式，每個(gè)模式都有一個(gè)固定的消耗和生成的token的數(shù)量，代表一個(gè)分支可以在運(yùn)行時(shí)切換多種模式。

1.3數(shù)據(jù)流模型環(huán)境：Ligh tW eight Data flow

Environm ent-C（LID E-C）

LIDE-C（輕量級(jí)數(shù)據(jù)流環(huán)境c）是一個(gè)靈活設(shè)計(jì)的c語(yǔ)言的編程環(huán)境，允許設(shè)計(jì)人員挖掘基于數(shù)據(jù)流的技術(shù)信號(hào)處理系統(tǒng)的設(shè)計(jì)實(shí)現(xiàn)和優(yōu)化，專注于基本的應(yīng)用程序編程接口（API）功能。在整個(gè)框架提供廣泛的實(shí)現(xiàn)信號(hào)處理系統(tǒng)功能的組件，以及跨平臺(tái)操作，包括可編程門陣列（FPGA），圖形處理單元（GPU），可編程數(shù)字信號(hào)處理器（DSP）和服務(wù)器工作站。LIDE-C軟件包擁有許多數(shù)據(jù)流圖元素（actor和edge）實(shí)現(xiàn)庫(kù)，基于這些基本要素可以自由設(shè)計(jì)自己的數(shù)據(jù)流圖并定義元素，開(kāi)發(fā)特定的應(yīng)用程序（例如，控制，參數(shù)化和儀器相關(guān)的模塊），和觸發(fā)整個(gè)數(shù)據(jù)流圖的調(diào)度程序，詳解可參考文章。在LIDE-C數(shù)據(jù)流計(jì)算圖種actor和edge是關(guān)鍵2元素，其中Actor設(shè)計(jì)包括四個(gè)接口函數(shù)：構(gòu)造，啟動(dòng)，調(diào)用和種植函數(shù)（圖2）。

1）構(gòu)造函數(shù)：創(chuàng)建actor的實(shí)例并連接端口，通過(guò)函數(shù)參數(shù)列表進(jìn)行算法處理后傳遞給相連的一組邊。

2）啟用功能：在運(yùn)行時(shí)檢查該actor是否有足夠的輸入數(shù)據(jù)和空的緩沖區(qū)空間來(lái)支持下一次調(diào)用。

3）調(diào)用函數(shù)：為actor執(zhí)行單次調(diào)用。

4）終止功能：關(guān)閉此actor在計(jì)算圖的作用，包括釋放相關(guān)的存儲(chǔ)對(duì)象及其所占用的資源。

LIDE-C中的FIFO設(shè)計(jì)構(gòu)成的數(shù)據(jù)流圖與其actors本身相互獨(dú)立實(shí)現(xiàn)和優(yōu)化，開(kāi)發(fā)者可專注于Actor的設(shè)計(jì)（如算法的實(shí)現(xiàn)和優(yōu)化），然后通過(guò)明確定義的接口和fifos集成這些actors，從而進(jìn)行數(shù)據(jù)流圖的調(diào)度優(yōu)化（并行，優(yōu)先級(jí)），這些可通過(guò)相互溝通實(shí)現(xiàn)整個(gè)性能的表現(xiàn)。FIFO操作由c中的接口函數(shù)封裝。函數(shù)指針是指向這些接口功能，以不同形式實(shí)現(xiàn)不同的接口。LIDE-C中的標(biāo)準(zhǔn)FIFO有以下執(zhí)行操作：

創(chuàng)建具有特定容量的新FIFO。

從/向一個(gè)fifo讀取和寫入token。

檢查FIFO的容量。

檢查FIFO中當(dāng)前的token數(shù)。

使用FIFO完成后，用FIFO解除存儲(chǔ)。

在一個(gè)數(shù)據(jù)流計(jì)算圖應(yīng)用程序中創(chuàng)建所有actors和fifos之后，逐步連接并逐步觸發(fā)檢查圖形下一個(gè)關(guān)鍵actor，從而驗(yàn)證檢查調(diào)試整個(gè)系統(tǒng)的當(dāng)前使用情況。

2基于圖像的車輛識(shí)別的網(wǎng)絡(luò)架構(gòu)

本文以基于圖像的車輛識(shí)別網(wǎng)絡(luò)系統(tǒng)，從零開(kāi)始一步一步得到相應(yīng)的網(wǎng)絡(luò)，實(shí)現(xiàn)參考的Matlab推理網(wǎng)絡(luò)代碼，從而進(jìn)一步實(shí)現(xiàn)優(yōu)化基于數(shù)據(jù)流計(jì)算圖的c代碼實(shí)現(xiàn)，此方法具有一定的普適性和擴(kuò)展性，且根據(jù)不同的需求可量身定制其它的應(yīng)用需求。案例中的CNN實(shí)現(xiàn)四種車輛之間的分類——公共汽車，卡車，面包車和汽車，此源數(shù)據(jù)和工作基于之前的車輛分類工作，提取了相關(guān)的有用信息，使用Caffe+Python隨機(jī)搜索來(lái)最優(yōu)的超參數(shù)。在使用50組隨機(jī)生成的超參數(shù)（圖3）進(jìn)行一系列搜索迭代之后，針對(duì)精確率和參數(shù)大小及性能的特征平衡，推導(dǎo)出一套可實(shí)施的優(yōu)化過(guò)的超參數(shù)車輛分類系統(tǒng)，等到訓(xùn)練模型穩(wěn)定后，提取相關(guān)的模型權(quán)重圖4（注：本文目的是演示實(shí)現(xiàn)優(yōu)化數(shù)據(jù)流計(jì)算圖的方法，所選取的類型為double型，讀者可根據(jù)深度學(xué)習(xí)相關(guān)知識(shí)，可相應(yīng)地調(diào)整網(wǎng)絡(luò)，例如用全卷積網(wǎng)絡(luò)或半精度數(shù)據(jù)類型或者8比特的整數(shù)類型）。

訓(xùn)練好后得到的超參數(shù)所形成的CNN架構(gòu)（見(jiàn)圖4）由五層組成——兩個(gè)卷積層，兩個(gè)全連接層，最后是分類器層。第一層包括三個(gè)通道（紅綠藍(lán)RGB通道），每個(gè)輸入圖像96x96的三通道經(jīng)過(guò)過(guò)濾后分解成32個(gè)特征圖，然后最大值池化為48×48。在第二層中，有32組特征圖再次卷積，然后下采樣最大值池化到24×24。第三層和第四層是兩層全連接層，每個(gè)節(jié)點(diǎn)有100個(gè)節(jié)點(diǎn)。分類器層執(zhí)行從100個(gè)元素到4個(gè)元素并通過(guò)softmax運(yùn)算符得到4個(gè)等級(jí)可能概率值。在層于層相鄰之間，應(yīng)用整流線性單元非線性激活函數(shù)（ReLU）。

3基于數(shù)據(jù)流的網(wǎng)絡(luò)架構(gòu)計(jì)算圖設(shè)計(jì)

在得到整個(gè)網(wǎng)絡(luò)拓?fù)鋱D（圖5）并提取出網(wǎng)絡(luò)各個(gè)神經(jīng)元的權(quán)重（圖4）后，先在Matlab環(huán)境中實(shí)現(xiàn)其CNN推理的圖像分類代碼，其主要目的其一是確保此參數(shù)模型的最后效果，性能和準(zhǔn)確性，其二是有一個(gè)參考代碼并可收集每一層運(yùn)算后的數(shù)值，便于后續(xù)數(shù)據(jù)流計(jì)算圖c代碼的實(shí)現(xiàn)、比較、調(diào)試和優(yōu)化，這種逐層式至最后龐大系統(tǒng)的檢測(cè)有益于整體代碼實(shí)現(xiàn)的魯棒性，并將可能的測(cè)試失敗的原因顯示化在具體的某一層某個(gè)aJctor或fifo，進(jìn)行更好更快速的實(shí)現(xiàn)代碼設(shè)計(jì)優(yōu)化和迭代。

在開(kāi)發(fā)了基于Matlab的CNN車輛分類系統(tǒng)的仿真參考模型后（圖6和圖7），我們繼續(xù)開(kāi)發(fā)基于數(shù)據(jù)流計(jì)算圖LIDE-C的設(shè)計(jì)以及實(shí)現(xiàn)，并在多平臺(tái)多核上進(jìn)行性能測(cè)試，通過(guò)迭代式優(yōu)化數(shù)據(jù)流計(jì)算圖及actor算法來(lái)提高整體性能。

作為數(shù)據(jù)流模型的第一步，把CNN網(wǎng)絡(luò)拓圖轉(zhuǎn)換了網(wǎng)絡(luò)框圖（圖8），每個(gè)框圖都可以看成帶參數(shù)的高階actor，高階actor可以封裝一個(gè)或多個(gè)帶參數(shù)subgraph系統(tǒng)子圖，而其中可能存在成千上萬(wàn)的actor互連，其形式類似于硬件模塊的實(shí)現(xiàn)，所以可以進(jìn)行很好的軟硬件結(jié)合，此網(wǎng)絡(luò)包含了共10種不同類型的actor：讀通道actor，寫通道actor，卷積actor，池化actor，非線性激活函數(shù)actor，分類器actor，聚合actor，廣播actor，乘加actor，矩陣乘法actor。針對(duì)這些actors，按照不同的圖結(jié)構(gòu)進(jìn)行封裝設(shè)計(jì)，形成三種不同的數(shù)據(jù)流計(jì)算圖（圖9，圖10，圖11）。

設(shè)計(jì)一的優(yōu)點(diǎn)是整個(gè)架構(gòu)與框圖最接近，且非常的清晰，易于理解和實(shí)現(xiàn)，驗(yàn)證和檢查整個(gè)數(shù)據(jù)流計(jì)算圖很直接方便。缺點(diǎn)是當(dāng)子圖已經(jīng)確定且封裝為一個(gè)大的actor后，難以進(jìn)一步深層次地優(yōu)化，若子圖來(lái)自于第三方機(jī)構(gòu)，當(dāng)整個(gè)程序有錯(cuò)誤時(shí)，很難進(jìn)行調(diào)試;設(shè)計(jì)二相對(duì)簡(jiǎn)潔，在卷積層用到了循環(huán)展開(kāi)（loop unrolling）和流水線（pipeline）技術(shù)進(jìn)行優(yōu)化，增加延遲但提高輸出量。此方法很適合用于網(wǎng)絡(luò)訓(xùn)練圖結(jié)構(gòu)，但需要一些技巧，總體來(lái)說(shuō)，整個(gè)計(jì)算圖仍舊可以理解;設(shè)計(jì)三的優(yōu)點(diǎn)是整個(gè)數(shù)據(jù)流計(jì)算圖可以任意地在某一步、某一個(gè)actor或fifo或緩沖區(qū)里跟蹤，控制，管理，驗(yàn)證，檢測(cè)數(shù)據(jù)，除此之外，設(shè)計(jì)三的顆粒度更細(xì)，可以更深層次進(jìn)行優(yōu)化，自行控制的選擇余地比較多，相反的，缺點(diǎn)是不易于理解，構(gòu)成，實(shí)現(xiàn)，優(yōu)化這顆粒度細(xì)且龐大復(fù)雜的數(shù)據(jù)流計(jì)算圖。