人工智能基礎(chǔ)軟硬件架構(gòu)的關(guān)鍵技術(shù)研究*

楊 建，傅明駒，徐國強

(江蘇自動化研究所 計算機事業(yè)部，江蘇 連云港 222000)

0 引言

未來戰(zhàn)爭中，戰(zhàn)場認知與決策速度將成為戰(zhàn)爭勝負的決定因素。誰能夠更快地處理戰(zhàn)場信息(感知)、理解態(tài)勢(認知)、判斷決策(決策)、執(zhí)行打擊(行動)等任務，誰就能壓縮OODA任務周期，從而在對戰(zhàn)中形成與對手的不對稱優(yōu)勢[1]。而人工智能在軍用領(lǐng)域的研究當前還處于初級階段，屬于弱人工智能范疇。其對軍用信息系統(tǒng)的智能化分析與輔助能力基本停留在事務處理和業(yè)務計算層面，對所處理的信息(如戰(zhàn)場數(shù)據(jù)、作戰(zhàn)分析、態(tài)勢圖生成等)無法實現(xiàn)智能認知以及智能輔助決策[2]，無法滿足軍用OODA的需求。此外，在實際軍事應用中要想取得對抗優(yōu)勢，必須具備強大的計算能力支撐。因此，需要研究人工智能在軍用領(lǐng)域中基礎(chǔ)軟硬件架構(gòu)所涉及的關(guān)鍵技術(shù)，這對解決人工智能在軍用領(lǐng)域的落地問題和降低人工智能的應用門檻具有重要的作用。

本文首先描述了基于深度學習技術(shù)的軍用軟硬件架構(gòu)設(shè)計方法，接著介紹了深度學習在當前軍用領(lǐng)域面臨的問題和挑戰(zhàn)。然后借鑒業(yè)內(nèi)主流的軟硬件基礎(chǔ)架構(gòu)，分析在軍事應用中涉及的關(guān)鍵技術(shù)和初步的解決思路。最后提出人工智能開發(fā)平臺、嵌入式邊緣智能計算平臺設(shè)計的基本架構(gòu)。本文的主要目的是分析軟硬件基礎(chǔ)架構(gòu)設(shè)計在軍用領(lǐng)域的可行性，提出軍用人工智能軟硬件架構(gòu)設(shè)計的難點以及解決方法和構(gòu)想。

1 人工智能軟硬件基礎(chǔ)架構(gòu)設(shè)計

人工智能是一門交叉性學科，當前主流的研究方向是機器學習和深度學習領(lǐng)域。深度學習又被作為機器學習研究中的一個分支，是由HINTON G E等人于2006年提出[3]，其核心實現(xiàn)方式是深度神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)的發(fā)展需要解決數(shù)據(jù)、算法和算力問題。首先，高效的深度學習算法主要是依托計算機技術(shù)體系架構(gòu)實現(xiàn)，深度學習算法通過封裝成軟件框架的方式供開發(fā)者使用。因此，軟件框架是整個人工智能技術(shù)體系的核心，而硬件架構(gòu)是高效實現(xiàn)人工智能應用的關(guān)鍵。

圖1所示為基于深度學習技術(shù)的人工智能基礎(chǔ)軟硬件全棧示意圖，主要分為以下幾部分：

圖1 基于深度學習的人工智能基礎(chǔ)軟硬件架構(gòu)圖

(1)基礎(chǔ)硬件層

基礎(chǔ)硬件層主要是各種架構(gòu)類型的人工智能芯片。深度學習需要大量重復執(zhí)行矩陣乘法、激活函數(shù)和池化等計算過程。通用CPU執(zhí)行重復計算的性價比較低，需要采用專用的計算芯片。AI計算芯片的架構(gòu)有GPU、FPGA或者ASIC，它們通過把AI中常用函數(shù)計算硬件化來提升硬件計算速度、降低功耗。其中涉及的關(guān)鍵技術(shù)包括指令集、硬件實現(xiàn)方案、異構(gòu)計算框架和編譯器等?？紤]到當前軍用國產(chǎn)自主安全的需求，可以采用定制化的ASIC來實現(xiàn)自主安全的專用計算硬件電路。

(2)中間表示層

中間表示層主要是深度神經(jīng)網(wǎng)絡(luò)模型編譯器的實現(xiàn)。中間表示層的核心思想借鑒了LLVM，它是底層硬件和軟件框架,以及不同軟件框架之間的橋梁。此中間表示層是解決模型推理側(cè)運行在不同硬件平臺的重要描述方法，主要包括NNVM/TVM和TensorFlow XLA兩大陣營。類似的ONNX、NNEF，模型交換格式的核心就是對各種中間層表示的定義。由于谷歌的封閉性，可以采用開源的ONNX實現(xiàn)解決方案。

(3)軟件框架層

軟件框架層是實現(xiàn)深度學習算法封裝的關(guān)鍵，為應用開發(fā)提供集成軟件工具包。一般包括訓練和推理框架兩部分。決定軟件框架易用性的因素是生態(tài)和分布式訓練。當前生態(tài)最好的云端訓練框架是TensorFlow和PyTorch框架，它們同樣支持分布式訓練。國內(nèi)百度PaddlePaddle以其豐富的生態(tài)和齊全的功能，成為國產(chǎn)化深度學習軟件的首要選型。

(4)基礎(chǔ)應用技術(shù)層

當前人工智能的商業(yè)化實現(xiàn)主要是基于計算機視覺、智能語音、自然語言處理等基礎(chǔ)應用技術(shù)。其中與軍用領(lǐng)域最類似的是符合OODA環(huán)的無人駕駛技術(shù)。當前軍用領(lǐng)域的應用問題就是要解決智能信息感知、智能信息融合和智能決策等關(guān)鍵技術(shù)。

(5)平臺任務層

商業(yè)領(lǐng)域的應用任務常見的有人臉識別、人體姿態(tài)識別、智能視頻分析、智能對話、智能翻譯等。軍用領(lǐng)域的任務主要是智能輔助決策，包括無人水下掃雷、水下反潛作戰(zhàn)、無人戰(zhàn)斗機和無人作戰(zhàn)艇以及智能作戰(zhàn)機器人等[4]。

2 人工智能軟硬件架構(gòu)的關(guān)鍵技術(shù)研究

2.1 深度學習軟硬件架構(gòu)面臨的挑戰(zhàn)

目前人工智能系統(tǒng)雖然能夠完成圖像分類、語音識別、自然語言處理和模式識別等任務，但可能會以人預測不到的方式失效。失效的原因是當前的人工智能系統(tǒng)不具備可解釋性。這在軍用領(lǐng)域，尤其是一些關(guān)鍵任務執(zhí)行過程是無法容忍的。所以軍用領(lǐng)域需要發(fā)展穩(wěn)健和可靠的人工智能系統(tǒng)。當前解決該問題的方法主要分為三類[5]：在建模之前的可解釋性方法；建立本身具備可解釋性的模型；在建模之后使用可解釋性方法對模型作出解釋[6]。其中，第二種是開發(fā)可解釋的神經(jīng)網(wǎng)絡(luò)模型算法。其他兩者是分析數(shù)據(jù)和特征圖，都需要依靠易用的深度學習可視化工具，所以在人工智能軟件架構(gòu)中需要重點構(gòu)建可視化工具組件來分析軍用模型的可靠性和可解釋性。該可視化工具的重點應是對數(shù)據(jù)、特征圖和每個神經(jīng)元權(quán)重的可視化和追蹤，能夠支持對深度神經(jīng)網(wǎng)絡(luò)模型進行基于實例的探索和基于子集的探索。此外，它還可以抽象模型結(jié)構(gòu)并顯示，使用者可以在此基礎(chǔ)上深入分析，在每個模型層或節(jié)點這一層面，對神經(jīng)元激活執(zhí)行局部檢查。為了提升該工具的交互能力，還需要開發(fā)基于Web的工具鏈。

目前的人工智能系統(tǒng)需要手工標注非常大的數(shù)據(jù)集，但當前軍用領(lǐng)域卻面臨樣本數(shù)量稀少、保密性強、搜集和標記困難等問題[7]。當前解決小樣本問題的方法主要有兩種：一是產(chǎn)生更多的訓練樣本，發(fā)展基于樣本的數(shù)據(jù)增強技術(shù)；二是發(fā)展基于小樣本的深度學習算法技術(shù)，如遷移學習、few-shot學習[8]等。對于數(shù)據(jù)增強可以開發(fā)完整的數(shù)據(jù)預處理模塊，能夠支持各種數(shù)據(jù)清理和數(shù)據(jù)增強的策略等。而學習方式方面則可以依賴深度學習訓練框架發(fā)展支持專用的工具包，集成各種算法模塊。對于繁瑣的樣本標記，本文建議發(fā)展半自動化或自動化的協(xié)同標記流程。

另外，當前軍用嵌入式硬件平臺異構(gòu)多樣，如何將訓練好的模型部署在不同推理框架和硬件之上，并且能保證在異構(gòu)硬件上達到高效率運行，這是軍用人工智能工程落地所必須解決的兩個方面，即可移植性和適應性。當前的主流解決方法是發(fā)展深度神經(jīng)網(wǎng)絡(luò)模型編譯器及其上下游的工具集，以解決深度學習模型部署到多種設(shè)備時可能存在的適應性和可移植性問題。

最后，在軍用硬件平臺方面還要解決異構(gòu)集群的分布式訓練問題，這是實現(xiàn)高性能訓練的關(guān)鍵。所以要構(gòu)建異構(gòu)的計算集群和分布式計算調(diào)度系統(tǒng)。這也是當前計算架構(gòu)最難解決的難題。異構(gòu)的計算集群可以兼顧主流的GPU、FPGA、SOC和ASIC等硬件，分布式計算調(diào)度系統(tǒng)能支持細粒度的拓撲感知任務部署，能夠運行在分布式存儲平臺之上?；趪a(chǎn)自主安全的需求，本文建議基于新一代人工智能開源開放平臺(OpenI啟智)打造異構(gòu)設(shè)備管理框架和資源管理系統(tǒng)。

2.2 人工智能軟硬件架構(gòu)的關(guān)鍵技術(shù)

2.2.1 深度學習模型壓縮技術(shù)

在計算和存儲資源受限的嵌入式和移動終端設(shè)備上對算法進行高性能的實現(xiàn)，最有效的方式就是進行模型壓縮和加速。模型壓縮[9]是指利用數(shù)據(jù)集對已訓練的模型進行精簡，進而得到輕量且準確率相當?shù)木W(wǎng)絡(luò)模型，壓縮后的模型具有更小的結(jié)構(gòu)和更少的參數(shù)，可以顯著降低計算和存儲開銷。

深度學習模型壓縮方法主要分為更精細化模型設(shè)計、模型裁剪、核的稀疏化、量化、低秩分解、知識蒸餾(遷移學習)等方法[10]，而這些方法又可分為前端壓縮和后端壓縮：前端壓縮是不破壞網(wǎng)絡(luò)結(jié)構(gòu)的壓縮技術(shù)，在原有模型上減少filter的數(shù)量或者網(wǎng)絡(luò)的深度等；后端壓縮的目的是盡可能減少模型大小，會對原始網(wǎng)絡(luò)結(jié)構(gòu)進行極大的改造。

面向訓練模型壓縮與優(yōu)化而開展的自動流程化工具設(shè)計，主要包括模型壓縮/加速算法組件以及超參數(shù)優(yōu)化組件兩部分。以騰訊開源的PocketFlow為例，其主要提供通道剪枝組件、權(quán)重稀疏化組件、權(quán)重量化組件、網(wǎng)絡(luò)蒸餾組件、多GPU訓練組件以及超參數(shù)優(yōu)化組件，通過不同算法組件的有效結(jié)合，能夠?qū)崿F(xiàn)精度損失更小、自動化程度更高的深度學習模型的壓縮與加速。

2.2.2 深度學習編譯器構(gòu)建技術(shù)

傳統(tǒng)編譯器缺少對深度學習算法基礎(chǔ)算子的優(yōu)化，且對人工智能多種異構(gòu)的計算芯片適配缺失。目前主要是在傳統(tǒng)編譯器架構(gòu)的基礎(chǔ)上進行擴展，來解決人工智能底層計算芯片與上層軟件框架的適配優(yōu)化問題。例如英偉達的CUDA編譯器，英特爾的nGraph以及華盛頓大學的NNVM/TVM編譯器都是按照這個思想，參考LLVM體系架構(gòu)設(shè)計的。

以NNVM/TVM編譯器為例，其能夠直接從多個深度學習前端框架將工作負載編譯成為優(yōu)化的機器代碼，也能在高層圖中間表示(IR)中表示和優(yōu)化普通的深度學習工作負載，還能為不同的硬件后端轉(zhuǎn)換計算圖、最小化內(nèi)存占用、優(yōu)化數(shù)據(jù)分布、融合計算模式。NNVM編譯器是基于TVM堆棧中的兩個組件：NNVM用于生成計算圖，TVM用于映射張量運算。

如圖2所示，從TVM的概覽可以看出，其具體工作流程如下：

(1)TensorFlow、PyTorch等前端學習框架的模型先轉(zhuǎn)化計算圖IR，主要由NNVM組件完成；

(2)對原計算圖IR進行計算圖優(yōu)化(包括操作融合、內(nèi)存分配優(yōu)化)，得到優(yōu)化后的計算圖;

(3)對計算圖中的每個op獲取用張量表達語言描述的Tensor計算表達式，并針對所需的硬件平臺，選擇最小計算原語(primitives)生成具體的schedule(定義怎樣調(diào)度底層硬件)，該步驟由TVM組件完成；

(4)使用某種基于機器學習的Automated Optimizer生成經(jīng)過優(yōu)化的Low Level Loop Program；

(5)最后即可生成特定于硬件設(shè)備的二進制程序，進一步生成可以部署的module。

當前主流方案都一致采用了Graph IR+Tensor IR兩層優(yōu)化結(jié)構(gòu)。這是解決軟件框架移植和硬件優(yōu)化實現(xiàn)的核心。此外，當前工程應用的訓練模型都是按照IR層的規(guī)定進行表達和存儲，IR是編譯器用來表示源碼的數(shù)據(jù)結(jié)構(gòu)或代碼。擴充性能的中間表示層是打通深度學習計算中多種不同前端訓練軟件框架和多種不同后端表達的橋梁，它可以解決框架間的可移植性問題。當前開源的ONNX具有良好的生態(tài)，可以作為人工智能中間件的首選。

圖2 NNVM/TVM系統(tǒng)概覽圖

2.2.3 深度學習樣本增強技術(shù)

在很多軍事場景中，往往難以找到充足的數(shù)據(jù)來完成任務，只能擴充數(shù)據(jù)集或?qū)?shù)據(jù)集進行增強[11]。數(shù)據(jù)增強的目的是讓有限的數(shù)據(jù)產(chǎn)生更多的等價數(shù)據(jù)。數(shù)據(jù)增強分為有監(jiān)督的數(shù)據(jù)增強和無監(jiān)督的數(shù)據(jù)增強兩類[12]。其中有監(jiān)督的數(shù)據(jù)增強又可以分為單樣本數(shù)據(jù)增強和多樣本數(shù)據(jù)增強方法，無監(jiān)督的數(shù)據(jù)增強分為生成新的數(shù)據(jù)和學習增強策略兩個方向。

因為有監(jiān)督的數(shù)據(jù)增強是利用研究者的經(jīng)驗來設(shè)計規(guī)則，存在兩個比較明顯的問題：其一，沒有考慮不同任務的差異性；其二，數(shù)據(jù)增強的多樣性和質(zhì)量仍然不夠好。因此無監(jiān)督的數(shù)據(jù)增強方法逐漸開始被研究者重視，主要包括兩類：

(1)通過模型學習數(shù)據(jù)的分布，隨機生成與訓練數(shù)據(jù)集分布一致的圖片，代表方法是生成對抗網(wǎng)絡(luò)GAN[13]。

(2)通過模型學習出適合當前任務的數(shù)據(jù)增強方法，代表方法是Google的Auto Augment[14]，基本思路是使用增強學習從數(shù)據(jù)本身尋找最佳圖像變換策略，對于不同的任務學習不同的增強方法。

軍用數(shù)據(jù)增強未來的發(fā)展方向就是把目標數(shù)據(jù)集尋找最有效的數(shù)據(jù)增強策略這一過程自動化，并且學習到的策略具有一定的可移植性。

2.3 一站式人工智能開發(fā)平臺

針對當前對軍用數(shù)據(jù)集搜集困難、訓練標記門檻高、開發(fā)周期時間長等問題，需要構(gòu)建一站式人工智能開發(fā)平臺。該開發(fā)平臺設(shè)計的基本架構(gòu)如圖3所示。

圖3 一站式人工智能開發(fā)平臺

首先，底層能夠支持異構(gòu)計算平臺，可以進行大規(guī)模分布式訓練；擁有分布式高性能通信庫，能夠做到高性能吞吐；支持分布式數(shù)據(jù)，能夠同時支持模型和數(shù)據(jù)并行；可以容器化部署和運維，能夠快速移植。

在深度學習框架方面需要支持主流的訓練框架，如TensorFlow、PyTorch和PaddlePaddle等，還可以預留框架接口，添加自定義的訓練框架等。

在訓練過程中，主要分為數(shù)據(jù)的預處理、算法開發(fā)、模型訓練等。在模型推理階段涉及模型的評測、模型庫管理以及模型的部署。

首先數(shù)據(jù)處理是當前軍用領(lǐng)域面臨的第一個問題，數(shù)據(jù)準備與標注會占整個開發(fā)流程一半以上的時間，因此需要將其自動或半自動化。數(shù)據(jù)處理框架包含數(shù)據(jù)采集、數(shù)據(jù)篩選、數(shù)據(jù)增強、數(shù)據(jù)標注、數(shù)據(jù)集版本管理功能，支持自動化和半自動化的數(shù)據(jù)篩選、多種數(shù)據(jù)增強策略、自動化的數(shù)據(jù)預標注及輔助自動化標注工具?；谠摽蚣芸梢詫崿F(xiàn)數(shù)據(jù)標注全流程處理，大大提高開發(fā)效率。

算法開發(fā)服務應該支持所有主流的AI算法框架，兼容傳統(tǒng)機器學習算法，并能夠提供在線交互的算法開發(fā)環(huán)境。除此之外，還要預置常用的機器學習和深度學習算法模板。模型訓練階段最繁瑣的工作就是模型的超參數(shù)調(diào)優(yōu)過程，所以應該建立模型參數(shù)的自動調(diào)優(yōu)服務，這是實現(xiàn)自動深度學習的關(guān)鍵技術(shù)之一。

在模型推理和部署階段，能夠支持模型評測服務，支持模型庫的管理功能。在部署方面能支持在線推理服務，結(jié)合平臺的端云協(xié)同能力，也能一鍵部署到邊緣和終端設(shè)備上。在部署端側(cè)過程中需要解決上文所提到的深度學習編譯器構(gòu)建和模型壓縮等關(guān)鍵技術(shù)。

2.4 嵌入式邊緣智能開發(fā)平臺

一站式開發(fā)平臺主要是以面向數(shù)據(jù)中心的訓練為主，在嵌入式端應用進行模型部署還需要一個面向邊緣的智能計算平臺。該平臺分為輕量級開發(fā)和模型推理部署兩部分。它首先需要支持一站式開發(fā)平臺已訓練模型的部署，解決軟硬件框架的關(guān)鍵就是構(gòu)建模型中間表示層。

以靈活的FPGA為例，硬件架構(gòu)利用DNN加速設(shè)計實現(xiàn)神經(jīng)網(wǎng)絡(luò)加速計算。軟件棧是根據(jù)自動化模型壓縮流程設(shè)計的相關(guān)工具集。如圖4所示，嵌入式邊緣智能計算平臺核心部分主要是模型的深度壓縮工具，包括模型剪枝和優(yōu)化工具、模型量化工具，提供剪枝和定點化運算；神經(jīng)網(wǎng)絡(luò)編譯器，主要是將神經(jīng)網(wǎng)絡(luò)算法編譯為可運行的指令流；運行時工具，是運行時支持環(huán)境，負責神經(jīng)網(wǎng)絡(luò)的加載、資源管理、調(diào)度。

圖4 嵌入式邊緣智能計算平臺

作為部署和推理平臺可以集成到一站式AI開發(fā)平臺上。算法框架層以輕量級推理框架為主，可以看做是訓練框架的精簡版，一般只用來做推理，不考慮訓練。最后，將算法平臺集成到應用系統(tǒng)，支撐智能無人平臺的計算需求。

3 結(jié)束語

本文首先描述了基于深度學習技術(shù)的人工智能基礎(chǔ)軟硬件架構(gòu)組成，從數(shù)據(jù)、算力和算法論證了人工智能軟硬件在軍用領(lǐng)域的潛在選擇?？紤]到后期自主安全的要求，在硬件層選用國產(chǎn)指令架構(gòu)的ASIC芯片；在模型中間表示層選擇開源并且生態(tài)良好的ONNX作為模型交換格式；在軟件框架層前期使用TensorFlow框架為主，后期傾向于使用生態(tài)逐漸發(fā)展的百度Paddle框架進行替換。接著，簡要分析了人工智能在軍用領(lǐng)域面臨的問題及解決思路，分析了軟硬件架構(gòu)中的關(guān)鍵技術(shù)和初步解決方案。最后，提出了適合軍用領(lǐng)域的一站式開發(fā)平臺和嵌入式邊緣智能計算平臺的架構(gòu)設(shè)計思路。結(jié)合軍用智能化、無人自主化的需求說明建立兩者的必要性。人工智能基礎(chǔ)軟硬件架構(gòu)需要解決的問題還非常多，但未來軍用智能化計算的進程需要以此為基礎(chǔ)。