手機(jī)AI芯片量化技術(shù)應(yīng)用進(jìn)展

1 引言

近年來，迅速興起的人工智能技術(shù)越來越多地應(yīng)用和部署到包括手機(jī)在內(nèi)的終端側(cè)。然而，在云端部署追求精度而設(shè)計(jì)的DNN模型因其具有層數(shù)較深、參數(shù)較多、計(jì)算量較大的特點(diǎn)，在移植到終端側(cè)的過程中出現(xiàn)了時(shí)延、算力、存儲(chǔ)和功耗等方面的問題，業(yè)界紛紛從硬件、軟件等多方面來解決此類問題，推動(dòng)人工智能技術(shù)在終端側(cè)的快速有效應(yīng)用。

2 端側(cè)AI加速方案

2.1 硬件加速

AI技術(shù)開始賦能移動(dòng)智能終端，AI應(yīng)用不斷豐富，為高效執(zhí)行AI計(jì)算，獲得更好的應(yīng)用體驗(yàn)，主流芯片公司均提供了終端側(cè)的AI算力支撐，即在端側(cè)高效執(zhí)行神經(jīng)網(wǎng)絡(luò)的算力支撐。從表1可得，現(xiàn)階段手機(jī)行業(yè)AI算力的硬件解決方案現(xiàn)階段大致分為兩種技術(shù)路線。第一類，芯片內(nèi)置專用的神經(jīng)網(wǎng)絡(luò)運(yùn)算單元，對(duì)神經(jīng)網(wǎng)絡(luò)中大量的矩陣運(yùn)算進(jìn)行加速，以華為海思麒麟810、970[1]，蘋果A11、A12為代表。第二類，通過SDK、API等調(diào)度傳統(tǒng)硬件單元（CPU、GPU、DSP）及其他通用計(jì)算單元聯(lián)動(dòng)賦予芯片機(jī)器學(xué)習(xí)能力，以高通（驍龍855[2]、660AIE等）和聯(lián)發(fā)科（P60、P90[3]）的部分芯片為代表。隨著技術(shù)進(jìn)步、應(yīng)用場(chǎng)景的豐富以及端側(cè)AI高效算力的要求，兩種技術(shù)路線有融合發(fā)展的趨勢(shì)[4]，如表1所示。對(duì)于芯片廠商，支持量化技術(shù)，可以在移動(dòng)設(shè)備端進(jìn)行神經(jīng)網(wǎng)絡(luò)推斷時(shí)獲得較好的運(yùn)行速度收益，滿足現(xiàn)階段終端側(cè)以神經(jīng)網(wǎng)絡(luò)推斷為主的AI算力需求。

表1 主流手機(jī)芯片廠商AI芯片硬件加速方案

2.2 降低模型大小

現(xiàn)階段的CNN模型并不適用于移動(dòng)終端，如AlexNet、VGG、ResNet等模型大小動(dòng)輒超過百兆，對(duì)移動(dòng)設(shè)備的內(nèi)存和運(yùn)算時(shí)延都提出了較高挑戰(zhàn)。為了削減模型的大小，并有效控制精度損失，使之適合在移動(dòng)設(shè)備上部署，業(yè)界逐漸形成兩類方法：

（1）輕量化網(wǎng)絡(luò)模型的設(shè)計(jì)。以MobileNet、SqueezeNet、ShuffleNet與DenseNet[5]等為代表。通過傳統(tǒng)的卷積方式重新進(jìn)行網(wǎng)絡(luò)設(shè)計(jì)優(yōu)化，以達(dá)到存儲(chǔ)、計(jì)算量和時(shí)延等都得到優(yōu)化的輕量化網(wǎng)絡(luò)。輕量化網(wǎng)絡(luò)模型設(shè)計(jì)相對(duì)于在已訓(xùn)練好的模型上進(jìn)行處理，設(shè)計(jì)更為高效的新網(wǎng)絡(luò)結(jié)構(gòu)，通過減少網(wǎng)絡(luò)參數(shù)，雖然獲得較好的模型精度，但這類方法相對(duì)門檻較高，目前在終端側(cè)獲得較多應(yīng)用輕量化網(wǎng)絡(luò)模型是MobileNet[6]。

（2）模型壓縮。常用的模型壓縮有網(wǎng)絡(luò)剪枝、量化等方法。兩種壓縮方法各有其特點(diǎn)，比較如下：

① 網(wǎng)絡(luò)剪枝方法：傳統(tǒng)的網(wǎng)絡(luò)壓縮方法，其核心思想是通過移除神經(jīng)網(wǎng)絡(luò)中的部分連接，從而降低網(wǎng)絡(luò)的存儲(chǔ)以及計(jì)算量。由于剪枝后的模型遷移性較差，需要對(duì)模型進(jìn)行重新訓(xùn)練，然后再部署到移動(dòng)設(shè)備側(cè)，過程相對(duì)復(fù)雜，且模型壓縮的比例相比量化沒有優(yōu)勢(shì)。

② 量化方法：將深度神經(jīng)網(wǎng)絡(luò)的權(quán)重和/或激活函數(shù)的參數(shù)從32位浮點(diǎn)數(shù)轉(zhuǎn)換成低比特位的表達(dá)。相比之下，低bit位操作處理邏輯相對(duì)簡(jiǎn)單，能夠達(dá)到更高的執(zhí)行效率。其次，通過量化方法可以較好地降低模型大小，在精度損失可控的前提下直接用于移動(dòng)設(shè)備的模型推斷。

目前，移動(dòng)端主要的模型壓縮方法是對(duì)訓(xùn)練好的標(biāo)準(zhǔn)模型進(jìn)行量化。因此，本文重點(diǎn)研究通過量化方法對(duì)模型進(jìn)行壓縮，以提高端側(cè)AI加速。

3 手機(jī)芯片的量化技術(shù)進(jìn)展

深度神經(jīng)網(wǎng)絡(luò)擁有復(fù)雜的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它們大量的權(quán)重參數(shù)會(huì)卻消耗相當(dāng)大的存儲(chǔ)空間、內(nèi)存帶寬以及計(jì)算資源，難以滿足移動(dòng)端的需求，嚴(yán)重阻止了深度神經(jīng)網(wǎng)絡(luò)在移動(dòng)應(yīng)用上的運(yùn)行。目前，各終端廠商及芯片廠商均研發(fā)了相應(yīng)的AI框架平臺(tái)，為開發(fā)者提供了開放的SDK、配套的神經(jīng)網(wǎng)絡(luò)運(yùn)行環(huán)境（NN runtime）及模型優(yōu)化和轉(zhuǎn)換工具，以提高在終端上更快更好地運(yùn)行神經(jīng)網(wǎng)絡(luò)模型。當(dāng)前，移動(dòng)端模型量化技術(shù)大部分采用定點(diǎn)量化方法來對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行量化。相比較用32位單精度浮點(diǎn)數(shù)表示網(wǎng)絡(luò)，其占用資源多，執(zhí)行速度慢，而定點(diǎn)數(shù)操作處理邏輯相對(duì)簡(jiǎn)單，能夠達(dá)到更高的執(zhí)行效率。

3.1 高通SNPE

SNPE（Snapdragon Neural Processing Engine）[8]是用于執(zhí)行深度神經(jīng)網(wǎng)絡(luò)的高通驍龍加速runtime平臺(tái)，具有廣泛的異構(gòu)計(jì)算能力，可以幫助開發(fā)人員在內(nèi)置驍龍芯片的移動(dòng)終端上運(yùn)行經(jīng)過訓(xùn)練的一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)模型，而無(wú)須連接到云端。它提供了模型轉(zhuǎn)換和執(zhí)行的工具及核心的API文件，用以優(yōu)化經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)在移動(dòng)終端的運(yùn)行性能。目前，SNPE平臺(tái)只支持在x86 Ubuntu Linux上調(diào)式網(wǎng)絡(luò)模型。

為了提高開發(fā)的效率，開發(fā)人員可以采用常見的深度學(xué)習(xí)框架（SNPE支持Caffe/Caffe2，ONNX和TensorFlow模型）自主設(shè)計(jì)和訓(xùn)練網(wǎng)絡(luò)。如圖1所示，經(jīng)過訓(xùn)練后的模型文件被轉(zhuǎn)換可以加載到SNPE runtime的“DLC”（Deep Learning Container）文件。然后，可調(diào)用Snapdragon加速計(jì)算單元（CPU、GPU、DSP或AIP）將DLC文件用于執(zhí)行模型推理過程。

基本的SNPE工作流程包含如下步驟：

（1）將網(wǎng)絡(luò)模型轉(zhuǎn)換為由SNPE加載的DLC文件。

（2）可選擇量化的DLC文件運(yùn)行在DSP。

圖1 高通設(shè)備運(yùn)行SNPE SDK平臺(tái)流程圖

（3）準(zhǔn)備模型的輸入數(shù)據(jù)。

（4）使用SNPE runtime加載和執(zhí)行模型。

在開發(fā)過程中，根據(jù)實(shí)際的應(yīng)用程序需要會(huì)采用量化模型文件，在保證精度影響較小的前提下，可以減少runtime的網(wǎng)絡(luò)初始化時(shí)間和初始化期間的峰值內(nèi)存使用量，提高模型推斷的效率。SNPE支持多種量化模式，所有模式都是將浮點(diǎn)數(shù)據(jù)參數(shù)量化到8位定點(diǎn)值，差別在于量化參數(shù)的選擇。平臺(tái)默認(rèn)的量化模式是使用要量化數(shù)據(jù)的真實(shí)最小值/最大值，然后調(diào)整范圍以確保最小范圍，并保證浮點(diǎn)數(shù)0.0能夠精確地量化到0-255中的一個(gè)整數(shù)。針對(duì)該量化模式，下面詳細(xì)闡述下其過程：

（1）計(jì)算輸入浮點(diǎn)數(shù)據(jù)的真實(shí)范圍

在輸入數(shù)據(jù)中查找最小和最大的值，確定編碼范圍，其中最低限值必須至少為0.01。如輸入[-1.8，-1.0，0，0.5]，最小值是-1.8，最大值是0.5，編碼范圍為2.3。

（2）計(jì)算最小編碼值和最大編碼值

最小編碼值是指以定點(diǎn)值0表示的最小浮點(diǎn)值。最大編碼值是指以定點(diǎn)值255表示的最大浮點(diǎn)值。其中步長(zhǎng)大小可表示為：

按量化8 bit（范圍為0-255）對(duì)應(yīng)其關(guān)系，最小值-1.8對(duì)應(yīng)0，最大值0.5對(duì)應(yīng)255。那么步長(zhǎng)等于0.009 020（保留6位小數(shù)）。此處編碼最小值是設(shè)置為-1.8，編碼最大值設(shè)置為0.5。

（3）量化輸入的浮點(diǎn)值

使用上一步設(shè)置的編碼-min和編碼-max參數(shù)將所有輸入的浮點(diǎn)值量化為8位定點(diǎn)表示，限制在0到255以內(nèi)。量化公式如下：

（4）按照公式2，檢查浮點(diǎn)數(shù)0.0量化值

由于0.0沒有精確對(duì)應(yīng)一個(gè)整數(shù)，四舍五入為200，故調(diào)整編碼的最小值和最大值，以便0.0能夠精確到對(duì)應(yīng)200。把0.0的量化后的值固定為200，步長(zhǎng)保持不變?yōu)?.009 020，反推調(diào)整后的編碼最小和最大值如下，

（5）輸出量化的定點(diǎn)值

量化后的值為[0，89，200，255]，圖2展示了浮點(diǎn)量化過程，可明顯看出經(jīng)過調(diào)整后0.0的準(zhǔn)確定點(diǎn)到200的位置。

圖2 浮點(diǎn)數(shù)量化過程圖

通過采用SNPE SDK工具箱對(duì)VGG16進(jìn)行量化對(duì)比，表2可以看出在保證精度前提下，量化后的VGG16模型大小變得極小，提高了移動(dòng)端模型推斷效率。本文引用的數(shù)據(jù)均來自中國(guó)電信公開的2019年AI芯片評(píng)測(cè)報(bào)告，具有可靠性[7]。

表2 高通SNPE平臺(tái)VGG16網(wǎng)絡(luò)量化先后對(duì)比

3.2 華為HiAI

華為HiAI是面向智能移動(dòng)終端的AI計(jì)算平臺(tái)，構(gòu)建三層AI架構(gòu)。如圖3所示，芯片能力開放、應(yīng)用能力開放和服務(wù)能力開放等架構(gòu)組成垂直分布，從底層到服務(wù)全方面的布局。端芯云結(jié)合構(gòu)筑全面開放的智慧生態(tài)，讓開發(fā)者能夠快速地利用華為強(qiáng)大的AI處理能力，為用戶提供更好的智慧應(yīng)用體驗(yàn)[9]。

圖3 華為HiAI平臺(tái)AI框架圖

HiAI DDK（Device Development Kit)是海思發(fā)布的用于人工智能計(jì)算的SDK，該SDK面向AI應(yīng)用程序開發(fā)人員和機(jī)器學(xué)習(xí)算法人員，通過使用HiAI DDK，可以更好的提升移動(dòng)端機(jī)器學(xué)習(xí)模型運(yùn)行速度。其中，HiAI Foundation API是移動(dòng)計(jì)算平臺(tái)中的人工智能計(jì)算庫(kù)，其主要作用是通過HiAI異構(gòu)計(jì)算平臺(tái)來加速神經(jīng)網(wǎng)絡(luò)的計(jì)算，支持模型編譯、模型加載、模型運(yùn)行、模型銷毀等模型管理接口及基本的算子計(jì)算接口。目前HiAI DDK版本的對(duì)應(yīng)關(guān)系如表3所示。

表3 HiAI DDK版本對(duì)應(yīng)

目前，API僅支持在麒麟Kirin SoC(System on a Chip)上運(yùn)行，為開發(fā)者提供基于移動(dòng)設(shè)備的運(yùn)行環(huán)境和調(diào)試工具，開發(fā)者可以在移動(dòng)設(shè)備中運(yùn)行神經(jīng)網(wǎng)絡(luò)模型，調(diào)用HiAI Foundation API進(jìn)行加速計(jì)算。HiAI Foundation API無(wú)需安裝，使用移動(dòng)設(shè)備默認(rèn)鏡像即可支持相關(guān)集成、開發(fā)和驗(yàn)證。

圖4主要介紹了APP使用HiAI DDK的主要集成步驟：

（1） 原始模型：HiAI Foundation支持多種智能平臺(tái)框架，包括Caffe、Tensor flow等，使用不同的智能平臺(tái)框架，第三方需要在接口中指出本次計(jì)算需要使用的具體的智能平臺(tái)框架，其他接口和參數(shù)無(wú)需修改。

（2）INT8量化：是一種可以把FP32模型直接轉(zhuǎn)化為INT8模型的操作，以節(jié)約網(wǎng)絡(luò)存儲(chǔ)空間、降低傳輸時(shí)延以及提高運(yùn)算執(zhí)行效率。與上述高通SNPE平臺(tái)描述的量化原理相同。

（3）離線模型轉(zhuǎn)換：完成模型構(gòu)建或INT8量化后，需要將Caffe或者Tensor flow模型轉(zhuǎn)換為HiAI平臺(tái)支持的模型格式。通過編譯工具生成可以在HiAI Foundation上高效執(zhí)行的離線模型，并保存為二進(jìn)制“.om”(Offline Model)文件。將標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)模型（Caffe等）編譯轉(zhuǎn)換為離線模型，編譯的主要目的是對(duì)模型配置進(jìn)行優(yōu)化，生成優(yōu)化后的目標(biāo)文件，即離線模型，離線模型是序列化的存儲(chǔ)在磁盤上，這樣，神經(jīng)網(wǎng)絡(luò)前向計(jì)算時(shí)，可以直接使用優(yōu)化后的目標(biāo)文件進(jìn)行計(jì)算，速度更快。目前，離線模型轉(zhuǎn)換需在Ubuntu下執(zhí)行轉(zhuǎn)換。

（4）APP集成：APP集成流程包含模型預(yù)處理、加載模型、運(yùn)行模型、模型后處理。

通過采用HiAI 2.0 SDK對(duì)ResNet50進(jìn)行量化對(duì)比，表4可以看出在保證精度前提下，HiAI SDK量化后的ResNet50模型大小變得極小，提高了移動(dòng)端模型推斷效率。

3.3 聯(lián)發(fā)科NeuroPilot

NeuroPilot是以CPU、GPU和APU（AI Processor Unit）[10]等異構(gòu)運(yùn)算為基礎(chǔ)的、整合軟硬件、完整、開放的人工智能平臺(tái)，致力將終端人工智能（Edge AI）帶入各種跨平臺(tái)設(shè)備，更快地進(jìn)行深度學(xué)習(xí)與智慧決策，部署從端到云的強(qiáng)大AI運(yùn)算方案。其中，APU是人工智能處理單元，專為智能手機(jī)移動(dòng)設(shè)備所設(shè)計(jì)的，可提供高能效的人工智能操作處理。

圖4 HiAI平臺(tái)模型集成流程圖

表4 華為HiAI平臺(tái)對(duì)ResNet50量化先后對(duì)比

NeuroPilot支持市場(chǎng)上現(xiàn)有的AI架構(gòu)包括Google的 TensorFlow、Caffe、Amazon的 MXNet、Sony的NNabla等第3方通用架構(gòu)來構(gòu)建應(yīng)用程序。在操作系統(tǒng)方面，聯(lián)發(fā)科技同時(shí)支持Android與Linux系統(tǒng)。NeuroPilot SDK不僅兼容谷歌安卓神經(jīng)網(wǎng)絡(luò)API（Android NN API）還提供完整的開發(fā)工具及NeuroPilot擴(kuò)充組件，從而讓開發(fā)人員和設(shè)備制造商能以更加貼近硬件的方式編碼以提高性能和功效。

從圖5可看出，NeuroPilot平臺(tái)大致可分為3個(gè)層級(jí)，最頂層是各種應(yīng)用程序（APP），中間層用于程序編寫和異構(gòu)運(yùn)算，最底層是各種硬件處理器。軟件層主要由算法軟件構(gòu)成，包括API、神經(jīng)網(wǎng)絡(luò)runtime、異構(gòu)runtime，NeuroPilot除了把通用AI應(yīng)用的運(yùn)算嵌入，還提供了一些客制化接口，以滿足廠商的客制化需求。

圖5 NeuroPilot平臺(tái)框架

聯(lián)發(fā)科在NeuroPilot 2.0平臺(tái)上提供了ML Kit工具包，可以對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行剪枝和量化。通過表5可以得出，經(jīng)過量化后的模型，可以節(jié)省35%的運(yùn)算量，同樣準(zhǔn)確度并不會(huì)下降。

表5 聯(lián)發(fā)科NeuroPilot平臺(tái)對(duì)InceptionV3量化后對(duì)比

當(dāng)前，聯(lián)發(fā)科NeuroPilot SDK雖更新到2.0版本，但并未向開發(fā)人員公開，僅對(duì)其合作伙伴開放共享。針對(duì)NeuroPilot SDK這種能提供軟、硬件解決方案的AI平臺(tái)，若能夠?qū)κ袌?chǎng)開源，相信開發(fā)人員可以更方便的開發(fā)出實(shí)際應(yīng)用中的人工智能產(chǎn)品，提高內(nèi)置NeuroPilot技術(shù)的智能移動(dòng)設(shè)備的運(yùn)行效率。

4 量化技術(shù)發(fā)展判斷

深度神經(jīng)網(wǎng)絡(luò)普遍使用32位單精度浮點(diǎn)數(shù)表示，然而浮點(diǎn)數(shù)計(jì)算往往占用資源多，執(zhí)行速度慢。相比之下，定點(diǎn)數(shù)操作處理邏輯相對(duì)簡(jiǎn)單，能夠達(dá)到更高的執(zhí)行效率?；诖耍壳吧窠?jīng)網(wǎng)絡(luò)定點(diǎn)量化技術(shù)獲得了越來越多的關(guān)注。針對(duì)移動(dòng)端模型量化技術(shù)的現(xiàn)狀，對(duì)以后的量化技術(shù)發(fā)展進(jìn)行如下判斷：

（1）多種低比特量化

隨著人工智能應(yīng)用場(chǎng)景越來越多，因自身字節(jié)限制的INT8量化無(wú)法滿足所有應(yīng)用場(chǎng)景的需要，故出現(xiàn)了多種低比特量化方法，如INT16、二值量化和三值量化等技術(shù)。例如，針對(duì)復(fù)雜的應(yīng)用場(chǎng)景如超分網(wǎng)絡(luò)，相比較采用INT8定點(diǎn)量化網(wǎng)絡(luò)，16bit量化可以表示更高字節(jié)的參數(shù)，使得量化后的網(wǎng)絡(luò)精度更高。同時(shí)，近期網(wǎng)絡(luò)二值量化（-1，+1）和三值量化（-1，0，+1）等方法亦受到了越來越多的研究者的關(guān)注。相對(duì)于32位浮點(diǎn)數(shù)網(wǎng)絡(luò)，采用權(quán)值二值化可以節(jié)約32倍存儲(chǔ)，同時(shí)由于所有權(quán)值都量化到+1或者-1，整個(gè)網(wǎng)絡(luò)的浮點(diǎn)數(shù)乘加運(yùn)算可以轉(zhuǎn)換成浮點(diǎn)數(shù)加減法。該類型量化方法適用于單一的二類場(chǎng)景，在保證精度前提下，可提高終端的運(yùn)行效率。未來的量化技術(shù)發(fā)展應(yīng)根據(jù)實(shí)際應(yīng)用場(chǎng)景分析，在保證精度前提下，采用相對(duì)應(yīng)的低比特量化方法來量化網(wǎng)絡(luò)參數(shù)。

（2）網(wǎng)絡(luò)激活量化

如今大部分定點(diǎn)量化方法主要是對(duì)模型網(wǎng)絡(luò)權(quán)值進(jìn)行量化，很少會(huì)對(duì)網(wǎng)絡(luò)激活進(jìn)行低比特量化。研發(fā)表明，網(wǎng)絡(luò)激活進(jìn)行低比特量化可以有效地減少模型量化的精度損失。例如，Hubara等人[11]在中對(duì)BinaryConnect網(wǎng)絡(luò)進(jìn)行了擴(kuò)展，二值化神經(jīng)網(wǎng)絡(luò)（Binarized Neural Networks，BNN），直接使用符號(hào)函數(shù)（sign）同時(shí)對(duì)網(wǎng)絡(luò)權(quán)值和激活進(jìn)行二值化，在CIFAR-10等小型數(shù)據(jù)集上，BNN能夠達(dá)到甚至超過全精度網(wǎng)絡(luò)的性能。

目前，雖然深度神經(jīng)在網(wǎng)絡(luò)權(quán)值和網(wǎng)絡(luò)激活低比特量化方面獲得了非常大的進(jìn)展，但是相比于浮點(diǎn)網(wǎng)絡(luò)，依然存在較大的性能損失。隨著當(dāng)前的量化技術(shù)發(fā)展趨勢(shì)，未來針對(duì)如何進(jìn)行網(wǎng)絡(luò)非常低比特的壓縮、改進(jìn)量化及訓(xùn)練方法以提升低比特網(wǎng)絡(luò)性能，依然需要非常多的探索。

5 結(jié)束語(yǔ)

當(dāng)前，越來越多的深度神經(jīng)網(wǎng)絡(luò)被部署到手機(jī)及其他移動(dòng)設(shè)備上，移動(dòng)端的AI應(yīng)用受到廣大用戶的青睞。目前，主流的終端及芯片廠商紛紛構(gòu)建了人工智能平臺(tái)，加速神經(jīng)網(wǎng)絡(luò)在移動(dòng)端的模型推斷。本文主要研究分析了高通SNPE、華為HiAI、聯(lián)發(fā)科NeuroPilot等平臺(tái)對(duì)手機(jī)AI芯片量化技術(shù)方面的研究現(xiàn)狀，發(fā)現(xiàn)目前常用的量化方法是定點(diǎn)量化。它操作處理邏輯相對(duì)簡(jiǎn)單，在保證精度的前提下，能夠達(dá)到更高的執(zhí)行效率。

未來，隨著量化技術(shù)的不斷發(fā)展和完善，手機(jī)AI芯片量化技術(shù)應(yīng)根據(jù)實(shí)際應(yīng)用場(chǎng)景，采用相對(duì)應(yīng)的低比特量化方法來量化網(wǎng)絡(luò)參數(shù)，不再局限于定點(diǎn)INT8量化方法。同時(shí)，不能僅對(duì)網(wǎng)絡(luò)權(quán)重量化，還要對(duì)網(wǎng)絡(luò)激活進(jìn)行低比特量化，最大化地量化神經(jīng)網(wǎng)絡(luò)，保證其精度前提下，提高手機(jī)的運(yùn)行效率。針對(duì)網(wǎng)絡(luò)的量化技術(shù)發(fā)展，仍然存在很多的探索，應(yīng)多方面的完善和改進(jìn)量化方法，提升網(wǎng)絡(luò)性能。