生成技術(shù)在人工智能平臺(tái)中的應(yīng)用探索

夏正勛，楊一帆，羅圣美，趙大超，張燕，唐劍飛

星環(huán)信息科技（上海）有限公司，上海 200233

1 引言

隨著人工智能（artificial intelligence，AI）技術(shù)的快速發(fā)展，特別是在深度學(xué)習(xí)（deep learning，DL）技術(shù)的推動(dòng)下，人工智能的應(yīng)用需求呈爆發(fā)式增長(zhǎng)。AI平臺(tái)是AI功能的載體，多樣化的應(yīng)用需求對(duì)AI平臺(tái)提出了越來(lái)越高的要求，在不同的發(fā)展時(shí)期，AI平臺(tái)有不同的關(guān)注點(diǎn)。在發(fā)展初期，AI平臺(tái)關(guān)注其基礎(chǔ)能力實(shí)現(xiàn)，如對(duì)訓(xùn)練及推理的支持能力、支持的算法種類等。在應(yīng)用普及期，AI平臺(tái)關(guān)注其落地能力，如性能優(yōu)化、可視化管理、虛擬化支持等。近年來(lái)，AI進(jìn)入快速推廣期，AI平臺(tái)更關(guān)注其商用成本及對(duì)創(chuàng)新特性的支持能力，如AI硬件支持種類、數(shù)據(jù)安全特性支持等。

為了滿足不同階段的不同需求，AI平臺(tái)需要不斷優(yōu)化升級(jí)，增強(qiáng)功能，這導(dǎo)致AI平臺(tái)處理流程越來(lái)越復(fù)雜，增加了AI平臺(tái)優(yōu)化改造的難度及工作量。為此，需要一種更靈活的AI平臺(tái)內(nèi)核實(shí)現(xiàn)手段支持新功能的開發(fā)，而生成技術(shù)可以根據(jù)上下文的需要生成數(shù)據(jù)或代碼，以一種更靈活的方式滿足AI上層應(yīng)用的需求及內(nèi)核自身的改進(jìn)需求，提高AI平臺(tái)的靈活性及穩(wěn)定性，快速實(shí)現(xiàn)AI平臺(tái)的自我優(yōu)化。

2 生成技術(shù)的當(dāng)前研究方向與現(xiàn)狀

生成技術(shù)可以根據(jù)上下文的需要生成符合特定規(guī)則的內(nèi)容（如代碼、數(shù)據(jù)等），具體包含代碼生成技術(shù)、參數(shù)空間生成技術(shù)、數(shù)據(jù)樣本生成技術(shù)等。

代碼生成技術(shù)[1]應(yīng)用于GNU編譯器套件（GNU compiler collection，GCC）、低級(jí)虛擬機(jī)（low level virtual machine，LLVM）、Clang（C language family frontend for LLVM）等編譯器中。代碼生成模塊作為編譯器前端（frontend）的一部分，從語(yǔ)法和詞法分析處理模塊獲得抽象語(yǔ)法樹，并向編譯器后端（backend）提供字節(jié)碼，是連接編譯器前端和后端的紐帶，該過(guò)程如圖1所示。

受益于代碼生成技術(shù)，編譯器可以將不同的編程語(yǔ)言（如C、C++、Java等）的源碼輸出為統(tǒng)一的中間表示（intermediate representation，IR），并針對(duì)中間表示進(jìn)行統(tǒng)一優(yōu)化，提升代碼執(zhí)行效率。另外，代碼生成部分也為不同的編譯器后端提供標(biāo)準(zhǔn)化的字節(jié)碼輸入，使編譯器能夠在不改變?cè)创a的情況下，實(shí)現(xiàn)同一份源碼支持多個(gè)編譯器后端（如x86硬件平臺(tái)后端、PowerPC硬件平臺(tái)后端、ARM硬件平臺(tái)后端等），使程序具備跨平臺(tái)的支持能力。近些年，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，出現(xiàn)了眾多深度學(xué)習(xí)框架，如Caffe、TensorFlow、PyTorch、MXNet等，不同深度學(xué)習(xí)框架輸出的模型相互之間并不兼容。為解決這一問題，華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院于2016年發(fā)布了NNVM（neural network virtual machine）[2]編譯器，NNVM借鑒了LLVM的思想，通過(guò)代碼生成技術(shù)為不同的深度學(xué)習(xí)框架模型提供統(tǒng)一的深度學(xué)習(xí)中間表示（deep learning intermediate representation，DLIR）語(yǔ)言，不需要編碼即可支持多種深度學(xué)習(xí)框架模型跨硬件平臺(tái)的推理執(zhí)行。

參數(shù)空間生成技術(shù)主要應(yīng)用于AI算法的超參數(shù)自動(dòng)調(diào)優(yōu)階段。在AI的上下文中，超參數(shù)需要在開始學(xué)習(xí)過(guò)程之前進(jìn)行設(shè)置，而不是通過(guò)訓(xùn)練得到參數(shù)數(shù)據(jù)。通常情況下，超參數(shù)主要依據(jù)工程師的經(jīng)驗(yàn)配置，當(dāng)參數(shù)數(shù)量增多時(shí)，參數(shù)組合情況倍增，人工配置難以取得很好的效果，因此超參數(shù)自動(dòng)化調(diào)優(yōu)技術(shù)的出現(xiàn)減輕了AI工程師的負(fù)擔(dān)，使其將工作重心從煩瑣、重復(fù)的選型和調(diào)參任務(wù)轉(zhuǎn)移到數(shù)據(jù)分析上。超參數(shù)自動(dòng)化調(diào)優(yōu)技術(shù)通常包含參數(shù)空間的生成與參數(shù)空間的優(yōu)化選擇[3]兩個(gè)階段，參數(shù)空間的生成是從理想狀態(tài)下的所有參數(shù)組合中選擇有潛力的候選配置，參數(shù)空間可以基于規(guī)則方法生成或基于元學(xué)習(xí)技術(shù)方法[4]生成。參數(shù)空間的優(yōu)化選擇階段可以采用的方法有基于強(qiáng)化學(xué)習(xí)的超參數(shù)優(yōu)化方法[5]、基于改進(jìn)粒子群算法的深度學(xué)習(xí)超參數(shù)優(yōu)化方法[6]、基于貝葉斯新型深度學(xué)習(xí)超參數(shù)優(yōu)化方法[7]等。

數(shù)據(jù)樣本生成技術(shù)通常指自主學(xué)習(xí)原始樣本的分布規(guī)律，生成新的數(shù)據(jù)樣本，例如目標(biāo)檢測(cè)場(chǎng)景中數(shù)據(jù)集的半自動(dòng)生成[8]、基于生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）的小樣本數(shù)據(jù)的生成[9]等。在AI安全領(lǐng)域，對(duì)抗樣本的生成技術(shù)指在原有樣本的像素上添加擾動(dòng)的方法[10]，使包括卷積神經(jīng)網(wǎng)絡(luò)在內(nèi)的深度學(xué)習(xí)模型的準(zhǔn)確率顯著降低。數(shù)據(jù)樣本生成技術(shù)的應(yīng)用豐富了AI訓(xùn)練數(shù)據(jù)集，解決了訓(xùn)練樣本數(shù)量和樣本多樣性不足的問題，有效地提升了模型的精度及魯棒性。

3 生成技術(shù)在AI平臺(tái)中的應(yīng)用及系統(tǒng)實(shí)現(xiàn)

AI平臺(tái)是提供“算法、算力、數(shù)據(jù)”基礎(chǔ)能力的平臺(tái)，在AI平臺(tái)之上是AI的各類行業(yè)應(yīng)用。艾瑞咨詢發(fā)布的《2019年中國(guó)人工智能產(chǎn)業(yè)研究報(bào)告》將AI的服務(wù)分為基礎(chǔ)層服務(wù)、技術(shù)層服務(wù)、產(chǎn)品與解決方案服務(wù)，AI平臺(tái)主要涵蓋基礎(chǔ)層服務(wù)及技術(shù)層服務(wù)。具體而言，基礎(chǔ)層服務(wù)主要包含AI芯片、AI框架、AI邊緣設(shè)備、AI容器云服務(wù)、AI數(shù)據(jù)服務(wù)等；技術(shù)層服務(wù)主要包含計(jì)算機(jī)視覺、語(yǔ)音識(shí)別、自然語(yǔ)言處理、知識(shí)圖譜、機(jī)器學(xué)習(xí)等算法及模型服務(wù)等。AI平臺(tái)的建立有助于降低技術(shù)門檻，讓所有人都能享受到AI技術(shù)進(jìn)步帶來(lái)的紅利。

但AI技術(shù)的快速發(fā)展及其相關(guān)應(yīng)用的快速普及也為AI平臺(tái)帶來(lái)了新的挑戰(zhàn)。無(wú)論是新型算法、新型硬件的支持還是更高的AI安全可靠性要求，均需要從AI的基礎(chǔ)層、技術(shù)層進(jìn)行創(chuàng)新，而這不可避免地會(huì)對(duì)AI平臺(tái)的原有架構(gòu)、流程及功能做出變更。依靠傳統(tǒng)人工編碼的方式支持AI平臺(tái)新特性的開發(fā)，工作量大，開發(fā)周期長(zhǎng)，對(duì)新需求的響應(yīng)速度較慢。本文對(duì)生成技術(shù)在AI平臺(tái)進(jìn)行應(yīng)用實(shí)踐及探索思考，期望能夠?yàn)锳I平臺(tái)的架構(gòu)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)提供一種新的思路，快速響應(yīng)內(nèi)外部需求的柔性擴(kuò)展。本文將生成技術(shù)應(yīng)用于AI平臺(tái)的模型支持、運(yùn)行時(shí)（runtime）等核心模塊，包括自動(dòng)化前后端適配、自動(dòng)化調(diào)優(yōu)、自動(dòng)對(duì)抗學(xué)習(xí)等功能模塊，從而可以根據(jù)上下文的需要，自動(dòng)地生成數(shù)據(jù)或代碼，避免了大量的手工工作，有效地提升了AI平臺(tái)的開發(fā)效率，降低了開發(fā)成本。

3.1 基于代碼生成技術(shù)的自動(dòng)化前后端適配

代碼生成技術(shù)是一種利用程序生成代碼的技術(shù)，與人工編寫代碼相比，代碼生成技術(shù)有效解決了人工編寫代碼工作量大、耗時(shí)長(zhǎng)的問題，提高了軟件開發(fā)效率。近些年，隨著AI軟硬件的快速演進(jìn)發(fā)展，特別是國(guó)產(chǎn)軟硬件的發(fā)展，為了能夠?qū)崿F(xiàn)AI平臺(tái)對(duì)各類深度學(xué)習(xí)框架（如TensorFlow、MXNet、PyTorch、PaddlePaddle、MindSpore等前端框架）的廣泛兼容，同時(shí)實(shí)現(xiàn)對(duì)后端AI硬件的廣泛支持，基于代碼生成技術(shù)實(shí)現(xiàn)了自動(dòng)化前后端適配子系統(tǒng)，自動(dòng)化前后端適配流程如圖2所示。

首先，針對(duì)不同的學(xué)習(xí)框架，自動(dòng)化前后端適配子系統(tǒng)提供不同的解析腳本對(duì)模型進(jìn)行解析，以提取模型中的網(wǎng)絡(luò)結(jié)構(gòu)定義、網(wǎng)絡(luò)參數(shù)及超參數(shù)等信息。統(tǒng)一IR是自動(dòng)化前后端適配子系統(tǒng)定義的中間表示，統(tǒng)一IR考慮了所有深度學(xué)習(xí)框架模型的算子支持情況，統(tǒng)一IR可以與模型中的算子一一對(duì)應(yīng)，對(duì)應(yīng)關(guān)系被預(yù)定義在算子匹配規(guī)則表中。算子匹配規(guī)則表示例如圖3所示，其中冒號(hào)前為模型中的算子，冒號(hào)后為統(tǒng)一IR中的算子。

自動(dòng)化前后端適配子系統(tǒng)在遍歷神經(jīng)網(wǎng)絡(luò)的過(guò)程中，使用代碼生成技術(shù)，根據(jù)算子匹配規(guī)則表的匹配關(guān)系，生成統(tǒng)一的計(jì)算圖，如圖4所示。

自動(dòng)化前后端適配子系統(tǒng)可針對(duì)計(jì)算圖進(jìn)行圖級(jí)別的優(yōu)化，這些優(yōu)化包含重復(fù)子句消除、計(jì)算簡(jiǎn)化、卷積計(jì)算核合并、計(jì)算節(jié)點(diǎn)合并等。自動(dòng)化前后端適配子系統(tǒng)根據(jù)不同的目標(biāo)硬件平臺(tái)選擇不同的硬件runtime，同樣基于代碼生成技術(shù)將統(tǒng)一計(jì)算圖生成為特定硬件的執(zhí)行程序。如果目標(biāo)硬件為NVIDIAGPU，則選擇的runtime為統(tǒng)一計(jì)算架構(gòu)（compute unified device architecture，CUDA）；如果目標(biāo)硬件為AMDGPU，則選擇的runtime為RCOM。接著就可以調(diào)用與硬件對(duì)應(yīng)的編譯器對(duì)執(zhí)行代碼進(jìn)行優(yōu)化、編譯，最終生成可以在不同硬件平臺(tái)上運(yùn)行的可執(zhí)行模塊。

綜上，基于代碼生成技術(shù)的應(yīng)用，依據(jù)簡(jiǎn)單的前后端類型配置信息，自動(dòng)化前后端適配子系統(tǒng)可以自動(dòng)地將不同深度學(xué)習(xí)框架模型轉(zhuǎn)化為在特定硬件上的可執(zhí)行代碼，減少了大量的模型轉(zhuǎn)換、硬件適配工作，提升了AI平臺(tái)的開發(fā)效率及易用性。

3.2 基于參數(shù)空間生成技術(shù)的自動(dòng)化調(diào)優(yōu)

超參數(shù)是AI模型中的框架參數(shù)，如聚類算法中的類別數(shù)目、矩陣乘法中的數(shù)據(jù)形狀的定義等。超參數(shù)與訓(xùn)練過(guò)程中學(xué)習(xí)到的權(quán)重參數(shù)不一樣，其通常由人工設(shè)置，不斷試錯(cuò)調(diào)整，這往往會(huì)花費(fèi)大量的時(shí)間。因此，基于參數(shù)空間生成及參數(shù)空間搜索的自動(dòng)化參數(shù)優(yōu)化技術(shù)可以實(shí)現(xiàn)超參數(shù)調(diào)優(yōu)自動(dòng)化，不需要人工參與，速度更快，性能更優(yōu)。其核心思想是：建立一個(gè)足夠大的搜索空間，保證可能的參數(shù)組合全部被包含在這個(gè)搜索空間里；快速地搜索這個(gè)空間，獲取最優(yōu)的參數(shù)組合，可以利用隨機(jī)搜索、網(wǎng)格搜索、遺傳算法、極端梯度提升樹（extreme gradient boosting，XGBoost）[11]方法對(duì)參數(shù)空間進(jìn)行檢索。

下面以A[m,k]×B[k,n]=C[m,n]矩陣乘法為例，說(shuō)明自動(dòng)化調(diào)優(yōu)過(guò)程中參數(shù)空間生成的應(yīng)用，其計(jì)算過(guò)程如圖5所示。

如圖5所示，考慮到內(nèi)存空間有限，對(duì)于大型的矩陣乘法，通常采用分片計(jì)算的方式。在計(jì)算過(guò)程中，參與單次計(jì)算的3個(gè)數(shù)據(jù)塊a[m1,k1]、b[k1,n1]、c[m1,n1]均能夠在緩存中被連續(xù)訪問，這可以有效地減少上下文切換，極大地提升計(jì)算效率。但不同的AI芯片的緩存配置不同，因此人工配置難以達(dá)到最優(yōu)計(jì)算性能，需要依靠自動(dòng)化方法實(shí)現(xiàn)最優(yōu)參數(shù)搜索的工作。通常首先以2n為基本單位對(duì)輸出數(shù)據(jù)的每個(gè)維度進(jìn)行分割，如A[512,512]×B[512,512]=C[512,512]的計(jì)算，分割后結(jié)果為[[512, 1], [256, 2], [128,4], [64, 8], [32, 16], [16, 32], [8, 64], [4,128], [2, 256], [1, 512]]，輸出塊的形狀（shape）共有10種，[32,16]表示A[32,k]×B[k,16]=C[32,16]。接著以2n為基本單位對(duì)k軸做分割，k同樣有10種取值，因此生成的參數(shù)組合空間中的參數(shù)組合數(shù)目為100種。

在具體應(yīng)用中，參數(shù)空間的生成方式與參數(shù)搜索方法有關(guān)。例如，使用網(wǎng)格搜索方法需要生成所有參數(shù)組合，并對(duì)所有參數(shù)組合進(jìn)行遍歷，這并不是一種高效的參數(shù)優(yōu)化方式；使用隨機(jī)搜索方法，可能效果特別差，也可能效果特別好，在嘗試次數(shù)與網(wǎng)格搜索方法的嘗試次數(shù)相同的情況下，通常隨機(jī)搜索方法的最值會(huì)更大，變化幅度也更大，但這不會(huì)影響最終結(jié)果。在實(shí)現(xiàn)隨機(jī)搜索時(shí)可以進(jìn)行優(yōu)化，過(guò)濾可能出現(xiàn)過(guò)的參數(shù)組合，避免重復(fù)生成及重復(fù)計(jì)算。使用遺傳算法進(jìn)行參數(shù)調(diào)優(yōu)時(shí)，開始可以使用隨機(jī)生成方法對(duì)“種群”進(jìn)行初始化工作，在優(yōu)化過(guò)程中完成參數(shù)的“復(fù)制”“交叉”“變異”等處理，當(dāng)嘗試總次數(shù)大于參數(shù)空間總數(shù)時(shí)，“遺傳”結(jié)束。使用XGBoost方法對(duì)參數(shù)空間進(jìn)行搜索時(shí)，每一批計(jì)算的參數(shù)組合中的95%可以遍歷生成，5%可以隨機(jī)生成。另外，不同場(chǎng)景中的參數(shù)生成規(guī)則可能不同，因此還需要對(duì)參數(shù)生成規(guī)則做一定的管理，在插件式管理的基礎(chǔ)上可以組合出更強(qiáng)的參數(shù)生成能力。

在AI平臺(tái)中，與自動(dòng)化參數(shù)調(diào)優(yōu)子系統(tǒng)類似的還有自動(dòng)網(wǎng)絡(luò)設(shè)計(jì)及調(diào)優(yōu)子系統(tǒng)，網(wǎng)絡(luò)生成技術(shù)通過(guò)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)算子的堆疊組合，改變算子間的鏈接權(quán)重或拓?fù)浣Y(jié)構(gòu)等生成規(guī)則，構(gòu)建神經(jīng)網(wǎng)絡(luò)架構(gòu)空間，然后在生成的網(wǎng)絡(luò)架構(gòu)空間中使用遺傳算法、XGBoost等方法完成網(wǎng)絡(luò)架構(gòu)的優(yōu)化選擇。

3.3 基于數(shù)據(jù)樣本生成技術(shù)的自動(dòng)對(duì)抗學(xué)習(xí)

隨著AI技術(shù)的深入應(yīng)用，人們?cè)絹?lái)越關(guān)注AI自身的安全性問題。2018年，360安全研究院發(fā)布的《AI安全風(fēng)險(xiǎn)白皮書》指出：深度學(xué)習(xí)框架中對(duì)抗機(jī)器學(xué)習(xí)的惡意樣本生成、訓(xùn)練數(shù)據(jù)的污染等可能導(dǎo)致AI驅(qū)動(dòng)的識(shí)別系統(tǒng)出現(xiàn)混亂，形成漏判或者誤判，甚至導(dǎo)致系統(tǒng)崩潰或被劫持。Kurakin A等人[10]提出了大規(guī)模對(duì)抗機(jī)器學(xué)習(xí)系統(tǒng)，通過(guò)將對(duì)抗樣本加入訓(xùn)練過(guò)程，增強(qiáng)模型的抗攻擊能力。在分析對(duì)抗樣本及數(shù)據(jù)毒化等AI攻擊方法的基礎(chǔ)上，結(jié)合對(duì)抗學(xué)習(xí)理念，可以構(gòu)建商用化的AI對(duì)抗學(xué)習(xí)子系統(tǒng)，其系統(tǒng)處理流程如圖6所示。

AI對(duì)抗學(xué)習(xí)子系統(tǒng)基于數(shù)據(jù)樣本生成技術(shù)，針對(duì)特定的模型及原始樣本生成能夠誤導(dǎo)模型判斷的對(duì)抗樣本，對(duì)抗樣本的生成過(guò)程是在原樣本上生成能夠讓模型做出誤判的微小擾動(dòng)的過(guò)程。具體而言，這類擾動(dòng)可以通過(guò)梯度方法或仿射平面方法等白盒方法生成，如FGSM[12]、C&Wattacks[13]、DeepFool[14]等，或者通過(guò)生成網(wǎng)絡(luò)方法、差分進(jìn)化算法等黑盒方法生成，如UPSET[15]、ANGRI[15]、Houdini[16]、One-Pixel[17]等。對(duì)抗樣本生成器可以使用上述方法生成對(duì)抗樣本，對(duì)抗樣本的特點(diǎn)是與正常樣本偏差很小，但模型輸出結(jié)果偏差很大，通過(guò)將對(duì)抗樣本加入學(xué)習(xí)過(guò)程，可以提升模型的抗攻擊能力。這個(gè)過(guò)程是一個(gè)自動(dòng)化的持續(xù)學(xué)習(xí)過(guò)程，通過(guò)不斷地生成、訓(xùn)練，持續(xù)提升模型的安全性。同樣的思路，對(duì)于數(shù)據(jù)毒化的攻擊來(lái)說(shuō)，可以通過(guò)毒化樣本生成器生成毒化樣本，這類樣本的特點(diǎn)是與正常樣本偏差比較大，但模型輸出結(jié)果偏差很小。將毒化樣本加入學(xué)習(xí)過(guò)程，可以提升模型抗毒化的能力。在模型訓(xùn)練的過(guò)程中引入對(duì)抗攻擊，從而提升模型對(duì)對(duì)抗攻擊的魯棒性是一種行之有效的提升模型安全性的方法，但理論上也存在局限性。該方法需要使用高強(qiáng)度的對(duì)抗樣本，網(wǎng)絡(luò)架構(gòu)也需要具有充足的表達(dá)能力，并且不能排除存在新對(duì)抗樣本的可能性。

4 應(yīng)用案例

AI、大數(shù)據(jù)等互聯(lián)網(wǎng)技術(shù)和互聯(lián)網(wǎng)企業(yè)的發(fā)展，為電網(wǎng)公司進(jìn)行企業(yè)轉(zhuǎn)型提供了鮮明的指引，電網(wǎng)企業(yè)需要使用新的技術(shù)手段對(duì)整體業(yè)務(wù)進(jìn)行賦能。以星環(huán)信息科技（上海）有限公司的Sophon AI平臺(tái)在某世界500強(qiáng)電力集團(tuán)公司智能巡檢項(xiàng)目中的應(yīng)用為例，其應(yīng)用場(chǎng)景如圖7所示。

本項(xiàng)目涵蓋了固定攝像頭、無(wú)人機(jī)、直升機(jī)、機(jī)器人、移動(dòng)作業(yè)、衛(wèi)星遙感等空天一體化全方位巡檢方式，采集數(shù)據(jù)日增量達(dá)TB級(jí)。為了支撐當(dāng)前的線路智能巡檢要求，在變電站一級(jí)部署了大量嵌入式邊緣計(jì)算設(shè)備，邊緣設(shè)備有兩種型號(hào)EDGE100及EDGE200，其中EDGE100處理器為ARMCortex-M系列處理器，EDGE200處理器為RISC-V定制處理器，操作系統(tǒng)均為CentOS7。原模型既有TensorFlow模型也有PyTorch模型，運(yùn)行在Windows x86服務(wù)器之上，本項(xiàng)目中需要將AI模型從x86服務(wù)器平臺(tái)遷移至嵌入式設(shè)備。遷移過(guò)程通常會(huì)遇到如下問題：

● 模型需要對(duì)軟硬件環(huán)境重新進(jìn)行適配；

● 嵌入式設(shè)備處理能力不足，需要優(yōu)化模型，提升計(jì)算效率，使模型能夠正常運(yùn)行。

按通常做法，需要通過(guò)人工方式分別將不同框架模型遷移到不同硬件平臺(tái)，再進(jìn)行性能調(diào)優(yōu)，這些工作通常需要投入大量資源，從開發(fā)到功能上線周期較長(zhǎng)，耗時(shí)耗力。Sophon AI平臺(tái)基于代碼生成技術(shù)實(shí)現(xiàn)了自動(dòng)化前后端適配功能，基于代碼生成技術(shù)可以將主流深度學(xué)習(xí)框架的模型轉(zhuǎn)換為統(tǒng)一的IR，實(shí)現(xiàn)跨學(xué)習(xí)框架的模型快速適配。在此基礎(chǔ)上，同樣基于代碼生成技術(shù)，Sophon AI平臺(tái)可將統(tǒng)一的IR生成適配不同硬件的執(zhí)行代碼，從而實(shí)現(xiàn)跨硬件平臺(tái)的模型快速遷移。借助Sophon AI平臺(tái)自動(dòng)化前后端適配、自動(dòng)化調(diào)優(yōu)的能力，本項(xiàng)目中紅外發(fā)熱點(diǎn)檢測(cè)、桿塔傾斜檢測(cè)、絕緣子脫落檢測(cè)等模型在6 h之內(nèi)實(shí)現(xiàn)了模型遷移、部署、微調(diào)的工作，相對(duì)于傳統(tǒng)人工遷移的方式，大大縮短實(shí)施時(shí)間。此外Sophon AI平臺(tái)還基于參數(shù)空間生成技術(shù)實(shí)現(xiàn)了超參自動(dòng)優(yōu)化功能，相對(duì)于按經(jīng)驗(yàn)配置，自動(dòng)優(yōu)化的參數(shù)配置更能最大化發(fā)揮EDGE100、EDGE200設(shè)備的計(jì)算性能，優(yōu)化后單圖片識(shí)別的平均處理時(shí)長(zhǎng)由5.13 ms縮短至4.52 ms，推理效率平均提升了11.9%。本項(xiàng)目的成功實(shí)施推動(dòng)了AI技術(shù)在電力電網(wǎng)領(lǐng)域的應(yīng)用，也驗(yàn)證了生成技術(shù)在AI平臺(tái)中的應(yīng)用價(jià)值。

5 結(jié)束語(yǔ)

多框架模型的支持、多硬件平臺(tái)的支持、模型計(jì)算性能調(diào)優(yōu)、模型安全性的提升是AI平臺(tái)的核心功能，本文在AI平臺(tái)基礎(chǔ)技術(shù)實(shí)現(xiàn)層面進(jìn)行了思考與實(shí)踐，借助生成技術(shù)實(shí)現(xiàn)上述工作的自動(dòng)化，避免了在代碼遷移、適配、調(diào)優(yōu)、測(cè)試等工作環(huán)節(jié)的重復(fù)投入，具有現(xiàn)實(shí)的意義。代碼生成、參數(shù)生成、網(wǎng)絡(luò)生成、樣本生成等生成技術(shù)的應(yīng)用使Sophon AI平臺(tái)靈活易用，基于生成技術(shù)從前后端適配、性能調(diào)優(yōu)、安全提升等多個(gè)層面打造高效的AI開發(fā)平臺(tái)，避免了大量人工開發(fā)的工作，縮短了需求響應(yīng)周期，全方面地提升了AI平臺(tái)的應(yīng)用開發(fā)效率。面向未來(lái)，從更高的要求出發(fā)，AI系統(tǒng)還需要具備環(huán)境自適應(yīng)性、自我進(jìn)化能力，而生成技術(shù)具備適配上下文的需要、動(dòng)態(tài)輸出合適對(duì)象的能力，這種柔性的動(dòng)態(tài)生成能力相對(duì)于固化的應(yīng)用功能，無(wú)疑更貼近新一代智能系統(tǒng)“自適應(yīng)性”“自我進(jìn)化”的需要。