OPEN AI LAB： 以平臺思維賦能AIoT

熊安迪

面對萬億級別的AIoT市場，OPEN AI LAB恰如其名，以“OPEN（開放）”的框架平臺銜接產(chǎn)業(yè)上下游，幫助開發(fā)者真正解決產(chǎn)業(yè)化的全棧工作難題，促進(jìn)AI的場景落地。

做最接地氣的人工智能框架平臺，是OPEN AI LAB在2016年年底成立時的初衷。幾年間，這家公司相繼推出了Tengine和OmniMaster，以“大平臺”銜接AI產(chǎn)業(yè)鏈的上下游，讓技術(shù)真正能夠接“地氣”，進(jìn)而賦能百業(yè)。

目前，OPEN AI LAB已經(jīng)擁有數(shù)百個行業(yè)合作伙伴，包含系統(tǒng)級芯片商、算法商、解決方案商、OEM（Original Equipment Manufacturer，原始設(shè)備制造商）/ODM（Original Design Manufacture，原始設(shè)計(jì)制造商）、系統(tǒng)集成商等，覆蓋了能源、教育、農(nóng)牧、制造、交通、家居、車載等數(shù)十個細(xì)分場景。

AI業(yè)務(wù)平臺化

在移動互聯(lián)網(wǎng)時代初期，手機(jī)產(chǎn)業(yè)百花齊放。然而在其看似繁榮的表象下，發(fā)展的質(zhì)量卻并不高。OPEN AI LAB產(chǎn)品及方案總經(jīng)理孫健峰認(rèn)為，當(dāng)前的AI產(chǎn)業(yè)就處于類似的狀態(tài)。大多數(shù)AI科技公司的創(chuàng)業(yè)模式都是從算法出發(fā)，尋找到一個場景，然后進(jìn)行全棧工程化。而全棧工程化又包含了底層芯片級硬件的選型甚至研制，算法的訓(xùn)練、加速、調(diào)優(yōu)、部署，甚至業(yè)務(wù)SaaS的開發(fā)?！叭魏我粋€行業(yè)早期一定是野蠻生長的。由一家公司獨(dú)立完成全鏈路，對公司的人員結(jié)構(gòu)、項(xiàng)目成本提出了極高的要求，同時從產(chǎn)業(yè)鏈發(fā)展的角度看也是不友好的?！睂O健峰這樣評價(jià)道。

形成協(xié)同分工的產(chǎn)業(yè)生態(tài)，對促進(jìn)產(chǎn)業(yè)鏈的整體發(fā)展，實(shí)現(xiàn)“AI賦能百業(yè)”至關(guān)重要。Android的出現(xiàn)和普及，改善了移動互聯(lián)網(wǎng)早期手機(jī)產(chǎn)業(yè)發(fā)展的混亂狀況，并且大大加速了發(fā)展效率。它作為中間的基礎(chǔ)能力層平臺，能夠兼容芯片，并讓移動應(yīng)用開做最接地氣的人工智能框架平臺，是OPEN AI LAB在2016年年底成立時的初衷。幾年間，這家公司相繼推出了Tengine和OmniMaster，以“大平臺”銜接AI產(chǎn)業(yè)鏈的上下游，讓技術(shù)真正能夠接“地氣”，進(jìn)而賦能百業(yè)。

目前，OPEN AI LAB已經(jīng)擁有數(shù)百個行業(yè)合作伙伴，包含系統(tǒng)級芯片商、算法商、解決方案商、OEM（Original Equipment Manufacturer，原始設(shè)備制造商）/ODM（Original Design Manufacture，原始設(shè)計(jì)制造商）、系統(tǒng)集成商等，覆蓋了能源、教育、農(nóng)牧、制造、交通、家居、車載等數(shù)十個細(xì)分場景。

AI業(yè)務(wù)平臺化

在移動互聯(lián)網(wǎng)時代初期，手機(jī)產(chǎn)業(yè)百花齊放。然而在其看似繁榮的表象下，發(fā)展的質(zhì)量卻并不高。OPEN AI LAB產(chǎn)品及方案總經(jīng)理孫健峰認(rèn)為，當(dāng)前的AI產(chǎn)業(yè)就處于類似的狀態(tài)。大多數(shù)AI科技公司的創(chuàng)業(yè)模式都是從算法出發(fā)，尋找到一個場景，然后進(jìn)行全棧工程化。而全棧工程化又包含了底層芯片級硬件的選型甚至研制，算法的訓(xùn)練、加速、調(diào)優(yōu)、部署，甚至業(yè)務(wù)SaaS的開發(fā)?！叭魏我粋€行業(yè)早期一定是野蠻生長的。由一家公司獨(dú)立完成全鏈路，對公司的人員結(jié)構(gòu)、項(xiàng)目成本提出了極高的要求，同時從產(chǎn)業(yè)鏈發(fā)展的角度看也是不友好的。”孫健峰這樣評價(jià)道。

形成協(xié)同分工的產(chǎn)業(yè)生態(tài)，對促進(jìn)產(chǎn)業(yè)鏈的整體發(fā)展，實(shí)現(xiàn)“AI賦能百業(yè)”至關(guān)重要。Android的出現(xiàn)和普及，改善了移動互聯(lián)網(wǎng)早期手機(jī)產(chǎn)業(yè)發(fā)展的混亂狀況，并且大大加速了發(fā)展效率。它作為中間的基礎(chǔ)能力層平臺，能夠兼容芯片，并讓移動應(yīng)用開發(fā)者得以在其之上開發(fā)出千萬級的APP，使移動互聯(lián)網(wǎng)產(chǎn)業(yè)生態(tài)更加蓬勃地發(fā)展。而面對海量、差異化的智能化場景，在視覺智能、語音智能等邊緣AI應(yīng)用爆發(fā)之際，OPEN AI LAB采取了與眾多AI科技公司不同的創(chuàng)業(yè)模式——AI業(yè)務(wù)平臺化，或者說生態(tài)化、賦能化——通過AI賦能的生產(chǎn)力平臺助力產(chǎn)業(yè)生態(tài)的發(fā)展。

具體來說，面向AIoT產(chǎn)業(yè)邊緣計(jì)算挑戰(zhàn)，OPEN AI LAB打造了邊緣AI計(jì)算框架Tengine和全棧AI開發(fā)平臺OmniMaster兩款平臺級產(chǎn)品，推動邊緣AI算力、算法及行業(yè)方案等環(huán)節(jié)的深度協(xié)作，最終加速AI技術(shù)在細(xì)分行業(yè)的產(chǎn)業(yè)化落地。

Tengine：解決芯片應(yīng)用性

作為AIoT的底層算力依托，芯片的重要性毋庸置疑。對于芯片而言，最大的挑戰(zhàn)在于如何被快速、高效地開發(fā)使用。在成立的前兩年，OPEN AI LAB首先通過Tengine這個AI計(jì)算框架幫助行業(yè)內(nèi)的各家芯片公司解決芯片的應(yīng)用性問題，在產(chǎn)業(yè)鏈中實(shí)現(xiàn)向下芯片兼容、向上模型兼容、中間算力擴(kuò)充和性能調(diào)優(yōu)。

海量差異化的場景和業(yè)務(wù)帶來了萬億級的AIoT市場，系統(tǒng)級芯片等芯片的種類將越來越多。僅在2020年的前8個月，國內(nèi)市場中就有近萬家公司進(jìn)軍芯片業(yè)務(wù)，其中主流芯片廠商至少有數(shù)百家。Tengine在不同硬件設(shè)備上的API都盡可能保持一致，并支持Python、C、C++等主流模式，使開發(fā)者能夠以一致的方式實(shí)現(xiàn)對不同芯片簡易、有效的切換、調(diào)用和適配

邊緣計(jì)算的異構(gòu)架構(gòu)可能涵蓋CPU、GPU、DSP、NPU、RISC-V等多種計(jì)算單元。如果想在應(yīng)用中將每個芯片的性能發(fā)揮到極致，就需要工程師了解其計(jì)算原理、微架構(gòu)設(shè)計(jì)特點(diǎn)等，進(jìn)而才可以針對性能優(yōu)化。Tengine的高性能異構(gòu)計(jì)算庫能夠幫助開發(fā)者以一套簡易接口調(diào)用不同底層算力單元，提升芯片算力有效性。

Tengine還能夠加速算法在既有芯片上的運(yùn)行速度，降低算法移植和部署的工作量。據(jù)孫健峰介紹，在OPEN AI LAB已有的合作案例中，根據(jù)算法業(yè)務(wù)模式和硬件選型的不同，Tengine能夠?qū)崿F(xiàn)30%至500%的速度提升。

在業(yè)務(wù)模式層面，Tengine的重點(diǎn)在于推理，而非訓(xùn)練。對于開發(fā)者而言，訓(xùn)練是第一步，解決場景問題的關(guān)鍵則在于有效部署訓(xùn)練后所獲得的推理模型。2017年，Tengine正式在GitHub（https：//github.com/OAID/Tengine）上開源，目前廣泛支持業(yè)內(nèi)主流的深度學(xué)習(xí)算法框架，例如TensorFlow/-Lite、Caffe、MXNet、ONNX、Pytorch等。它也是國際上為數(shù)不多的通過ONNX官方認(rèn)證的戰(zhàn)略合作伙伴之一，并且通過ONNX模型實(shí)現(xiàn)了對PyTorch和PaddlePaddle的支持。開發(fā)者能夠結(jié)合業(yè)務(wù)需求，更加靈活地選擇訓(xùn)練框架。對于Android、Ubuntu、RTOS等主流操作系統(tǒng)，Tengine同樣進(jìn)行了兼容適配。這在很大程度上降低了面對不同硬件和場景而遷移平臺的成本，提高了平臺遷移及高效部署的效率。

此外，Tengine經(jīng)過了簡化和輕量處理，最小程序體積達(dá)到300KB，在MCU上的最小體積更是只有20KB。其自帶的視覺、語音的前后處理函數(shù)，能夠使其不依賴于外部庫，優(yōu)化對額外資源的占用，適用范圍更廣。對于開發(fā)者的各類高精度應(yīng)用需求，Tengine已經(jīng)開發(fā)出包括量化訓(xùn)練工具、調(diào)試工具、模型庫、編譯器等工具在內(nèi)的完整工具鏈，能夠全棧式支持。

OmniMaster：賦能行業(yè)生產(chǎn)力

OPEN AI LAB從2018年開始打造公司的另一個核心能力平臺OmniMaster，并將其定義為“面向行業(yè)賦能的全棧式AI生產(chǎn)力加速平臺”。

OmniMaster擁有高效、快捷的“場景-數(shù)據(jù)-算法-部署-業(yè)務(wù)”閉環(huán)能力。其全流程涵蓋數(shù)據(jù)、訓(xùn)練、評測、調(diào)優(yōu)、端側(cè)部署等開發(fā)流程，并具有跨系統(tǒng)級芯片的一鍵遷移適配、量化裁剪、模型轉(zhuǎn)換、算子優(yōu)化、動態(tài)調(diào)度等底層平臺化能力。同時，該平臺支持跨硬件平臺的業(yè)務(wù)應(yīng)用快速部署，對CPU、GPU、NPU能夠提供最優(yōu)化的支持，支持最佳的算力性能配置方案?？梢哉f，它是一個針對行業(yè)的高性能、高開發(fā)效率的“云-邊-端”協(xié)同開放平臺。

在Tengine基礎(chǔ)之上，OmniMaster更加廣泛地幫助行業(yè)伙伴，實(shí)現(xiàn)行業(yè)的智能化升級。孫健峰補(bǔ)充道：“可以將Tengine和OmniMaster看做一個大平臺的兩個層次。Tengine是最底層的面向芯片級的AI計(jì)算框架，OmniMaster是在Tengine之上的面向行業(yè)的AI開發(fā)平臺。OmniMaster的底層推理框架和異構(gòu)計(jì)算由Tengine支持，甚至于OmniMaster在剛誕生的一段時間內(nèi)，名字就直接是Tengine 2。”

多行業(yè)多場景應(yīng)用落地

孫健峰表示：“OPEN AI LAB是為AI產(chǎn)業(yè)鏈而服務(wù)的。因此，從某種意義上講，只要有AIoT場景，有AI業(yè)務(wù)，就都可以通過我們的平臺將AI技術(shù)落地，真正地解決問題，實(shí)現(xiàn)賦能。”而目前需求最高、應(yīng)用最廣的AI技術(shù)還要數(shù)計(jì)算機(jī)視覺。

駕駛員檢測是計(jì)算機(jī)視覺技術(shù)的應(yīng)用場景之一。為了司乘安全，車輛需要配備具備DMS（Driver Monitor System，駕駛員監(jiān)控系統(tǒng)）功能的硬件載體，通過攝像頭獲取車內(nèi)和車外的視覺數(shù)據(jù)，面向車內(nèi)實(shí)時監(jiān)控駕駛員和乘客的狀態(tài)，面向車外識別是否有闖紅燈、壓線等違章行為。實(shí)現(xiàn)這樣的場景，最大的挑戰(zhàn)在于將算法高效地遷移到DMS對應(yīng)的硬件載體上。當(dāng)將算法向硬件，特別是嵌入式硬件遷移時，如果缺少一個優(yōu)秀的基礎(chǔ)業(yè)務(wù)平臺，將產(chǎn)生巨大的精度損失和性能降低，并且算法的運(yùn)行速度也將減慢很多。Tengine就是能夠解決這一問題的平臺。某出行服務(wù)企業(yè)與OPEN AI LAB合作，以Tengine作為落實(shí)駕駛員檢測算法的底層框架，實(shí)現(xiàn)了算法性能50%以上提升，并大幅降低了能耗。

與車相關(guān)的應(yīng)用還有智慧停車。OPEN AI LAB與智慧停車管理方向的企業(yè)聯(lián)合推出了新的“AI+停車”模式，對有牌車和無牌車均可識別，而且能夠識別出車牌、車型、車身顏色、車內(nèi)人臉等420多種車輛及車輛附屬物品。同時，基于路邊立桿的視覺方案，能夠?qū)崿F(xiàn)動態(tài)實(shí)時智能路邊停車管理，無需地磁傳感器的復(fù)雜施工方案，就能夠以高性價(jià)比完成自主停車、識別、繳費(fèi)的全鏈路解決方案。

OPEN AI LAB的平臺在傳統(tǒng)行業(yè)中也起到了同樣的作用。

在鋼鐵行業(yè)，OPEN AI LAB基于整體平臺能力，與行業(yè)頭部企業(yè)一起，通過視覺嵌入式解決方案，在生產(chǎn)安全方面，對鋼包進(jìn)行紅外熱成像檢測、對天車掛鉤進(jìn)行監(jiān)測等，讓設(shè)備能夠智能地安全預(yù)警和辨識危險(xiǎn);在質(zhì)量監(jiān)控方面，對鋼包進(jìn)行潔凈度判斷、對鑄坯缺陷進(jìn)行識別等，讓企業(yè)能夠更智能、更嚴(yán)格地把控質(zhì)量;在物流調(diào)度方面，用機(jī)器視覺代替人眼識別，不再需要人工去現(xiàn)場觀察確認(rèn)鋼包號、板坯號、鋼卷號等，實(shí)現(xiàn)設(shè)備及產(chǎn)品的智能識別，提升生產(chǎn)物流調(diào)度效率。

在畜牧養(yǎng)殖業(yè)，國內(nèi)生豬養(yǎng)殖上市公司排行Top 5的大企業(yè)中也有OPEN AI LAB的客戶。OPEN AI LAB以平臺幫助該企業(yè)部署具備生豬實(shí)時監(jiān)測和分析功能的高性能嵌入式邊緣計(jì)算整體解決方案，通過計(jì)算機(jī)視覺，檢測每頭生豬的身份、運(yùn)動軌跡、健康狀況，并持續(xù)升級迭代，幫助其逐步實(shí)現(xiàn)生豬養(yǎng)殖少人化、無人化的目標(biāo)。

避免中小企業(yè) “重復(fù)造輪子”

孫健峰表示，對于傳統(tǒng)行業(yè)的既有場景占有者來說，OPEN AI LAB能夠幫助其快速實(shí)現(xiàn)場景的智能化升級和提效。對于中小企業(yè)來說，OPEN AI LAB兩個平臺最大的價(jià)值則在于能夠避免其“重復(fù)造輪子”。

一個企業(yè)要快速實(shí)現(xiàn)一個行業(yè)的AI解決方案是非常困難的。尤其是中小公司或者傳統(tǒng)業(yè)務(wù)轉(zhuǎn)型期的公司，需要快速論證自己的業(yè)務(wù)，以支持自己的商業(yè)模式。“在當(dāng)前AI的發(fā)展?fàn)顩r下，公司需要有數(shù)據(jù)工程師、算法工程師、硬件工程師、算子調(diào)優(yōu)工程師、量化訓(xùn)練工程師、嵌入式軟件開發(fā)和業(yè)務(wù)開發(fā)工程師等七八個基礎(chǔ)角色，才能真正把基礎(chǔ)的業(yè)務(wù)跑好跑通。”孫健峰表示，快速地實(shí)現(xiàn)一個產(chǎn)品的原型開發(fā)和落地，依賴于其底層的基礎(chǔ)平臺。而具備可遷移性的Tengine和OmniMaster就是行業(yè)企業(yè)可以選擇倚仗的平臺。

一些大廠商也在打造自己的框架平臺，但他們的業(yè)務(wù)模式是服務(wù)于自己內(nèi)部的產(chǎn)業(yè)鏈，包括自己的硬件體系和解決方案體系等，而非面向整個產(chǎn)業(yè)兼容。與之相比，OPEN AI LAB更像一個相對獨(dú)立的第三方，面向行業(yè)開放，其平臺是支持產(chǎn)業(yè)內(nèi)底層芯片和上層業(yè)務(wù)的“大平臺”，有助于打破AIoT產(chǎn)業(yè)壁壘，快速整合上下游。

據(jù)孫健峰介紹，OPEN AI LAB和企業(yè)合作的模式非常清晰，既考慮到OPEN AI LAB的商業(yè)模式，也考慮到整個產(chǎn)業(yè)鏈合作共贏的邏輯。當(dāng)前，在全國范圍內(nèi)，OPEN AI LAB也在尋求更多與面向行業(yè)場景的公司合作的機(jī)會，共同形成方案的快速落地。