工業(yè)機(jī)器視覺(jué)中的AI算力需求

質(zhì)檢是工業(yè)生產(chǎn)的重要一環(huán)，以往這項(xiàng)工作需要由人工完成，檢測(cè)效率和檢測(cè)精度等存在提升空間。隨著人工智能技術(shù)的快速發(fā)展，工業(yè)機(jī)器視覺(jué)逐步實(shí)現(xiàn)落地應(yīng)用，但同時(shí)也對(duì)算力提出了更高要求。在2020世界計(jì)算機(jī)大會(huì)工業(yè)互聯(lián)與制造生態(tài)專(zhuān)題論壇現(xiàn)場(chǎng)，鯤云科技創(chuàng)始人兼CEO牛昕宇圍繞工業(yè)機(jī)器視覺(jué)中的AI算力需求，展開(kāi)了詳細(xì)解讀，并給出了鯤云科技的解決方案。

鯤云科技是一家初創(chuàng)企業(yè)，總部在深圳。我們的核心是圍繞數(shù)據(jù)流芯片和基于數(shù)據(jù)流芯片的AI應(yīng)用，在這方面擁有全套自主知識(shí)產(chǎn)權(quán)，而且現(xiàn)在是全球第一家量產(chǎn)數(shù)據(jù)流AI芯片的企業(yè)。圍繞這些技術(shù)，鯤云科技與浪潮、戴爾等企業(yè)都建立了戰(zhàn)略合作關(guān)系。

簡(jiǎn)單講一下，在工業(yè)領(lǐng)域我們現(xiàn)在面臨什么挑戰(zhàn)。其實(shí)，在工業(yè)領(lǐng)域我們面臨的一個(gè)比較大的挑戰(zhàn)，是我們需要大量的人力來(lái)做各種各樣的工業(yè)生產(chǎn)工作，其中有很大一部分是工業(yè)質(zhì)檢。在這方面，我們用了很多傳統(tǒng)CV（Computer Vision，計(jì)算機(jī)視覺(jué)）的方法來(lái)實(shí)現(xiàn)工業(yè)自動(dòng)化，但是傳統(tǒng)的工業(yè)CV有很多缺陷，包括精度不高、泛化能力不強(qiáng)，在各種復(fù)雜場(chǎng)景下定制化的成本非常高，這是深度學(xué)習(xí)或人工智能在工業(yè)領(lǐng)域所能解決的問(wèn)題。

工業(yè)機(jī)器視覺(jué)應(yīng)用案例

在落地過(guò)程中，鯤云科技工業(yè)機(jī)器視覺(jué)主要在四個(gè)方面能夠發(fā)揮比較強(qiáng)的作用，一是對(duì)元器件的定位，二是對(duì)各種缺陷的檢測(cè)，三是批次/型號(hào)分類(lèi)，四是復(fù)雜的OCR（Optical Character Recognition，光學(xué)字符識(shí)別）。

首先看第一個(gè)案例，PCB面板的缺陷檢測(cè)。在生產(chǎn)PCB的過(guò)程中有大量目檢人員，他們需要解決PCB面板元器件的撞件、少件、結(jié)構(gòu)損傷和IC覆膜破損等問(wèn)題。在應(yīng)用深度學(xué)習(xí)之前，這些問(wèn)題都是通過(guò)人工的方法解決。應(yīng)用深度學(xué)習(xí)，我們將其可以分兩個(gè)階段，第一階段是缺陷風(fēng)險(xiǎn)區(qū)域檢測(cè)，第二階段是在缺陷風(fēng)險(xiǎn)區(qū)域進(jìn)行缺陷識(shí)別和缺陷元器件定位。這里面其實(shí)面臨一些挑戰(zhàn)，在工業(yè)領(lǐng)域是一些非常常見(jiàn)的挑戰(zhàn)。第一，缺陷的數(shù)據(jù)很少，因?yàn)榇罅康墓I(yè)產(chǎn)品質(zhì)量良好，缺陷問(wèn)題非常少。第二，缺陷的種類(lèi)非常多。所以，我們基本會(huì)采用遷移學(xué)習(xí)、預(yù)訓(xùn)練和數(shù)據(jù)增廣等方法來(lái)解決挑戰(zhàn)。

應(yīng)用深度學(xué)習(xí)之后，每條產(chǎn)線可減少6名目檢人員，目檢人員的主要工作從以前的檢測(cè)各種缺陷，變?yōu)閷?duì)深度學(xué)習(xí)檢測(cè)結(jié)果進(jìn)行復(fù)檢，每條產(chǎn)線年均節(jié)約人力成本近50萬(wàn)元，而且采用深度學(xué)習(xí)和人工智能芯片的方法，可以大幅降低單個(gè)產(chǎn)品檢測(cè)時(shí)間，由15秒縮短至3秒，檢測(cè)效率提升5倍。

第二個(gè)案例是基于深度學(xué)習(xí)的PCB線路板印刷缺陷檢測(cè)。傳統(tǒng)上一般采用人工的方法進(jìn)行檢測(cè)，因?yàn)閭鹘y(tǒng)CV的方法很難在各種各樣的環(huán)境下，對(duì)不同的問(wèn)題進(jìn)行實(shí)時(shí)檢測(cè)。通過(guò)采用深度學(xué)習(xí)算法，我們可以對(duì)不同環(huán)境下的不同形狀、不同外觀、不同情況的缺陷進(jìn)行非常準(zhǔn)確的檢測(cè)。相對(duì)于傳統(tǒng)的CV算法，深度學(xué)習(xí)的好處在于：第一，泛化能力更強(qiáng)，電路板的不同缺陷都可以得到非常好的檢測(cè);第二，檢測(cè)精度更高，一般而言，深度學(xué)習(xí)相比于傳統(tǒng)CV，檢測(cè)精度能從90%～95%提升至99%左右，這并非是提升了5%左右的精度，而是代表誤檢率和漏檢率從10%降低至1%，是10倍的檢測(cè)精度的提升。

第三個(gè)案例是基于深度學(xué)習(xí)的電子元器件標(biāo)識(shí)。我們做了很多諸如電容、電阻等的元器件的缺陷檢測(cè)，主要是電子元器件上的OCR識(shí)別，通過(guò)識(shí)別電子元器件上印制的標(biāo)簽進(jìn)行檢測(cè)。例如，生產(chǎn)10歐姆的電阻，如果檢測(cè)到電阻上印制了100歐姆的標(biāo)識(shí)，那么這些缺陷電阻都要被檢測(cè)識(shí)別出來(lái)。

第四個(gè)案例是基于深度學(xué)習(xí)的液體包裝缺陷檢測(cè)。這個(gè)案例是化妝水瓶外觀的缺陷檢測(cè)，包括外觀上有凹槽、污漬等。這是一個(gè)非常復(fù)雜的檢測(cè)過(guò)程，首先要檢測(cè)缺陷的區(qū)域，然后進(jìn)行分類(lèi)，判斷是哪種區(qū)域，最后通過(guò)分割計(jì)算區(qū)域面積，確定其是否是真正的缺陷目標(biāo)。

第五個(gè)案例是基于深度學(xué)習(xí)的數(shù)據(jù)線Boot缺陷檢測(cè)。

算法和算力面臨突破

以上是深度學(xué)習(xí)在工業(yè)智能化產(chǎn)線中的應(yīng)用。其實(shí)，在應(yīng)用過(guò)程中面臨著很大的問(wèn)題，一是需要各種各樣的深度學(xué)習(xí)算法;二是算力要能夠滿足要求。深度學(xué)習(xí)精度高、泛化能力強(qiáng)，但它有一個(gè)明顯的劣勢(shì)，即對(duì)算力的要求呈指數(shù)級(jí)增長(zhǎng)，相比于傳統(tǒng)的CV而言，二者的算力要求遠(yuǎn)不是同一級(jí)別。據(jù)統(tǒng)計(jì)，在2010—2020年間，算力的需求增加了100萬(wàn)倍，但算力性能僅提升了1000倍。在實(shí)際的應(yīng)用場(chǎng)景中，我們需要實(shí)時(shí)性，需要高精度，需要運(yùn)行非常大的網(wǎng)絡(luò)，需要降低工業(yè)智能化的部署成本，這些都對(duì)算力提出了要求，我們不可能在工業(yè)產(chǎn)線上布置一個(gè)超算中心來(lái)支持運(yùn)營(yíng)，所以這就需要我們引入新的人工智能芯片。

整個(gè)產(chǎn)線分兩個(gè)階段，分別是算法的開(kāi)發(fā)和算法的部署。我們?cè)诋a(chǎn)業(yè)線上收集缺陷目標(biāo)，把它訓(xùn)練成一套成熟的算法，這是算法的開(kāi)發(fā)過(guò)程。開(kāi)發(fā)過(guò)程完成后，要把算法真正部署在產(chǎn)線上，使之在每條產(chǎn)線、每個(gè)環(huán)節(jié)上運(yùn)行，這是算法的推斷過(guò)程。在工業(yè)產(chǎn)線上，常規(guī)配置是1臺(tái)訓(xùn)練機(jī)加N臺(tái)推理機(jī)，所以在工業(yè)的大規(guī)模部署過(guò)程中，最強(qiáng)的算力需求是推斷的算力。

現(xiàn)在的GPU有什么問(wèn)題？這有一組舉例數(shù)據(jù)，在Batch Size=1時(shí)，延時(shí)是5ms，吞吐率是191images/sec。GPU有一個(gè)特點(diǎn)，即它自身的利用率較低，所以需要采用大量數(shù)據(jù)同時(shí)輸入的方式提高利用率。在Batch Size=128時(shí)，即一次性輸入128張圖片時(shí)，吞吐率超過(guò)了1500images/sec，但延時(shí)達(dá)到了85ms。在工業(yè)領(lǐng)域，延時(shí)是一個(gè)非常嚴(yán)苛的指標(biāo)，所以用延時(shí)換吞吐率的方式，在工業(yè)上是不可接受的，也就是說(shuō)，這種算力對(duì)于很多工業(yè)場(chǎng)景而言是難以使用的。

其次是可靠性要求。工業(yè)的智能化還處于發(fā)展的初級(jí)階段，我們見(jiàn)到很多客戶將商業(yè)顯卡用在了工業(yè)環(huán)境中，其實(shí)這種穩(wěn)定性非常不可靠。我們見(jiàn)到很多工業(yè)推理機(jī)中準(zhǔn)備了兩個(gè)商業(yè)顯卡，以此保障商業(yè)顯卡損壞后可以及時(shí)更換。其實(shí)，這不符合可靠性要求。

我們今天所面臨的挑戰(zhàn)主要有兩方面，一是有沒(méi)有足夠的算法能解決工業(yè)場(chǎng)景中的智能化問(wèn)題，二是沒(méi)有足夠強(qiáng)、成本足夠低的算力，能夠解決實(shí)際需求，解決工業(yè)AI落地的最后一公里。

AI算力解決方案

這是鯤云科技所提供的算力解決方案。鯤云科技在6月剛剛量產(chǎn)了全球第一顆數(shù)據(jù)流AI芯片。其中有兩個(gè)核心指標(biāo)，一是芯片的利用率高達(dá)95.4%。芯片利用率是指，芯片運(yùn)行在實(shí)際場(chǎng)景中的實(shí)測(cè)性能與芯片峰值性能的比例。鯤云科技的這顆芯片，基本上可以把理論極限性能發(fā)揮出來(lái)，提供給用戶。二是它的工作溫度在-40℃至125℃，可以滿足所有工業(yè)現(xiàn)場(chǎng)的工業(yè)級(jí)的溫控和穩(wěn)定性要求。鯤云科技的星空加速卡X3可以滿足工業(yè)的各種要求，以及性?xún)r(jià)比的要求。

我們?yōu)槭裁匆獜?qiáng)調(diào)這是一顆數(shù)據(jù)流芯片，為什么說(shuō)商業(yè)GPU或現(xiàn)有的GPU架構(gòu)難以滿足工業(yè)的要求？當(dāng)我們用一顆AI芯片部署工業(yè)智能化的應(yīng)用時(shí)，我們需要的是實(shí)測(cè)算力，也就是算法運(yùn)行時(shí)，需要多少延時(shí)才能輸出結(jié)果，而大部分GPU給到用戶的是標(biāo)稱(chēng)算力或峰值算力。芯片的峰值算力是用芯片計(jì)算單元數(shù)量乘以主頻，計(jì)算得到的物理極限。GPU通過(guò)推高這一物理極限來(lái)獲得更高的性能，這會(huì)帶來(lái)更大的面積、更大的功耗，更關(guān)鍵的是算力的成本會(huì)非常高。在工業(yè)領(lǐng)域最講究成本低、性能高，性?xún)r(jià)比非常關(guān)鍵，這也是目前商業(yè)顯卡或GPU面臨的一個(gè)問(wèn)題。

數(shù)據(jù)流芯片走的是另一條道路，除了提升峰值算力之外，還有一條路是把現(xiàn)有的算力更好地發(fā)揮出來(lái)，用好存量。目前，GPU的芯片利用率只有10%～30%，如果想提升3倍性能，理論上有兩個(gè)方向，一是把芯片面積做大3倍，或用更好的工藝提升芯片的峰值算力。當(dāng)然，這樣做理論上可以提升3倍性能，但實(shí)際上并不能提升3倍，因?yàn)檫@不是一個(gè)線性增長(zhǎng)的過(guò)程。二是把利用率從10%提升到30%，或從30%提升到90%，把芯片的峰值性能發(fā)揮出來(lái)，這就是鯤云科技CAISA數(shù)據(jù)流架構(gòu)所做的事情。

國(guó)際上，做數(shù)據(jù)流芯片的公司有很多家，鯤云科技是第一家能夠量產(chǎn)數(shù)據(jù)流AI芯片的企業(yè)。指令集計(jì)算和定制數(shù)據(jù)流計(jì)算有什么區(qū)別？假設(shè)我們現(xiàn)在做一顆芯片，當(dāng)然這是一個(gè)非常簡(jiǎn)單的例子，支持一維的乘累加計(jì)算。任何計(jì)算芯片，支持目標(biāo)算法要滿足兩個(gè)條件：第一，所有的計(jì)算單元都可以支持，在這個(gè)例子里，乘法和加法必須支持;第二，所有的乘法和加法，按照規(guī)定的次序進(jìn)行計(jì)算，在這個(gè)例子中，要先算乘法再算加法。目前，市面上大部分AI芯片主要是走指令集的道路，即我們常說(shuō)的馮·諾依曼架構(gòu)體系。簡(jiǎn)單講，設(shè)計(jì)兩條指令，一條乘法指令，一條加法指令，如何保證計(jì)算次序？先運(yùn)行乘法指令，再運(yùn)行加法指令就可以了。但是這有一個(gè)劣勢(shì)，為了保證通用性，指令一定是切割成幾個(gè)步驟的，數(shù)據(jù)搬運(yùn)、計(jì)算、數(shù)據(jù)搬出，所以在運(yùn)行前面的乘法指令時(shí)，加法的計(jì)算單元一直在等待，等乘法計(jì)算完成之后，再將結(jié)果搬進(jìn)來(lái)、計(jì)算、搬出。在這個(gè)例子中，我們放了一個(gè)乘法器、一個(gè)加法器，當(dāng)我賣(mài)給你這顆芯片時(shí)，我會(huì)告訴你這顆芯片的峰值算力是10個(gè)周期可以計(jì)算10次乘法和10次加法，這是理論峰值性能。但在實(shí)際運(yùn)行時(shí)，只能計(jì)算1次乘法和1次加法，利用率只有10%，這就是通用性的代價(jià)。大部分的時(shí)間實(shí)際是在搬運(yùn)數(shù)據(jù)，并沒(méi)有花在真正的計(jì)算上。

定制數(shù)據(jù)流計(jì)算是什么思路？定制數(shù)據(jù)流計(jì)算通過(guò)數(shù)據(jù)的流動(dòng)次序來(lái)控制計(jì)算次序。這很像工廠流水線，如何控制工序A在工序B之前？讓工序A在流水線前端，工序B在流水線后端。在上述例子里，整個(gè)計(jì)算的“流水線”中，乘法器在前，加法器在后，數(shù)據(jù)就像工廠中的零部件一樣流過(guò)這條產(chǎn)線。這樣的話，一定是先算乘法，再算加法，這樣的話效率就會(huì)非常高，因?yàn)槌朔ê图臃ㄔ诿總€(gè)周期都進(jìn)行計(jì)算。

當(dāng)然，這并不意味著定制數(shù)據(jù)流架構(gòu)一定比指令集架構(gòu)好，二者各有優(yōu)劣。如果你想要通用計(jì)算，你需要指令集架構(gòu)。如果你希望針對(duì)AI領(lǐng)域有限的AI算法，做一個(gè)定制化的架構(gòu)，做一個(gè)AI的計(jì)算平臺(tái)，那么定制數(shù)據(jù)流架構(gòu)非常適合。

關(guān)于定制數(shù)據(jù)流CAISA架構(gòu)，主要介紹兩點(diǎn)：第一，有各種各樣定制化的數(shù)據(jù)流的算子，通過(guò)流水線的網(wǎng)絡(luò)將其串接成不同的針對(duì)算法的流水線，通過(guò)流水線的方式保證高效率;第二，通過(guò)重構(gòu)，不同的連接關(guān)系可以進(jìn)行重構(gòu)，形成不同的深度學(xué)習(xí)算法，可以保證通用性。通過(guò)更低的成本、更小的芯片面積實(shí)現(xiàn)更高的實(shí)測(cè)性能，這就是數(shù)據(jù)流AI芯片的價(jià)值。

我們還有專(zhuān)為CAISA架構(gòu)設(shè)計(jì)的RainBuilder編譯工具鏈，無(wú)縫鏈接TensorFlow、Caffe、PyTorch及ONNX等深度學(xué)習(xí)開(kāi)發(fā)框架，支持C/C++的API。鯤云科技基于CAISA芯片、星空加速卡X3打造針對(duì)工業(yè)領(lǐng)域的算力平臺(tái)，解決算法落地的最后一公里問(wèn)題，適配各種主流的AI服務(wù)器。

在工業(yè)智能領(lǐng)域，我們面臨很多挑戰(zhàn)，一個(gè)核心的挑戰(zhàn)是人員不足。我們現(xiàn)在用什么解決這一挑戰(zhàn)？用深度學(xué)習(xí)算法，把以前人腦中的“know how”變成算法部署在現(xiàn)場(chǎng)。另外，我們采用鯤云科技自主研發(fā)的CAISA架構(gòu)芯片支持算法的部署，相對(duì)于傳統(tǒng)的GPU，它具有非常高的性?xún)r(jià)比、低延時(shí)、寬工作溫度，以及非常穩(wěn)定的工作狀態(tài)，可以滿足工業(yè)環(huán)境中各種各樣的要求。

（本文根據(jù)鯤云科技創(chuàng)始人兼CEO牛昕宇在“2020世界計(jì)算機(jī)大會(huì)”上的演講整理而成，未經(jīng)演講人審閱）