云邊協(xié)同外觀(guān)質(zhì)量人工智能檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

張明強(qiáng),高 華,袁東風(fēng),張海霞,孫廣源,馬 睿,翟華振,張尋政

(1.山東大學(xué) 信息科學(xué)與工程學(xué)院, 山東 青島 266237;2. 曲阜師范大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院,山東 曲阜 273165;3.山東大學(xué) 先進(jìn)信息技術(shù)研究院,山東 濟(jì)南 250100;4.山東大學(xué) 控制科學(xué)與工程學(xué)院, 山東 濟(jì)南 250061;5.海爾集團(tuán) 海爾空調(diào)全球供應(yīng)鏈, 山東 青島 266103;6.山東省無(wú)線(xiàn)通信技術(shù)重點(diǎn)實(shí)驗(yàn)室,山東 濟(jì)南 250100 )

0 引言

智能制造[1]是全球新一代工業(yè)革命的風(fēng)向標(biāo),為提升產(chǎn)業(yè)核心競(jìng)爭(zhēng)力、實(shí)現(xiàn)新舊動(dòng)能轉(zhuǎn)換,亟需發(fā)展新一代信息技術(shù)賦能的智能制造產(chǎn)業(yè)。美國(guó)工業(yè)互聯(lián)網(wǎng)、德國(guó)工業(yè)4.0、日本創(chuàng)新工業(yè)計(jì)劃和中國(guó)智能制造均從不同角度提出借助新一代信息技術(shù)對(duì)工業(yè)場(chǎng)景改造升級(jí)的思路[2-3],其核心理念均通過(guò)工業(yè)物聯(lián)網(wǎng)(Industrial Internet of Things,IIoT)、多功能傳感器和云計(jì)算等信息集成技術(shù),將分布式、組合式的工業(yè)制造單元模塊構(gòu)建成多功能、智能化的高柔性工業(yè)制造系統(tǒng),同時(shí)在生產(chǎn)設(shè)備、零部件、原材料上裝載可交互智能終端,借助物聯(lián)網(wǎng)實(shí)現(xiàn)信息交互和實(shí)時(shí)互動(dòng),使機(jī)器能夠自主決策,并對(duì)生產(chǎn)進(jìn)行個(gè)性化控制,進(jìn)而打造先進(jìn)的無(wú)人化智能工廠(chǎng)。與裝備制造業(yè)強(qiáng)國(guó)相比,我國(guó)裝備制造業(yè)綜合競(jìng)爭(zhēng)力依舊較弱,實(shí)際產(chǎn)線(xiàn)數(shù)據(jù)實(shí)時(shí)分析和生產(chǎn)自主決策方面困難突出,大大制約了制造業(yè)的產(chǎn)能和效率,嚴(yán)重阻礙了制造業(yè)從大規(guī)模制造向大規(guī)模個(gè)性化定制轉(zhuǎn)型的進(jìn)程。

人工智能、大數(shù)據(jù)、云計(jì)算和邊緣計(jì)算以及通信技術(shù)(Artificial intelligence,Big data, Cloud and edge computing,Communications,ABCC)已經(jīng)成為當(dāng)前制造業(yè)轉(zhuǎn)型升級(jí)的主要抓手。借助人工智能(Artificial Intelligence,AI)和機(jī)器視覺(jué)方法進(jìn)行制造業(yè)產(chǎn)線(xiàn)的數(shù)字化轉(zhuǎn)型升級(jí)[4],可以充分利用深度學(xué)習(xí)、機(jī)器學(xué)習(xí)理論和方法在數(shù)據(jù)挖掘、特征抽取方面的優(yōu)秀潛能,捕捉歷史數(shù)據(jù)信息隱含的重要特征,輔助產(chǎn)線(xiàn)進(jìn)行智能決策。近年來(lái),隨著數(shù)據(jù)量的積累、算力的進(jìn)步和AI模型表示能力的增強(qiáng),利用深度學(xué)習(xí)方法進(jìn)行圖像理解已經(jīng)成為機(jī)器視覺(jué)和AI領(lǐng)域研究與垂直行業(yè)落地的熱點(diǎn)。圖像理解可以劃分為圖像分類(lèi)(image classification)、目標(biāo)檢測(cè)(object detection)、圖像分割(image segmentation)3個(gè)層次。圖像分類(lèi)[5-6]采用事先確定好的類(lèi)別來(lái)描述圖像,是最基礎(chǔ)的圖像理解任務(wù),也是深度學(xué)習(xí)模型取得進(jìn)步最大、應(yīng)用最廣泛的一種任務(wù),AI模型取得進(jìn)展的同時(shí)也誕生了ImageNet[7],MNIST(modified national institute of standards and technology),CIFAR10(Canadian institute for advanced research, 10 classes),CIFAR100(Canadian institute for advanced research, 100 classes)等多種具有國(guó)際影響力的圖像數(shù)據(jù)集;目標(biāo)檢測(cè)關(guān)注圖像中特定目標(biāo)的類(lèi)別和位置信息,需要從背景中分離出感興趣目標(biāo),一般用矩形框定位(object localization)目標(biāo)區(qū)域,同時(shí)給出定位目標(biāo)的類(lèi)型或類(lèi)別信息,目前主流算法包括基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(Region-based Convolutional Neural Networks,R-CNN)[8],Fast R-CNN[9],Faster R-CNN[10],Yolo(you only look once)家族系列算法[11-14];圖像分割包括語(yǔ)義分割和實(shí)例分割等多種類(lèi)型,要求分離不同語(yǔ)義的圖像部分,或者描述出感興趣區(qū)域或目標(biāo)的精細(xì)輪廓,在現(xiàn)實(shí)場(chǎng)景和醫(yī)學(xué)影像分析領(lǐng)域存在大量應(yīng)用,目前主流算法包括Mask R-CNN[15],U-net[16]等,在國(guó)內(nèi)外公開(kāi)的PASCAL-VOC(pattern analysis,statistical modeling and computational learning-visual object classes),LIDC(lung image database consortium)等數(shù)據(jù)集上效果良好。

產(chǎn)品質(zhì)量是企業(yè)的生命線(xiàn),在工業(yè)生產(chǎn)制造全生命周期中,對(duì)產(chǎn)品質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)控可以及時(shí)預(yù)警生產(chǎn)過(guò)程中的突發(fā)狀況并作出響應(yīng),從而規(guī)避風(fēng)險(xiǎn)。現(xiàn)階段,產(chǎn)品質(zhì)量管控需添加額外工序或人工對(duì)產(chǎn)品中間件進(jìn)行質(zhì)量評(píng)估,不但帶來(lái)額外的生產(chǎn)成本,而且制約了生產(chǎn)效率。針對(duì)該問(wèn)題,國(guó)內(nèi)外產(chǎn)業(yè)和學(xué)術(shù)界均進(jìn)行了大量研究。由于影響產(chǎn)品質(zhì)量的因素比較復(fù)雜,人、機(jī)、料、法、環(huán)等都會(huì)對(duì)制造質(zhì)量產(chǎn)生影響,“事后檢驗(yàn)”以及統(tǒng)計(jì)過(guò)程控制的傳統(tǒng)質(zhì)量管控方式已無(wú)法適應(yīng)新型智能制造系統(tǒng)和產(chǎn)業(yè)柔性制造的需求。

借助歷史數(shù)據(jù)建立數(shù)學(xué)模型,特別是AI模型,完成產(chǎn)品質(zhì)量的預(yù)測(cè)分析,同時(shí)實(shí)現(xiàn)產(chǎn)線(xiàn)設(shè)備預(yù)測(cè)性維護(hù)和故障診斷是當(dāng)前的主流方式[17-21],然而由于工業(yè)大數(shù)據(jù)采集、整理、分析和存儲(chǔ)均會(huì)耗費(fèi)大量人力物力,而且隱含價(jià)值的挖掘難度較大,導(dǎo)致基于AI的質(zhì)量管控方法在實(shí)際制造產(chǎn)線(xiàn)的應(yīng)用十分有限,仍處于初期探索階段。

國(guó)內(nèi)外有關(guān)AI在空調(diào)外觀(guān)質(zhì)量檢測(cè)問(wèn)題的應(yīng)用均未見(jiàn)報(bào)道。產(chǎn)品Logo、聯(lián)機(jī)管、柵網(wǎng)等關(guān)鍵部件的錯(cuò)漏裝檢測(cè)是空調(diào)外機(jī)外觀(guān)質(zhì)量檢測(cè)工序的核心任務(wù),也是空調(diào)外機(jī)封箱入庫(kù)前至關(guān)重要的一步,很大程度上影響客戶(hù)滿(mǎn)意度、投訴量和品牌價(jià)值。本文聚焦空調(diào)外機(jī)的外觀(guān)質(zhì)量檢測(cè)問(wèn)題,將該問(wèn)題建模為目標(biāo)分類(lèi)與圖像識(shí)別任務(wù),結(jié)合真實(shí)空調(diào)產(chǎn)線(xiàn)歷史積累數(shù)據(jù),構(gòu)建空調(diào)外觀(guān)質(zhì)量檢測(cè)專(zhuān)用數(shù)據(jù)集,并在IEEE DataPort網(wǎng)站面向國(guó)內(nèi)外研究人員公開(kāi),輔助機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域內(nèi)相關(guān)特征識(shí)別與檢測(cè)算法的驗(yàn)證和測(cè)試。在此基礎(chǔ)上,設(shè)計(jì)了一種改進(jìn)的快速精簡(jiǎn)Yolo(Fast Tiny Yolo,FT-Yolo)算法,進(jìn)一步研發(fā)邊云協(xié)同模式外觀(guān)質(zhì)量AI檢測(cè)系統(tǒng),完成圖像采集和處理,實(shí)現(xiàn)空調(diào)外機(jī)銘牌Logo、旋風(fēng)網(wǎng)及聯(lián)機(jī)管顏色等外觀(guān)質(zhì)量特征的自動(dòng)在線(xiàn)檢測(cè),并針對(duì)異常檢測(cè)實(shí)時(shí)預(yù)警,同時(shí)通過(guò)可編程控制器(Programmable Logic Controller,PLC)與線(xiàn)體和云平臺(tái)互聯(lián)交互,實(shí)現(xiàn)機(jī)機(jī)對(duì)話(huà)、不良品自動(dòng)停線(xiàn)和打返修區(qū)。

1 空調(diào)外觀(guān)質(zhì)量檢測(cè)問(wèn)題建模與公開(kāi)數(shù)據(jù)集的構(gòu)建

1.1 外觀(guān)質(zhì)量檢測(cè)問(wèn)題建模與評(píng)估方法

外觀(guān)質(zhì)量檢測(cè)的內(nèi)容包括:①聯(lián)機(jī)管,空調(diào)外機(jī)附加兩條和室內(nèi)機(jī)相連的聯(lián)機(jī)管,其管徑和管頭顏色不同,聯(lián)機(jī)管錯(cuò)漏裝直接導(dǎo)致入戶(hù)無(wú)法安裝;②旋風(fēng)網(wǎng),用于保護(hù)扇葉,同時(shí)保證消費(fèi)者人身安全,空調(diào)型號(hào)不同,旋風(fēng)網(wǎng)也存在差別;③產(chǎn)品Logo,Logo標(biāo)志商標(biāo)和機(jī)型,銷(xiāo)往內(nèi)地和海外產(chǎn)品的Logo不同。在實(shí)際生產(chǎn)過(guò)程中,產(chǎn)品型號(hào)種類(lèi)繁多(全部型號(hào)超過(guò)1 000種),存在大量需要檢測(cè)的不同外觀(guān)質(zhì)量特征,而同一生產(chǎn)線(xiàn)生產(chǎn)過(guò)程會(huì)根據(jù)訂單和排產(chǎn)情況頻繁更換產(chǎn)品型號(hào)。因此,外觀(guān)質(zhì)量檢測(cè)工具需要快速識(shí)別產(chǎn)品Logo、旋風(fēng)網(wǎng)、聯(lián)機(jī)管等多項(xiàng)檢測(cè)內(nèi)容,并與當(dāng)前產(chǎn)線(xiàn)生產(chǎn)的產(chǎn)品型號(hào)進(jìn)行匹配,同時(shí)完成檢測(cè)數(shù)據(jù)的存儲(chǔ)和傳輸,以便進(jìn)行質(zhì)量追溯。

上述外觀(guān)質(zhì)量檢測(cè)問(wèn)題可以建模為目標(biāo)檢測(cè)與識(shí)別問(wèn)題,檢測(cè)過(guò)程需要完成目標(biāo)定位和分類(lèi)兩個(gè)任務(wù)。本文借鑒Yolo家族模型的基本思路,將該問(wèn)題轉(zhuǎn)化為回歸問(wèn)題,采用均方差損失函數(shù)和隨機(jī)梯度下降方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,一步完成目標(biāo)定位和分類(lèi)任務(wù)。模型訓(xùn)練過(guò)程中的基本損失函數(shù)表示為[8]

(1)

(2)

(3)

(4)

式中:IoU為預(yù)測(cè)邊界框與標(biāo)記邊界框的交并集之比;Precision表示檢測(cè)出的目標(biāo)有多大比例為真正的目標(biāo);Recall表示真實(shí)目標(biāo)有多大比例被模型檢測(cè)出來(lái)。對(duì)于某個(gè)類(lèi)別,可以通過(guò)計(jì)算平均精度來(lái)判斷該類(lèi)別預(yù)測(cè)結(jié)果的優(yōu)劣,而平均精度即為Precision-Recall曲線(xiàn)與坐標(biāo)軸相交的面積,均值平均精度mAP則為多個(gè)類(lèi)別的平均精度。

1.2 改進(jìn)的Yolo算法Fast-Tiny Yolo

YoloV3模型252層[13],YoloV4模型161層[14],模型推理過(guò)程計(jì)算量大,不適用于計(jì)算能力受限的工業(yè)物聯(lián)網(wǎng)邊緣節(jié)點(diǎn)設(shè)備。因此,將YoloV3模型簡(jiǎn)化,提出改進(jìn)的FT-Yolo模型對(duì)目標(biāo)檢測(cè)精度和檢測(cè)時(shí)間進(jìn)行折中。FT-Yolo網(wǎng)絡(luò)共27層卷積層,如表1所示,其網(wǎng)絡(luò)結(jié)構(gòu)采用卷積、批歸一化(Batch Normalization,BN)和LeakyReLU激活(Conv+BN+LeakyReLU)為基礎(chǔ)的殘差網(wǎng)絡(luò)作為核心模塊,表1中采用“←Conv”表示殘差模塊短接(shortcut)引出位置的卷積層,“→Resdual-Add”表示殘差模塊的Add層,將短接引出位置的卷積層與本層輸出進(jìn)行疊加,引入殘差模塊使得網(wǎng)絡(luò)訓(xùn)練更加容易,可以防止梯度彌散和網(wǎng)絡(luò)退化。與YoloV3不同,為了進(jìn)一步簡(jiǎn)化模型運(yùn)算量,FT-Yolo網(wǎng)絡(luò)提供兩路輸出,采用非極大值抑制法(Non-Maximum Suppression,NMS)進(jìn)行局部搜索,給出最終目標(biāo)檢測(cè)結(jié)果。

表1 FT-Yolo網(wǎng)絡(luò)結(jié)構(gòu)

1.3 外觀(guān)質(zhì)量檢測(cè)公開(kāi)數(shù)據(jù)集的構(gòu)建

如前所述,AI在空調(diào)外觀(guān)質(zhì)量檢測(cè)問(wèn)題的應(yīng)用國(guó)內(nèi)外均未見(jiàn)報(bào)道,也未發(fā)現(xiàn)空調(diào)外觀(guān)質(zhì)量檢測(cè)領(lǐng)域的公開(kāi)圖像數(shù)據(jù)集。為了訓(xùn)練和驗(yàn)證深度學(xué)習(xí)目標(biāo)檢測(cè)算法,本文采集大量外觀(guān)質(zhì)量檢測(cè)數(shù)據(jù),選取部分常用型號(hào)整理并標(biāo)注了外觀(guān)質(zhì)量檢測(cè)(Appearance Quality Detection,AQD)圖像數(shù)據(jù)集。將數(shù)據(jù)集命名為SDU-Haier-AQD(簡(jiǎn)稱(chēng)AQD),并在IEEE DataPort網(wǎng)站公開(kāi),用于目標(biāo)識(shí)別與檢測(cè)領(lǐng)域深度學(xué)習(xí)算法的訓(xùn)練、驗(yàn)證和測(cè)試[22]。AQD數(shù)據(jù)集中的所有數(shù)據(jù)均從空調(diào)產(chǎn)線(xiàn)外觀(guān)檢測(cè)工位處使用工業(yè)相機(jī)采集,根據(jù)相機(jī)差異分為2 464×2 056和1 232×1 028兩種分辨率,圖像為jpg格式,單幅圖像大小在100 kB～400 kB之間,本文在構(gòu)建數(shù)據(jù)集時(shí)并未對(duì)圖像進(jìn)行任何預(yù)處理。在外觀(guān)質(zhì)量圖像AQD數(shù)據(jù)集標(biāo)注過(guò)程中,采用Github開(kāi)源標(biāo)注工具labelImg[23]標(biāo)注樣本。如圖1所示,標(biāo)注過(guò)程將待檢測(cè)目標(biāo)用矩形框框出,并給予類(lèi)別命名,最終形成與圖像樣本同名的xml文件,xml文件中包含圖像名稱(chēng)和存儲(chǔ)位置、圖像尺寸和通道數(shù)、圖像標(biāo)注目標(biāo)名稱(chēng)、標(biāo)注目標(biāo)所在橫縱坐標(biāo)位置等信息。如圖2所示,由于原始圖像分辨率不統(tǒng)一(如外機(jī)圖像1分辨率為1 200×900,外機(jī)圖像2分辨率為1 500×1 000),而用于深度學(xué)習(xí)算法訓(xùn)練的樣本圖形則為統(tǒng)一尺寸(416×416),為方便訓(xùn)練深度學(xué)習(xí)模型,在縮放圖像后進(jìn)一步對(duì)標(biāo)注的橫縱坐標(biāo)等信息進(jìn)行歸一化,并將歸一化的坐標(biāo)等標(biāo)簽信息以txt文檔形式保存。

AQD公開(kāi)數(shù)據(jù)集共標(biāo)注數(shù)據(jù)10 449幅,全部標(biāo)注數(shù)據(jù)總計(jì)約2.5 GB,每幅圖像的標(biāo)注過(guò)程需要對(duì)圖像中的Logo、旋風(fēng)網(wǎng)、聯(lián)機(jī)管的輪廓進(jìn)行詳細(xì)勾畫(huà),單幅圖像的標(biāo)注過(guò)程約5 min,整個(gè)標(biāo)注過(guò)程花費(fèi)約10人月的工作量。AQD公開(kāi)數(shù)據(jù)集中外觀(guān)質(zhì)量檢測(cè)圖像可以細(xì)分為11個(gè)空調(diào)機(jī)型(A1-A11),表2所示為不同空調(diào)產(chǎn)品型號(hào)代號(hào)及對(duì)應(yīng)的樣本數(shù)量。表3所示為該數(shù)據(jù)集的全部標(biāo)注類(lèi)別,共分為16類(lèi),包括聯(lián)機(jī)管相關(guān)特征5類(lèi)、旋風(fēng)網(wǎng)2類(lèi)、Logo 9類(lèi)。

表2 AQD公開(kāi)數(shù)據(jù)集包含的外機(jī)型號(hào)代碼及對(duì)應(yīng)的標(biāo)注圖像數(shù)量

表3 AQD公開(kāi)數(shù)據(jù)集中標(biāo)注的標(biāo)簽名稱(chēng)及其數(shù)量

2 云邊協(xié)同產(chǎn)品外觀(guān)質(zhì)量AI檢測(cè)系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)總體設(shè)計(jì)

本文設(shè)計(jì)的產(chǎn)品外觀(guān)質(zhì)量AI檢測(cè)系統(tǒng)是云邊協(xié)同智能制造管控平臺(tái)的一個(gè)子系統(tǒng),該平臺(tái)聚焦產(chǎn)品質(zhì)量管控、設(shè)備預(yù)測(cè)性維護(hù)和智能排產(chǎn)等多項(xiàng)任務(wù),全面采集海爾互聯(lián)工廠(chǎng)生產(chǎn)過(guò)程數(shù)據(jù),涵蓋內(nèi)、外機(jī)外觀(guān)檢測(cè),噪聲檢測(cè),內(nèi)、外機(jī)性能檢測(cè)等18個(gè)關(guān)鍵點(diǎn)位的智能化改造和升級(jí)。如圖3所示,云邊協(xié)同產(chǎn)品外觀(guān)質(zhì)量AI檢測(cè)系統(tǒng)負(fù)責(zé)產(chǎn)品外觀(guān)質(zhì)量數(shù)據(jù)采集、聚合、傳輸、檢測(cè),以及與工業(yè)云平臺(tái)的交互,可簡(jiǎn)化為端、邊、云3層架構(gòu):

(1)底層產(chǎn)線(xiàn)部署傳感器(工業(yè)相機(jī)、條碼掃描器等)、PLC控制器等物聯(lián)網(wǎng)設(shè)備、輕量級(jí)邊緣計(jì)算設(shè)備數(shù)據(jù)聚合器(DataAggregator,DA),DA為增強(qiáng)版的工業(yè)網(wǎng)關(guān),嵌入了5G模組和智能數(shù)據(jù)聚合模塊,可替換ISA95工業(yè)金字塔架構(gòu)中的數(shù)據(jù)采集與監(jiān)控系統(tǒng)(Supervisory Control and Data Acquisition,SCADA),負(fù)責(zé)底層物聯(lián)網(wǎng)節(jié)點(diǎn)數(shù)據(jù)的采集和聚合傳輸。

(2)邊緣服務(wù)器節(jié)點(diǎn)負(fù)責(zé)完成AI檢測(cè)與識(shí)別任務(wù),根據(jù)智能檢測(cè)與識(shí)別結(jié)果產(chǎn)生決策,驅(qū)動(dòng)PLC等設(shè)備控制產(chǎn)線(xiàn)運(yùn)行,并與云端交互,完成數(shù)據(jù)上傳和云端AI模型下載。

(3)工業(yè)云平臺(tái)通過(guò)基礎(chǔ)設(shè)施即服務(wù)(InfraStructure as a Service,IaaS)、平臺(tái)即服務(wù)(Platform as a Service,PaaS)和軟件即服務(wù)(Software as a Service,SaaS)等不同服務(wù),輔助生產(chǎn)全流程各要素之間交互,同時(shí)依托強(qiáng)大的計(jì)算資源池,負(fù)責(zé)工業(yè)場(chǎng)景中AI模型的訓(xùn)練與更新。

2.2 產(chǎn)品外觀(guān)質(zhì)量智能檢測(cè)基本流程

空調(diào)外機(jī)外觀(guān)智能檢測(cè)的核心目的是通過(guò)在產(chǎn)線(xiàn)部署AI系統(tǒng)和自動(dòng)化、智能化的AI檢測(cè)方法,實(shí)現(xiàn)空調(diào)外機(jī)外觀(guān)的自動(dòng)檢測(cè),提高企業(yè)生產(chǎn)效率,降低產(chǎn)品瑕疵概率和人力成本,其基本流程和PLC控制產(chǎn)線(xiàn)過(guò)程如圖4和圖5所示。

(1)空調(diào)外機(jī)沿產(chǎn)線(xiàn)行進(jìn)至外觀(guān)質(zhì)量檢測(cè)工位區(qū)域,如圖4所示的檢測(cè)區(qū)域A,觸發(fā)AI檢測(cè)算法驅(qū)動(dòng)工業(yè)相機(jī)拍照,采集外機(jī)圖像并自動(dòng)傳輸至邊緣服務(wù)器。

(2)部署在邊緣服務(wù)器的AI識(shí)別算法完成實(shí)時(shí)檢測(cè),將識(shí)別結(jié)果反饋到工位監(jiān)控屏,同時(shí)將拍攝的外機(jī)外觀(guān)圖像上傳至工業(yè)云平臺(tái)存儲(chǔ)。由于邊緣硬件條件限制和檢測(cè)時(shí)延約束,AI模型復(fù)雜度受到一定影響。

(3)邊緣服務(wù)器所部署的智能產(chǎn)品外觀(guān)質(zhì)量檢測(cè)系統(tǒng)根據(jù)AI算法檢測(cè)結(jié)果輸出PLC控制信號(hào),控制當(dāng)前產(chǎn)品在產(chǎn)線(xiàn)中的走向,同時(shí)將相關(guān)信息(產(chǎn)品條碼、型號(hào)等)反饋到制造執(zhí)行系統(tǒng)(Manufacturing Execution System,MES)。當(dāng)算法檢測(cè)置信度高于特定閾值時(shí),判定為合格產(chǎn)品,產(chǎn)品隨產(chǎn)線(xiàn)從分流區(qū)域B進(jìn)入合格區(qū)域C,并轉(zhuǎn)入下一工序,而將檢測(cè)不合格的產(chǎn)品打返修區(qū)處理。

(4)云端負(fù)責(zé)生產(chǎn)數(shù)據(jù)的匯總、存儲(chǔ)以及工業(yè)AI模型的訓(xùn)練。邊緣端采集到的圖像和各種傳感器信號(hào)需要在云端備份存儲(chǔ),以備后續(xù)質(zhì)量溯源。產(chǎn)品型號(hào)變化與新產(chǎn)品研發(fā)使得AI模型并不一直適用,產(chǎn)品外觀(guān)檢測(cè)系統(tǒng)需要根據(jù)產(chǎn)線(xiàn)生產(chǎn)變動(dòng)情況更新模型來(lái)保證模型的準(zhǔn)確性。

2.3 云邊協(xié)同機(jī)制

邊云協(xié)同的內(nèi)涵涉及資源、數(shù)據(jù)、智能、應(yīng)用管理、業(yè)務(wù)管理、服務(wù)、安全等多方面要素的協(xié)同,協(xié)同的實(shí)現(xiàn)需要基礎(chǔ)設(shè)施、網(wǎng)絡(luò)技術(shù)、AI方法等多層面關(guān)鍵技術(shù)共同支撐,主要包括邊緣AI芯片、云平臺(tái)、容器等基礎(chǔ)設(shè)施,時(shí)延敏感網(wǎng)絡(luò)(Time Sensitive Network, TSN)、軟件定義網(wǎng)絡(luò)(Software Defined Network, SDN)、開(kāi)放平臺(tái)通信統(tǒng)一架構(gòu)(Open Platform Communications Unified Architecture,OPC UA)等網(wǎng)絡(luò)與通信技術(shù),AI模型設(shè)計(jì)、劃分,計(jì)算任務(wù)卸載等AI方法。從技術(shù)實(shí)現(xiàn)的角度,資源、數(shù)據(jù)和智能的有效協(xié)同需要在端、邊、云不同物理位置合理而智能地劃分計(jì)算、存儲(chǔ)和通信任務(wù)。因此,面向復(fù)雜工業(yè)應(yīng)用場(chǎng)景,通信協(xié)議的打通、計(jì)算存儲(chǔ)資源和網(wǎng)絡(luò)功能的虛擬化、數(shù)據(jù)的壓縮與降維、特征抽取與融合,以及分布式人工智能成為實(shí)現(xiàn)邊云協(xié)同的核心任務(wù)。物聯(lián)網(wǎng)(Internet of Things,IoT)終端設(shè)備不斷生成需要使用深度學(xué)習(xí)等AI技術(shù)進(jìn)行實(shí)時(shí)分析或用于訓(xùn)練深度學(xué)習(xí)模型的數(shù)據(jù),受硬件資源限制,直接在移動(dòng)終端進(jìn)行深度模型訓(xùn)練難度很大,因此AI模型的訓(xùn)練仍然在云端,AI模型的推理過(guò)程放置在靠近終端設(shè)備的邊緣,可以在一定程度上滿(mǎn)足邊緣設(shè)備上深度學(xué)習(xí)的高計(jì)算量和低延遲要求。本文設(shè)計(jì)的系統(tǒng)利用邊緣服務(wù)器節(jié)點(diǎn)提供CPU和GPU(Graphics Processing Unit,GPU)計(jì)算能力、有限的通信帶寬和數(shù)據(jù)傳輸能力、緩存和永久存儲(chǔ)能力。上述計(jì)算、通信和存儲(chǔ)能力用于支撐邊緣節(jié)點(diǎn)完成現(xiàn)場(chǎng)數(shù)據(jù)采集,數(shù)據(jù)的初步分析、匯聚和融合,以及借助AI模型實(shí)現(xiàn)現(xiàn)場(chǎng)決策等任務(wù),然后將有價(jià)值的數(shù)據(jù)傳輸?shù)皆贫藬?shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)。

本文設(shè)計(jì)的產(chǎn)品外觀(guān)質(zhì)量AI檢測(cè)系統(tǒng)采用云邊協(xié)同機(jī)制,將工業(yè)生產(chǎn)中現(xiàn)場(chǎng)運(yùn)行設(shè)備封裝為邊緣服務(wù)設(shè)備,利用5G專(zhuān)用蜂窩網(wǎng)絡(luò)客戶(hù)終端設(shè)備(5G Customer Premise Equipment,5GCPE)將邊緣服務(wù)設(shè)備以扁平互聯(lián)的方式聯(lián)接到工業(yè)數(shù)據(jù)平臺(tái),并與大數(shù)據(jù)、深度學(xué)習(xí)等云服務(wù)對(duì)接,可以解決工業(yè)控制高實(shí)時(shí)性要求與互聯(lián)網(wǎng)服務(wù)質(zhì)量不確定性的矛盾,提高產(chǎn)線(xiàn)執(zhí)行層的時(shí)效性。在計(jì)算能力方面,云端有大規(guī)模服務(wù)器虛擬化而成的計(jì)算資源池,具有強(qiáng)大的計(jì)算能力和極低的計(jì)算時(shí)延;邊緣側(cè)設(shè)備的計(jì)算能力相對(duì)云端較弱,可以獨(dú)自完成外觀(guān)檢測(cè)任務(wù)。由于邊緣設(shè)備位于網(wǎng)絡(luò)邊緣,距離數(shù)據(jù)源頭近,能夠有效減少數(shù)據(jù)的網(wǎng)絡(luò)傳輸延遲?？紤]實(shí)際場(chǎng)景為多條產(chǎn)線(xiàn),多種檢測(cè)任務(wù)并發(fā),且邊緣側(cè)和核心網(wǎng)絡(luò)帶寬受限,本文前期完成了數(shù)據(jù)清洗、壓縮、聚合[24-25],能夠合理分配邊緣與云端計(jì)算任務(wù)[26],實(shí)現(xiàn)云端與邊緣高效協(xié)同,有效降低邊緣側(cè)任務(wù)處理和數(shù)據(jù)傳輸?shù)亩说蕉藭r(shí)延,加快產(chǎn)線(xiàn)運(yùn)行節(jié)拍,提高生產(chǎn)效率。

2.4 工位顯示及Web端管理

外觀(guān)質(zhì)量AI檢測(cè)系統(tǒng)Web界面主要由實(shí)時(shí)監(jiān)測(cè)和數(shù)據(jù)管理兩部分組成。實(shí)時(shí)監(jiān)測(cè)界面用于實(shí)時(shí)顯示系統(tǒng)的運(yùn)行狀態(tài)和當(dāng)前檢測(cè)產(chǎn)品的相關(guān)信息,包括圖像、一維碼、型號(hào)、商標(biāo)、出氣柵狀態(tài)等,如圖6所示;數(shù)據(jù)管理界面用于查詢(xún)已檢測(cè)產(chǎn)品的信息,并能根據(jù)給定條件篩選查詢(xún)結(jié)果,如圖7所示。云端的實(shí)時(shí)監(jiān)測(cè)和管理可以在完成二次質(zhì)檢的同時(shí)輔助產(chǎn)線(xiàn)完成質(zhì)量追溯。

3 結(jié)果與討論

本文采用自行標(biāo)注的SDU-Haier-AQD公開(kāi)數(shù)據(jù)集進(jìn)行算法訓(xùn)練、驗(yàn)證和測(cè)試。全部數(shù)據(jù)共10 449幅圖像,按80%,10%,10%的比例將該數(shù)據(jù)集圖像劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。為了測(cè)試和驗(yàn)證所提FT-Yolo算法的性能,進(jìn)一步搭建外機(jī)外觀(guān)質(zhì)量AI檢測(cè)演示系統(tǒng),在實(shí)際產(chǎn)線(xiàn)進(jìn)行部署和測(cè)試。

選取YoloV3和YoloV4兩種主流目標(biāo)檢測(cè)算法作為本文外觀(guān)檢測(cè)任務(wù)的baseline算法,分別分析了YoloV3,YoloV4和所提FT-Yolo 3種算法在不同IoU指標(biāo)(IoU=0.3,0.5,0.75)下針對(duì)不同目標(biāo)的檢測(cè)精度。如表4～表6所示,在IoU=0.3時(shí),YoloV3(252層),YoloV4(161層)和FT-Yolo(27個(gè)卷積層)均達(dá)到很高的水平,FT-Yolo在測(cè)試集上的mAP甚至略微超過(guò)baseline算法;在IoU=0.5時(shí),所提FT-Yolo算法性能比YoloV3和YoloV4略低,但仍能達(dá)到超過(guò)97%的識(shí)別準(zhǔn)確率,其中相對(duì)3種標(biāo)注種類(lèi),聯(lián)機(jī)管檢測(cè)的mAP相對(duì)較低;在IoU=0.75非常嚴(yán)苛的情形下,3種算法的mAP相比IoU=0.5均明顯下降,聯(lián)機(jī)管檢測(cè)性能下降比較嚴(yán)重,其主要原因在于聯(lián)機(jī)管目標(biāo)較小,與背景環(huán)境像素值相差不大,且標(biāo)注過(guò)程中由于人為因素,標(biāo)簽邊界框大小并不統(tǒng)一,導(dǎo)致算法檢測(cè)比較困難。綜合考量,因?yàn)楸救蝿?wù)對(duì)目標(biāo)的準(zhǔn)確位置信息并不敏感,主要目標(biāo)是檢測(cè)關(guān)鍵目標(biāo)是否俱全,所以FT-Yolo非常契合任務(wù)目標(biāo)。

表5 IoU=0.5時(shí)不同模型在不同目標(biāo)下的mAP %

表6 IoU=0.75時(shí)不同模型在不同目標(biāo)下的mAP %

進(jìn)一步搭建外機(jī)外觀(guān)質(zhì)量AI檢測(cè)演示系統(tǒng),在實(shí)際產(chǎn)線(xiàn)部署本文設(shè)計(jì)的外觀(guān)質(zhì)量AI檢測(cè)系統(tǒng),并對(duì)不同算法的延時(shí)特性進(jìn)行測(cè)試。在AI模型的部署過(guò)程中,考慮到工業(yè)場(chǎng)景下硬件設(shè)備受限(目前大部分工業(yè)產(chǎn)線(xiàn)側(cè)尚未部署GPU計(jì)算能力),所采用的測(cè)試硬件平臺(tái)為Intel i7-4790 +AMD Radeon R7 350 組合,單獨(dú)由CPU執(zhí)行外觀(guān)質(zhì)量檢測(cè)算法,并未使用GPU。測(cè)試結(jié)果表明,FT-Yolo算法在準(zhǔn)確檢測(cè)Logo、旋風(fēng)網(wǎng)、聯(lián)機(jī)管等關(guān)鍵外觀(guān)質(zhì)量信息的基礎(chǔ)上(如圖8),單幅圖像檢測(cè)時(shí)間僅為0.29 s(如圖9),明顯低于YoloV3和YoloV4兩種算法(0.62 s和0.53 s),遠(yuǎn)低于現(xiàn)有真實(shí)空調(diào)產(chǎn)線(xiàn)3 s～5 s的外觀(guān)檢測(cè)節(jié)拍,外觀(guān)質(zhì)量檢測(cè)時(shí)間縮短90%以上(以現(xiàn)有產(chǎn)線(xiàn)3 s的外觀(guān)檢測(cè)節(jié)拍計(jì)算,(3-0.29)/3 =90.33%)。外觀(guān)檢測(cè)是空調(diào)外機(jī)總裝流水線(xiàn)多個(gè)串行工序的一個(gè)重要環(huán)節(jié),因此所設(shè)計(jì)外觀(guān)質(zhì)量AI檢測(cè)系統(tǒng)在解放人工、實(shí)現(xiàn)外觀(guān)質(zhì)量信息自動(dòng)智能檢測(cè)的同時(shí),可以顯著提升外觀(guān)檢測(cè)工序的效率,有助于提升整條總裝產(chǎn)線(xiàn)的運(yùn)行效率。

4 結(jié)束語(yǔ)

本文針對(duì)空調(diào)外機(jī)外觀(guān)質(zhì)量檢測(cè)問(wèn)題,首次建立了一種用于空調(diào)外機(jī)外觀(guān)質(zhì)量檢測(cè)的公開(kāi)圖像數(shù)據(jù)集,并已在IEEE DataPort公開(kāi),有助于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域目標(biāo)識(shí)別與檢測(cè)算法的訓(xùn)練、驗(yàn)證和測(cè)試,同時(shí)助推AI在制造產(chǎn)業(yè)落地。基于該數(shù)據(jù)集,提出一種快速精簡(jiǎn)的目標(biāo)檢測(cè)模型FT-Yolo,實(shí)現(xiàn)了空調(diào)外機(jī)Logo檢測(cè)、旋風(fēng)網(wǎng)檢測(cè)和聯(lián)機(jī)管顏色識(shí)別。試驗(yàn)結(jié)果和產(chǎn)線(xiàn)實(shí)際測(cè)試表明,所設(shè)計(jì)的基于AI的外觀(guān)檢測(cè)系統(tǒng)可以統(tǒng)籌云端和邊緣設(shè)備,高效協(xié)同完成外觀(guān)檢測(cè)任務(wù),有助于提升產(chǎn)線(xiàn)生產(chǎn)節(jié)拍和生產(chǎn)效率,具有很強(qiáng)的可推廣性。后續(xù)工作將結(jié)合云邊協(xié)同模式,采用基于聯(lián)邦學(xué)習(xí)的多產(chǎn)線(xiàn)分布式AI模型更新方式進(jìn)一步提升系統(tǒng)自動(dòng)化程度,解決本文遺留的AI模型需定期手動(dòng)部署更新的問(wèn)題。