人工智能在門窗檢測(cè)中圖紙識(shí)別的應(yīng)用

王 灃

（福建省建筑工程質(zhì)量檢測(cè)中心有限公司）

門窗圖紙有掃描文檔、印刷圖集、CAD電子圖集等多種展現(xiàn)方式，這些格式可統(tǒng)一轉(zhuǎn)換為掃描文檔。本文最終的型材樣本數(shù)據(jù)集為各種圖紙的掃描件?；谏疃葘W(xué)習(xí)的門窗圖紙識(shí)別的難點(diǎn)在于數(shù)據(jù)樣本的獲取，也就是圖紙的收集，還有圖紙的標(biāo)注，以及合適的圖像預(yù)處理方式。實(shí)現(xiàn)人工智能識(shí)別圖紙，有兩種處理方法，圖像分類和目標(biāo)檢測(cè)。本文提出的問題需要在同一個(gè)圖紙中對(duì)多個(gè)目標(biāo)分別進(jìn)行檢測(cè)，所以屬于目標(biāo)檢測(cè)的范疇。

本文建立了采用回歸算法的深度學(xué)習(xí)模型，即是基于 YOLO網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型，針對(duì)門窗數(shù)據(jù)樣本不足的問題，使用了GAN網(wǎng)絡(luò)進(jìn)行遷移預(yù)訓(xùn)練，利用Generator模型生成的圖片數(shù)據(jù)，預(yù)訓(xùn)練YOLO模型，同時(shí)利用了數(shù)據(jù)增強(qiáng)的方法對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)增。使用擴(kuò)增后的數(shù)據(jù)集對(duì)模型進(jìn)行調(diào)整訓(xùn)練，防止模型過擬合情況的發(fā)生，增強(qiáng)檢測(cè)網(wǎng)絡(luò)對(duì)各種型材的識(shí)別能力。

1 檢測(cè)圖像概述

門窗由是各種型材組合而成的一個(gè)整體。推拉窗包含上滑、下滑、邊封、上方、下方、光企、勾企，平開窗包含窗扇、窗框、中挺等。本文主要對(duì)推拉窗的型材進(jìn)行識(shí)別。如下圖所示，圖（1）展示了邊封，圖（2）為勾企，圖（3）展示了下滑，圖（4）展示了上滑。

本文使用鋁合金型材生產(chǎn)商的門窗圖集，以及門窗檢測(cè)工作中收集的門窗三項(xiàng)物理性能檢測(cè)圖，制作了鋁合金推拉窗型材數(shù)據(jù)集，數(shù)據(jù)集包含了福建省南平鋁業(yè)股份有限公司、福建省閩發(fā)鋁業(yè)股份有限公司、福州奮安鋁業(yè)有限公司、廣東鳳鋁鋁業(yè)有限公司、廣東興發(fā)鋁業(yè)有限公司、肇慶亞洲鋁廠有限公司、廣東堅(jiān)美鋁業(yè)有限公司等1200張具有各種尺寸的門窗大樣圖，節(jié)點(diǎn)圖，型材斷面圖的圖紙數(shù)據(jù)。使用Labelimg軟件，通過手動(dòng)標(biāo)注的方式對(duì)門窗圖紙進(jìn)行型材的位置標(biāo)注，主要標(biāo)注了邊封、勾企、下滑、上滑等型材。

2 基于深度學(xué)習(xí)的門窗檢測(cè)圖像識(shí)別

隨著人工神經(jīng)網(wǎng)絡(luò)的不斷進(jìn)步，在圖像識(shí)別領(lǐng)域，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)檢測(cè)圖像的特征進(jìn)行抽取，分類，是現(xiàn)在深度學(xué)習(xí)領(lǐng)域通用做法。其中目標(biāo)檢測(cè)算法中，YOLO網(wǎng)絡(luò)通過一個(gè)神經(jīng)網(wǎng)絡(luò)，端到端就可以實(shí)現(xiàn)目標(biāo)的檢測(cè)。而在 YOLO之前圖像檢測(cè)算法SPP-NET,FAST-RCNN,FASTER-RCNN首先需要依據(jù)候選區(qū)域，統(tǒng)計(jì)出很多可能含有識(shí)別目標(biāo)的潛在邊框，再識(shí)別其中是否包含物體和物體的類別,這樣增加了計(jì)算的復(fù)雜性，也耗費(fèi)了更多檢測(cè)時(shí)間。

2.1 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

YOLOv3網(wǎng)絡(luò)是YOLO網(wǎng)絡(luò)的最新版本，采用darknet-53或者tiny-darknet作為基礎(chǔ)神經(jīng)網(wǎng)絡(luò)框架，可以輸出多個(gè)尺度的特征圖，它借鑒了FPN特征金字塔，分別在尺度為13×13、26×26、52×52的特征圖上對(duì)目標(biāo)進(jìn)行預(yù)測(cè)，通過對(duì)前述3個(gè)尺度特征圖的檢測(cè)和張量的拼接，增強(qiáng)了對(duì)精細(xì)目標(biāo)的識(shí)別能力，因此對(duì)神經(jīng)網(wǎng)絡(luò)的整體性能有了很大提升。

YOLOv3的網(wǎng)絡(luò)由很多個(gè)包含卷積層、BN層，以及Leaky Relu激活層的基本組件構(gòu)成。對(duì)于一張輸入圖像，首先將圖像大小變換為416×416，作為神經(jīng)網(wǎng)絡(luò)的輸入，然后通過基礎(chǔ)神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行特征的提取和張量的Add操作，接著對(duì)生成的不同尺度的特征圖，進(jìn)一步進(jìn)行卷積計(jì)算，通過對(duì)上采樣后的結(jié)果與前一層得到的結(jié)果進(jìn)行張量的Concat拼接，再經(jīng)過一系列卷積、批標(biāo)準(zhǔn)化處理、激活等操作之后，在不同尺度特征圖上進(jìn)行目標(biāo)識(shí)別，最后通過檢測(cè)層輸出目標(biāo)的位置和類別。

2.2 生成對(duì)抗網(wǎng)絡(luò)

門窗型材由于沒有公共的數(shù)據(jù)集，而通過個(gè)人收集標(biāo)注的數(shù)據(jù)集規(guī)模較小，神經(jīng)網(wǎng)絡(luò)無法得到足夠的訓(xùn)練。本文嘗試?yán)蒙墒綄?duì)抗網(wǎng)絡(luò)生成新的型材圖紙數(shù)據(jù)集，通過遷移訓(xùn)練應(yīng)用到門窗模型中。

生成式對(duì)抗網(wǎng)絡(luò)GAN，通過學(xué)習(xí)輸入的數(shù)據(jù)集分布，然后生成相似性分布的數(shù)據(jù)集。首先給予噪聲變量Z，生成模型通過將它映射為新的數(shù)據(jù)集合，接著由判別模型計(jì)算真實(shí)數(shù)據(jù)分布與生成數(shù)據(jù)分布之間的近似程度。判別模型訓(xùn)練自身參數(shù)使生成數(shù)據(jù)分布遠(yuǎn)離其分類面，直到最終生成模型輸出的數(shù)據(jù)，判別模型無法區(qū)分生成圖像和真實(shí)圖像。

本文利用ACGAN對(duì)型材數(shù)據(jù)集進(jìn)行學(xué)習(xí)，ACGAN和GAN相比在于：1、輸入數(shù)據(jù)不同，GAN只有噪聲Z作為輸入變量，ACGAN同時(shí)需要輸入分類變量。2、輸出數(shù)據(jù)不同，GAN輸出只判斷圖片真假，ACGAN在判斷圖片真假，同時(shí)判斷圖片所屬類別。

本文在Keras框架實(shí)現(xiàn)ACGAN，首先通過Embedding層的輸出和噪聲進(jìn)行相乘，然后將型材類別信息融合到噪聲里面。最后使用兩個(gè)損失函數(shù)分別對(duì)應(yīng)之前的兩個(gè)輸出，兩個(gè)損失函數(shù)加起來的結(jié)果就是總的損失函數(shù)。

ACGAN訓(xùn)練結(jié)束后，對(duì)生成的型材圖像也進(jìn)行位置標(biāo)注，生成預(yù)訓(xùn)練數(shù)據(jù)集。預(yù)訓(xùn)練型材數(shù)據(jù)集與真實(shí)型材圖像非常相近，也分類為上滑、下滑、邊封、勾企等。訓(xùn)練過程中首先使用生成數(shù)據(jù)集對(duì)模型進(jìn)行初始的訓(xùn)練操作，再將訓(xùn)練生成的模型使用真實(shí)型材數(shù)據(jù)集進(jìn)行訓(xùn)練，最后生成型材識(shí)別網(wǎng)絡(luò)。

2.3 數(shù)據(jù)增強(qiáng)算法

為了防止模型過擬合，需要對(duì)訓(xùn)練的鋁合金型材數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，通用的做法有：

圖像旋轉(zhuǎn)，通過旋轉(zhuǎn)原始圖像，使得圖像中的方向發(fā)生改變。翻轉(zhuǎn)變換，對(duì)原始圖像沿著水平或垂直方向進(jìn)行翻轉(zhuǎn)?？s放變換，對(duì)原始圖像按固定的比例進(jìn)行放大或者變小。平移增強(qiáng)，不變換圖像的形狀和大小，平移原始圖像的方位。尺度變換，是使用圖像Filter變換原始圖像模糊程度或圖像大小，使用一個(gè)或多個(gè)卷積核，通過卷積操作對(duì)圖像進(jìn)行改變。對(duì)比度變換，保持色像H分量不變，改變飽和度S和亮度V，變換對(duì)比度。噪聲擾動(dòng)，對(duì)原始圖像的RGB通道增加隨機(jī)噪聲，比如添加椒鹽噪聲和高斯噪聲，使圖像產(chǎn)生變化。

本文對(duì)標(biāo)注的型材數(shù)據(jù)集數(shù)據(jù)增強(qiáng)使用的方法主要包括圖像旋轉(zhuǎn)、翻轉(zhuǎn)變換、平移增強(qiáng)、亮度對(duì)比度變換，噪聲擾動(dòng)等。

3 實(shí)驗(yàn)結(jié)果分析

本文中型材識(shí)別訓(xùn)練過程如圖(6)所示：

圖(6)型材識(shí)別訓(xùn)練過程

經(jīng)數(shù)據(jù)擴(kuò)增后，原始型材數(shù)據(jù)集及實(shí)驗(yàn)型材數(shù)據(jù)集包含型材類別數(shù)目如表1所示，同時(shí)由表1中檢測(cè)準(zhǔn)確率數(shù)據(jù)可知，當(dāng)無預(yù)訓(xùn)練步驟時(shí)，檢測(cè)模型對(duì)上滑檢測(cè)的平均準(zhǔn)確率為 0.88，對(duì)下滑檢測(cè)的平均準(zhǔn)確率 0.87，對(duì)勾企檢測(cè)的平均準(zhǔn)確率0.88，邊封檢測(cè)的AP為0.84，模型對(duì)窗型材的識(shí)別率不高，尤其是對(duì)邊封的識(shí)別率，由于型材數(shù)據(jù)集樣本不均衡，型材的樣本數(shù)量偏少，模型無法充分學(xué)習(xí)到型材特征，識(shí)別效果有限。使用數(shù)據(jù)增強(qiáng)和ACGAN對(duì)抗網(wǎng)絡(luò)，進(jìn)行型材數(shù)據(jù)擴(kuò)增，生成新的型材數(shù)據(jù)集并進(jìn)行遷移學(xué)習(xí)后，檢測(cè)模型對(duì)型材檢測(cè)的平均準(zhǔn)確率由0.87，提高了10.0%。在識(shí)別時(shí)間上，兩種模型的圖像的識(shí)別時(shí)間都是12ms，有很高的識(shí)別效率，符合圖紙實(shí)時(shí)識(shí)別的要求，型材識(shí)別效果如圖(7)所示。

圖(7)

表1 型材數(shù)據(jù)分布和檢測(cè)準(zhǔn)確率

下滑5012000 2000 2000勾企211邊封356

AP統(tǒng)計(jì)ACGAN遷移預(yù)訓(xùn)練YOLO模型和無預(yù)訓(xùn)練的原始數(shù)據(jù)模型對(duì)型材的檢測(cè)平均準(zhǔn)確率（Average Precision,AP），結(jié)果如表2所示。

images/BZ_146_1290_557_1645_600.pngimages/BZ_146_1647_557_1944_600.png YOLOimages/BZ_146_1290_602_1645_645.png images/BZ_146_1647_602_1944_645.png0.88images/BZ_146_1290_647_1645_690.png images/BZ_146_1647_647_1944_690.png0.87images/BZ_146_1290_692_1645_735.png images/BZ_146_1647_692_1944_735.png0.88images/BZ_146_1290_737_1645_780.png images/BZ_146_1647_737_1944_780.png0.84

4 結(jié)論與展望

本文闡述了門窗型材識(shí)別方法，包括識(shí)別模型的訓(xùn)練，數(shù)據(jù)集擴(kuò)增和ACGAN對(duì)抗模型的訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，基于 YOLO的人工智能型材識(shí)別模型，在識(shí)別精度上和識(shí)別速度上都能獲得非常優(yōu)秀的效果。對(duì)型材測(cè)試集，進(jìn)行測(cè)試統(tǒng)計(jì)，取得了97%的準(zhǔn)確率。未來可以在增加型材訓(xùn)練樣本的多樣性，增加不同的型材類別，提高型材樣本質(zhì)量和數(shù)據(jù)上，進(jìn)行深入研究。