基于經(jīng)典機器學(xué)習(xí)的墻柱施工圖圖像識別

陶 立, 朱杰江, 蔡洪浩

(上海大學(xué)土木工程系, 上海 200444)

目前, 結(jié)構(gòu)施工圖檢查幾乎全都由人工完成, 由審圖人員或設(shè)計人員結(jié)合相關(guān)規(guī)范進行圖紙審核. 為了保證工程質(zhì)量, 通常需要進行較為繁瑣的結(jié)構(gòu)施工圖檢查, 同一張圖紙可能會進行多次檢查, 耗時耗力. 如今, 計算機視覺技術(shù)發(fā)展迅猛, 基于機器學(xué)習(xí)的圖像識別在許多領(lǐng)域都能有效地幫助人們解決問題[1-2]. 然而, 目前工程圖紙的圖像識別大多是需要從電子圖紙(如CAD 文件、Revit 文件等)中提取特定格式的數(shù)據(jù)文件進行圖像識別[3], 如果電子圖紙的內(nèi)容已設(shè)置防修改功能, 或多類型圖像處于同一數(shù)據(jù)層, 則讀取難度較高, 準(zhǔn)確率較低.

由Macqueen 提出的K-均值(K-means) 算法是著名的聚類算法之一[4], 是大數(shù)據(jù)處理中重要的工具. 由Cover 等[5]和Xiao[6]提出的k-鄰近(k-nearest neighbor, kNN)算法是機器學(xué)習(xí)中的一個較為成功的模型. 本工作提出了一種針對工程設(shè)計領(lǐng)域的快速求取圖像中封閉區(qū)域面積的影射求和法(shadow-sum, SS), 結(jié)合上述三者提出的一種墻柱施工圖進行高效圖像識別的方法, 該方法僅需要矢量圖或是清晰度足夠高的位圖即可完成識別. 由圖像快速生成數(shù)據(jù)表格,得到每一個墻柱的縱筋配筋、墻柱面積、配筋率等信息,這樣審圖人員可以通過生成的數(shù)據(jù)更快速地確定剪力墻配筋率是否滿足要求, 以及鋼筋的布置數(shù)量和尺寸是否滿足規(guī)范的構(gòu)造要求.

1 墻柱施工圖表征特點

墻柱施工圖主要由結(jié)構(gòu)平面布置, 由墻柱表、墻身表組成. 圖中以墻柱表最為復(fù)雜, 數(shù)據(jù)內(nèi)容最多. 墻柱表有幾個重要數(shù)據(jù): 墻柱名稱、所在樓層、縱筋、箍筋墻鋼筋分布細(xì)節(jié)和墻柱面積. 這里以2 例墻柱為例, 具體信息如圖1 所示. 除字體以外, 墻柱施工圖中墻柱表格的存在也是一個表征特點, 由表格劃分的區(qū)域分別有數(shù)據(jù), 且根據(jù)規(guī)范指示墻柱表格式具有一定的統(tǒng)一性[7], 本工作參考國家規(guī)范工程圖集, 依據(jù)如圖1 格式進行圖像識別.

2 基于機器學(xué)習(xí)的墻柱施工圖識別方法

整個墻柱施工圖識別過程在Windows10 64 位操作系統(tǒng)下進行, 利用Python(3.6)調(diào)用數(shù)據(jù)庫(如Opencv、Numpy、Pandas 等)進行訓(xùn)練以及測試. 硬件配置為8 GB 內(nèi)存的Intel Core I7 8750H 的CPU. 算法的編寫是在PyCharm 2018.3.3 上進行.

首先, 對需要識別的圖像進行劃分. 為了提高尋找表征特點的效率, 將原圖進行降低分辨率處理, 即降低像素點的總數(shù)量, 提高運行速度; 將施工圖進行低分辨率處理后的圖命名為Image1(分辨率為300 DPI (dots per inch)), 原圖命名為Image2(分辨率為1 800 DPI). 然后,對Image1 進行聚類操作(K-means 算法), 從而得到墻柱數(shù)量的類; 另外, 使用kNN 模型進行分類識別, 生成字典, 此時讀取Image2, 使用kNN 模型識別的結(jié)果, 結(jié)合影射求合法最終生成數(shù)據(jù). 墻柱施工圖識別流程圖如圖2 所示.

圖2 識別總流程Fig.2 Identify the overall process

2.1 根據(jù)編號分類

根據(jù)墻柱表中每一個墻柱都擁有的唯一屬性, 將“編號”進行分類. 這里使用K-means 聚類算法對Image2 進行圖像劃分.K-means 算法流程如圖3 所示.

圖3 K-means 算法流程Fig.3 K-means algorithm process

K-means 算法是一種聚類算法. 聚類過程就是在對象類數(shù)量與對象類型均未知的情況下,依據(jù)計算相似性, 將一群信息庫中的信息進行歸類或發(fā)現(xiàn)信息庫中未知的對象類.K-means聚類算法的顯著特征需要對樣本數(shù)據(jù)集中的每一個數(shù)據(jù)的分類作判別. 完成所有數(shù)據(jù)對象的正確分類之后將聚類中心進行調(diào)整, 并進行下一次迭代. 如果不需要對聚類中心進行調(diào)整, 則聚類算法迭代完成[8]. 聚類效果如圖4 所示, 每一個位于墻柱名稱處的紅圈即為一類.

圖4 聚類效果Fig.4 Clustering effect

2.2 搜索局部邊界

根據(jù)2.1 節(jié)利用聚類算法得到的類, 即每個墻柱編號所在位置為中心的類, 依據(jù)墻柱表格式的統(tǒng)一性和規(guī)范性, 分別向各個方向進行搜索, 直至搜索到邊界. 搜索結(jié)果如圖5 所示, 藍(lán)色圈為搜索到的邊界位置.

圖5 搜索局部邊界Fig.5 Search for local boundaries

2.3 提取字符塊

在搜索到局部邊界后, 讀取清晰度更高、像素點更多的Image2, 以保證提取字符塊、識別字符的準(zhǔn)確率. 根據(jù)局部邊界搜索所提取的字符塊的情況如圖6 所示. 在此基礎(chǔ)上, 二值化字符圖像后得到像素矩陣. 由于分割的圖片較為端正、清晰, 因此這里使用基于灰度差異運算方法[9], 依據(jù)文字間距中的灰度差異對文字進行分割, 得到單個文字的像素矩陣(見圖7).

圖6 提取文字塊Fig.6 Extract text block

圖7 字符分割Fig.7 Character segmentation

2.4 識別字符

根據(jù)上述內(nèi)容, 本工作使用kNN 算法進行機器學(xué)習(xí). kNN 算法是機器學(xué)習(xí)中簡單高效的一種分類方法, 是最近鄰算法的擴展, 也是一種簡單有效的非參數(shù)分類算法.

kNN 算法操作步驟如下: 對一個待測樣本x, 首先在訓(xùn)練數(shù)據(jù)集內(nèi)搜索待測樣本x的k個最近鄰, 并在這k個最近鄰集合中進行簡單的多數(shù)表決策略決定x的類別(見圖8, 圖中xu為樣本,k=3). 其數(shù)學(xué)定義如下(設(shè)有類別為C個的分類問題):

圖8 kNN 投票Fig.8 kNN voting

ωi類中有Ni個樣本, 如果k1,k2,··· ,kc分別為待測樣本x的k個近鄰中屬于ω1,ω2,··· ,ωc類的樣本個數(shù), 則k近鄰分類的判別函數(shù)為

這時, kNN 算法對待測樣本x的類別決策為

則決策為

對待測樣本x, kNN 會賦予其最近鄰的k個樣本內(nèi)出現(xiàn)次數(shù)最多的樣本所對應(yīng)的類標(biāo)簽.

依據(jù)kNN 算法的特點和墻柱施工圖表征特點, 施工圖字符清晰且字體形式較為單一, 干擾字符識別的因素較少. 考慮整體識別效率, 設(shè)置kNN 算法中的k值為3, 即單個字符可以僅提供3 個樣本進行參照, 對訓(xùn)練集的數(shù)量要求較低[10]. 由于工程設(shè)計特點, 施工圖文字格式規(guī)范, 較為統(tǒng)一, 故本工作提供Tssdchn 字體數(shù)據(jù)樣本, 每個字符樣本數(shù)為3, 具體訓(xùn)練集、實驗數(shù)據(jù)數(shù)量如表1 和2 所示.

表1 訓(xùn)練集數(shù)據(jù)Table 1 Training set data

表2 實驗數(shù)據(jù)Table 2 Experimental data

2.5 識別墻柱面積

墻柱面積是墻柱表中重要信息之一. 依據(jù)規(guī)范要求, 繪圖時應(yīng)將墻柱圍成封閉區(qū)域, 本工作就針對該封閉區(qū)域進行圖像識別, 以計算墻柱面積.

求封閉區(qū)域的面積方法有傳統(tǒng)的循環(huán)體計算和基于形態(tài)學(xué)的輪廓提取等方法. 讀取Image2, 利用SS 法得到墻柱面積.

影射求和法是本工作根據(jù)墻柱施工圖識別的實際需要, 自行編寫的新算法. 該算法是一種利用矩陣運算規(guī)則計算封閉圍區(qū)圖像面積的方法, 選擇矩陣運算而非傳統(tǒng)的循環(huán)體來得到面積. 由于矩陣運算的時間復(fù)雜度為O(n2), 而循環(huán)算法的時間復(fù)雜度為(O(n2),O(n3)), 因此矩陣運算效率高于循環(huán)體運算.

影射求和法是一種矩陣運算方法. 在整體像素矩陣中, 令白色為0, 其余顏色為1. 當(dāng)判定得到第一個非0 項, 令之后所有元素也為1, 并將其進行矩陣的累和計算; 而后再減去實際圖形與某一方向邊界的白色部分面積, 得到一個初始面積. 整個過程從2 個方向?qū)D形進行投影的過程, 故稱之為影射求和法. 影射求和法的示意圖如圖9 所示.

圖9 影射求和法計算原理Fig.9 Shadow-sum calculation principle

使用cumsum 函數(shù)對像素點矩陣進行累和. 以矩陣A為例得到封閉區(qū)域面積S:

由于墻柱圍區(qū)的邊界是有厚度的, 因此初始面積會為因此厚度多算一個邊界厚度的面積,墻柱厚度不同計算后的誤差也不同. 根據(jù)計算, 識別面積與實際面積誤差最高可達(dá)5%左右,這對通過墻柱面積來計算配筋率是有較大影響的. 為此, 需通過計算墻柱圍區(qū)的周長及厚度得到圍區(qū)邊界面積, 通過初始面積減去圍區(qū)邊界面積, 得到墻柱圖紙面積.

圖紙本身是按照一定比例繪制的. 為了盡可能準(zhǔn)確地得到墻柱面積, 需要人為手算得到任意一個墻柱的面積Shum, 再由α=Shum/Srec得到比例因子. 將α分別計入其余墻柱計算, 最后得到實際墻柱面積Sfin:

3 評價與驗證

針對施工圖的識別, 評價的重要指標(biāo)是字符識別準(zhǔn)確率和面積識別誤差. 將整個數(shù)據(jù)集分成2 個部分: 字符識別和面積識別.

字符識別部分. 由第2 節(jié)可知, 使用kNN 算法的單個字符的訓(xùn)練集僅為3 個, 本工作中測試集為從某墻柱施工圖中提取的實際信息, 通過人為標(biāo)注的方法予以評價識別的準(zhǔn)確率[11].

設(shè)nCTest為測試集上的準(zhǔn)確識別數(shù),nTest為測試樣本數(shù), 準(zhǔn)確率ACTest為

經(jīng)過計算, 將某工程如構(gòu)造邊緣構(gòu)件墻柱施工圖(施工圖共有46 個墻柱)所示進行測試, 得到nTest= 817,nCTest= 814, 圖紙中字符部分的識別準(zhǔn)確率為ACTest= 99.6%; 將某工程按約束邊緣構(gòu)件墻柱施工圖(施工圖共有36 個墻柱)進行測試, 得到nTest= 524,nCTest= 521,ACTest=99.4%.

對某工程構(gòu)造邊緣構(gòu)件墻柱施工圖進行驗證, 由圖像識別得到Sfin與Strue的比對, 對某工程墻柱圖進行測試, 得到面積的平均誤差為-0.66%, 墻柱面積對比如圖10(a)所示.

另取某工程約束邊緣構(gòu)件墻柱施工圖, 經(jīng)圖像識別得面積平均誤差為-0.34%. 墻柱面積對比如圖10(b)所示.

圖10 構(gòu)造、約束邊緣構(gòu)件墻柱識別面積對比Fig.10 Comparisons of the recognition area of wall columns with structural and constrained boundary members

綜合構(gòu)造邊緣構(gòu)件墻柱施工圖和約束邊緣構(gòu)件墻柱施工圖識別結(jié)果, 字符識別準(zhǔn)確率和圖像面積識別誤差均有比較好的表現(xiàn), 具體數(shù)值如表3 所示. 識別得到的數(shù)據(jù)通過簡單的計算可以得到所有墻柱配筋率等信息, 審圖人員可以據(jù)此提高審圖效率. 由于篇幅限制此處表格內(nèi)容僅列出10 項, 具體結(jié)果如表4 所示.

表3 墻柱施工圖識別結(jié)果Table 3 Recognition results of wall column construction drawing

表4 墻柱施工圖識別數(shù)值輸出結(jié)果Table 4 Identification numerical output results of wall column construction drawing

4 結(jié)束語

對于電子版的墻柱施工圖, 結(jié)合kNN、K-means 和影射求和法等算法, 可以較好地取得圖像識別的效果. 將墻柱施工圖中的主要信息一次性輸出為可編輯的文本格式, 省去了人工計算的過程, 僅需要通過簡單的數(shù)據(jù)處理就能完成墻柱施工圖審查的快速識別圖字工作.

本工作的影射求和算法對墻柱施工圖中字符識別準(zhǔn)確率分別為99.6% 和99.4%, 運用提出的求取圖像中封閉區(qū)域面積的影射求和算法, 計算得到的面積平均誤差僅為0.66%和0.34%. 研究結(jié)果表明: 該算法可較準(zhǔn)確地計算出表格內(nèi)封閉圖形的面積, 識別字符信息, 從而快速得到縱筋配筋面積、縱筋配筋率和箍筋信息; 可以較好地應(yīng)用于實際工程設(shè)計中, 為后續(xù)進一步研究提供思路.