預(yù)制疊合板構(gòu)件智能化識別與檢測方法

楊陽 李青澤 姚剛

摘 要：預(yù)制疊合板構(gòu)件質(zhì)量問題是導(dǎo)致施工現(xiàn)場預(yù)制構(gòu)件不能順利安裝的重要因素之一。提出了一種基于機(jī)器視覺的智能化檢測預(yù)制疊合板構(gòu)件的方法。首先通過預(yù)制構(gòu)件生產(chǎn)線上的攝像系統(tǒng)進(jìn)行圖像采集，然后通過濾除噪聲對圖像進(jìn)行預(yù)處理，通過Canny算子對邊緣特征進(jìn)行提取，通過Harris角點檢測算法對圖像內(nèi)部特征進(jìn)行提取，并將提取出的信息與已儲存信息進(jìn)行對比。利用該方法對三塊預(yù)制疊合板試件進(jìn)行特征識別及分析，結(jié)果表明：該檢測方法可以識別預(yù)制疊合板尺寸信息，識別預(yù)留孔洞及預(yù)埋件的數(shù)量、尺寸及位置信息，對預(yù)制疊合板特征信息進(jìn)行檢測，并判斷構(gòu)件是否合格，提高了出廠構(gòu)件的合格率，從而減少了施工成本，降低了工期延誤風(fēng)險。

關(guān)鍵詞：預(yù)制疊合板;機(jī)器視覺;試驗研究;圖像處理;智能化檢測

中圖分類號：TU741.2 ? 文獻(xiàn)標(biāo)志碼：A ? 文章編號：2096-6717（2022）01-0087-07

收稿日期：2020-07-10

基金項目：國家重點研發(fā)計劃（2019YFD1101005、2016YFC0701909）;中央高校基本科研業(yè)務(wù)費（2020CDJQY-A067）

作者簡介：楊陽（1986- ），女，博士，主要從事土木工程施工、橋梁風(fēng)工程研究，E-mail：yy20052710@163.com。

姚剛（通信作者），男，教授，博士生導(dǎo)師，E-mail：yaocqu@vip.sina.com。

Abstract：

The quality problem of prefabricated laminated slab （PLS） is one of the important factors that lead to the failure of prefabricated components in construction.A method of intelligent detection of PLS based on machine vision is presented in this paper. First， the image is collected through the camera system on the production line of PLS， and then the image is preprocessed through noise removal. The Canny algorithm is used to extract the edge features， and Harris corner detection algorithm is used to extract the internal features of the image.The extracted information is compared with the stored information.This method is used to identify and analyze the features of three PLS. The results prove that intelligent detection method can be used for image acquisition and image preprocessing of PLS，and the characteristics of the statistics， the size of PLS， the number， size and location information of reserved holes and embedded parts.Intelligent detection method can quickly detect and judge whether the PLS is qualified. It can improve the pass rate of factory components and reduce the return rate of components， and hence reduce the construction cost and the risk of project delay.

Keywords：prefabricated laminated slab （PLS）; machine vision;experimental investigation; image processing; intelligent detection

預(yù)制疊合板構(gòu)件因其整體性能好、生產(chǎn)周期短、模板利用率高等優(yōu)點，在裝配式住宅體系中廣泛應(yīng)用，成為裝配式建筑中最常用的水平構(gòu)件[1-3]。預(yù)制疊合板在生產(chǎn)時已經(jīng)進(jìn)行深化設(shè)計，能夠顯著降低施工難度，減少現(xiàn)場施工強(qiáng)度，縮短施工工期，使裝配式建筑的品質(zhì)得到提高，還能減少施工現(xiàn)場的建筑垃圾，實現(xiàn)綠色施工。

在裝配式住宅體系中，照明系統(tǒng)、消防系統(tǒng)、強(qiáng)電系統(tǒng)需要在疊合板中設(shè)置預(yù)埋件，消火栓給水系統(tǒng)、污水系統(tǒng)、雨水系統(tǒng)、煙道及風(fēng)井洞口需要在疊合板中設(shè)置預(yù)留洞口。在生產(chǎn)過程中，由于施工制圖階段專業(yè)間配合不到位、深化設(shè)計精細(xì)度不夠、制造技術(shù)和生產(chǎn)工藝的失誤等原因，會引起疊合板上的預(yù)留洞口、預(yù)埋件缺失或位置出現(xiàn)偏差，在進(jìn)行安裝時需現(xiàn)場進(jìn)行二次處理或者進(jìn)行返廠處理，會導(dǎo)致建造成本增加，施工進(jìn)度滯后，工期延誤風(fēng)險增大[4]。在施工現(xiàn)場進(jìn)行鋼筋切除、定位開孔等加工修正處理，因條件限制，精度較低，可能會導(dǎo)致后期澆筑時發(fā)生漏漿、成型質(zhì)量差等問題。預(yù)制疊合板構(gòu)件出廠前，常規(guī)的人工檢測方法檢測效率較低，并且存在不可避免的人為影響誤差。

機(jī)器視覺檢測技術(shù)因高效快速而被應(yīng)用于水表檢測[5]、光伏電池缺陷識別[6]、結(jié)構(gòu)損傷檢測[7-9]、軸承尺寸誤差檢測[10]、清水混凝土表面缺陷檢測中[11-12]，取得了較好的效果，但目前還未見將機(jī)器視覺技術(shù)應(yīng)用到預(yù)制疊合板構(gòu)件檢測的相關(guān)研究。筆者提出一種基于機(jī)器視覺的智能化檢測預(yù)制疊合板構(gòu)件深化設(shè)計內(nèi)容的方法，可以通過圖像特征統(tǒng)計與分析，一次性快速提取預(yù)制疊合板構(gòu)件中的特征信息，并與已知的預(yù)制疊合板構(gòu)件尺寸信息進(jìn)行比較，可準(zhǔn)確檢測出預(yù)制疊合板尺寸及深化設(shè)計內(nèi)容是否滿足要求，并給出預(yù)制疊合板構(gòu)件不合格的原因。該方法能夠提高檢測速度，增強(qiáng)檢測結(jié)果的準(zhǔn)確性，從而降低預(yù)制疊合板構(gòu)件的返廠率，降低工期延誤的風(fēng)險。

1 試驗

1.1 試件生產(chǎn)

選取疊合板深化設(shè)計中的預(yù)留排水管洞口（D160-C）、給水管洞口（D100-C）、預(yù)埋件（D80-E）為試驗參數(shù)，標(biāo)準(zhǔn)疊合板構(gòu)件的長度為2.82 m，寬度為0.79 m，厚度為60 mm。標(biāo)準(zhǔn)疊合板的尺寸及相關(guān)信息已經(jīng)錄入信息管理系統(tǒng)，并建立了標(biāo)準(zhǔn)板模型坐標(biāo)系統(tǒng)。預(yù)留排水管洞口（D160-C）、給水管洞口（D100-C）、預(yù)埋件（D80-E）的尺寸和位置如圖1所示，排水管洞口、給水管洞口及預(yù)埋件的直徑分別為160、100、80 mm。

將1塊標(biāo)準(zhǔn)疊合板構(gòu)件和2塊不合格疊合板構(gòu)件進(jìn)行對比分析，不合格疊合板構(gòu)件設(shè)置為洞口、預(yù)埋件偏移和洞口、預(yù)埋件位置缺失，3個疊合板構(gòu)件分別命名為PC-S-1、PC-C-2、PC-C-3，具體參數(shù)如表1所示。

1.2 試驗方案及測試方法

1.2.1 試驗方案

通過機(jī)器視覺對預(yù)制疊合板進(jìn)行識別的過程中，識別結(jié)果的精度主要取決于圖像的質(zhì)量，因此，需要盡量減少干擾因子和不確定變量。所研究的預(yù)制疊合板構(gòu)件智能化檢測技術(shù)中采用了二維尺寸拍攝系統(tǒng)，系統(tǒng)由支架、垂直照射的面光源、工業(yè)相機(jī)、存儲端、識別端組成，圖2給出了智能化檢測技術(shù)硬件系統(tǒng)，疊合板構(gòu)件的原始采集圖像如圖3所示。

1.2.2 識別方法

在圖像產(chǎn)生、傳輸和復(fù)制過程中，常常會因為多方面原因而被噪聲干擾或出現(xiàn)數(shù)據(jù)丟失，降低了圖像的質(zhì)量（比如某一像素點與它周圍像素點相比有明顯的不同，則該點被噪聲所感染）。目前常用的圖像平滑方法為均值濾波、中值濾波和高斯濾波[13-14]。

均值濾波法不能很好地保護(hù)圖像細(xì)節(jié)，在圖像去噪的同時也破壞了圖像的細(xì)節(jié)部分，從而使圖像變得模糊，不能很好地去除噪聲點。中值濾波法對高斯噪聲的抑制存在明顯不足。Gauss濾波器對圖像平滑去噪時，每一個像素點的值都由其本身和鄰域內(nèi)的其他像素值經(jīng)過加權(quán)平均后得到，更適用于本方法中的圖像去噪。

對疊合板預(yù)制構(gòu)件圖像進(jìn)行二值化處理時，需要提取試件中的特征信息。因此，需要選取適當(dāng)?shù)拈撝祵D像的背景與特征目標(biāo)進(jìn)行分離。目前已有的方法有Otsu法、迭代法、基于谷底最小值的閾值、灰度平均值法[15-16]。Otsu法計算速度快，受圖像的亮度及圖像色彩的對比度影響小，筆者選擇Otsu法進(jìn)行閾值的確定，完成圖像二值化分割。

疊合板預(yù)制構(gòu)件圖像進(jìn)行角點檢測時，需要通過角點檢測算子，對圖像的每個像素計算角點響應(yīng)函數(shù)并閾值化，根據(jù)實際情況選擇閾值，對閾值化的角點響應(yīng)函數(shù)進(jìn)行非極大值抑制，并獲取非零點作為角點。通過一個小的滑動窗口在鄰域檢測角點，在任意方向上移動窗口，若窗口內(nèi)的灰度值都有劇烈的變化，則窗口的中心就是角點。Harris 角點檢測算法對噪聲不敏感，具有平移和旋轉(zhuǎn)不變性、高重復(fù)性和高信息量， 而且在不同光照條件下具有良好的穩(wěn)定性[17]。Harris角點檢測算法不適用于對尺度變化要求高的情況。在預(yù)制疊合板構(gòu)件檢測過程中，尺度變化不大，因此選擇了Harris角點檢測算法。

圖像邊緣特征提取方法主要有Roberts算子、Sobel算子、Prewitt算子、Laplace算子及Canny算子。

由圖4可知，Roberts算子處理的圖像對邊緣的保留效果比較好，并且Roberts算子對噪聲有很強(qiáng)的抑制力，但是圖像邊緣并不完全連通，缺失較多。Sobel算子處理的圖像能夠保留絕大多數(shù)的圖像邊緣，但對噪聲比較敏感。Prewitt算子保留的圖像邊緣較多，但圖像邊緣仍有小范圍的斷開，并且噪聲對Prewitt算子影響更加明顯，因為噪聲影響導(dǎo)致圖像處理過程中出現(xiàn)了部分虛假邊緣。Laplace算子對噪聲具有較強(qiáng)的抑制性，處理的圖像邊緣較清晰，但并不完全連通。Canny算子處理的圖像邊緣保留比較完整，邊緣視覺效果較清晰，且對噪聲具有較強(qiáng)的抑制性。因此，應(yīng)用Canny算子對圖像邊緣特征進(jìn)行提取。

1.2.3 檢測流程

為了統(tǒng)計并提取疊合板構(gòu)件中的相關(guān)信息，去除圖像在采集和數(shù)字化過程中產(chǎn)生的噪聲，應(yīng)用加權(quán)平均法對圖像進(jìn)行灰度歸一化處理，并進(jìn)行中值濾波處理，突出圖像的灰度層次和邊緣特征[5]。通過Otsu法進(jìn)行閾值的確定，完成了圖像的二值化分割[10]?；贑anny算子對圖像邊緣特征進(jìn)行提取，將攝取目標(biāo)轉(zhuǎn)換成圖像信號，傳送給圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號?；谵D(zhuǎn)化的信號信息，圖像系統(tǒng)進(jìn)行目標(biāo)的特征提取，消除不必要的背景，增強(qiáng)不合格疊合板構(gòu)件的表現(xiàn)形式。程序使用Python編寫，在OpenCV平臺中實現(xiàn)，檢測流程及算法如圖5所示。

2 試驗結(jié)果與討論

2.1 圖像預(yù)處理

圖像灰度化處理是將彩色圖像變成灰度圖像的過程。彩色圖像中的像素由R、G、B三個分量表述，各分量的變化范圍為0～255，每一個分量都有256個級別亮度，因此，每個像素都可以表述16 777 216種顏色，其信息量較大?；叶葓D像的R、G、B三個分量相等，灰度值由255減小到0，是從全白變成全黑的過程，將圖像進(jìn)行灰度化處理后，可以減少計算量。受測量設(shè)備和周圍環(huán)境的影響，圖像會產(chǎn)生大量噪聲，為去除噪聲，灰度歸一化后進(jìn)行中值濾波處理，采用3×3模板的中值濾波，效果如圖6所示，圖像灰度歸一化及濾波后輪廓較為清晰。

2.2 圖像識別與分析

通過基于機(jī)器視覺的預(yù)制疊合板構(gòu)件智能化檢測技術(shù)對PC-S-1、PC-C-2、PC-C-3試件進(jìn)行識別，識別結(jié)果如圖8所示。每個圖像識別處理時間均小于1.0 s，識別結(jié)果中的內(nèi)容有：構(gòu)件是否通過檢測、輪廓尺寸、不同類型預(yù)留孔洞、預(yù)埋件的個數(shù)、坐標(biāo)參數(shù)、直徑、置信度，并用不同顏色對識別結(jié)果進(jìn)行顯示。

由圖8可知，基于機(jī)器視覺和BIM技術(shù)的預(yù)制疊合板構(gòu)件智能化檢測技術(shù)對預(yù)留洞口和預(yù)埋件的數(shù)量識別結(jié)果正確率為100%，能夠準(zhǔn)確識別預(yù)留洞口和預(yù)埋件的個數(shù)，推測其能有效識別特征信息的數(shù)量。圖8顯示，PC-S-1構(gòu)件合格（Pass），PC-C-2及PC-C-3構(gòu)件不合格（Fail），對PC-S-1、PC-C-2、PC-C-3構(gòu)件是否合格的判斷正確率為100%。

3個預(yù)制疊合板構(gòu)件輪廓尺寸判斷結(jié)果顯示在圖8各圖左下方，輪廓尺寸判斷結(jié)果為小數(shù)點后兩位，顯示結(jié)果均為正確，置信率分別為0.967 8、0.951 7、0.997 9。PC-C-3構(gòu)件置信率最高，PC-S-1、PC-C-2構(gòu)件置信率差別較小，由結(jié)果推測，當(dāng)預(yù)制疊合板構(gòu)件上無預(yù)埋件、預(yù)留洞口等給排水設(shè)計時，其邊緣特征識別結(jié)果更準(zhǔn)確，內(nèi)部特征信息對邊緣特征識別有一定的影響，隨著內(nèi)部特征信息增加，邊緣特征識別精度降低。

根據(jù)表2中數(shù)據(jù)對比輪廓尺寸、預(yù)留洞口和預(yù)埋件的尺寸識別結(jié)果，發(fā)現(xiàn)D160-C、D100-C、D80-E的識別標(biāo)準(zhǔn)方差分別為2.08、2.0、4.163，預(yù)埋件識別精度最低。對比預(yù)留洞口和預(yù)埋件的位置識別結(jié)果發(fā)現(xiàn)，預(yù)留孔洞位置識別精度高于預(yù)埋件。在檢測過程中，對輪廓尺寸識別效果最好，D160-C、D100-C預(yù)留孔洞次之，D80-E預(yù)埋件識別效果最差。推測其原因為預(yù)埋件形狀不規(guī)則，影響了識別效果，而文中提出的檢測方法對規(guī)則幾何尺寸信息的識別準(zhǔn)確性更高。

設(shè)計的測量系統(tǒng)分為硬件部分和軟件部分，因此，測量誤差主要來源是硬件誤差和軟件誤差。硬件誤差主要來源有3個方面：1）相機(jī)在標(biāo)定時產(chǎn)生的誤差。相機(jī)進(jìn)行標(biāo)定的時候獲取的是像素級別的點坐標(biāo)，所以后續(xù)會對預(yù)制疊合板的測量精度產(chǎn)生一定影響;2）量化誤差。該誤差與相機(jī)分辨率相關(guān)，對于邊緣突變的像素點，相機(jī)的分辨率越高，得到的圖像位置誤差越小。相機(jī)內(nèi)部的傳感器也會對測量結(jié)果產(chǎn)生一定的影響;3）相機(jī)鏡頭因為光線折射產(chǎn)生的畸變誤差。如果鏡頭的對焦方式是手動對焦，不能保證靶面與像平面重合，這些將對測量結(jié)果產(chǎn)生一定的影響。軟件誤差指的是在圖像處理的過程中將模擬信號離散化也會對尺寸產(chǎn)生不同程度的影響，而且在進(jìn)行尺寸擬合時算法的復(fù)雜性也會對測量結(jié)果產(chǎn)生誤差。因此，當(dāng)預(yù)制疊合板構(gòu)件誤差較小，只是制作精度有一定欠缺時，可從提高相機(jī)的分辨率、減小鏡頭畸變程度、對環(huán)境光源進(jìn)行布置和選擇、提高圖像處理精度方面進(jìn)行改進(jìn)，最終達(dá)到檢測要求。

3 結(jié)論

基于機(jī)器視覺技術(shù)，提出一種針對預(yù)制疊合板構(gòu)件尺寸及深化設(shè)計內(nèi)容的智能化檢測方法。首先通過預(yù)制構(gòu)件生產(chǎn)線上的攝像系統(tǒng)進(jìn)行圖像采集，然后濾除噪聲，對圖像進(jìn)行預(yù)處理，通過Canny算子對邊緣特征進(jìn)行提取，通過Harris角點檢測算法對圖像內(nèi)部特征進(jìn)行提取，并將提取出的信息與已儲存信息進(jìn)行對比。通過研究得到以下結(jié)論：

1）該方法能檢測出預(yù)制疊合板構(gòu)件預(yù)留孔洞及預(yù)埋件的個數(shù)、位置及尺寸偏差。

2）該方法能對預(yù)制疊合板構(gòu)件特征信息的數(shù)量進(jìn)行正確識別，并對構(gòu)件是否合格進(jìn)行分析。構(gòu)件的內(nèi)部特征信息對其邊緣特征識別有一定的影響，隨著內(nèi)部特征信息的增加，邊緣特征識別精度降低。當(dāng)識別不規(guī)則形狀時，該方法識別精度有所下降，對較大尺寸的構(gòu)件識別精度更好。

3）該方法對預(yù)制疊合板構(gòu)件中構(gòu)件尺寸、預(yù)留孔洞、預(yù)埋件的位置和尺寸可進(jìn)行非接觸檢測，整體檢測精度較高，可以有效解決因預(yù)制疊合板構(gòu)件質(zhì)量問題導(dǎo)致的返工和誤工。參考文獻(xiàn)：

[1] 黃煒， 羅斌， 李斌， 等. 不同構(gòu)造形式綠色混凝土疊合板受彎性能試驗[J]. 湖南大學(xué)學(xué)報（自然科學(xué)版）， 2019， 46（7）： 35-44.

HUANG W， LUO B， LI B， et al. Experiment on flexural behavior of green concrete composite slab with different structural forms [J]. Journal of Hunan University （Natural Sciences）， 2019， 46（7）： 35-44. （in Chinese）

[2] ?CAO X Y， LI X D， ZHU Y M， et al. A comparative study of environmental performance between prefabricated and traditional residential buildings in China [J]. Journal of Cleaner Production， 2015， 109： 131-143.

[3] ?YAO G， WANG M P， YANG Y， et al. Development and analysis of prefabricated concrete buildings in Chengdu， China [J]. International Journal of Sustainable Developmentand Planning， 2020， 15（3）： 403-411.

[4] 周基紅. 預(yù)制裝配式建筑施工常見質(zhì)量問題[J]. 建材與裝飾， 2019（23）： 1-2.

ZHOU J H. Common quality problems in prefabricated building construction [J]. Building materials and decoration， 2019（23）： 1-2. （in Chinese）

[5] 陳碩， 劉豐， 唐旭晟， 等. 基于機(jī)器視覺技術(shù)的水表在線檢定系統(tǒng)研究[J]. 計量學(xué)報， 2017， 38（4）： 473-476.

CHEN S， LIU F， TANG X S， et al. Research on on-line water-meter verification system based on computer vision technology [J]. Acta Metrologica Sinica， 2017， 38（4）： 473-476.（in Chinese）

[6] ?DEITSCH S， CHRISTLEIN V， BERGER S， et al. Automatic classification of defective photovoltaic module cells in electroluminescence images [J]. Solar Energy， 2019， 185： 455-468.

[7] ?CHA Y J， CHOI W， SUH G， et al. Autonomous structural visual inspection using region-based deep learning for detecting multiple damage types [J]. Computer-Aided Civil and Infrastructure Engineering， 2018， 33（9）： 731-747.

[8] ?DENG J Y， ZHANG W H， YANG X M. Recognition and classification of incipient cable failures based on variational mode decomposition and a convolutional neural network [J]. Energies， 2019， 12（10）： 2005-2023.

[9] ?ZHOU P， ZHOU G B， ZHU Z C， et al. Health monitoring for balancing tail ropes of a hoisting system using a convolutional neural network [J]. Applied Sciences， 2018， 8（8）： 1346-1359.

[10] 范帥， 湯綺婷， 盧滿懷. 基于機(jī)器視覺的軸承內(nèi)外圈尺寸檢測及分類[J]. 自動化儀表， 2016， 37（11）： 77-80， 87.

FAN S， TANG Q T， LU M H. Detecting and classifying the inner-outer ring sizes of bearings based on machine vision [J]. Process Automation Instrumentation， 2016， 37（11）： 77-80， 87.（in Chinese）

[11] ?WEI F J， YAO G， YANG Y， et al. Instance-level recognition and quantification for concrete surface bughole based on deep learning [J]. Automation in Construction， 2019， 107： 102920.

[12] ?YAO G， WEI F J， YANG Y， et al. Deep-learning-based bughole detection for concrete surface image [J]. Advances in Civil Engineering， 2019， 2019： 1-12.

[13] ?SUNEETHA A， SRINIVASA REDDY E. Robust Gaussian noise detection and removal in color images using modified fuzzy set filter [J]. Journal of Intelligent Systems， 2020， 30（1）： 240-257.

[14] ?GOYAL B， DOGRA A， AGRAWAL S， et al. Image denoising review： From classical to state-of-the-art approaches [J]. Information Fusion， 2020， 55： 220-244.

[15] 楊馥溢， 何嘉. 基于深度學(xué)習(xí)的圖像檢索研究[J]. 計算機(jī)與數(shù)字工程， 2019， 47（9）： 2276-2280， 2285.

YANG F Y， HE J. Research on image retrieval based on deep learning [J]. Computer & Digital Engineering， 2019， 47（9）： 2276-2280， 2285. （in Chinese）

[16] 趙世峰， 何皙健. 基于OpenCV的復(fù)雜環(huán)境下圖像二值化方法[J]. 電子測量技術(shù)， 2018， 41（6）： 55-59.

ZHAO S F， HE X J. Binarization method for images acquired under complex environment based on OpenCV [J]. Electronic Measurement Technology， 2018， 41（6）： 55-59. （in Chinese）

[17] 朱思聰， 周德龍. 角點檢測技術(shù)綜述[J]. 計算機(jī)系統(tǒng)應(yīng)用， 2020， 29（1）： 22-28.

ZHU S C， ZHOU D L. Review on image corner detection [J]. Computer Systems & Applications， 2020， 29（1）： 22-28. （in Chinese）

（編輯 黃廷）