基于機器視覺的非平整物體表面凸起異物檢測方法

，

(1.廣州愷煜興智能科技有限公司,廣州 510006；2.廣東工業(yè)大學(xué) 自動化學(xué)院，廣州 510006)

0 引言

電機在航空、航天、航海、工業(yè)生產(chǎn)、汽車、家用電器等眾多領(lǐng)域得到廣泛應(yīng)用，而且換向器，是電機的核心部件，也隨著電機行業(yè)的發(fā)展而逐漸增長[1]。而換向器的外觀質(zhì)量檢測則是換向器生產(chǎn)線中的一個重要工序。目前為止，中國換向器生產(chǎn)廠家產(chǎn)品質(zhì)量仍采用人工檢測方式，導(dǎo)致了產(chǎn)品質(zhì)量檢測存在著高漏檢率和誤檢率、低效率，高成本的狀態(tài)。此外，長期工作對人眼和身心都有不同程度的影響。因此，采用自動化技術(shù)代替更新現(xiàn)有檢測方式是一個必然的趨勢。

目前，眾創(chuàng)空間的發(fā)展已進入轉(zhuǎn)型升級階段，需要將創(chuàng)新價值鏈與產(chǎn)業(yè)價值鏈內(nèi)的各類要素進行高效整合。因此可以從信息、資本、市場等核心要素入手，探索眾創(chuàng)空間的運行機制。其運行機制主要包括價值創(chuàng)造、資源整合以及協(xié)同創(chuàng)新機制。

通過對換向器實際生產(chǎn)過程的研究分析，換向器存在最為嚴(yán)重的質(zhì)量問題是存在槽口凸起異物，如圖1所示。其中所謂凸起異物是指換向器在生產(chǎn)過程中由于刀具切割時，由刀片帶出而粘黏在切割槽口邊緣的銅，呈現(xiàn)狀態(tài)是塊狀、條狀，凸起異物狀等，且大小各不相同、位置也不是固定，一般很難用氣吹吹干凈。由于換向器是按照在電機轉(zhuǎn)子上的一個重要部件，并在隨著電機的使用而高速運轉(zhuǎn)，由于槽口存在凸起異物是金屬銅片，在電機高速運動中脫落而導(dǎo)致電機短路，輕則燒毀電機，重則導(dǎo)致重大事故。經(jīng)考察，幾乎所有的換向器廠家仍然保持采用人工檢測方式，目前仍沒有相應(yīng)針對性的產(chǎn)品質(zhì)量檢測設(shè)備對其進行檢測，其主要原因通過視覺檢測具有一定的難度。

圖1 實際凸起異物缺陷樣品圖片

機器視覺技術(shù)對產(chǎn)品檢測一直是研究的熱點，在工業(yè)零部件、電子行業(yè)產(chǎn)品、藥品、食品等方面均有應(yīng)用。文獻[1]利用機器視覺技術(shù)設(shè)計的電機換向器參數(shù)檢測系統(tǒng)，實現(xiàn)了對電機換向器不合格零件進行自動識別與快速抓取。Hong-Dar Lin[2]基于機器視覺設(shè)計了一套檢測LED環(huán)氧基樹脂半球表面微小缺陷的檢測系統(tǒng)，利用頻域中增強圖像缺陷特征的方法。Anders Landstrom[3]提出了基于機器視覺的方法用于檢測鋼板裂縫缺陷，設(shè)計了一套全自動檢測鋼板材料裂縫的系統(tǒng)。文獻[4]提出了用于確定多個圖像的表面取向的光度法，即是光度立體視覺的基本原理。文獻[5]提出了將一個平滑形狀的多幀立體重構(gòu)的問題作為場景圖像集合的全局區(qū)域分割，在變分框架內(nèi)構(gòu)建分割問題，并使用快速級集合方法來數(shù)值近似最優(yōu)解。文獻[6]介紹了通過光度立體視覺對采樣球?qū)嵗龑?dǎo)由被測物體上各點亮度求解對應(yīng)的法向量，并進而結(jié)合相關(guān)幾何約束求出求解出對應(yīng)的深度值，從而改進了三維重建的效果。文獻[7]提出了利用光度立體視覺算法在8個不同方向的光照下拍攝多幅織物圖像，通過重建織物表面各點的高度，提取高度值和尖銳度來表征褶裥特征，對織物褶裥等級進行評定的方法。文獻[8]介紹了采用光度立體學(xué)的原理，利用彩色三線陣電荷耦合元件(Charge-coupled device，CCD)攝像機拍攝兩幅不同顏色光照和角度的灰度圖像，從而獲得對應(yīng)通道圖像表面法向的方法檢測表面微小缺陷。文獻[9]提出了近光源模型解決近光源大尺寸物體的三維重建。文獻[10]提出的系統(tǒng)設(shè)計了一種新穎的圖像采集系統(tǒng)，以增強缺陷出現(xiàn)，并設(shè)計了一種基于規(guī)則的簡單而有效的檢測算法和提出的系統(tǒng)通過召回，精度和F度量進行評估和比較。Lin[11]提出了一個基于視覺注意力模型圖像質(zhì)量改進方法，該算法是利用調(diào)整暴露水平的輸入圖像，然后創(chuàng)建幾個中間結(jié)果進行融合，可以獲得良好的視覺質(zhì)量的合成圖像。文獻[12]提出了一種基于差分圖像的殘留物檢測算法那，該算法基于灰度模板匹配定位后再與標(biāo)準(zhǔn)圖像差分，然后進行檢測。

換向器質(zhì)量中存在的凸起異物檢測需求分析有三大難點：(1)該凸起異物呈現(xiàn)狀態(tài)是塊狀、條狀，不規(guī)則凸起狀等，且大小各不相同、位置、方向也不是固定；(2)該凸起異物存在區(qū)域特殊，主要粘黏在槽口銅片上，單純的二維成像無法正確區(qū)分其是否為凸起異物；(3)換向器的表面為非平整表面，通過一般的機器視覺成像原理難以滿足在線快速準(zhǔn)確的檢測需求。

針對換向器這種非平整表面存在凸起異物檢測特性問題，本文采用機器視覺技術(shù)，提出一種基于光度立體視覺的非平整表面凸起異物檢測的新方法，通過四方位的光照射，獲得不同方位的光照圖，對其計算得到反照率圖像進行高斯卷積處理，再結(jié)合特定區(qū)域的極坐標(biāo)轉(zhuǎn)換檢測凸起異物。該方法較好解決了單目鏡頭檢測準(zhǔn)確率低和多目立體視覺成本高效率低問題，該系統(tǒng)在工業(yè)上應(yīng)用具有高效率和高準(zhǔn)確率，此外該方法還具有較強的魯棒性。

根據(jù)上述光度立體視覺的方法原理，在同一位置下采集不同方位光源下的四張圖片，首先通過公式4計算出每個像素點歸一化的光源矢量矩陣S，然后通過公式4和公式5則可以計算其出每個像素點的反照率ρ。通過計算圖3采集的四張圖片，可以得到該換向器對應(yīng)的反照率圖片，如圖5所示。

1 檢測原理

圖2中，攝像機安裝在垂直于傳送帶表面的正上方；條形組合光安裝在攝像機與傳送帶之間，其中條形組合光采用的同一型號的條形光組合而成，分別位于同一平面的0°、90°、180°、270°方位，且四方位光源的距待檢測換向器的距離和光照強度相同，光照入射角度均為θ。通過該成像系統(tǒng)可以采集到待檢測換向器在四方位光照下的圖像，通過搭建環(huán)境采集凸起異物圖片如圖3所示。

（2）滑道的放置位置要充分考慮澆注時澆包底部與直澆口的距離，避免滑道與澆包底部距離過近，影響鋼球滾入澆口杯。

圖2 系統(tǒng)結(jié)構(gòu)圖

圖3 在線采集不同方位的凸起異物圖片

步驟2：計算圖像獲取反照率圖和梯度場圖。根據(jù)步驟1采集的四方位光照圖，通過利用光度立體視覺理論計算圖像，獲取其對應(yīng)的光照反射率圖像，即反照率圖。

I=ξS·N

(1)

其中:I表示為目標(biāo)物體表面(x,y,z)處的漫反射光投射到相機上的光亮度，即圖像灰度值I(x,y)；ξ為物體表面反射率系數(shù)；S=(Sx,Sy,Sz)T；N=(Nx,Ny,Nz)T。

由于該系統(tǒng)具有四個不同方向的光源分別照射到物體的同一點上，所以通過公式(2)可以建立如下方程組，

(2)

則公式(2)變?yōu)榫仃囆问剑?/p>

術(shù)后復(fù)查手術(shù)部位正側(cè)位X線片、CT平掃及三維重建。由一位高年資主治醫(yī)師和一位高年資CT診斷醫(yī)師分別觀察手術(shù)部位正側(cè)位X線片，CT軸位、矢狀位、冠狀位圖像篩選出有骨水泥椎管內(nèi)滲漏的椎體。按滲漏途徑及骨水泥分布部位，將椎管內(nèi)骨水泥滲漏分為B型、C型、P型，詳見圖1。

(3)

根據(jù)圖2結(jié)構(gòu)圖中x-y-z為世界坐標(biāo)系和各光源的幾何位置關(guān)系，可以得到簡化結(jié)構(gòu)后的光度立體法的歸一化后的光源矢量矩陣表達式S為：

(4)

其中，由于四方位的光源均為相同型號的條形光，各入射角都均為θ，故在其光照強度相等，l為條形光源的長度，四根條形光位置固定且均勻分布，每個光源距離檢測換向器的高度相同，均為h。

為了增強學(xué)生的預(yù)習(xí)效果，我們在“課前學(xué)習(xí)案”中設(shè)計了知識梳理表，學(xué)生帶著明確的任務(wù)預(yù)習(xí)教材，填寫知識梳理表，使學(xué)生預(yù)習(xí)效果得到了很大的提升.

又由于在不同光源拍攝時，換向器是靜止的，所以相對于每張圖片對應(yīng)的實際換向器部位是相同的，則ξ也可以認(rèn)為是不變的。因此，可以通過公式(4)求出每個像素點所在表面的法向量N，

(4)

因此可以得到每個像素點對應(yīng)的反照率(Albedo)：

ρ=|N|

(5)

2 檢測方法

接著針對該環(huán)形區(qū)域的位置信息，獲取其在高斯卷積圖片中對應(yīng)的銅片區(qū)域，通過提取高斯卷積圖片中對應(yīng)銅片部分后采用極坐標(biāo)到直角坐標(biāo)的轉(zhuǎn)換成一個矩形圖像坐標(biāo)變換，如圖8所示。其中，W的矩形圖像的寬度；令F(x,y)和D(w,r)為原圖像和目標(biāo)圖像，則兩者存在如下關(guān)系：

步驟7：缺陷判斷。采用經(jīng)驗閾值方法判讀是否存在凸起異物，并獲取凸起異物所在的大致區(qū)域位置信息。

圖4 方法流程圖

具體步驟如下：

步驟1：讀取各方向光照圖像。通過光度立體視覺成像原理需求，采用對稱四方位打光方式采集相應(yīng)的圖片。

根據(jù)光度立體視覺原理中的朗伯體表面反射模型，對于光照方向為S的光源，其表面的單位法向量為N，則其反射光的亮度I為:

數(shù)據(jù)分析是針對研究對象獲取數(shù)據(jù)，運用數(shù)學(xué)方法對數(shù)據(jù)進行整理、分析和推斷，形成關(guān)于研究對象知識的素養(yǎng)．?dāng)?shù)據(jù)分析過程主要包括：收集數(shù)據(jù)，整理數(shù)據(jù)，提取信息，構(gòu)建模型，進行推斷，獲得結(jié)論[5]．下面將以文科19題為例進行分析．

步驟3：計算圖像高斯卷積圖。采用高斯核為3的浮雕濾波器(Embossing Filter)對反照率圖片進行卷積，獲得高斯卷積圖像。

步驟4：獲取圖像預(yù)處理區(qū)域。根據(jù)上述步驟2得到反照率圖像，采用閾值方法提取換向器銅片所在的位置，利用該區(qū)域位置信息獲取對應(yīng)高斯卷積圖像所在銅片區(qū)域作為圖像預(yù)處理區(qū)域。

步驟5：極坐標(biāo)變化。對獲取預(yù)處理區(qū)域的圖像進行極坐標(biāo)轉(zhuǎn)換。

步驟6：圖像處理。采用gamma函數(shù)對圖像進行亮度調(diào)節(jié)，并采用核大小為3×31單向均值濾波器對極坐標(biāo)變換后得到的圖像進行濾波處理。

為提高施工技術(shù)水平，除了做好前期勘察工作和施工技術(shù)的規(guī)范，還應(yīng)注重提高管理人員的素質(zhì)。在民用建筑施工過程中，應(yīng)提高施工人員的素質(zhì)和專業(yè)技能，以確保其更好地掌握施工操作規(guī)范。例如，可通過崗前培訓(xùn)的方式，提高施工人員的素質(zhì)。另外，為進一步提高相關(guān)人員的素質(zhì)，還可通過人才引進等方式，壯大人才隊伍，以提高施工技術(shù)人員的施工水平和施工質(zhì)量。最后，還應(yīng)加大關(guān)于民用建筑施工安全的宣傳，以促使現(xiàn)場施工作業(yè)人員更加注重施工安全，并不斷提高自身的安全意識水平，以為施工質(zhì)量奠定思想基礎(chǔ)。

步驟8：結(jié)果顯示。通過步驟7得到的位置信息，采用極坐標(biāo)反變換得到對應(yīng)圖像位置信息，然后在步驟2得到的反照率圖像上標(biāo)識所有凸起異物所在的位置。

2.1 計算反照率圖和高斯卷積圖片

基于BGP的域間二維路由方案…………………………………………………………耿男，金飛蔡，徐明偉 24-6-60

圖5 計算得到反照率圖片 圖6 計算得到高斯卷積圖片

2.2 提取感興趣區(qū)域并對其極坐標(biāo)轉(zhuǎn)換

其中：(Cx,Cy)為換向器的中心坐標(biāo)，α=2πw/W。

讀程學(xué)武的文章《紙糊的墻》（《雜文月刊》原創(chuàng)版2018年10月上），想到了游宇明的文章《“下地”的制度才叫制度》（《雜文月刊》原創(chuàng)版2018年7月上）。走進我們的辦公室，各種規(guī)章制度掛滿了墻。墻上的制度不叫制度，叫擺設(shè)，是專門給領(lǐng)導(dǎo)看的。下地的制度在工作人員心里，這才叫制度，是工作人員搞好工作的依據(jù)。制度要有操作性，不能原則上都正確，落實卻無目標(biāo)。切實可行的制度一定要下地，要落實。真正做到有制度必須執(zhí)行，執(zhí)行制度必須嚴(yán)格。

首先，采用gamma函數(shù)對圖像進行亮度調(diào)節(jié)，使得目標(biāo)檢測物換向器更加突出；并對亮度調(diào)節(jié)后的反照率圖片進行閾值處理獲取換向器凸起異物大致所在的區(qū)域，如圖7所示；則可以得到該環(huán)形預(yù)檢區(qū)域的位置信息，其中區(qū)域的中心坐標(biāo)為(Cx,Cy)，R為換向器銅片所在的外半徑；R0為換向器銅片所在的內(nèi)半徑。

圖7 感興趣區(qū)域選取

根據(jù)光度立體視覺原理和極坐標(biāo)轉(zhuǎn)換方法，設(shè)計了相應(yīng)的凸起異物檢測方法，如圖4所示。

(6)

通過光度立體視覺和高斯卷積得到的圖片后，仍存在著表面字體和邊緣輪廓的影響，為了去除這些干擾，以達到準(zhǔn)確的凸起異物檢測，通過gamma函數(shù)對圖片亮度進行調(diào)節(jié)，接著提取感興趣區(qū)域后進行極坐標(biāo)轉(zhuǎn)換進行處理。

圖8 感興趣區(qū)域極坐標(biāo)轉(zhuǎn)換

2.3 單向均值濾波并閾值選取缺陷

考慮到極坐標(biāo)轉(zhuǎn)換后的圖片中凸起異物圖像的特性，采用內(nèi)核大小為3×31的均值濾波器對圖像進行縱向的濾波，該濾波可以使得異物缺陷部分更加突出。接著采用設(shè)定閾值方法提取缺陷所在的位置，如圖9 (a)所示，并保存其位置坐標(biāo)信息，最后可通過獲取的缺陷位置坐標(biāo)信息，對其進行極坐標(biāo)反變換后則可以得到對應(yīng)的圖像坐標(biāo)，并在反照率圖像上標(biāo)識出凸起異物檢測所在位置，如圖9(b)所示。

滑坡在SPOT5遙感解譯的判譯特征：以半圓形和不規(guī)則形狀居多，坡體地形破碎，局部有不均勻陷落的平臺?；麦w后緣發(fā)育有異常影像，活動滑坡地表土體比較新鮮，植被稀少，土體表面具有較強的反射能力，在影像上呈現(xiàn)明顯的亮色調(diào)，見圖5(a)，可顯示均勻的淺灰白色。

圖9 檢測結(jié)果

3 實驗結(jié)果

為驗證本文所提出方法的準(zhǔn)確性和有效性，根據(jù)光度立體視覺的成像原理選取硬件設(shè)備，搭建換向器凸起異物檢測測試環(huán)境，如圖10所示。

圖10 實驗測試環(huán)境

隨機抽取在線生產(chǎn)換向器產(chǎn)品分三組作為測試樣本進行該方法檢測測試，首先通過搭建的實驗環(huán)境利用該方法對換向器三組樣品分別進行測試，部分測試結(jié)果凸起異物圖如圖11所示；接著通過人工對三組樣品進行分類統(tǒng)計并核對其檢測結(jié)果的準(zhǔn)確性，實驗結(jié)果統(tǒng)計見表1。其中樣本通過人工統(tǒng)計后分類如下，樣本一：537個，包含526個合格品和11缺陷品；樣本二：2055個，包含2017個合格品和38缺陷品；樣本三：3105個，包含3058個合格品和47缺陷品。

圖11 凸起異物檢測結(jié)果

表1 測試結(jié)果樣品總量

其中在該系統(tǒng)中的所有合格換向器中正確檢測為合格換向器占所有換向器的比例定義為系統(tǒng)的準(zhǔn)確率，也即是精度(P)；而所有合格換向器中誤檢為不合格換向器占所有合格換向器的比例定義為系統(tǒng)的誤檢率(N)，漏檢率(O)則是所有不合格換向器中誤檢為合格換向器占所有合格換向器的比例。

3.引導(dǎo)學(xué)生掌握正確的學(xué)習(xí)方式。生物學(xué)科屬自然科學(xué)，自然科學(xué)以實驗為基礎(chǔ)，特別是探究性實驗。所以在初中生物學(xué)教學(xué)中要注意：一是教學(xué)要與生產(chǎn)生活實際相聯(lián)系，糧食作物、蔬菜、瓜果、花卉等都是人類種植栽培的主要對象，在作物、花卉中有許多適合學(xué)生觀察、探究的內(nèi)容，教師應(yīng)積極組織學(xué)生開展各種探究活動，加深學(xué)生對相關(guān)知識的理解，提高學(xué)生運用知識解決實際問題的能力；二是要積極開展實驗教學(xué)，發(fā)揮實驗設(shè)施設(shè)備在學(xué)生學(xué)習(xí)中的重要作用，讓學(xué)生從觀察、實驗、討論、探究的過程中獲得對生物學(xué)知識的理解，親身體驗獲取知識的過程和方法，才能加深學(xué)生對生物學(xué)中各知識點的理解與掌握。

表2 性能分析

計算公式如下所示：

(7)

其中：TP是指合格換向器被檢測成成合格換向器的個數(shù)，TN是指合格換向器被檢測成不合格換向器的個數(shù)，即是誤檢個數(shù)；FP是指不合格換向器被檢測成不合格換向器的個數(shù)，F(xiàn)N是指不合格換向器被檢測成合格換向器的個數(shù)，即是漏檢個數(shù)。

通過公式(7)分別計算表1中的數(shù)據(jù)，得到該方法檢測分類的性能，如表2所示。

通過表2性能數(shù)據(jù)分析可以得到圖12的性能直方圖，從該直方圖中可以看出，該方法在三組隨機樣品的測試中的精度均達到99.8%以上；而且其漏檢率為0%，即不存在漏檢率；其中存在的誤檢率均低于0.2%，分析其導(dǎo)致誤檢的原因主要出現(xiàn)開槽槽口在存在電木粉粘黏導(dǎo)致檢測為異物，從而產(chǎn)生誤檢。

圖12 性能分析結(jié)果圖

4 結(jié)論

本文針對換向器存在最為嚴(yán)重的槽口凸起異物質(zhì)量檢測問題，目前采用的人工檢測方式存在檢測速度慢和漏檢率高，分析其檢測存在的三大難點：(1)該凸起異物呈現(xiàn)狀態(tài)是塊狀、條狀，不規(guī)則凸起狀等，且大小各不相同、位置、方向也不是固定；(2)該凸起異物存在區(qū)域特殊，主要粘黏在槽口銅片上，單純的二維成像無法正確區(qū)分其是否為凸起異物；(3)換向器的表面為非平整表面，通過一般的機器視覺成像原理難以滿足在線快速準(zhǔn)確的檢測需求。本文運用圖像處理和機器視覺技術(shù)提出一種基于光度立體視覺的換向器非平整面凸起異物檢測的方法。通過四方位的打光獲得不同方位的光照圖，對四方位的光照圖進行計算得到其反照率圖像，通過高斯卷積后的圖片對其進行特定感興趣區(qū)域的提取，并采用極坐標(biāo)轉(zhuǎn)換后提取缺陷特征對其進行凸起異物檢測。實驗結(jié)果表明，該方法在不存在漏檢的情況下，準(zhǔn)確率達到了99.8%以上，且誤檢率在0.2%以下；能夠滿足快速有效檢測換向器非平整表面存在的凸起異物問題，可以避免了人工只憑經(jīng)驗檢測而導(dǎo)致的漏檢的問題，并且也大大提高了良品率和生產(chǎn)效率，能夠滿足對換向器質(zhì)量的在線檢測需求。

參考文獻：

[1] 徐曉峰.基于機器視覺的電機換向器參數(shù)檢測系統(tǒng)設(shè)計[J]. 制造技術(shù)與機床,2014(1):79-82.

[2] Lin H D, Chiu S W. Flaw detection of domed surfaces in LED packages by machine vision system[J]. Expert Systems with Applications,2011,38:15208-15216.

[3] Anders Land strom, Matthew J.Thurley. Morphology-Based Crack Detection for Steel Slabs[J]. IEEE Journal on Selected Topics in Signal Processing, 2012,6(7):866-875.

[4] Robert J. Woodham. Photometric Method for Determining Surface Orientation from Multiple Images[J].Optical Engineering.1992,19(1):139-144.

[5] Yezzi A J, Soatto S. Stereoscopic segmentation[J]. International Journal of Computer Vision, 2001, 53(1):59-66.

[6] 李 健,馬泳潮,馬 文. 基于光度立體法的織物三維數(shù)字化研究[J].陜西科技大學(xué)學(xué)報,2014,32(5):152-160.

[7] 劉瑞鑫,李立輕,汪 軍,等. 基于光度立體視覺的織物褶裥等級評定[J]. 東華大學(xué)學(xué)報(自然科學(xué)版).2013,39(1):48-52.

[8] 徐 科,周 鵬,楊朝霖.基于光度立體學(xué)的金屬板帶表面微小缺陷在線檢測方法 [J]. 機械工程學(xué)報, 2013, 49(4):66-71.

[9] 張珊珊,呂東輝,孫九愛. 近光源光度立體三維重建誤差分析 [J]. 計算機技術(shù)與發(fā)展，2015,25(1):168-172.

[10] Shen H, Li S X, Gu D Y, et al. Bearing defect inspection based on machine vision[J]. Measurement,2012,45(4):719-733.

[11] Lin G S, Ji X W. An image quality improvement method based on visual attention model[A]. 2015 IEEE International Conference[C].2015:366-367.

[12] 鄧高生,李 迪,王世勇. 基于差分圖像的滴塑模具殘留物檢測算法[J]. 計算機測量與控制, 2016, 24(12):14-16.