李光耀,劉 梟,賴 銘,蔣 浩,崔俊佳
(湖南大學(xué)汽車車身先進(jìn)設(shè)計(jì)制造國家重點(diǎn)實(shí)驗(yàn)室,長沙 410082)
輕量化技術(shù)是現(xiàn)代工業(yè)發(fā)展的重要趨勢,已被廣泛應(yīng)用于飛機(jī)工業(yè)中。飛機(jī)輕量化不僅可以減少油耗成本,降低排放,還可以提升飛機(jī)推重比以實(shí)現(xiàn)更強(qiáng)的運(yùn)載能力。使用鋁和碳纖維等輕質(zhì)材料替代傳統(tǒng)的鋼材,可以有效地實(shí)現(xiàn)結(jié)構(gòu)輕量化,但鋁、鋼等材料之間的物化屬性差異,導(dǎo)致它們之間的連接面臨挑戰(zhàn)[1–3]。磁脈沖連接技術(shù)是一種利用電磁感應(yīng)現(xiàn)象產(chǎn)生的電磁力來實(shí)現(xiàn)快速變形連接的高能率動態(tài)連接技術(shù),具有環(huán)保、節(jié)能、高效等優(yōu)勢,適合鋁鋼等異種材料的連接。但是目前磁脈沖壓接件的檢測主要依靠人工目測度量方法,需要受過培訓(xùn)的工人依靠目測估計(jì)或使用游標(biāo)卡尺等測量工具對工件關(guān)鍵特征進(jìn)行測量,該方法人力成本高且難以實(shí)現(xiàn)自動化。計(jì)算機(jī)視覺技術(shù)作為一種高效、易于實(shí)現(xiàn)自動化的檢測技術(shù),近年來逐漸被應(yīng)用到工業(yè)檢測和自動化監(jiān)測中[4]。Xiao 等[5]提出了一種基于機(jī)器視覺技術(shù)的在線尺寸精度測量方法,通過感興趣區(qū)域(ROI)截取工件圖像,使用圖像去模糊、去噪和邊緣檢測算法來提取錐形旋轉(zhuǎn)工件的邊緣,試驗(yàn)表明,該測量方法測量結(jié)果與精度3μm 的3D 測量機(jī)測量結(jié)果相對誤差小于10%,直線度和圓度的平均檢測時(shí)間分別為98.5ms 和69.3ms,但是該方法需要借助專門的定位裝置來實(shí)現(xiàn)ROI區(qū)域截取,不利于實(shí)現(xiàn)自動化。呂堯等[6]提出了一種基于機(jī)器視覺技術(shù)和模板匹配的非接觸式輪轂裝卡位置精確測定方法,使用模板匹配算法實(shí)現(xiàn)初定位,然后運(yùn)用雙特征位置精確測定方法計(jì)算輪轂位置誤差和裝卡位置誤差,試驗(yàn)表明,該測量系統(tǒng)能滿足輪轂自動化加工位置檢測的性能要求。韓天雨等[7]基于機(jī)器視覺技術(shù)和模板匹配設(shè)計(jì)了一種低成本、高精度的絲桿螺距測量系統(tǒng),該系統(tǒng)使用基于模板的拼接方法獲得完整的絲桿圖像,并使用圖像處理方法計(jì)算出螺距誤差,試驗(yàn)表明,該系統(tǒng)對3 種型號的滾珠絲桿螺距測量結(jié)果的精度誤差分別不超過0.04%、0.06%和0.09%,可以看出,基于模板匹配算法的視覺測量技術(shù)能夠達(dá)到較高的檢測精度,但模板匹配算法對檢測環(huán)境變化非常敏感,一般需要輔助照明和定位裝置來保持檢測環(huán)境不發(fā)生變化,部署在工業(yè)上的難度相應(yīng)也會提高。劉之遠(yuǎn)等[8]針對鈑金類零件設(shè)計(jì)開發(fā)了一套基于雙目視覺和線結(jié)構(gòu)光的鈑金件邊緣檢測系統(tǒng),基于激光條紋中心點(diǎn)提取算法、點(diǎn)云實(shí)時(shí)拼接算法、全局光束平差優(yōu)化算法實(shí)現(xiàn)了手持式鈑金件厚度的測量,試驗(yàn)表明,該測量系統(tǒng)平均檢測誤差約為0.04mm,標(biāo)準(zhǔn)差約為0.03mm,可以看出,引入線結(jié)構(gòu)光技術(shù)可以實(shí)現(xiàn)更具魯棒性和準(zhǔn)確性的視覺測量,但線結(jié)構(gòu)光的工作環(huán)境要求較為嚴(yán)苛,部署在自動化生產(chǎn)線上有一定的難度。
隨著深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,使用卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法表現(xiàn)出極高的檢測魯棒性和檢測效率,基于卷積神經(jīng)網(wǎng)絡(luò)的視覺檢測方法也逐漸被應(yīng)用于視覺檢測任務(wù)之中[9–10]。趙子婧等[11]針對復(fù)雜城市道路下的交通標(biāo)志檢測問題提出一種基于改進(jìn)Libra R–CNN 檢測網(wǎng)絡(luò)的檢測方案,驗(yàn)證了所提出的方案檢測性能得到較大提升,實(shí)現(xiàn)了高魯棒性的目標(biāo)級別的檢測,但無法實(shí)現(xiàn)數(shù)據(jù)級別的測量。趙建敏等[12]提出了一種基于Kinect V4 傳感器的牛體尺寸測量方法,采集彩色和深度圖像,結(jié)合目標(biāo)檢測、Canny 邊緣檢測、三點(diǎn)圓弧曲率擬合進(jìn)而計(jì)算體尺數(shù)據(jù),實(shí)現(xiàn)了高魯棒性的數(shù)據(jù)級別的測量,但是該方法高度針對牛體形貌特征,算法無法應(yīng)用到磁脈沖壓接件檢測任務(wù)中。
磁脈沖壓接件在線檢測需要高精度、高魯棒性、快速地實(shí)現(xiàn)關(guān)鍵特征數(shù)據(jù)級別的測量,并且應(yīng)盡可能減小檢測系統(tǒng)的部署難度和部署成本。針對磁脈沖壓接管件在線檢測問題,本文提出了一種基于改進(jìn)YOLOv4–Tiny(You only look once v4–Tiny)檢 測 網(wǎng)絡(luò)和自適應(yīng)圖像處理的磁脈沖壓接管件接頭深度在線檢測方法,使用改進(jìn)YOLOv4–Tiny 算法提取工件關(guān)鍵區(qū)域,進(jìn)而使用自適應(yīng)圖像處理算法提取壓接管件壓接深度。算法檢測結(jié)果精度高、速度快,不需要定位夾持裝置,易于部署在實(shí)際生產(chǎn)線上。
磁脈沖管壓接技術(shù)的設(shè)備和連接原理如圖1所示。壓接步驟主要可以分為3 個(gè)階段:(1)放電裝置儲能并釋放指定能量的脈沖電流到線圈之中;(2)集磁器感應(yīng)出流向相反的脈沖電流及變化磁場;(3)金屬外管感應(yīng)出與集磁器感應(yīng)電流流向相反的脈沖電流,并在集磁器感應(yīng)出的變化磁場中受到徑向向內(nèi)的電磁力,外管在電磁力的作用下發(fā)生縮徑變形完成壓接。
圖1 磁脈沖壓接設(shè)備及原理圖Fig.1 Equipment and schematic of magnetic pulse crimping
從磁脈沖管壓接的原理可以看出,磁脈沖壓接管件的性能與壓接區(qū)域的狀況高度相關(guān),包括是否有缺陷和輪廓形狀。由于磁脈沖管壓接技術(shù)重復(fù)性很好,管件輪廓形狀非常相似,在沒有明顯缺陷的情況下,壓接深度便可以反映壓接區(qū)域的輪廓形狀,因此可以通過測量磁脈沖壓接管件的壓接深度來實(shí)現(xiàn)質(zhì)量檢測。本文采用的視覺檢測平臺如圖2所示,主要包括3 個(gè)部分:圖像采集模塊(CMOS 工業(yè)相機(jī)、光源、視覺支架)、工控電腦以及檢測臺。圖像采集模塊通過調(diào)整照明強(qiáng)度和相機(jī)工作距離來拍攝細(xì)節(jié)清晰可用的工件圖像;工控電腦負(fù)責(zé)對拍攝的工件圖像進(jìn)行算法處理,計(jì)算得到壓接深度;檢測臺用于承載工件完成圖像拍攝。
圖2 視覺檢測平臺Fig.2 Platform of vision detection
本文結(jié)合改進(jìn)YOLOv4–Tiny 和自適應(yīng)圖像處理算法,提出了一套磁脈沖壓接管件在線檢測算法。算法主要流程如圖3所示,包括圖像采集、改進(jìn)YOLOv4–Tiny 壓接區(qū)域提取、自適應(yīng)圖像處理3 個(gè)模塊:(1)圖像采集模塊負(fù)責(zé)調(diào)整光照環(huán)境并采集原始圖像送入改進(jìn)YOLOv4–Tiny 壓接區(qū)域提取模塊中;(2)改進(jìn)YOLOv4–Tiny 壓接區(qū)域提取模塊使用自采集的數(shù)據(jù)集和在線數(shù)據(jù)增強(qiáng)技術(shù)完成模型訓(xùn)練,實(shí)際檢測時(shí),直接對工業(yè)相機(jī)采集得到的圖片進(jìn)行推理計(jì)算,得到磁脈沖壓接管件壓接區(qū)域并裁剪得到壓接區(qū)域圖像;(3)自適應(yīng)圖像處理模塊使用中值濾波平滑裁剪得到壓接區(qū)域圖像,利用自適應(yīng)分割算法分割出工件圖像,采用Canny 算法提取輪廓邊緣,對邊緣使用概率霍夫變換提取得到母線方程,進(jìn)而逐像素點(diǎn)計(jì)算距離得到工件壓接深度。
圖3 算法流程圖Fig.3 Algorithm flow diagram
1.2.1 改進(jìn)YOLOv4–Tiny 檢測網(wǎng)絡(luò)
(1)模型結(jié)構(gòu)優(yōu)化。YOLO 目標(biāo)檢測網(wǎng)絡(luò)是一系列開源的單階段端對端的目標(biāo)檢測算法,經(jīng)過訓(xùn)練的目標(biāo)檢測網(wǎng)絡(luò)可以對輸入的圖像進(jìn)行推理運(yùn)算并直接輸出目標(biāo)邊界框,兼具高效率和高精度[13–16],被廣泛應(yīng)用于工業(yè)質(zhì)量檢測及缺陷檢測中。YOLO 目前最新的官方版本為YOLOv4,按模型參數(shù)量從大到小有YOLOv4–Large、YOLOv4 和YOLOv4–Tiny 3 種版本。其中YOLOv4–Tiny 網(wǎng)絡(luò)參數(shù)量最小,算力要求小,在簡單的檢測任務(wù)上也能保持較高的精度,因此本文選擇YOLOv4–Tiny 作為壓接區(qū)域檢測網(wǎng)絡(luò)。同時(shí)為了保障網(wǎng)絡(luò)的檢測精度,在網(wǎng)絡(luò)的尾端引入高效通道注意力(ECA)模塊對網(wǎng)絡(luò)進(jìn)行改進(jìn)。
如圖4所示,ECA 模塊[17]是一種輕量的通道注意力模塊,該模塊通過1 個(gè)全局平均池化(GAP)、1 個(gè)快速一維卷積(Conv_1d)以及Sigmoid函數(shù) (σ)獲得了注意力權(quán)重。其中Conv_1d 的卷積核長度k由啟發(fā)方程獲得:
圖4 ECA 模塊原理圖[17]Fig.4 ECA module schematic[17]
式中,|x|odd為選取x最近的奇數(shù);γ和b為調(diào)整系數(shù),用于調(diào)整k的大小,取值分別為2 和1。
Sigmoid 函數(shù)可以將輸入映射到(0,1)之間,從而生成權(quán)重。其函數(shù)方程為
引入ECA 模塊后的改進(jìn)YOLOv4–Tiny 網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示,與傳統(tǒng)YOLOv4–Tiny 網(wǎng)絡(luò)相比添加了3 個(gè)ECA 模塊。
圖5 改進(jìn)YOLOv4–Tiny 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Improved YOLOv4-Tiny network structure diagram
(2)在線數(shù)據(jù)增強(qiáng)。為提升模型訓(xùn)練效果,本文采用在線數(shù)據(jù)增強(qiáng)技術(shù),訓(xùn)練數(shù)據(jù)每次輸入模型前會進(jìn)行一次隨機(jī)的數(shù)據(jù)變換,從而增加訓(xùn)練數(shù)據(jù)量,提高訓(xùn)練模型的魯棒性。本文采用的數(shù)據(jù)增強(qiáng)技術(shù)如圖6所示,主要包含3 種變換:隨機(jī)裁剪、隨機(jī)翻轉(zhuǎn)和HSV 色域變換。隨機(jī)裁剪會從原始圖像中隨機(jī)位置隨機(jī)大小地裁剪出一部分圖像作為新的訓(xùn)練數(shù)據(jù);隨機(jī)翻轉(zhuǎn)會隨機(jī)性地選擇是否對原圖像進(jìn)行水平翻轉(zhuǎn)或豎直翻轉(zhuǎn);HSV 色域變換則會隨機(jī)地改變圖像的色調(diào)(H)、飽和度(S)和明度(V)。
圖6 在線數(shù)據(jù)增強(qiáng)示意圖Fig.6 Diagram of online data enhancement
(3)壓接區(qū)域提取。磁脈沖件壓接區(qū)域的邊界并不明顯,可能的標(biāo)注框非常多。若直接對完整的壓接區(qū)域進(jìn)行標(biāo)注很難做到前后統(tǒng)一,從而導(dǎo)致模型精度下降、訓(xùn)練困難。為了保證數(shù)據(jù)集標(biāo)注的精度,本文利用壓接區(qū)域中的凹槽進(jìn)行較為精確、統(tǒng)一的標(biāo)注。圖7為人工直接標(biāo)注法和本文標(biāo)注方法示意圖。本文標(biāo)注方法主要有兩個(gè)步驟:先標(biāo)注出唯一的凹槽區(qū)域;然后將凹槽區(qū)域的長和寬擴(kuò)展兩倍得到完整的壓接區(qū)域,從而得到最終的標(biāo)注框。
圖7 標(biāo)注方法示意圖Fig.7 Annotation method schematic
1.2.2 自適應(yīng)圖像處理算法
將圖像處理方法應(yīng)用到工業(yè)生產(chǎn)中可以實(shí)現(xiàn)快速精確的特征測量。但目前主流的視覺測量方法通常是根據(jù)生產(chǎn)環(huán)境和待檢測工件的特性進(jìn)行針對性的設(shè)計(jì)。一旦工件的材料、光照條件發(fā)生了波動,測量方法的精度就會受到很大影響。針對這一問題,本文采用一種自適應(yīng)的圖像處理方法對工件壓接區(qū)域的壓接深度進(jìn)行提取。該方法流程如下。
(1)對壓接區(qū)域圖像進(jìn)行自適應(yīng)閾值分割。首先對裁剪得到的壓接區(qū)域圖像進(jìn)行中值濾波平滑圖像去除細(xì)小噪聲,然后計(jì)算圖像的灰度直方圖,如圖8所示。由于平行光源照明的特點(diǎn),背景像素的灰度值普遍相似度較高,且都在低灰度值區(qū)域。所以背景像素集中在灰度直方圖的低灰度值區(qū)域中,形成了一個(gè)像素值“山峰”。
圖8 圖像灰度直方圖Fig.8 Image gray histogram
根據(jù)圖像的灰度值特點(diǎn),本文提出一種自適應(yīng)閾值選擇算法,自動地選擇像素山峰的右峰底作為分割閾值,這樣便可以將黑色背景像素去除而保留工件像素。分割閾值算法流程如下。
b.從0 到255 遍歷灰度直方圖的灰度值,計(jì)算每一步灰度值的變化,如果灰度值增加到了,則認(rèn)為開始爬峰。
c.繼續(xù)遍歷灰度值,直到當(dāng)前灰度值對應(yīng)像素?cái)?shù)量為最近2n+1 個(gè)像素?cái)?shù)量中最小的,則認(rèn)為到達(dá)右峰底。將此時(shí)的灰度值記為最終分割閾值。其中,n為一個(gè)自適應(yīng)的搜索步長,其值根據(jù)圖像灰度值的最大值maxH決定:
其中,H為圖像灰度值,對一張圖片來說,只會有一個(gè)maxH。
d.使用該閾值對圖像進(jìn)行硬閾值二值化,灰度值低于閾值的置為0,高于閾值的置為255,得到自適應(yīng)分割圖像,閾值分割結(jié)果如圖9所示。
圖9 自適應(yīng)閾值分割結(jié)果圖Fig.9 Result diagram of adaptive threshold segmentation algorithm
(2)Canny 邊緣檢測算法提取壓接輪廓。目前主流的邊緣檢測算法有Sobel 算子、Robert 算子、Prewitt 算子和Canny 算子。其中Canny 算子相較其他算法具有魯棒性好、不易受噪聲影響的優(yōu)點(diǎn)[18],因此本文選擇Canny算子對分割后圖像進(jìn)行邊緣提取,算法流程有以下5 個(gè)步驟:
a.使用高斯濾波器平滑原圖像,消除細(xì)小噪聲并確保圖像可被求導(dǎo);
b.利用求導(dǎo)卷積核計(jì)算圖像各像素點(diǎn)的灰度梯度的方向和幅值;
c.針對圖像灰度梯度的幅值進(jìn)行非極大值抑制,消除冗余梯度;
d.利用雙閾值算法連接各邊緣點(diǎn)得到最終邊緣曲線;
e.使用八連通域面積濾波濾去像素面積少于100 的線條,去除可能存在的圖像噪點(diǎn),得到最終的邊緣曲線。
(3)使用霍夫概率直線檢測得到母線。得到工件邊緣后需要計(jì)算壓接深度,但由于本算法沒有輔助定位裝置,因此本文基于霍夫概率變換提出一種高魯棒性的壓接深度計(jì)算方法。如圖10所示,霍夫變換通過一種投票算法來檢測具有特定形狀的物體,其核心的思想是建立一個(gè)參數(shù)坐標(biāo)系ρ–o–θ。則圖像像素點(diǎn)坐標(biāo)(x,y)可以對應(yīng)為參數(shù)坐標(biāo)系下的一條曲線ρ=cosθx+sinθy,而圖像空間中共線的點(diǎn)所對應(yīng)的參數(shù)坐標(biāo)系下的正弦曲線一定相交于一點(diǎn)(ρ′,θ′)。將圖像坐標(biāo)系上的所有點(diǎn)都轉(zhuǎn)換為參數(shù)坐標(biāo)系下的正弦曲線,計(jì)算所有正弦曲線的交點(diǎn),滿足數(shù)量閾值和誤差容忍度的交點(diǎn)即為求得的直線參數(shù),進(jìn)而實(shí)現(xiàn)了直線檢測。
圖10 霍夫變換直線檢測示意圖Fig.10 Diagram of Hough transform lines detection
隨著相機(jī)分辨率越來越高,一張圖片的像素值都在百萬級別以上,傳統(tǒng)霍夫變換消耗的時(shí)間也隨之增加。為了提高霍夫直線檢測的效率,本文采用檢測速度更快的霍夫概率變換來進(jìn)行直線檢測。其原理與標(biāo)準(zhǔn)霍夫變換相似但不需要對圖片中所有的點(diǎn)進(jìn)行計(jì)算,步驟主要如下:
a.隨機(jī)選擇圖像中的一個(gè)像素點(diǎn),若該點(diǎn)在已經(jīng)求得的直線上,則不進(jìn)行霍夫變換,繼續(xù)隨機(jī)選擇一個(gè)像素點(diǎn)直到所有像素點(diǎn)被選取完畢;
b.對選擇的像素點(diǎn)進(jìn)行霍夫變換,并累加計(jì)算;
c.判斷霍夫空間中交點(diǎn)數(shù)量最大的值是否達(dá)到設(shè)定閾值,如果高于閾值則檢測完畢輸出交點(diǎn)對應(yīng)的線段,否則繼續(xù)隨機(jī)選擇圖像坐標(biāo)中的點(diǎn);
d.計(jì)算求得線段的長度,如果大于約束條件則保留為直線檢測結(jié)果之一,否則舍去;
e.重復(fù)步驟a~d,直至所有像素點(diǎn)被劃分完畢,輸出所有滿足條件的直線。
(4)計(jì)算壓接深度。使用霍夫概率變換提取得到工件母線方程后,遍歷計(jì)算各邊緣點(diǎn)到母線的距離,計(jì)算得到的距離最大值就是該工件壓接深度。壓接深度提取結(jié)果如圖11所示。紅色框體為改進(jìn)YOLOv4–Tiny 檢測模型預(yù)測出的壓接區(qū)域邊界框,框體上顯示的數(shù)字則為自適應(yīng)圖像處理算法計(jì)算出的壓接深度。
圖11 壓接深度提取算法結(jié)果圖Fig.11 Result diagram of crimping depth extraction algorithm
表1為本文用以訓(xùn)練及驗(yàn)證的計(jì)算平臺的詳細(xì)配置。為了訓(xùn)練驗(yàn)證提出的算法,本文模擬工業(yè)生產(chǎn)環(huán)境拍攝了470 張磁脈沖壓接管件圖像。根據(jù)光照強(qiáng)度的不同,數(shù)據(jù)集主要包含4 個(gè)類別:低光照數(shù)據(jù)集、普通光照數(shù)據(jù)集、高光照數(shù)據(jù)集和不均勻光照數(shù)據(jù)集。將采集得到的數(shù)據(jù)集按1∶4 劃分為測試集和訓(xùn)練集。
表1 計(jì)算平臺配置Table 1 Computer configuration
為了檢驗(yàn)本文改進(jìn)YOLOv4–Tiny 模型的檢測性能,使用消融實(shí)驗(yàn)方法,分別對YOLOv4–Tiny、YOLOv4–Tiny–Kmeans、本文算法、本文算法+Kmeans 4 種檢測模型進(jìn)行驗(yàn)證。采用交并比閾值為0.5 時(shí)的平均精確度 (AP@0.5)和交并比閾值分別取0.5、0.6、0.7、0.8 并求平均的平均精確度 (AP@0.5∶0.8)作為評價(jià)指標(biāo)。AP@0.5 和AP@0.5∶0.8是目標(biāo)檢測算法的一種評價(jià)指標(biāo)。AP@0.5表示預(yù)測的邊界框和實(shí)際的邊界框交并比達(dá)到0.5 才認(rèn)為這個(gè)預(yù)測框?yàn)檎_樣本,按照這個(gè)規(guī)則繪制PR 曲線,PR 曲線與坐標(biāo)軸圍成的面積就是AP@0.5。AP@0.5∶0.8則是分別計(jì)算AP@0.5、AP@0.6、AP@0.7、AP@0.8 并求平均得到的數(shù)值。PR 曲線是用來衡量目標(biāo)檢測模型性能的曲線,其橫坐標(biāo)為召回率 (Recall),縱坐標(biāo)為精準(zhǔn)率(Precision)。顯然召回率高時(shí),精準(zhǔn)率一般就會比較低,反之亦然。因此PR 曲線圍成的面積越大,則表示模型越能兼具廣度和精度。面積為100%時(shí),意味著召回率和精準(zhǔn)率從始至終為100%,無漏檢,無錯(cuò)檢。使用90 張驗(yàn)證集圖像對4 個(gè)模型進(jìn)行驗(yàn)證,計(jì)算4 個(gè)模型的交并比閾值 (Iou)為0.5、0.6、0.7、0.8 時(shí)在驗(yàn)證集上的平均精度值 (AP–val)。圖12為4 種網(wǎng)絡(luò)模型的性能曲線,可以看出引入ECA 注意力模塊的改進(jìn)YOLOv4–Tiny 具有最佳的檢測效果;而引入Kmeans 聚類算法對先驗(yàn)錨框進(jìn)行優(yōu)化并不能提升檢測效果,在驗(yàn)證集上的AP 值反而有所下降,原因可能是本文檢測場景中工件的位姿并不固定,所以針對訓(xùn)練集聚類得到的先驗(yàn)錨框并不能很好地匹配驗(yàn)證集,而初始的先驗(yàn)錨框由于考慮了各種形狀反而具有更好的普適性。
圖12 網(wǎng)絡(luò)性能曲線圖Fig.12 Performance graph of networks
4 個(gè)檢測模型的模型大小、檢測精度、推理時(shí)間如表2所示。本文算法通過引入ECA 注意力模塊,在微弱增加了0.07ms 推理時(shí)間和幾乎沒有增加模型大小的條件下,將AP@0.5∶0.8 提升了7.9%。
表2 檢測模型驗(yàn)證結(jié)果Table 2 Validation results of detection models
為了驗(yàn)證本文提出的自適應(yīng)壓接深度提取算法,人工對驗(yàn)證集圖像進(jìn)行標(biāo)注得到基準(zhǔn)邊緣,分別使用硬閾值分割算法+Canny、大津法+Canny以及本文算法+Canny 對原始圖像進(jìn)行邊緣提取,計(jì)算所得邊緣與基準(zhǔn)邊緣的偏差作為算法精度指標(biāo)。
圖13為邊緣提取算法在4 種光照條件下的結(jié)果圖,可以看出,本文算法在4 種典型光照條件下均能精確地實(shí)現(xiàn)邊緣提取。大津法+Canny算法的組合在高亮度圖像上才有一定的檢測效果,在其他光照條件下算法求得的邊緣與基準(zhǔn)邊緣都有很大偏差,檢測效果不佳。硬閾值算法在3 種均勻光照條件下都可以實(shí)現(xiàn)較為精確的輪廓提取,但是該算法需要針對每張圖片的灰度值來手動調(diào)整閾值,魯棒性較差,且在不均勻光照條件下表現(xiàn)不佳。
圖13 邊緣提取結(jié)果對比Fig.13 Comparison of edge extraction results
對基準(zhǔn)邊緣和3 種邊緣檢測算法提取得到的邊緣逐像素進(jìn)行比對,計(jì)算最大偏差、平均偏差。使用同一批驗(yàn)證數(shù)據(jù)集對3 種算法的單幀運(yùn)行時(shí)間進(jìn)行計(jì)算,得到本文算法邊緣提取算法的驗(yàn)證結(jié)果如表3所示??梢钥闯?,本文算法在均勻光照條件下 (低亮度、標(biāo)準(zhǔn)亮度、高亮度)精度與手動調(diào)參的硬閾值分割+Canny算法相近,且不需要針對圖像進(jìn)行手動調(diào)參,算法魯棒性更強(qiáng)。同時(shí)本文算法在不均勻光照條件下也能實(shí)現(xiàn)較為精確的邊緣提取。相比于硬閾值分割+Canny 算法,本文算法在綜合數(shù)據(jù)集下最大偏差下降了60.6%,平均偏差下降了58.9%,具有更佳的檢測性能。運(yùn)行時(shí)間方面,本文算法運(yùn)行時(shí)間有所增加,但單幀運(yùn)行時(shí)間依舊控制在4ms 以內(nèi),能夠滿足工業(yè)生產(chǎn)的實(shí)時(shí)性要求。
表3 邊緣提取算法驗(yàn)證結(jié)果Table 3 Validation results of edge extraction algorithms
在驗(yàn)證集上挑選4 種光照條件下各10 個(gè)樣本對完整算法進(jìn)行驗(yàn)證,無法計(jì)算出壓接深度的記為漏檢樣本,將計(jì)算出的壓接深度與基準(zhǔn)深度進(jìn)行對比得到平均偏差像素、均方偏差以及平均偏差率,并記錄下單幀圖像從讀取圖像到運(yùn)行完整算法得出壓接深度的總時(shí)間作為速度指標(biāo)。
表4為總體算法驗(yàn)證結(jié)果,本文算法平均單幀運(yùn)行時(shí)間為124.49ms,滿足工業(yè)生產(chǎn)的實(shí)時(shí)性要求;且算法在4 種典型光照條件下都能夠順利運(yùn)行,具有較高的魯棒性;壓接深度提取的平均偏差為0.313 個(gè)像素值,均方偏差為0.115 平方像素,平均偏差率為1.35%,即實(shí)際壓接深度為2mm 時(shí),壓接深度提取算法的平均偏差為0.027mm,具有較高的檢測精度。
表4 總體算法驗(yàn)證結(jié)果Table 4 Validation results of whole algorithm
(1)針對磁脈沖壓接管件檢測問題,基于改進(jìn)YOLOv4–Tiny 和自適應(yīng)圖像處理算法提出了一種高魯棒性、無須輔助定位裝置的視覺測量算法,驗(yàn)證結(jié)果表明該算法平均單幀運(yùn)行時(shí)間為124.49ms,在4 種照明類型下均能實(shí)現(xiàn)壓接深度檢測,平均像素偏差為0.313 個(gè)像素,均方偏差為0.115 個(gè)平方像素,平均偏差率為1.35%。算法魯棒性好,檢測精度高,部署成本低,具有較高的應(yīng)用價(jià)值。
(2)為了保證壓接區(qū)域檢測算法的精度,提出了一種具有更高統(tǒng)一性的人工標(biāo)注方法,并且在網(wǎng)絡(luò)尾端引入了ECA 模塊對YOLOv4–Tiny網(wǎng)絡(luò)進(jìn)行改進(jìn),在幾乎不增加運(yùn)行時(shí)間和模型大小的條件下將檢測精度提升了7.9%,實(shí)現(xiàn)了檢測模型性能的優(yōu)化。
(3)基于自適應(yīng)閾值分割算法、Canny 邊緣檢測算法設(shè)計(jì)了一種自適應(yīng)邊緣提取算法,在均勻光照條件下可以達(dá)到與手動調(diào)參的硬閾值分割算法相近的提取精度,且在不均勻光照條件下同樣表現(xiàn)良好,無須手動調(diào)參,魯棒性較佳。