何堅強,汪志成,翁嘉鑫
(1.鹽城工學院 電氣工程學院,鹽城 224000;2.江蘇大學 電氣信息工程學院,鎮(zhèn)江 212000)
隨著自動化生產(chǎn)模式在我國工業(yè)生產(chǎn)中的普及,基于機器視覺的產(chǎn)品質(zhì)量檢測系統(tǒng)在工業(yè)生產(chǎn)中的地位也變得尤為重要。在一些器件檢測流水線中,可能存在器件隨機擺放的現(xiàn)象,無法直接檢測器件的各項參數(shù),因此有必要對相機采集的原始圖片進行校正預處理。
眾多的專家學者對圖像校正技術進行了研究,目前主要的研究領域包括文檔校正、車牌校正、圖畫校正等。文獻[1]提出了一種基于Hough變換的文檔校正方法。該方法采用分級變換、限制搜索范圍、選取子區(qū)域等方法降低了算法運算的復雜度,提高了校正速度。但該方法只適用于傾斜角度較小的圖片。文獻[2]運用Hough變換與端點信息實現(xiàn)了車牌的水平校正和垂直校正。但該方法存在計算量大的缺點。文獻[3]提出了一種改進的Cabor小波變換與Hough變換相結合的圖像校正方法。該方法雖然精度高,但是需要標準圖像做參照物因此普適性有待提高。
本文在前人研究的基礎上結合流水線上器件擺放情況,設計了一種基于Radon變換的圖像校正方法。首先對圖片進行多次降采樣,降低圖像的分辨率[4];然后采用最小包圍矩法截取器件圖像,在截取后的圖像中心附近選取兩列像素,自上而下逐個掃描,判斷相鄰像素之間的灰度值檢測首個突變點位置,通過比較首個突變點列坐標大小確定圖片的傾斜方向進而確定投影范圍;接著采用Radon變換檢測圖像的傾斜角度[5],完成垂直校正;最后采用占空比法檢測垂直校正后的圖片是否顛倒,完成正反校正[6]。
為實現(xiàn)器件校正,需要建立器件的校正模型。器件校正原理是對器件旋轉(zhuǎn)一定角度,使器件在水平方向保持垂直。首先對器件進行垂直校正,記器件上一點的坐標為,其校正變換后的坐標為(x′,y′),則有:
其中,β為旋轉(zhuǎn)角。
垂直校正完畢后,需要對上下顛倒的器件進行正反矯正,保證器件管腳向下。其變換公式如式(2)所示,點(x′,y′)為點(x′,y′)對應的變換點。
2.1.1 傾斜情況分析
器件在傳送帶運送過程中,擺放位置是隨機的,經(jīng)過分析大致可以分為以下四種情況,如圖1所示。按傾斜方向可以分為左偏、右偏,如圖1(a)、圖1(b)所示,按管腳方向可以分為管腳朝上(顛倒)、管腳朝下(正向),如圖1(c)、圖1(d)所示。對這四種情況,本文將分兩步進行校正:垂直校正和正反校正。
圖1 傾斜情況分類圖
2.1.2 校正方案設計
本文首先進行圖像預處理,方便進行校正,然后采用Radon變換進行垂直校正。一般Radon變換的的投影角度范圍是(0,180),結合實際情況來看,左偏時,投影角度范圍應限制在(0,90),右偏時投影角度范圍應限制在(90,180)??紤]限制投影角度可以提高算法的運行效率,所以將圖像二值化后,用逐行掃描法檢測突變點的坐標,通過比較突變點的列坐標大小,判斷器件傾斜方向,以此將投影角度限制在90°范圍內(nèi)。這種方法操作簡單,且減少了一半的投影范圍,可以減少計算量。
管腳向下的圖片便于圖像識別,因此垂直校正后,還需要判斷管腳方向,進行正反校正。從圖1中可以發(fā)現(xiàn)器件近似矩形,且兩根管腳間有大片的空白區(qū)域,因此可以對二值化后的圖片運用占空比法判斷正反。
通過以上分析可以得到具體的流水線器件校正流程圖,如圖2所示。
圖2 傾斜校正流程圖
圖像預處理的目的是分別提取原始圖像中所有的器件,且對圖像進行降采樣,方便后續(xù)的校正工作。
器件定位。工業(yè)相機采集的原始圖片包含多個器件且存在干擾區(qū)域,影響校正效果[7]。因此本文采用最小包圍矩法,分割干擾區(qū)域,對單個器件進行提取。
圖片降采樣?,F(xiàn)代工業(yè)圖像采集設備的精度越來越高,以本文實驗所使用的型號為MER-500-14GM的大恒工業(yè)相機為例,采集的每張圖片大小約4.8MB,而在傾斜校正階段,圖片不需要包含太多信息且圖片過大會極大的增加算法運行時間,所以本文采用降采樣的方法降低圖片的分辨率。具體操作步驟如下:
對原始圖像進行高斯平滑處理,減少圖片噪聲;
在水平方向、豎直方向上,步長為2,進行降采樣。對二維圖像而言,這意味著長、寬都縮短為原始尺寸的一半,即圖像像素減少四分之三。
實驗發(fā)現(xiàn),對原始圖片進行4次降采樣后,算法仍能完成校正工作,因此對所有的原始圖片進行4次降采樣。
本文采用的是逐列掃描法判斷圖片的傾斜方向。示意圖如圖3所示。圖中實線代表器件,圖片二值化后,沿圖中虛線所示方向逐列掃描,檢測首個突變點位置。A,B兩點是掃描發(fā)現(xiàn)的首個突變點,當時,器件左偏;反之,器件右偏。確定器件傾斜方向后,便可限制Radon變換的投影范圍。器件左偏時,投影角度為[0,90];器件右偏時,投影角度為[90,180]。
圖3 逐列掃描示意圖
如圖4所示Radon變換將直角坐標系的直線投影為Radon空間上的一點,通過累加求和,極值即對應了直角坐標系中最明顯的直線。投影角度結合三角形角度之和,通過一系列數(shù)學運算求得校正角度。
圖4 Radon變換原理圖
其中Radon變換數(shù)學表達式如(3)所示:
本文采用Radon變換確定傾斜角度,具體操作步驟如下:
1)運用Canny算子對圖片進行邊緣檢測,同時進行形態(tài)學操作在目標外部加厚目標像素,增加連通域面積,使直線更加明顯。圖5(a)為處理后的邊緣檢測圖。
2)根據(jù)本文3.3節(jié)確定器件的傾斜方向,以圖5(a)為例,可將投影角度限制在[0,90],對邊緣檢測圖進行投影,得到投影結果可視化圖5(b)。圖中顏色值越大,表示系數(shù)越大,該點對應的直線越明顯。從圖5(b)中可以發(fā)現(xiàn),顏色值最大的點對應的橫坐標為27,因此可以發(fā)現(xiàn)從27°方向投影可以得到器件中最明顯的直線。
圖5 投影可視化圖
3)如圖6所示,水平方向,由左而右是0°投影線;垂直方向,由下而上是90°投影線。從圖中可以發(fā)現(xiàn),27°投影線與器件的長邊垂直,這表示投影線也就是長邊的法線,由此可以確定校正角度為27°。對器件順時針旋轉(zhuǎn)27°,完成垂直校正。
圖6 校正角度圖
圖7(a)是經(jīng)過垂直校正的器件,從圖中發(fā)現(xiàn)器件管腳向上,表面字符顛倒,此時器件的狀態(tài)不便于后續(xù)的編碼識別,因此對器件進行正反校正。圖7(b)是圖7(a)的二值化圖像,將圖7(b)以虛線為界分為三個區(qū)域,區(qū)域1包含區(qū)域3。從圖中可以看出區(qū)域3包含了兩個管腳,中間有大片的黑色像素,因此區(qū)域1的白色像素數(shù)量比區(qū)域2少,所以本文采用占空比法即通過計算比較上下兩部分白色像素分別占各區(qū)域像素總數(shù)的比值,對顛倒器件進行校正。
圖7 占空比原理圖
假設圖7(b)的尺寸是,其占空比計算公式如式(4)所示。
其中,是像素點集合,S是占空比比值。
本文實驗基Matlab R2016b平臺,圖像采集設備是大恒工業(yè)相機,型號為MER-500-14GM。
以圖5為例,比較Hough變換[8]、Radon變換[9]、本文算法對單個器件的校正速度。表1記錄了三種算法的三次運行時間。
表1 三種算法運行時間比較
由表1可以看出本文算法與Hough變換、Radon變換比較,平均運行時間分別提高了3.61秒、0.95秒。分析原因是,Hough變換空間復雜度和時間復雜度較高,因此計算量較大;本文算法在Radon變換的基礎上,采用降采樣和限制投影角度的方法加快了運行速度。
分別采用逐行掃描法和占空比法對一百張垂直校正后的圖片進行正反校正,比較兩種方法的準確率。逐行掃描法原理是由上至下橫向掃描突變點的個數(shù),判斷管腳位置,從而確定器件是否顛倒;占空比法原理是計算圖片上下兩部分白色像素的占比,確定器件是否顛倒。表2為兩種方法成功率比較。
表2 兩種方法成功率比較
從表2可以發(fā)現(xiàn),占空比法比逐行掃描法成功率高7個百分點。分析原因,如圖8所示,器件表面凹凸不平,采集的圖像亮度分布不均勻,在使用最大類間方差法二值化圖像時,會在內(nèi)部形成陰影,從而造成了突變點數(shù)量發(fā)生較大變化,影響實驗結果。而使用占空比法時,兩根管腳之間有大片的黑色像素,因此抗干擾性更強。
圖8
本文針對流水線器件擺放不規(guī)則的問題,設計了一套校正方法。將逐列掃描法、降采樣與Radon變換結合,限制投影角度、降低計算復雜度,有效縮短了算法運行時間;引入占空比法,解決了Radon變換無法判斷器件正反的問題。實驗結果表明本文方法校正效率高、普適性強,適用于流水線隨機擺放器件的校正。