基于機(jī)器視覺的空調(diào)顯示器智能檢測技術(shù)研究

黃鴻發(fā)，梁小玲，范有權(quán)，申 飛，陳玉雄

（珠海格力電器股份有限公司，廣東珠海 519000）

0 引言

隨著空調(diào)行業(yè)的快速發(fā)展，市場競爭日益加劇，傳統(tǒng)的空調(diào)生產(chǎn)過程中，顯示器主要采用人工檢驗(yàn)，需要依靠人工目視、耳聽、手工切換來達(dá)到測試目的，不僅測試效率低，人力成本高、自動(dòng)化水平低，而且人工長時(shí)間重復(fù)性操作容易產(chǎn)生視覺疲勞，從而導(dǎo)致漏檢、誤檢風(fēng)險(xiǎn)，同時(shí)檢驗(yàn)結(jié)果依賴人工主觀判定，不同質(zhì)檢人員的檢驗(yàn)存在主觀判斷差異，檢驗(yàn)一致性、穩(wěn)定性差，無法保證產(chǎn)品100%檢驗(yàn)合格。此外，人工檢驗(yàn)無檢驗(yàn)數(shù)據(jù)記錄，質(zhì)量追溯困難[1-2]。

空調(diào)顯示器（圖1）作為產(chǎn)品外觀及功能體現(xiàn)的重要部件，其質(zhì)量檢驗(yàn)保障極為重要。顯示器的檢驗(yàn)內(nèi)容主要分為兩部分，一部分為外觀質(zhì)量，主要檢驗(yàn)顯示模塊的顯示以及顯示面膜情況，故障表現(xiàn)為顯示缺劃、多劃、黑點(diǎn)、雜色等顯示不良；另一部分為功能質(zhì)量，主要檢驗(yàn)遙控接收、按鍵、蜂鳴器、通訊以及各種負(fù)載輸出信號(hào)，故障表現(xiàn)為遙控?zé)o反應(yīng)、按鍵不靈、蜂鳴器不響以及各種負(fù)載電路無輸出信號(hào)等功能缺陷。現(xiàn)有的視覺檢驗(yàn)方式只是單一的檢測外觀，功能檢驗(yàn)則需另外通過電路檢測的方式來實(shí)現(xiàn)，暫無綜合性的方法來實(shí)現(xiàn)一體化高效測試[3-4]。

圖1 空調(diào)顯示器

為了解決空調(diào)顯示器快速可靠檢測問題，提出一種集外觀、功能檢測為一體的空調(diào)顯示器智能檢測設(shè)備，采用機(jī)器視覺檢測與電路檢測相結(jié)合的方式，開發(fā)視覺檢測系統(tǒng)和功能測試板卡，實(shí)現(xiàn)空調(diào)顯示器外觀、功能的在線自動(dòng)檢測，極大提高檢測覆蓋率和穩(wěn)定性，確保產(chǎn)品質(zhì)量在制造過程中得到有效控制。

1 總體方案設(shè)計(jì)

空調(diào)顯示器智能檢測設(shè)備采用在線自動(dòng)測試作業(yè)方案，設(shè)計(jì)相互獨(dú)立的雙測試工位，實(shí)現(xiàn)雙核高效測試模式，左右兩邊測試工位并行測試，滿足測試效率需求。設(shè)備從測試方案設(shè)計(jì)上滿足空調(diào)顯示器類產(chǎn)品的通用測試需求，通過掃描顯示器型號(hào)和編碼可自動(dòng)調(diào)用測試程序，測試數(shù)據(jù)與顯示器上條碼關(guān)聯(lián)綁定，便于查詢追溯。測試系統(tǒng)采用多線程同步測試模式，測試狀態(tài)和結(jié)果實(shí)時(shí)在測試界面上顯示。智能檢測總體方案如圖2所示。

圖2 空調(diào)顯示器智能檢測總體方案

1.1 結(jié)構(gòu)設(shè)計(jì)方案

顯示器智能檢測設(shè)備（圖3）整體結(jié)構(gòu)主要由3 個(gè)部分組成，分別為移載機(jī)、視覺檢測設(shè)備、分揀機(jī)。視覺檢測設(shè)備采用雙軌道流水線設(shè)計(jì)，每條軌道對(duì)應(yīng)一個(gè)測試工位，每個(gè)測試工位由工業(yè)相機(jī)、高清鏡頭、專業(yè)光源、光電開關(guān)、圖像處理平臺(tái)、運(yùn)動(dòng)軌道組成，且每條軌道可容納3 個(gè)被測顯示器，按照順序?qū)?yīng)位置為待測區(qū)、測試區(qū)、測試完畢區(qū)，確保能無縫對(duì)接測試，充分利用測試過程的間隙時(shí)間。移載機(jī)采用左右移動(dòng)的運(yùn)動(dòng)機(jī)構(gòu)設(shè)計(jì)，對(duì)接視覺檢測設(shè)備，將流水線上的顯示器按需分流至視覺檢測設(shè)備軌道上的待測區(qū)，實(shí)現(xiàn)顯示器在生產(chǎn)流水線的單軌道流動(dòng)轉(zhuǎn)變?yōu)殡p軌道流動(dòng)，提高產(chǎn)品的測試效率。分揀機(jī)根據(jù)顯示器測試結(jié)果，將測試完畢的顯示器分流至下一道工序或不良品收集箱中，實(shí)現(xiàn)不良品自動(dòng)分揀。

圖3 空調(diào)顯示器智能檢測設(shè)備

被測顯示器在進(jìn)入移載機(jī)前，在流水線上設(shè)計(jì)有掃描器，通過掃描顯示器上粘貼的條碼信息，自動(dòng)記錄對(duì)應(yīng)被測顯示器的測試數(shù)據(jù)和判定結(jié)果，便于后續(xù)的質(zhì)量追溯和分析。在分揀機(jī)后端的流水線上設(shè)計(jì)有自動(dòng)蓋章機(jī)構(gòu)，被測顯示器測試合格后，由蓋章機(jī)構(gòu)自動(dòng)執(zhí)行蓋章動(dòng)作，代替?zhèn)鹘y(tǒng)的人工手工粘貼PASS 的操作。在分揀機(jī)上設(shè)計(jì)有不合格自動(dòng)推板機(jī)構(gòu)，被測顯示器測試不合格后，由自動(dòng)推板機(jī)構(gòu)將不合格品推送至不良品收集箱中。

測試治具以快速更換為設(shè)計(jì)原則，通過導(dǎo)向槽與插銷的方式，實(shí)現(xiàn)與設(shè)備的快速準(zhǔn)確對(duì)接[5]?？紤]顯示器的測試可靠性，采用一對(duì)一的設(shè)計(jì)方案，即一款顯示器產(chǎn)品對(duì)應(yīng)唯一的測試治具，可有效解決因測試治具和產(chǎn)品不匹配而導(dǎo)致?lián)p壞產(chǎn)品的質(zhì)量問題，同時(shí)也提高了產(chǎn)品的切換效率。測試治具上設(shè)計(jì)使用次數(shù)計(jì)數(shù)功能，自動(dòng)計(jì)算測試治具使用壽命，提醒設(shè)備維保人員及時(shí)更換和保養(yǎng)。測試治具采用標(biāo)準(zhǔn)化的結(jié)構(gòu)設(shè)計(jì)框架，只需按照模板設(shè)計(jì)制作新產(chǎn)品測試治具，節(jié)省測試治具的設(shè)計(jì)制作時(shí)間。

1.2 電測設(shè)計(jì)方案

開發(fā)一種功能測試板卡，集成了顯示模式切換、按鍵、負(fù)載、蜂鳴器、通訊、遙控接收等檢測電路。按照制定的通訊協(xié)議，測試功能卡與測試系統(tǒng)、被測產(chǎn)品進(jìn)行調(diào)用、控制和數(shù)據(jù)交互等操作，實(shí)現(xiàn)顯示器產(chǎn)品功能的在線智能測試。

功能測試板卡設(shè)計(jì)有四路的控制驅(qū)動(dòng)電路，主要以Home-Bus 和U-Math(特殊485)兩種通訊進(jìn)行驅(qū)動(dòng)控制，與測試系統(tǒng)以制定的通訊協(xié)議來進(jìn)行測試；功能測試板卡設(shè)計(jì)有六路紅外接收電路，將遙控接收的協(xié)議信息轉(zhuǎn)換為電信息，控制產(chǎn)品的顯示模式切換，用于顯示器不同模式切換的視覺圖像采集，同時(shí)通過顯示模式能否切換來判定顯示器的遙控接收功能正常與否；功能測試板卡設(shè)計(jì)有六路音頻檢測電路，通過外接的麥克風(fēng)進(jìn)行蜂鳴器聲響的音頻收集，然后通過設(shè)計(jì)的電路對(duì)音頻進(jìn)行濾波、放大并進(jìn)行檢測判斷。

1.3 軟件設(shè)計(jì)方案

為了滿足柔性生產(chǎn)與智能檢測，測試系統(tǒng)采用可編程設(shè)計(jì)，可根據(jù)不同型號(hào)顯示器產(chǎn)品的測試需求進(jìn)行定制化的測試程序編輯，在系統(tǒng)中建立功能測試模塊庫，通過調(diào)用系統(tǒng)中不同的功能測試模塊，形成對(duì)應(yīng)顯示器產(chǎn)品的測試程序，滿足多品類顯示器的測試需求。功能測試模塊庫具有自主創(chuàng)建測試模塊的功能，可根據(jù)產(chǎn)品的測試需求，建立新的功能測試模塊，增加至模塊庫以供后續(xù)隨時(shí)調(diào)用。測試系統(tǒng)可根據(jù)產(chǎn)品的測試需求，通過拖拽式的建模方式，拖動(dòng)系統(tǒng)界面上的功能測試模塊，自定義測試步驟和順序，建立對(duì)應(yīng)顯示器產(chǎn)品的測試模板程序。測試模板程序與顯示器產(chǎn)品上的編碼捆綁關(guān)聯(lián)并保存在測試模板庫中，生產(chǎn)切換產(chǎn)品時(shí)，可通過掃描顯示器上的編碼實(shí)現(xiàn)自動(dòng)切換[6-8]。

為提高顯示器的測試效率，系統(tǒng)采用雙線程控制的測試模式，兩個(gè)測試工位上的產(chǎn)品可同時(shí)獨(dú)立測試，互不干擾。測試系統(tǒng)具有測試數(shù)據(jù)查詢功能，生產(chǎn)測試過程中，掃描器對(duì)顯示器上的條碼自動(dòng)掃描，測試界面上動(dòng)態(tài)顯示測試狀態(tài)和結(jié)果，同時(shí)自動(dòng)記錄對(duì)應(yīng)測試數(shù)據(jù)并保存到數(shù)據(jù)庫中，便于對(duì)產(chǎn)品測試數(shù)據(jù)查詢和追溯分析。當(dāng)測試系統(tǒng)檢測到不合格產(chǎn)品時(shí)，將視覺檢測不合格圖片保存至數(shù)據(jù)庫中，同步將不合格信號(hào)反饋至電氣控制系統(tǒng)，控制分揀機(jī)將故障產(chǎn)品送入不良品收集箱中。測試系統(tǒng)界面如圖4所示。

圖4 測試系統(tǒng)界面

測試系統(tǒng)工作流程下：系統(tǒng)啟動(dòng)后，通過流水線將顯示器產(chǎn)品輸送至移載機(jī)，采用掃描器掃描顯示器上的編碼，獲取當(dāng)前產(chǎn)品的信息，測試系統(tǒng)自動(dòng)切換測試模板程序，同步測試界面通過彈窗提醒更換測試治具；測試系統(tǒng)通過光電開關(guān)識(shí)別視覺檢測設(shè)備測試工位狀態(tài)，移載機(jī)將當(dāng)前待測產(chǎn)品推送至視覺檢測設(shè)備的待測區(qū)中，運(yùn)動(dòng)軌道將待測產(chǎn)品從待測區(qū)輸送至測試區(qū)，此時(shí)光電開關(guān)將待測產(chǎn)品的到位信號(hào)反饋至測試系統(tǒng)，測試系統(tǒng)控制測試治具與待測產(chǎn)品對(duì)接上電，測試系統(tǒng)啟動(dòng)檢測；功能測試板卡與被測產(chǎn)品通訊，控制被測產(chǎn)品切換制冷、制熱等功能顯示模式，測試系統(tǒng)利用工業(yè)相機(jī)采集顯示器不同功能顯示模式的圖像；采集圖像后，進(jìn)行圖像預(yù)處理，裁剪提取檢測區(qū)域，提高圖像處理效率，減小背景因素的干擾；根據(jù)圖像檢測模板對(duì)待測圖像進(jìn)行逐字符配準(zhǔn)，利用圖像差分提取顯示字符缺陷，實(shí)現(xiàn)顯示器外觀顯示的在線檢測；在圖像處理檢測同時(shí)，測試系統(tǒng)對(duì)被測產(chǎn)品的遙控接收、按鍵、蜂鳴器、通訊以及各種負(fù)載輸出信號(hào)進(jìn)行檢測；檢測完成后，測試系統(tǒng)判定測試結(jié)果，根據(jù)檢測結(jié)果對(duì)當(dāng)前產(chǎn)品實(shí)施分流處理，合格產(chǎn)品流向下一道工序，不合格產(chǎn)品流向不良品區(qū)域[9-10]。

2 關(guān)鍵技術(shù)研究

2.1 檢測區(qū)域定位

直接對(duì)圖像進(jìn)行字符分割與提取，影響算法穩(wěn)定性和圖像處理效率。因此，需要對(duì)采集圖像中的檢測區(qū)域進(jìn)行定位。經(jīng)典區(qū)域定位算法通常是利用圖像中的輪廓特征、紋理特征、相關(guān)性特征等進(jìn)行匹配，在整幅圖像中搜索定位，不僅運(yùn)算量大、耗時(shí)長，而且受圖像質(zhì)量和噪聲影響較大。采用圖像ROI手動(dòng)選取檢測區(qū)域的方式，將模板圖像中的檢測區(qū)域適當(dāng)擴(kuò)大，兼容顯示器定位微小偏移的問題。圖像預(yù)處理后，設(shè)置連通域長寬比和面積參數(shù)來有效選擇出ROI。進(jìn)而對(duì)全局圖像進(jìn)行仿射變換來校正圖像，再從原圖中對(duì)ROI進(jìn)行提取，經(jīng)校正后的圖提取出的ROI圖像將為后續(xù)的字符、圖像分割及其識(shí)別打下良好的基礎(chǔ)，同時(shí)也提高圖像處理的效率[11]。ROI 定位如圖5所示。

圖5 顯示器檢測區(qū)域ROI定位

2.2 字符分割識(shí)別

字符分割是字符識(shí)別過程中極其關(guān)鍵的一個(gè)環(huán)節(jié)，字符分割的好壞將直接影響字符識(shí)別的準(zhǔn)確率?；陲@示器檢測需求，采用CFS 方法對(duì)圖像ROI區(qū)域中的字符進(jìn)行分割。由于圖像是在封閉的空間進(jìn)行采集，容易受到光照不均勻影響，從而導(dǎo)致ROI圖像在二值化后會(huì)出現(xiàn)字符粘連的情況，嚴(yán)重影響字符識(shí)別的準(zhǔn)確率。因此，通過對(duì)光源打光方案優(yōu)化以及分割算法的改進(jìn)后，圖像字符識(shí)別效率得到了進(jìn)一步提高。經(jīng)過字符分割處理后的字符識(shí)別效果顯著提升，提高了顯示器外觀顯示的檢測精度。字符分割識(shí)別如圖6所示。

圖6 顯示器功能字符分割識(shí)別

2.3 字符缺陷檢測

顯示器顯示區(qū)域內(nèi)除有組成的數(shù)字、符號(hào)、文字等字符外，還有大量的顯示空白區(qū)域。字符的缺陷如缺劃、多劃等，會(huì)直接影響空調(diào)功能狀態(tài)的正確性；空白區(qū)域內(nèi)的缺陷，如破損、漏光等，也會(huì)影響空調(diào)狀態(tài)顯示的整體美觀性。測試系統(tǒng)針對(duì)顯示字符與空白區(qū)域進(jìn)行缺陷檢測，實(shí)現(xiàn)全面、嚴(yán)謹(jǐn)?shù)馁|(zhì)量監(jiān)測。

顯示字符缺陷檢測基于模板上的字符進(jìn)行對(duì)比檢測，利用圖像差分法將模板字符與目標(biāo)字符進(jìn)行對(duì)比，得到模板字符與目標(biāo)字符之間的差異，并利用局部閾值分割和形態(tài)學(xué)算法提取出目標(biāo)字符缺陷。非顯示字符缺陷檢測指在字符缺陷檢測后，進(jìn)一步針對(duì)顯示區(qū)域內(nèi)的空白區(qū)域進(jìn)行缺陷檢測。在顯示區(qū)域內(nèi)裁剪已進(jìn)行顯示字符對(duì)比的區(qū)域，對(duì)剩余空白區(qū)域進(jìn)行局部閾值分割及離散化處理，利用形態(tài)學(xué)提取出非目標(biāo)字符缺陷[12-13]。

2.4 觸摸按鍵電測

觸摸按鍵檢測采用模擬人體能量變化的設(shè)計(jì)方案，自主研發(fā)觸摸按鍵驅(qū)動(dòng)板，其原理是通過模擬人體在觸摸按鍵時(shí)改變電容式觸摸極板的面積，從而會(huì)改變極板的充放電時(shí)間來判定觸摸按鍵是否動(dòng)作，即當(dāng)觸摸按鍵驅(qū)動(dòng)板檢測到觸摸按鍵極板有充放電時(shí)間變化時(shí)，則檢測判斷觸摸按鍵被按下。如圖7 所示，C為兩極板之間的電容，ε0εr為介電常數(shù)，A為正對(duì)極板的面積，d為兩極板間的距離。一個(gè)極板相當(dāng)于觸摸按鍵極板，另一極板一般以地層代替。IC_CONTROL 為主MCU 的控制繼電器的信號(hào)，TIMER信號(hào)傳輸至觸摸按鍵檢測芯片內(nèi)部計(jì)數(shù)器，MPAD_T 為電容式極板，MPAD 同樣為電容式極板。當(dāng)主MCU 未向繼電器發(fā)出吸合命令時(shí)，MPAD_T 極板通過TIMER 引腳以一個(gè)固定的頻率充放電，此時(shí)，觸摸按鍵驅(qū)動(dòng)板判斷觸摸按鍵處于空閑狀態(tài)。當(dāng)主MUC 控制繼電器吸合后，極板MPAD 和MPAD_T 導(dǎo)通，相當(dāng)于極板面積增大，極板充放電時(shí)間變長，當(dāng)充放電時(shí)間達(dá)到提前預(yù)設(shè)時(shí)間時(shí)，則觸摸按鍵驅(qū)動(dòng)板判斷觸摸按鍵被按下[14-15]。工作原理如圖7所示。

圖7 模擬觸摸按鍵工作原理

3 試驗(yàn)驗(yàn)證與結(jié)果分析

為了驗(yàn)證空調(diào)顯示器智能檢測設(shè)備的檢測功能和效果，選取18 種不同故障缺陷類別的空調(diào)顯示器，每種類別故障缺陷選取200 件分別進(jìn)行試驗(yàn)，故障檢出率如表1 所示。試驗(yàn)結(jié)果表明，對(duì)于顯示模式不正確、缺劃、多劃以及蜂鳴器不響、遙控不接收、按鍵不靈等常見的顯示故障、功能故障，空調(diào)顯示器智能檢測設(shè)備都能準(zhǔn)確識(shí)別，故障檢出率100%。

表1 顯示器故障檢出率驗(yàn)證

4 結(jié)束語

產(chǎn)品的外觀、性能則是用戶對(duì)產(chǎn)品的最直接的體驗(yàn)，顯示器是空調(diào)產(chǎn)品外觀及功能的重要體現(xiàn)部件，生產(chǎn)制造過程的質(zhì)量檢測顯得極為重要，傳統(tǒng)的人工檢驗(yàn)水平已不能滿足空調(diào)日益增長的高質(zhì)量需求，迫切地需要在質(zhì)量檢測方面進(jìn)行突破和創(chuàng)新。本研究基于機(jī)器視覺檢測技術(shù)與電路檢測技術(shù)，開發(fā)空調(diào)顯示器智能檢測設(shè)備，在結(jié)構(gòu)設(shè)計(jì)、電測設(shè)計(jì)、軟件設(shè)計(jì)方案上進(jìn)行了突破和創(chuàng)新，采用檢測區(qū)域定位、字符分割識(shí)別、字符缺陷檢測、觸摸按鍵電測等多項(xiàng)關(guān)鍵技術(shù)，實(shí)現(xiàn)空調(diào)顯示器視覺檢測、功能電測的一站式高效檢測。通過試驗(yàn)驗(yàn)證，空調(diào)顯示器智能檢測設(shè)備可有效檢測顯示器不同的故障缺陷，故障檢出率100%，滿足實(shí)際生產(chǎn)需求，可應(yīng)用于空調(diào)顯示類零部件的質(zhì)量智能檢測，提高檢測質(zhì)量，為用戶提供高品質(zhì)的產(chǎn)品。