基于機(jī)器視覺(jué)的麻將包裝識(shí)別系統(tǒng)設(shè)計(jì)

胡文文，王財(cái)盛，朱　威，鄭雅羽

（浙江工業(yè)大學(xué)信息工程學(xué)院，杭州　310023）

基于機(jī)器視覺(jué)的麻將包裝識(shí)別系統(tǒng)設(shè)計(jì)

胡文文，王財(cái)盛，朱威，鄭雅羽

（浙江工業(yè)大學(xué)信息工程學(xué)院，杭州310023）

針對(duì)麻將包裝在實(shí)際產(chǎn)線上出現(xiàn)的麻將牌錯(cuò)位、缺失、牌面翻轉(zhuǎn)等問(wèn)題，基于機(jī)器視覺(jué)檢測(cè)技術(shù)設(shè)計(jì)了一套以DM6437處理器為硬件平臺(tái)的麻將包裝識(shí)別處理系統(tǒng)；該系統(tǒng)的硬件部分由攝像頭板、核心板和接口板3個(gè)模塊組成，配合機(jī)械傳動(dòng)系統(tǒng)來(lái)進(jìn)行識(shí)別前后麻將包裝的傳輸；系統(tǒng)的軟件部分采用平板Pad對(duì)麻將包裝進(jìn)行模板錄入，并設(shè)計(jì)了一套適應(yīng)于不同機(jī)箱內(nèi)部環(huán)境變化的背景剔除方法來(lái)完成模板整體分割，以及通過(guò)中值計(jì)算實(shí)現(xiàn)單目標(biāo)的分離，最后還提出了一種簡(jiǎn)單高效的混合搜索方式來(lái)進(jìn)行基于SAD的模板匹配；測(cè)試結(jié)果表明，識(shí)別算法對(duì)于麻將間有縫隙、麻將整體傾斜、個(gè)別或整體麻將翻轉(zhuǎn)、個(gè)別麻將位置錯(cuò)亂等問(wèn)題均能準(zhǔn)確判別，模板匹配算法穩(wěn)定性和適應(yīng)性較好，識(shí)別準(zhǔn)確率達(dá)95%以上，能滿足包裝流水線上的缺陷檢測(cè)。

機(jī)器視覺(jué)；麻將包裝識(shí)別；模板錄入；模板整體分割；模板匹配算法

0　引言

麻將包裝是麻將牌出廠前生產(chǎn)線上的最后一道工序，目前國(guó)內(nèi)廠商基本上都是以人工檢測(cè)的方式完成這個(gè)環(huán)節(jié)。但是，通過(guò)人眼觀察麻將包裝整體排布，常常會(huì)由于個(gè)別麻將圖案相似而漏檢、錯(cuò)檢，同時(shí)人工檢測(cè)勞動(dòng)強(qiáng)度大，檢測(cè)速度慢，在一定程度上會(huì)拖慢生產(chǎn)線進(jìn)度。與此同時(shí)，利用機(jī)器視覺(jué)技術(shù)來(lái)檢測(cè)缺陷產(chǎn)品在國(guó)內(nèi)外許多大型工廠已得到了廣泛應(yīng)用［3］。機(jī)器視覺(jué)技術(shù)的快速發(fā)展為麻將識(shí)別奠定了一定的基礎(chǔ)，使得通過(guò)攝像頭采集流水線上的實(shí)時(shí)麻將信息，實(shí)現(xiàn)麻將包裝的缺陷檢測(cè)成為了可能。目前，國(guó)內(nèi)外有不少研究小組正在進(jìn)行麻將識(shí)別的研究，使得其研究的價(jià)值進(jìn)一步被認(rèn)可。

其中，深圳的創(chuàng)科視覺(jué)最新研發(fā)了一款多功能簡(jiǎn)單易用的機(jī)器視覺(jué)系統(tǒng)，其中一項(xiàng)業(yè)務(wù)就是麻將識(shí)別，通過(guò)攝像頭采集圖像到計(jì)算機(jī)進(jìn)行圖像處理，其檢測(cè)效率較高，但是設(shè)備占用空間大且界面操作繁瑣；臺(tái)灣的國(guó)立勤益科技大學(xué)在麻將圖案識(shí)別上做了深入的研究，提出了基于傅立葉變換的麻將圖像識(shí)別方案［4］，對(duì)42種單顆麻將分別進(jìn)行了圖案識(shí)別，雖然對(duì)本文麻將包裝的缺陷檢測(cè)有一定的借鑒價(jià)值，但是其利用DFT變換來(lái)進(jìn)行模板特征提取的方法較為復(fù)雜，與本文所要闡述的通過(guò)比較SAD值來(lái)進(jìn)行麻將匹配計(jì)算量更大。

本文從流水線上麻將包裝識(shí)別的實(shí)際需求，設(shè)計(jì)了一套針對(duì)生產(chǎn)線上麻將包裝檢測(cè)的智能識(shí)別系統(tǒng)。不同于創(chuàng)科視覺(jué)系統(tǒng)的是，本系統(tǒng)結(jié)合麻將生產(chǎn)線的實(shí)地考察，專門為麻將包裝檢測(cè)開(kāi)發(fā)一套實(shí)時(shí)檢測(cè)算法，且無(wú)需借助計(jì)算機(jī)來(lái)進(jìn)行繁瑣的參數(shù)設(shè)置，設(shè)備小且功能強(qiáng)大，以盡可能完全自動(dòng)化的目標(biāo)來(lái)設(shè)計(jì)，更加適合于文化素質(zhì)低的流水線工人操作。系統(tǒng)的工作原理是，相機(jī)通過(guò)平板Pad對(duì)要檢測(cè)的麻將模板錄入學(xué)習(xí)，與流水線上待包裝麻將進(jìn)行模板匹配，來(lái)實(shí)現(xiàn)麻將包裝的缺陷檢測(cè)。

1　麻將識(shí)別系統(tǒng)硬件設(shè)計(jì)

根據(jù)麻將識(shí)別系統(tǒng)的設(shè)計(jì)需求，本文設(shè)計(jì)的系統(tǒng)框圖如圖1所示。

圖1　麻將識(shí)別系統(tǒng)框圖

本文將硬件系統(tǒng)分成攝像頭板、核心板、接口板三部分來(lái)設(shè)計(jì)。其中攝像頭板主要負(fù)責(zé)采集圖像信息，核心板接收攝像頭板的圖像信息后進(jìn)行算法處理，之后通過(guò)接口板實(shí)現(xiàn)與外界設(shè)備交互。另外，光源系統(tǒng)的設(shè)計(jì)對(duì)于整個(gè)系統(tǒng)來(lái)說(shuō)有著至關(guān)重要的影響。

1.1攝像頭板的設(shè)計(jì)

攝像頭模塊采用的是OV公司的CMOS攝像頭OV2710，最大圖像傳輸速率能達(dá)到1080p@30fps，有效陣列尺寸為1920×1080，并且采用rolling shutter的方式，通過(guò)sensor逐行曝光來(lái)實(shí)現(xiàn)。

此外，該攝像頭對(duì)應(yīng)的鏡頭選用了CCTV Lens百萬(wàn)像素變焦鏡頭，其接口類型為CS型，規(guī)格為1/3''，光圈大小為F1.4，焦距范圍為2.8～12 mm。

1.2核心板的設(shè)計(jì)

核心板主要包括DSP模塊、DDR2模塊、Flash模塊、電源模塊、TV模塊。

本系統(tǒng)選用的是TI公司開(kāi)發(fā)的專門為視頻應(yīng)用開(kāi)發(fā)的C64x+數(shù)字多媒體處理器DM6437，其主頻可高達(dá)600 MHz［5］，基本可以滿足麻將圖像處理的需求。

DDR2模塊選用的是兩片Hynix公司的H5PS5162F（L）LR，每片內(nèi)存容量為64 MB。Flash模塊選用的是MXIC公司的MX25L12835F，其存儲(chǔ)容量達(dá)到16 MB，主要用來(lái)存儲(chǔ)麻將模板。

本系統(tǒng)電源模塊涉及到的電壓有5 V、3.3 V、1.8 V、1.2 V、0.5 V。其中直流供電電源為5 V，電源電壓需要遵循3.3 V→1.8 V→1.2 V的上電時(shí)序，3.3 V和1.8 V主要為DSP的I/O口、DDR2以及一些外設(shè)供電，DSP的Core電壓為1.2 V，DSP芯片DAC_VREF電壓為0.5 V。

TV模塊視頻輸出采用的是復(fù)合式模擬信號(hào)CVBS，通過(guò)TI公司的視頻放大器OPA360AIDCKR來(lái)實(shí)現(xiàn)模擬信號(hào)的放大［5］。

1.3接口板的設(shè)計(jì)

接口板主要包括串口通信電路、信號(hào)輸出電路、信號(hào)輸入電路。

串口通信電路選用的是USB轉(zhuǎn)標(biāo)準(zhǔn)串口芯片PL2303 HXD，信號(hào)輸出電路則利用三極管DTC114和晶體管IRLM6402設(shè)計(jì)了一個(gè)由DSP控制的5 V開(kāi)關(guān)電路，信號(hào)輸入電路選用了光耦合器TLP280-4對(duì)外部24 V信號(hào)進(jìn)行采集。

1.4機(jī)械傳動(dòng)系統(tǒng)設(shè)計(jì)

機(jī)械傳動(dòng)系統(tǒng)主要由氣泵、擋板和傳送帶等構(gòu)成，負(fù)責(zé)完成麻將包裝檢測(cè)過(guò)程的傳輸，在整個(gè)過(guò)程中，主要分為兩個(gè)步驟。首先麻將包裝隨著傳送帶運(yùn)動(dòng)到中心后，會(huì)碰到一個(gè)擋板，之后傳送帶停止，機(jī)械電氣系統(tǒng)輸出一個(gè)5 V的信號(hào)示意相機(jī)開(kāi)始判別；相機(jī)進(jìn)行算法識(shí)別后同樣留有兩個(gè)5 V的信號(hào)示意機(jī)械電氣系統(tǒng)對(duì)該麻將包裝進(jìn)行下一步處理，如果接收到“麻將無(wú)缺陷”的信號(hào)，則擋板抬起，傳送帶繼續(xù)往前運(yùn)動(dòng)，如果接收到“麻將有缺陷”的信號(hào)，則機(jī)械電氣系統(tǒng)中的氣泵控制擋板將麻將包裝往垂直方向推掉。圖2為該機(jī)械傳動(dòng)系統(tǒng)的簡(jiǎn)單示意圖。

圖2　機(jī)械傳動(dòng)系統(tǒng)示意圖

2　麻將識(shí)別系統(tǒng)軟件設(shè)計(jì)

基于DM6437硬件平臺(tái)，相機(jī)軟件需要完成各模塊的驅(qū)動(dòng)、攝像頭的采集和顯示、串口數(shù)據(jù)的檢測(cè)和處理、模板錄入及實(shí)時(shí)檢測(cè)算法的實(shí)現(xiàn)、Flash模板存儲(chǔ)。整個(gè)系統(tǒng)的運(yùn)行流程如圖3所示。

圖3　系統(tǒng)運(yùn)行流程

2.1串口協(xié)議

平板Pad和相機(jī)之間通過(guò)UART串口進(jìn)行通信，在通信過(guò)程中，兩者之間是存在大數(shù)據(jù)交互的，為了減小丟包率，因此采用分包傳輸數(shù)據(jù)，其交互數(shù)據(jù)協(xié)議格式如表1所示。

表1　串口通信協(xié)議格式（a）數(shù)據(jù)包（固定大小144 bytes）

在整個(gè)數(shù)據(jù)通信過(guò)程中，有大數(shù)據(jù)和小數(shù)據(jù)傳輸，通常小數(shù)據(jù)的傳輸數(shù)據(jù)內(nèi)容不會(huì)超過(guò)一個(gè)包的長(zhǎng)度，為了統(tǒng)一數(shù)據(jù)包長(zhǎng)度，本系統(tǒng)設(shè)計(jì)的分包傳輸協(xié)議中，每個(gè)數(shù)據(jù)包固定大小144字節(jié)，不足的包就自動(dòng)補(bǔ)零。這里串口波特率設(shè)置為115 200，如果數(shù)據(jù)連續(xù)傳送，那么1 s能傳送7 200字節(jié)。這對(duì)于小數(shù)據(jù)傳輸來(lái)說(shuō)，128字節(jié)與8字節(jié)的傳輸時(shí)間相差并不明顯，基本不會(huì)影響到傳輸效率。

2.2Pad軟件

Pad界面上有兩個(gè)主界面，一個(gè)實(shí)時(shí)檢測(cè)的界面，包含查看識(shí)別結(jié)果、故障圖片上傳、實(shí)時(shí)圖片上傳等功能按鍵，另一個(gè)是模板錄入的界面，包含多模板查看、單模板查看、模板錄入、模板刪除、背景設(shè)置等功能按鍵，另外，在系統(tǒng)設(shè)置里設(shè)預(yù)留有系統(tǒng)升級(jí)和參數(shù)設(shè)置等按鍵。

2.3Flash存儲(chǔ)

本系統(tǒng)選用的Flash芯片存儲(chǔ)容量為16 MB，可分成512個(gè)Blocks，每個(gè)Block大小為32KB，由8個(gè)Sectors組成，每個(gè)Sector大小為4KB。結(jié)合項(xiàng)目實(shí)際需求，需要將麻將模板的背景圖、單模板以及多模板的編號(hào)存儲(chǔ)下來(lái)進(jìn)行下一步的模板匹配。

通過(guò)分析上述模板的大小特性，系統(tǒng)依次為背景模板（1088×672）的二值圖、單模板（32×48）的二值圖、多模板（12×12）的編號(hào)分配了合適大小的Blocks。其中，針對(duì)每種類型的麻將來(lái)說(shuō)，背景模板是唯一的，單模板是以最大五十種麻將來(lái)設(shè)計(jì)的，一副麻將最多可以分為9個(gè)包裝來(lái)進(jìn)行錄入。在模板錄入過(guò)程中，經(jīng)過(guò)算法分割處理的模板將存入對(duì)應(yīng)分配的Block中。Flash存儲(chǔ)空間分配如表2所示。

表2　Flash 存儲(chǔ)空間分配

3　識(shí)別算法

在麻將識(shí)別系統(tǒng)算法中，核心算法主要由兩部分組成：模板錄入算法和實(shí)時(shí)檢測(cè)算法。模板錄入是將采集到的圖像先后經(jīng)過(guò)灰度化、二值化、多目標(biāo)切割、單目標(biāo)分割等多種操作提取最佳麻將模板進(jìn)行存儲(chǔ)，為下一步實(shí)時(shí)識(shí)別提供參考。實(shí)時(shí)檢測(cè)算法是將分割出來(lái)的麻將與之前存儲(chǔ)的模板進(jìn)行對(duì)比，從而判定出最佳匹配度的模板。

3.1模板錄入算法

模板錄入是整個(gè)識(shí)別算法的基石，通過(guò)整體分割獲得理想的模板是本算法研究的主要方向。其模板錄入算法流程如圖4所示。

圖4　模板錄入流程圖

3.1.1圖像預(yù)處理

圖像預(yù)處理是對(duì)后續(xù)將要分割的圖像進(jìn)行一定的處理，如圖像的灰度化、前景提取及二值化等，以便于減小存儲(chǔ)大小，加快算法運(yùn)行速度。

在麻將識(shí)別過(guò)程中，每個(gè)麻將模板特征各異，并不需要由顏色差異來(lái)區(qū)分，同時(shí)將彩色圖像轉(zhuǎn)變成灰度圖像后計(jì)算量減小。根據(jù)YUV顏色空間，每個(gè)像素點(diǎn)的亮度就能反映出麻將的特征信息，本文中的灰度化處理就是取YUV顏色空間的Y值來(lái)進(jìn)行圖像灰度化［6］。

背景剔除的目的是為了適應(yīng)麻將周圍不斷變化的環(huán)境，通過(guò)灰度圖減去背景圖來(lái)得到前景圖，使得環(huán)境因素對(duì)模板分割造成的影響降低。在這里，為了減小存儲(chǔ)大小，節(jié)約存儲(chǔ)空間，通過(guò)圖像裁剪來(lái)獲得較低的分辨率，原始的圖像分辨率為1 280×720，截取部分水平寬度為16的倍數(shù)，垂直高度為24的倍數(shù)，本文中前景圖的分辨率為1 088×672。

考慮到后續(xù)需要對(duì)麻將進(jìn)行目標(biāo)分割，本文采取的策略是通過(guò)模板二值圖計(jì)算來(lái)得到多模板的邊界。麻將大多是白底或偏黃底，以及個(gè)別麻將是紅字，其灰度化后Y值偏大，因此選取了160作為閾值。所有的灰度大于或等于閾值160的像素被判定為麻將的底色，其灰度值用255表示，其他不在此范圍內(nèi)的像素點(diǎn)被排除在底色以外，灰度值為0，表示環(huán)境的背景或麻將圖案［7-8］。式（1）為模板圖像二值化的參考式：

3.1.2圖像分割

單模板的分離是先后通過(guò)整體分割、單模板分割來(lái)實(shí)現(xiàn)的。

由于模板的二值圖中目標(biāo)與背景差異明顯、棱角分明［9］，本文采用基于行列搜索的白點(diǎn)個(gè)數(shù)統(tǒng)計(jì)，方法簡(jiǎn)便且計(jì)算量小。由圖像邊緣從四周向中心進(jìn)行判別，如果某一行或某一列白點(diǎn)個(gè)數(shù)大于100個(gè)就判定為目標(biāo)模板的邊界，否則判定為背景。根據(jù)判定得到的目標(biāo)邊界對(duì)前景圖進(jìn)行切割，得到多麻將模板。圖5（a）為模板錄入時(shí)“萬(wàn)”模板整體切割的結(jié)果。

圖5　模板分割結(jié)果

目標(biāo)的整體切割過(guò)程中可以得到目標(biāo)整體的寬和高，本文中針對(duì)規(guī)格不同的麻將設(shè)定了不同的參數(shù)以求出單個(gè)目標(biāo)的長(zhǎng)和高，通過(guò)單目標(biāo)的尺寸大小來(lái)確定每個(gè)單目標(biāo)的中心，將單目標(biāo)從多模板中分離出來(lái)。下式（2）、（3）是單目標(biāo)中心的計(jì)算參考式：

其中，每一行的中心都是通過(guò)計(jì)算本行和上一行行尾的中值計(jì)算得到，每一列的中心都是通過(guò)計(jì)算本列和上一列列尾的中值計(jì)算得到。圖5（b）是通過(guò)分割圖5（a）的多模板得到的單麻將模板。

3.1.3單模板縮放

單模板縮放的目的是將分辨率統(tǒng)一都降低為32×48，并且確保其圖像盡可能不失真。其中，圖像水平和垂直的縮放比例參數(shù)hori、vert通過(guò)下式（4）、（5）計(jì)算得到：

其中：inhori、outhori分別為圖像輸入、輸出的水平寬度，invert、outvert分別為圖像輸入、輸出的垂直高度。在這里，圖像輸出的水平寬度outhori=32和垂直高度outvert=48是固定的，圖像輸入的水平寬度inhori和垂直高度invert與麻將整體占原始圖像的比例大小有關(guān)。

3.1.4取最佳模板并存儲(chǔ)

將具有相同id號(hào)的模板進(jìn)行SAD匹配比較，存儲(chǔ)最佳模板。這里利用大津算法獲得自動(dòng)閾值，大津算法也稱最大類間方差法［10］。按圖像的灰度特性來(lái)分，圖像由背景和目標(biāo)兩部分構(gòu)成，背景和目標(biāo)之間的類間方差越大，說(shuō)明構(gòu)成圖像的兩部分差別越大，也意味著類間方差越大，錯(cuò)分的概率就越小。

對(duì)于圖像I（x，y）來(lái)說(shuō)，屬于前景的像素點(diǎn)數(shù)占整副圖像的比例記為ω0，其平均灰度記作μ0，屬于目標(biāo)的像素點(diǎn)數(shù)占整副圖像的比例記為ω1，其平均灰度記作μ1，類間方差記作σ，使得類間方差最大的閾值記作最佳閾值T，OTSU算法的基本原理如下式（6）、（7）所示：

圖6是先后經(jīng)過(guò)縮放處理，相同模板比較得到的最佳單模板：

圖6　單麻將模板

3.2實(shí)時(shí)檢測(cè)算法

實(shí)時(shí)檢測(cè)算法中，麻將分割方法與模板錄入的方法相同，不同的是實(shí)時(shí)檢測(cè)分割出來(lái)的麻將需與錄入的模板進(jìn)行SAD算法匹配。圖7為實(shí)時(shí)檢測(cè)算法的流程圖：

圖7　實(shí)時(shí)檢測(cè)流程圖

3.2.1搜索方式

考慮到模板圖案信息基本都位于麻將中心矩形框內(nèi)，很少分布到邊緣，本文采用混合搜索的方式，先進(jìn)行中心框內(nèi)的35個(gè)點(diǎn)隔行隔列搜索，其次進(jìn)行外框的18個(gè)點(diǎn)隔行隔列搜索，最后在最佳點(diǎn)附近進(jìn)行3×3行列搜索。與常見(jiàn)的二維對(duì)數(shù)法、三步法、菱形等搜索方式相比，這種搜索方式更加適合于本系統(tǒng)麻將圖案的匹配比較，經(jīng)實(shí)驗(yàn)測(cè)試，其搜索效率與幾種經(jīng)典的搜索方式相比相差不大。

圖8描述了本文所采取的混合搜索方式，灰點(diǎn)表示中心框內(nèi)被搜索的點(diǎn)，紅點(diǎn)表示外框被搜索的點(diǎn)，黑點(diǎn)表示中心框和外框搜索后SAD最小的點(diǎn)（局部最優(yōu)點(diǎn)），還需要在這個(gè)點(diǎn)附近再進(jìn)行3×3行列搜索，得到的SAD最小的點(diǎn)即為全局最優(yōu)點(diǎn)。

圖8　混合搜索方式

3.2.2SAD匹配

本文中提出的模板匹配是通過(guò)計(jì)算模板與圖像之間的相似度來(lái)實(shí)現(xiàn)的［11］，模板由一幅圖像t（r，c）以及相應(yīng)的感興趣區(qū)域T指定。為了進(jìn)行模板匹配，沿圖像中所有點(diǎn)移動(dòng)模板并在每個(gè)位置計(jì)算相似度量s［12-13］。最簡(jiǎn)單的計(jì)算相似度量的方法是計(jì)算模板與圖像之間差值的絕對(duì)值的總和（SAD），其等式（8）為：

其中：n是模板感興趣區(qū)域中點(diǎn)的數(shù)量，即n=|T|，t（u，v）為模板中各點(diǎn)的灰度值，f（r+u，c+v）為模板感興趣區(qū)域移動(dòng)到圖像當(dāng)前位置時(shí)感興趣區(qū)域的灰度值。如果模板和圖像相同的話，得到的相似度量為0，如果模板和圖像不同的話，那么相似度量將大于0。模板與圖像之間區(qū)別越大，相似度量的值也就越大。

4　系統(tǒng)測(cè)試

4.1性能測(cè)試

將一套麻將所有多模板依次錄入以后，分別觀察幾個(gè)多模板進(jìn)行算法識(shí)別需要的時(shí)間，得出進(jìn)行一次4×9模板識(shí)別的時(shí)間為0.6 s左右，也就是說(shuō)，識(shí)別一個(gè)單麻將需要的時(shí)間在0.017 s左右，這說(shuō)明算法識(shí)別效率較高，基本達(dá)到了需求。表3列出了各模板進(jìn)行算法識(shí)別所需的時(shí)間。

從表3中可以看出，“萬(wàn)”模板較其他三類模板來(lái)說(shuō)模板識(shí)別所需時(shí)間更長(zhǎng)，是因?yàn)椤叭f(wàn)”麻將下半部分圖案相同，只憑借上半部分圖案進(jìn)行匹配出錯(cuò)率較高，因此增加了一項(xiàng)二次檢測(cè)，以提高其準(zhǔn)確度。

表3　各模板類別識(shí)別時(shí)間

4.2功能測(cè)試

在流水線測(cè)試過(guò)程中，麻將往往會(huì)出現(xiàn)擺放雜亂、錯(cuò)位，甚至外界環(huán)境干擾會(huì)對(duì)模板匹配造成一定的影響。本文中，我們對(duì)麻將間的縫隙、麻將整體傾斜、個(gè)別或整體麻將翻轉(zhuǎn)等問(wèn)題對(duì)算法精度的影響進(jìn)行了測(cè)試。

麻將縫隙測(cè)試主要是針對(duì)個(gè)別麻將排列不整齊，導(dǎo)致麻將之間存在縫隙，而較大的縫隙往往會(huì)影響模板的檢測(cè)。圖9（a）中，個(gè)別麻將之間存在一定的縫隙，但是仍能成功識(shí)別；而圖9（b）與（a）相比，麻將較為散亂，縫隙較大，麻將整體不整齊，邊緣麻將在分割過(guò)程中必然會(huì)導(dǎo)致部分特征圖案缺失，影響匹配結(jié)果?？傮w來(lái)說(shuō)，識(shí)別算法對(duì)麻將間的縫隙承受能力較強(qiáng)，對(duì)測(cè)試結(jié)果造成的影響較小。

旋轉(zhuǎn)角度測(cè)試主要是針對(duì)識(shí)別過(guò)程中麻將擺放角度不正對(duì)測(cè)試結(jié)果造成的影響。圖9（c）中，雖然麻將擺放有一定的傾斜度，卻仍然能夠分割正確，但是當(dāng)整體麻將再微微旋轉(zhuǎn)一個(gè)小角度，如圖9（d），識(shí)別結(jié)果就大不相同了。也就是說(shuō)，圖9（c）就相當(dāng)于旋轉(zhuǎn)角度的臨界值，超過(guò)這個(gè)臨界值的話就不在算法精度范圍之內(nèi)了。經(jīng)過(guò)多次測(cè)試，當(dāng)模板擺放較正，旋轉(zhuǎn)角度在兩度內(nèi)均可檢測(cè)正確，超出兩度后穩(wěn)定性較差，出錯(cuò)率較高。

在測(cè)試過(guò)程中發(fā)現(xiàn)，某些單麻將在反向放置后仍然可以檢測(cè)正確，此時(shí)會(huì)發(fā)生一定程度的漏判。單個(gè)麻將反向測(cè)試的目的是確保圖案上下不對(duì)稱的麻將不會(huì)因?yàn)槁閷⒎胖梅较虻膯?wèn)題而識(shí)別錯(cuò)誤。因此，東，南，西，北，中，發(fā)，一條，三條，七條，六筒，七筒都需要進(jìn)一步的反向檢測(cè)。圖9（e）測(cè)試了六筒、七筒在反向放置的時(shí)候算法識(shí)別的準(zhǔn)確度，結(jié)果顯示，算法測(cè)試穩(wěn)定性較高，圖案不對(duì)稱的麻將在正反向放置的時(shí)候基本能夠判斷正確，達(dá)到了一定的精度。

根據(jù)包裝流水線上的實(shí)際反饋，包裝麻將被檢測(cè)為不合格常常是由于個(gè)別麻將位置錯(cuò)亂，或者單麻將數(shù)不準(zhǔn)確造成的。圖9（f）測(cè)試了筒板相鄰麻將錯(cuò)位排布時(shí)算法識(shí)別的準(zhǔn)確度，結(jié)果顯示，算法基本能夠準(zhǔn)確判別發(fā)生錯(cuò)位的麻將，特別是對(duì)圖案比較相似的麻將，比如識(shí)別結(jié)果易受光照影響的四筒和五筒，六筒和七筒，均能進(jìn)行判別。圖9（g）測(cè)試了筒板個(gè)別麻將數(shù)目不準(zhǔn)確時(shí)算法識(shí)別的準(zhǔn)確度，這里是將其中一個(gè)二筒替換成白麻將，結(jié)果顯示，算法對(duì)麻將個(gè)數(shù)以及麻將對(duì)應(yīng)編號(hào)判斷的準(zhǔn)確度較高，基本能達(dá)到工業(yè)檢測(cè)的水平。

從圖9（a）～（g）中可以觀察到，二筒圖案結(jié)構(gòu)對(duì)稱，但是顏色上下不對(duì)稱，在包裝流水線上必須將此類麻將檢測(cè)出來(lái)，這就要求對(duì)此類麻將進(jìn)行一項(xiàng)特殊的色度檢測(cè)，然而對(duì)于不同型號(hào)的麻將，對(duì)色度的要求不僅僅局限于二筒，圖9（h）中三筒和九筒也存在倒轉(zhuǎn)檢測(cè)出錯(cuò)的機(jī)會(huì)，且圖9（h）中偏黑的綠色和黑色在輸入圖像中的灰度值差值僅為十幾，對(duì)色度判別的精度要求較圖（a）～（g）更高。目前在光源較好的情況下，二三九筒的顏色判別準(zhǔn)確度能達(dá)95%以上，基本能夠滿足流水線上的包裝檢測(cè)。但是在光源較差的情況下，二三九筒的色度信息差異會(huì)被縮小，導(dǎo)致算法精度下降，因此后續(xù)仍將對(duì)光照不均勻圖像進(jìn)行校正后做進(jìn)一步處理。

圖9　筒板精度測(cè)試

表4為實(shí)際流水線上實(shí)時(shí)檢測(cè)麻將包裝發(fā)生錯(cuò)判的統(tǒng)計(jì)表，對(duì)每類模板反復(fù)連續(xù)地進(jìn)行了1 000次判別測(cè)試，序號(hào)1 -4是以單種類模板4×9進(jìn)行測(cè)試的，序號(hào)5～10是以多種類拼接8×9進(jìn)行測(cè)試的。測(cè)試結(jié)果顯示，就4×9包裝模板而言，其識(shí)別準(zhǔn)確度基本能控制在98%以上，出錯(cuò)的原因基本上是由于待包裝麻將邊緣與中心光照不均勻?qū)е逻吘壜閷⑸嫌嘘幱?，或者是包裝麻將在流水線上傳送過(guò)程中震動(dòng)產(chǎn)生了比較大的縫隙。其中，比較容易判別錯(cuò)誤的單麻將有一二三萬(wàn)、二三九筒、花色牌以及六九條。

表4　麻將包裝錯(cuò)判統(tǒng)計(jì)表

5　結(jié)束語(yǔ)

本文結(jié)合麻將包裝產(chǎn)線上的實(shí)際需求，設(shè)計(jì)了一套基于DSP平臺(tái)的棋牌識(shí)別處理系統(tǒng)，先后介紹了該系統(tǒng)的硬件和軟件系統(tǒng)，提出了基于圖像分割的模板錄入算法和基于SAD匹配的模板識(shí)別算法，并通過(guò)大量實(shí)驗(yàn)驗(yàn)證了該算法的精確度。系統(tǒng)測(cè)試結(jié)果表明，在正常情況下，模板匹配算法的準(zhǔn)確率達(dá)95%以上，算法穩(wěn)定性和適應(yīng)性較好，基本能滿足生產(chǎn)線上的缺陷檢測(cè)。但是，算法對(duì)于光源的選擇和打光方式仍有一定的局限性，后續(xù)會(huì)根據(jù)實(shí)際包裝產(chǎn)線上的反饋，對(duì)光源的處理做一定的優(yōu)化和改進(jìn)。

［1］賀超英，張輝.基于機(jī)器視覺(jué)的罐蓋質(zhì)量檢測(cè)系統(tǒng)設(shè)計(jì)［J］.儀表技術(shù)與傳感器，2011，28（2）：85-87.

［2］代寧，劉知貴，李眾立，等基于機(jī)器視覺(jué)的針織物智能拉密儀的設(shè)計(jì)［J］.計(jì)算機(jī)測(cè)量與控制，2011，19（6）：1504-1506.

［3］張曉琳，毛建旭，龔權(quán)華，等軟袋組合蓋質(zhì)量視覺(jué)檢測(cè)系統(tǒng)研究［J］.計(jì)算機(jī)工程與應(yīng)用，2015，51（2）：236-240.

［4］Chen W，Kuo Do，Tung C. Mahjong image recognition scheme using Fourier transform technique［A］.Industrial Electronics and Applications（ICIEA），2012 7th IEEE Conference on［C］.IEEE，2012：1339-1342.

［5］龔澤摯，陳隴敏，顏洪勝，等可應(yīng)用于動(dòng)物實(shí)驗(yàn)的人工視覺(jué)系統(tǒng)［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2015，36（4）：930-936.

［6］Zhu H，Lei J，Tian X.A pattern recognition system based on computer vision-The method of Chinese chess recognition［A］.2008 IEEE International Conference on Granular Computing［C］.2008：865-868.

［7］Chen W.Chinese-Chess Image Recognition by using Feature Comparison Techniques［J］.Appl.Math，2014，8（5）：2443-2453.

［8］Wu G，Tao J.Chinese chess recognition algorithm based on computer vision［A］.Control and Decision Conference（2014 CCDC），The 26th Chinese［C］.IEEE，2014：3375-3379.

［9］Wang H，Shi M. Recognizing chessboard and positioning chessboard in Chinese chess game system ［A］.Communication Systems and Network Technologies （CSNT），2014 Fourth International Conference on［C］.IEEE，2014：1182-1186.

［10］黨向盈，鮑蓉，姜代紅 基于多方向梯度邊緣預(yù)測(cè)器快速邊緣檢測(cè)算法［J］.計(jì)算機(jī)應(yīng)用，2013，33（3）：674-676.

［11］Fang J.A Machine vision system for Chinese chess-playing robot Mechanical Engineering and Technology［M］.Springer Berlin Heidelberg，2012：379-385.

［12］梁柱，李大海，王瓊?cè)A，等 彩色像對(duì)的鄰域邊界差值模板匹配算法研究 ［J］.計(jì)算機(jī)工程與應(yīng)用，2009，45（33）：147-148.

［13］孫志華，常丹華，張余敬，等 基于方向性多模板的快速運(yùn)動(dòng)估計(jì)算法［J］.計(jì)算機(jī)工程，2010，36（17）：223-225.

Mahjong Package Recognition System Design Based on Machine Vision

Hu Wenwen，Wang Caisheng，Zhu Wei，Zheng Yayu
（College of Information Engineering，Zhejiang University of Technology，Hangzhou310023，China）

To resolve the problem of Mahjong Card misplacement，deficit，and reversal for Mahjong packaging production line，a visual processing system of Mahjong package recognition is designed based on machine vision and DM6437 processor.The hardware system contains the sensor board，DSP board and interface board，and coordinates with mechanical transmission system to transport the Mahjong package before and after the recognition.Meanwhile，the Pad is used to achieve the Mahjong package templates entering in the software system，and a background subtraction method adaptive to the environment changes of different mechanical systems is designed to complete the templates global segmentation.Besides，the separation of single objective is realized by median algorithm.Eventually，a simple and efficient mixed searching method is presented to achieve the template matching based on SAD.Experiment results on the recognition system show that the algorithm has a strong tolerability on the gaps between Mahjong cards，the tilt and reversal of Mahjong packages，and the misplacement of Mahjong cards.Furthermore，the stability and adaptability of the template matching algorithm are quite effective，and the accuracy of the identification achieves more than 95%，which can meet the detection quality on the packaging lines.

machine vision；Mahjong package recognition；templates entering；templates global segmentation；template matching algorithm

1671-4598（2016）05-0258-05

10.16526/j.cnki.11-4762/tp.2016.05.072

TP391

A

2015-11-06；

2015-12-08。

國(guó)家自然科學(xué)基金資助項(xiàng)目（61401398）。

胡文文（1991-），男，浙江寧波人，碩士研究生，主要從事嵌入式系統(tǒng)與應(yīng)用方向的研究。

鄭雅羽（1978-），男，浙江溫州人，博士，副研究員，碩士生導(dǎo)師，主要從事視頻編碼和視頻分析，嵌入式系統(tǒng)應(yīng)用方向的研究。