線纜字符圖像的拼接方法研究

池 瀟 石守東 汪瑞琪 劉 華

1(寧波大學(xué)信息科學(xué)與工程學(xué)院 浙江 寧波 315211)2(浙江一舟電子科技股份有限公司 浙江 寧波 315191)

線纜字符圖像的拼接方法研究

池 瀟1石守東1汪瑞琪1劉 華2

1(寧波大學(xué)信息科學(xué)與工程學(xué)院 浙江 寧波 315211)2(浙江一舟電子科技股份有限公司 浙江 寧波 315191)

針對(duì)線纜字符圖像光照不均勻、重疊區(qū)域較小、邊緣化等問題，現(xiàn)有的圖像拼接方法不能準(zhǔn)確拼接，提出一種新的圖像拼接方法。首先利用HSI彩色空間模型從圖像中劃分出待配準(zhǔn)的線纜區(qū)域。然后提出基于線纜光照模型的圖像分塊算法對(duì)線纜區(qū)域圖像進(jìn)行分塊，并構(gòu)造相似檢測(cè)公式對(duì)圖像塊進(jìn)行分類，對(duì)不含字符的圖像塊直接賦值為白色背景塊，對(duì)含字符的圖像塊利用大津法進(jìn)行處理，得到線纜區(qū)域二值圖。接著提出以字符寬度為特征的圖像配準(zhǔn)算法獲得重疊區(qū)域在兩幅線纜區(qū)域圖像的行對(duì)應(yīng)關(guān)系。最后以重疊區(qū)域的水平中心直線拼接得到一幅包含完整字符區(qū)域的寬圖像。實(shí)驗(yàn)結(jié)果表明，相對(duì)于當(dāng)前主流的FREAK算法，提出的方法能準(zhǔn)確地對(duì)線纜圖像進(jìn)行拼接，拼接效果良好。

HSI彩色空間模型 相似檢測(cè)公式 光照模型 圖像分塊 大津法 字符寬度 特征向量

0 引 言

隨著機(jī)器視覺和計(jì)算機(jī)技術(shù)的快速發(fā)展，出現(xiàn)了一門基于計(jì)算機(jī)視覺的圖像檢測(cè)系統(tǒng)(簡(jiǎn)稱圖像檢測(cè)技術(shù))。與傳統(tǒng)的檢測(cè)技術(shù)相比，圖像檢測(cè)技術(shù)具有實(shí)時(shí)分析、實(shí)時(shí)控制、在線檢測(cè)等功能。目前圖像檢測(cè)技術(shù)已經(jīng)被廣泛地應(yīng)用到車牌識(shí)別、衛(wèi)星遙感圖像的處理、醫(yī)學(xué)圖像的分析、工業(yè)產(chǎn)品的檢測(cè)等領(lǐng)域。

由于線纜上字符的自動(dòng)識(shí)別可以有效地實(shí)現(xiàn)工業(yè)自動(dòng)化和提升工業(yè)生產(chǎn)力，因此在實(shí)際應(yīng)用中設(shè)計(jì)識(shí)別線纜上字符的系統(tǒng)對(duì)于企業(yè)來說是具有重大意義的。常用線纜的形狀是圓柱體，通常一個(gè)圖像采集器不能采集到一幅包含完整字符區(qū)域的線纜字符圖像。在實(shí)際應(yīng)用中，需要將三個(gè)圖像采集器以等邊三角形的形狀圍繞線纜進(jìn)行排列，并對(duì)線纜進(jìn)行圖像采集，這樣保證了不同圖像采集器采集到的線纜字符圖像是同一尺度并且線纜區(qū)域是水平的，相鄰兩幅圖像僅存在垂直方向上的區(qū)域重疊。本文主要的研究對(duì)象是包含部分線纜字符區(qū)域的兩幅線纜字符圖像，并且在字符區(qū)域有部分重疊，需要對(duì)它們進(jìn)行垂直方向上的拼接，得到一幅包含完整線纜字符區(qū)域的寬圖像，為識(shí)別線纜上的字符作準(zhǔn)備。

目前圖像拼接方法按照?qǐng)D像配準(zhǔn)算法主要分為兩類：基于區(qū)域的和基于特征的[1-2]。基于特征的方法是利用圖像的特征來估計(jì)圖像之間的變換，而不是利用圖像全部的信息，這些特征主要包括圖像的特征點(diǎn)[3-4]、輪廓和一些不變矩[5-6]等。基于區(qū)域的方法是從待配準(zhǔn)圖像中取一小窗口的圖像與參考圖像中同樣大小的圖像進(jìn)行統(tǒng)計(jì)的相關(guān)比較，把相似性測(cè)度最大的兩個(gè)窗口的中心作為一對(duì)同名像點(diǎn)，然后利用這些同名像點(diǎn)求解變換模型，相似性測(cè)度一般采用灰度差的平方和、相關(guān)系數(shù)、傅里葉變換、小波變換[7-8]等。

由于線纜的形狀導(dǎo)致線纜光照不均勻，基于區(qū)域的方法不能準(zhǔn)確度量區(qū)域之間的相似性，并且重疊區(qū)域較小且處在圖像的邊緣，使得采集到的特征點(diǎn)較少或者沒有，導(dǎo)致圖像間的變換參數(shù)計(jì)算不準(zhǔn)確，因此本文提出了一種圖像拼接方法，流程如圖1所示，主要包括以下幾個(gè)步驟：

步驟1 利用HSI彩色空間模型分別對(duì)兩幅線纜字符圖像進(jìn)行線纜定位，將待拼接的線纜區(qū)域從圖像中劃分出來。

步驟2 利用本文提出的基于線纜光照模型的圖像分塊算法分別對(duì)兩幅線纜區(qū)域圖像進(jìn)行分塊，并構(gòu)造相似檢測(cè)公式將圖像塊進(jìn)行分類，對(duì)不含字符的圖像塊直接賦值為白像素背景塊，對(duì)含字符的圖像塊利用大津法進(jìn)行處理，得到線纜區(qū)域二值圖。

步驟3 針對(duì)步驟2得到的線纜區(qū)域二值圖像，提出以字符寬度作為特征的圖像配準(zhǔn)算法，得到重疊區(qū)域在兩幅線纜區(qū)域圖像中的行對(duì)應(yīng)關(guān)系。

步驟4 以重疊區(qū)域的水平中心直線作為兩幅線纜區(qū)域圖像的拼接位置，得到包含完整字符區(qū)域的寬圖像。

圖1 線纜圖像拼接方法流程

1 線纜定位

線纜定位，是將線纜區(qū)域從采集到的圖像中劃分出來，僅對(duì)線纜區(qū)域進(jìn)行后續(xù)操作，使得圖像拼接方法更加快速。

在一般情況下，是由R、G、B三種基色分量來表示一幅彩色圖像。使用R、G、B三種基色分量描述的彩色圖像對(duì)光照強(qiáng)度的變化非常敏感[9]。而且三基色分量之間相關(guān)度又相當(dāng)高。因此直接對(duì)R、G、B三基色設(shè)置閾值的上下限很難對(duì)線纜圖像進(jìn)行線纜定位，且最終得到的線纜區(qū)域圖像效果不理想。

通過對(duì)線纜圖像進(jìn)行分析，相對(duì)于背景線纜區(qū)域的色調(diào)特征明顯區(qū)別于背景，所以將RGB彩色空間轉(zhuǎn)換到HSI彩色空間進(jìn)行處理。

HSI彩色空間是一種人眼能夠分辨的空間模型，其中H代表色度，S表示飽和度，I代表亮度，RGB到HSI的轉(zhuǎn)換如下：

(1)

(2)

(3)

利用式(1)得到線纜圖像的色調(diào)分量，用投影的方法定位線纜的垂直位置，具體步驟如下：

步驟1 將色調(diào)分量進(jìn)行水平投影，并對(duì)投影圖進(jìn)行中值濾波，在濾波后的投影圖中找出最大的投影值記為MaxLineSum，記錄最大值對(duì)應(yīng)的行記為MaxLine。

步驟2 從所記錄的最大值的行開始分別向上向下兩頭獨(dú)立檢查水平投影值，如果某一投影小于MaxLineSum×α(α為經(jīng)驗(yàn)常數(shù))，則停止搜索，然后分別記下邊界位置為TopLine和BottomLine，依據(jù)邊界位置劃分出線纜區(qū)域。

2 基于圖像分塊的線纜區(qū)域圖像二值化

線纜區(qū)域圖像二值化，是將線纜上的前景(字符)與背景進(jìn)行分割。目前常用的二值化算法主要分為兩類，即全局閾值方法和局部閾值方法。全局閾值方法是對(duì)整幅圖像選定一個(gè)固定的閾值，這種方法僅在圖像的前景和背景有較好的劃分，即滿足灰度直方圖的雙峰模型的情況下能夠取得良好的效果。典型的全局閾值方法主要有Otsu[10]方法、HistogramPeaks[11]方法、K-means[12]方法等。與全局閾值方法不同，局部閾值方法閾值的選取是逐個(gè)像素的，該閾值依賴于像素點(diǎn)鄰域的灰度值分布情況。典型的局部閾值方法有Niblack[13]方法、Sauvola[14]方法、Nick[15]方法等。

針對(duì)線纜圖像的采集，如圖2所示為線纜的光照分析，其中A、B分別為線纜曲面上的兩點(diǎn)，O為線纜橫截面的圓心。在實(shí)際應(yīng)用中，可假設(shè)光源近似為平行光源。

圖2 線纜的光照分析

由光照模型可知，線纜曲面上的照度由光源在該處的光強(qiáng)和光線與曲面法線的夾角確定。如線纜曲面上(x,y,z)處的照度I(x,y,z)由光源在該處的光強(qiáng)P(x,y,z)和光線與曲面法線的夾角θ(x,y,z)確定，計(jì)算公式如(4)所示：

(4)

可知在平行光源條件下線纜曲面的光照分布是不均勻的，具體表現(xiàn)為線纜曲面上垂直坐標(biāo)不相等的兩點(diǎn)所受的光照強(qiáng)度不同，而垂直坐標(biāo)相等的兩點(diǎn)所受的光照強(qiáng)度相同。

根據(jù)上述特點(diǎn)，提出基于圖像分塊的二值化算法。首先提出基于線纜光照模型的圖像分塊算法對(duì)線纜區(qū)域圖像進(jìn)行分塊，其次構(gòu)造相似檢測(cè)公式將圖像塊進(jìn)行分類，對(duì)不含字符的圖像塊直接賦予為白色背景塊，對(duì)含字符的圖像塊利用大津法進(jìn)行處理，得到線纜區(qū)域二值圖，算法的流程如圖3所示。

圖3 基于圖像分塊的二值化算法流程

2.1 基于光照模型的圖像分塊

基于光照模型的圖像分塊，是將線纜區(qū)域根據(jù)線纜的光照模型分割成互不相交的圖像塊，使得每個(gè)圖像塊近似光照均勻。

依據(jù)線纜曲面所受光照的特點(diǎn)，將線纜圖像在水平方向上不進(jìn)行子塊的劃分，子塊的劃分僅基于垂直方向上，線纜區(qū)域圖像劃分示意如圖4所示。

圖4 線纜區(qū)域圖像的子塊劃分示意圖

由于線纜的半徑較小，因此當(dāng)光源是平行光源時(shí)，可假設(shè)到達(dá)線纜曲面上各點(diǎn)的光照強(qiáng)度為同一常數(shù)P，并且因?yàn)榫€纜區(qū)域圖像是上下對(duì)稱的，所以僅需對(duì)上半部分進(jìn)行分塊，下半部分的分塊以其為參照進(jìn)行分塊。通過上述分析，基于線纜光照模型的圖像分塊算法具體實(shí)現(xiàn)如算法1所示。

算法1 基于線纜光照模型的圖像分塊算法

Input

1:Image——線纜區(qū)域圖像

2:P——光照度

3:L——分割閾值

Output

4:Regions——各圖像塊

5:

6:Procedure partitionsAlg

5: Illums = [];

6: Pos = [];

7: for i = 90:180

8: Illums = [Illums -P*cos(i/180*pi)];

9: end

10: for j = 0:L:P

11: temp = Illums >= j;

12: indexs = find(temp ～= 0);

13: Pos = [Pos indexs(1)];

14: end

15: if j ～= P

16: Pos = [Pos 90];

17: end

18: Pos = Pos *size(Image,1)/180;

19: Regions = cell(1,length(Pos)-1);

20: for k = 1:length(Pos)-1

21: Regions{k}=Image(Pos(k)+1:Pos(k+1),:);

22: end

23:end partitionsAlg

2.2 判定圖像塊是否包含字符

判定圖像塊是否包含字符，是為了將圖像塊進(jìn)行分類：不含字符的和含字符的圖像塊。因?yàn)榇藭r(shí)直接對(duì)不含字符的圖像塊進(jìn)行二值化操作會(huì)將背景誤分類為字符，理想情況是背景全置為白。

通過對(duì)線纜的光照模型分析，提出相似檢測(cè)公式對(duì)圖像塊進(jìn)行分類:

(5)

其中MaxBlock1和MinBlock1分別為極差圖像塊中的最大灰度級(jí)與最小灰度級(jí)，極差圖像塊是在所有的圖像塊中最大灰度級(jí)和最小灰度級(jí)之差最大的圖像塊，可認(rèn)定此塊是包含字符的。MaxBlock2和MinBlock2分別為任意圖像塊中的最大灰度級(jí)與最小灰度級(jí)。

因?yàn)樽罱K各點(diǎn)成像的灰度與其照度近似滿足正比關(guān)系，并且每個(gè)圖像塊可認(rèn)為是近似光照均勻的，即同一塊中各點(diǎn)的光照度相同，所以當(dāng)待測(cè)圖像塊包含字符時(shí)，式(5)為真，當(dāng)待測(cè)圖像塊不含字符時(shí)，式(5)則為假。通過上述分析，圖像塊分類算法具體實(shí)現(xiàn)如算法2所示。

算法2 基于相似檢測(cè)公式的圖像塊分類算法

Input

1:Regions——各圖像塊

2:K——閾值

Output

3:Flags——標(biāo)記

4:

5:Procedure classifyAlg

6: RegionsMin = [];

7: RegionsMax = [];

8: Max = 0;

9: Min = 0;

10: Flags = [];

11: for i = 1:length(Regions)

12: RegionMin = min(Regions{i}(:));

13: RegionsMin = [RegionsMin RegionMin];

14: RegionMax = max(Regions{i}(:));

15: RegionsMax = [RegionsMax RegionMax];

16: if (RegionMax - RegionMin) > (Max-Min);

17: Max = RegionMax;

18: Min = RegionMin;

19: end

20: end

21: for j = 1: length(Regions);

22: Fir = double(Max)/double(RegionsMax(j));

23: Sec = double(Min)/double(RegionsMin(j));

24: temp = abs(Fir-Sec);

25: if temp < K

26: Flags = [Flags 1];

27: else

28: Flags = [Flags 0];

29: end

30: end

31: end classifyAlg

進(jìn)行圖像塊分類時(shí)，首先遍歷所有圖像塊Regions，將每塊的最大灰度值和最小灰度值分別存放在RegionsMax、RegionsMin中，并記錄極差圖像塊的最大灰度值和最小灰度值在Max、Min。然后利用式(5)對(duì)圖像塊進(jìn)行分類標(biāo)記，并將結(jié)果存儲(chǔ)在Flags中，其中1表示是含有字符的圖像塊，0表示背景塊。

2.3 大津法原理

(6)

(7)

(8)

其中：

(9)

(10)

(11)

(12)

則最優(yōu)閾值T可以由式(13)得到：

(13)

3 基于字符寬度的線纜圖像配準(zhǔn)

基于字符寬度的線纜圖像配準(zhǔn)，是找出重疊區(qū)域在線纜區(qū)域圖像中的行對(duì)應(yīng)關(guān)系。

由線纜圖像的采集模型可知，線纜上的字符在水平方向上不存在透視形變問題，通過計(jì)算每個(gè)字符在每一行上的寬度構(gòu)造特征向量，在此基礎(chǔ)上提出以字符寬度為特征的圖像配準(zhǔn)算法，算法步驟如下：

步驟1 分割出內(nèi)接字符區(qū)域的矩形作為處理區(qū)域。設(shè)兩幅線纜區(qū)域二值圖像為A1、A2，對(duì)它們分別采用水平和豎直的投影法，得到內(nèi)接字符區(qū)域的矩形區(qū)域。

步驟2 計(jì)算每個(gè)字符在該行的寬度，并構(gòu)造對(duì)應(yīng)的特征向量集合。設(shè)處理區(qū)域?yàn)锽1、B2，大小分別為Width1×Height1、Width2×Height2，其中Width1、Width2表示寬度，Height1、Height2表示高度。以下僅對(duì)處理區(qū)域B1的特征向量集合進(jìn)行計(jì)算，待處理區(qū)域B2的計(jì)算類似在此不再贅述，計(jì)算步驟如下：

(1) 將處理區(qū)域向豎直方向進(jìn)行投影，分割出內(nèi)接單個(gè)字符的矩形區(qū)域，假設(shè)分割出的矩形區(qū)域個(gè)數(shù)為Num。

(2) 對(duì)分割出來的每個(gè)矩形區(qū)域進(jìn)行行遍歷，對(duì)每一行分別從左到右、從右到左掃描，并分別記錄第一個(gè)黑像素的坐標(biāo)，將其分別存儲(chǔ)在St、Ed數(shù)組中，并計(jì)算字符在該行的寬度(特殊的情況是字符在該行的寬度為0)，存儲(chǔ)在Wid數(shù)組中，St、Ed、Wid的大小均為Height1×Num。例如假設(shè)此時(shí)遍歷的是第i個(gè)矩形區(qū)域的第j行，對(duì)應(yīng)的第一個(gè)黑像素的坐標(biāo)分別存儲(chǔ)在St[j][i]、Ed[j][i]中，可知該字符在該行的寬度Wid[j][i]計(jì)算如下式：

Wid[j][i]=Ed[j][i]-St[j][i]

(14)

通過以上分析，對(duì)應(yīng)的以字符寬度構(gòu)造特征向量集合的算法實(shí)現(xiàn)如算法3所示。

算法3 以字符寬度構(gòu)造特征向量集合的算法

Input

1:CharsRe——多個(gè)高度相同且內(nèi)接單個(gè)字符的矩形塊

2:Height——矩形塊的高度

Output

3:Wid——特征向量集合

4:Procedure featuresetAlg

5: Num = length(CharsRec);

6: Wid = zeros(Height,Num);

7: St = zeros(Height,Num);

8: Ed = zeros(Height,Num);

9: for i = 1:Height

10: for j = 1:Num

11: Char = CharRec{j};

12: for m = 1:size(Char,2)

13: if Char(i,m) == 0

14: St(i,j) = m;

15: break;

16: end;

17: end;

18: for n = size(Char,2):-1:1

19: if Char(i,n) == 0

20: Ed(i,j) = n;

21: break;

22: end

23: end;

24: Wid(i,j) = Ed(i,j)- St(i,j);

25: end

26: end

27:end featuresetAlg

進(jìn)行構(gòu)造特征集合時(shí)，首先對(duì)每個(gè)矩形區(qū)域Char的每一行分別從左到右、從右到左掃描，并記錄第一個(gè)黑像素的坐標(biāo)，將其存儲(chǔ)在St、Ed中。然后用式(14)計(jì)算字符在該行的寬度并存儲(chǔ)在Wid中，其中Wid數(shù)組中存放的即是特征向量集合。

步驟3 找出重疊區(qū)域在兩幅線纜區(qū)域圖像中的行對(duì)應(yīng)關(guān)系。假設(shè)對(duì)處理區(qū)域B1、B2進(jìn)行步驟2操作后得到的特征向量集合分別是Wid1和Wid2。由于圖像僅在垂直方向上存在重疊，因此對(duì)B1中的每個(gè)特征向量(即每一行)，在B2中尋找最佳匹配特征向量，將尋找到的最佳匹配特征向量的行角標(biāo)保存在長(zhǎng)度為Height1的Matched數(shù)組中，其中Matched數(shù)組記錄的即是重疊區(qū)域在兩幅線纜區(qū)域圖像中的行對(duì)應(yīng)關(guān)系。例如對(duì)于Wid1中的第i個(gè)特征向量，計(jì)算在Wid2中的最佳匹配特征向量步驟如下：

遍歷Wid2中的每個(gè)特征向量，計(jì)算該特征向量與Wid1中的第i個(gè)特征向量間的差異度，并將最小差異度對(duì)應(yīng)的特征向量的行角標(biāo)保存在Matched[i]中，對(duì)沒有匹配到的特征向量作標(biāo)記∞存儲(chǔ)在數(shù)組中。例如當(dāng)該特征向量是Wid2中的第j個(gè)時(shí)，與Wid1中的第i個(gè)特征向量的差異度dis為：

(15)

在計(jì)算特征向量間的差異度時(shí)，對(duì)特征向量之間的各分量差設(shè)置閾值，當(dāng)分量差超過閾值時(shí)直接進(jìn)行與下一個(gè)特征向量的差異度計(jì)算，可進(jìn)一步減少匹配計(jì)算所耗費(fèi)的時(shí)間。

步驟4 對(duì)得到的Matched數(shù)組進(jìn)行中值濾波，其中記錄的就是重疊區(qū)域在處理區(qū)域B1、B2中的行對(duì)應(yīng)關(guān)系。

4 線纜圖像的拼接

線纜圖像的拼接，是依據(jù)拼接的位置將兩幅圖像進(jìn)行拼接，得到一幅包含完整字符區(qū)域的寬圖像。

由于線纜圖像在邊緣上對(duì)字符的扭曲程度最大，因此將重疊區(qū)域的水平中心直線作為線纜圖像的拼接位置。設(shè)重疊區(qū)域在處理區(qū)域B1、B2中的起始位置分別為S1和S2，終止位置分別為E1、E2，計(jì)算水平中心直線如下式：

(16)

將處理區(qū)域B1中的第Index1行與處理區(qū)域B2中的第Index2進(jìn)行垂直拼接即可得到一幅包含完整字符區(qū)域的寬圖像。

5 實(shí)驗(yàn)結(jié)果與分析

本文圖像采集平臺(tái)是對(duì)工業(yè)流水線上線纜圖像采集過程的模擬，它包括CCD高速攝像機(jī)、圖像采集卡、LED平行光源、線纜傳動(dòng)裝置、圓柱形腔體。該平臺(tái)將三個(gè)CCD高速攝像機(jī)以等邊三角形的形狀固定在一個(gè)圓柱體腔體上，腔體內(nèi)部均勻分布著LED平行光源,腔內(nèi)的光照強(qiáng)度為1000lx。首先利用線纜傳動(dòng)裝置將線纜從腔體中間通過，然后通過CCD高速攝像機(jī)獲取線纜圖像，并將其數(shù)字化后存儲(chǔ)于圖像采集卡中，最后通過VGA接口在PC機(jī)上顯示。本文實(shí)驗(yàn)均在IntelCorei5-4590 3.30GHzCPU，4GB的內(nèi)存環(huán)境下進(jìn)行，仿真工具為Matlab2014b。以下是采集到的兩幅分辨率為768×256的線纜圖像,如圖5所示。

圖5 彩色線纜圖像

首先利用線纜定位算法分別對(duì)它們進(jìn)行處理，并在此基礎(chǔ)上對(duì)線纜區(qū)域圖像灰度化處理，得到如圖6所示。

圖6 灰度化后的線纜區(qū)域圖像

通過大量實(shí)驗(yàn)結(jié)果表明，在線纜定位算法中，當(dāng)經(jīng)驗(yàn)值為0.4～0.6時(shí)，能有效分割出線纜區(qū)域。當(dāng)經(jīng)驗(yàn)值大于0.6時(shí)，劃分的線纜區(qū)域過小，導(dǎo)致劃分的線纜區(qū)域不包括重疊區(qū)域。當(dāng)經(jīng)驗(yàn)值小于0.4時(shí)，劃分的線纜區(qū)域包含大量的背景，導(dǎo)致后續(xù)的二值化算法不能有效分割出前景(字符)。

然后利用本文提出的基于圖像分塊的二值化算法分別對(duì)兩幅線纜區(qū)域圖像進(jìn)行處理，其中光照分割得到最終的二值圖像如圖7所示。圖8是直接利用大津法對(duì)兩幅線纜區(qū)域圖像進(jìn)行全局閾值分割的結(jié)果，圖9是直接利用大津法對(duì)兩幅線纜區(qū)域的所有圖像塊進(jìn)行二值化的結(jié)果，圖10是利用局部閾值中具有代表性的Nick、Niblack算法對(duì)兩幅線纜區(qū)域圖像進(jìn)行二值化的結(jié)果，其中的參數(shù)值是參照了作者的建議參數(shù)值。

圖7 線纜區(qū)域二值圖像

圖8 線纜區(qū)域二值圖像

圖9 線纜區(qū)域二值圖像

圖10 Nick、Niblack二值化后的線纜區(qū)域圖像

通過大量實(shí)驗(yàn)結(jié)果表明，在基于圖像分塊的二值化算法過程中，當(dāng)光照分割間隔為10，相似度閾值為0.25時(shí),二值化效果較好。當(dāng)光照分割間隔太小時(shí)，導(dǎo)致圖像分塊過多，二值化類似于局部閾值，耗費(fèi)的時(shí)間長(zhǎng)。當(dāng)光照分割太大時(shí)，導(dǎo)致圖像塊中仍存在光照不均勻問題，二值化類似于全局閾值，二值化效果差。同樣地，當(dāng)相似度閾值太小或太大時(shí)，使得圖像塊被錯(cuò)誤分類，二值化效果差。

由以上實(shí)驗(yàn)結(jié)果可知，本文提出的基于圖像分塊的二值化算法能有效地對(duì)線纜圖像的前景(字符)和背景進(jìn)行分割。

接著利用本文提出的基于字符寬度的圖像配準(zhǔn)算法對(duì)兩幅線纜區(qū)域二值圖進(jìn)行處理，得到重疊區(qū)域在線纜區(qū)域圖像中的行對(duì)應(yīng)關(guān)系，如表1所示。

表1 部分Matched數(shù)組

由表1可知，重疊區(qū)域的起始位置在兩處理區(qū)域中分別對(duì)應(yīng)的是第33行、第5行，終止位置在兩處理區(qū)域中分別對(duì)應(yīng)的是第38行、第12行。

最后利用線纜圖像的拼接方法將兩處理區(qū)域進(jìn)行拼接，通過表1可知是將第一個(gè)處理區(qū)域中的第35行與第二個(gè)處理區(qū)域中的第8行進(jìn)行垂直拼接，在此基礎(chǔ)上用大小為3×3的結(jié)構(gòu)元素進(jìn)行一次膨脹，得到最終的完整字符區(qū)域的線纜區(qū)域圖像如圖11所示。

圖11 包含完整字符區(qū)域的線纜區(qū)域圖像

為了證明方法的有效性，對(duì)線纜圖像圖5采用目前比較主流的FREAK算法進(jìn)行拼接,實(shí)驗(yàn)結(jié)果如圖12所示。

圖12 FREAK算法檢測(cè)到的特征點(diǎn)

由實(shí)驗(yàn)結(jié)果可知,得到的特征點(diǎn)稀疏且不在重疊區(qū)域的范圍內(nèi)，無法準(zhǔn)確地對(duì)線纜圖像進(jìn)行拼接。

6 結(jié) 語

本文針對(duì)實(shí)際應(yīng)用中線纜圖像的拼接進(jìn)行了研究，由于兩幅線纜圖像的重疊區(qū)域較小、邊緣化、光照不均勻等特點(diǎn)導(dǎo)致現(xiàn)有的圖像配準(zhǔn)算法不能準(zhǔn)確拼接，因此提出了一種圖像拼接方法。首先利用彩色空間模型從兩幅線纜圖像中劃分出待配準(zhǔn)的線纜區(qū)域。然后提出基于線纜光照模型的圖像分塊算法對(duì)線纜區(qū)域圖像進(jìn)行分塊，并構(gòu)造相似檢測(cè)公式將圖像塊進(jìn)行分類，對(duì)不含有字符的圖像塊直接賦值為白色圖像塊，對(duì)含字符的圖像塊利用大津法進(jìn)行處理，得到線纜區(qū)域的二值圖像。接著提出以字符寬度為特征的圖像配準(zhǔn)算法獲得重疊區(qū)域在兩幅線纜區(qū)域圖像的行對(duì)應(yīng)關(guān)系。最后基于重疊區(qū)域的水平中心直線拼接兩幅線纜區(qū)域圖像，得到包含完整字符區(qū)域的寬圖像。實(shí)驗(yàn)結(jié)果表明，相對(duì)于當(dāng)前主流的FREAK算法，本文提出的方法能準(zhǔn)確地對(duì)線纜圖像進(jìn)行拼接，拼接效果良好。但是本文的圖像采集平臺(tái)僅是對(duì)生產(chǎn)流水線上的環(huán)境進(jìn)行模擬，下一步工作將在嵌入式設(shè)備上實(shí)現(xiàn)該拼接方法，并在實(shí)際生產(chǎn)場(chǎng)景中應(yīng)用，進(jìn)而更好地檢驗(yàn)算法的魯棒性。

[1] Brown M,Lowe D G.Automatic panoramic image stitching using invariant features[J].International journal of computer vision,2007,74(1):59-73.

[2] 王娟,師軍,吳憲祥.圖像拼接技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研究,2008,25(7):1940-1943.

[3] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International journal of computer vision,2004,60(2):91-110.

[4] Ma X,Liu D,Zhang J,et al.A fast affine-invariant features for image stitching under large viewpoint changes[J].Neurocomputing,2015,151:1430-1438.

[5] Cao F,An B,Qin C.Multi-planar Image Stitching Method Based on Structural Feature Matching[J].IETE Technical Review,2015,32(4):284-293.

[6] 何賓,陶丹,彭勃.高實(shí)時(shí)性 F-SIFT 圖像拼接算法[J].紅外與激光工程,2013,42(S02):440-444.

[7] 李業(yè)偉,華臻,李晉江.采用顯著區(qū)域匹配的圖像拼接算法[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(10):204-207.

[8] Xie X,Xu Y,Liu Q,et al.A study on fast SIFT image mosaic algorithm based on compressed sensing and wavelet transform[J].Journal of Ambient Intelligence and Humanized Computing,2015,6(6):835-843.

[9] 黃春艷,楊國(guó)勝,侯艷麗.基于顏色直方圖和空間信息融合的圖像分割算法[J].計(jì)算機(jī)工程與應(yīng)用,2005,41(3):85-87.

[10] Otsu N.A threshold selection method from gray-level histograms[J].Automatica,1975,11(285-296):23-27.

[11] Jain A K,Dubes R C.Algorithms for clustering data[M].Prentice-Hall,Inc.,1988.

[12] Prewitt J,Mendelsohn M L.The analysis of cell images[J].Annals of the New York Academy of Sciences,1966,128(3):1035-1053.

[13] Niblack W.An introduction to digital image processing[M].Strandberg Publishing Company,1985.

[14] Sauvola J,Pietik?inen M.Adaptive document image binarization[J].Pattern recognition,2000,33(2):225-236.

[15] Khurshid K,Siddiqi I,Faure C,et al.Comparison of Niblack inspired Binarization methods for ancient documents[C]//IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics,2009:72470U-72470U-9.

RESEARCH ON STITCHING METHOD OF CABLE CHARACTER IMAGE

Chi Xiao1Shi Shoudong1Wang Ruiqi1Liu Hua2

1(CollegeofInformationScienceandEngineering,NingboUniversity,Ningbo315211,Zhejiang,China)2(ZhejiangYizhouElectronicTechnologyCo.,Ltd,Ningbo315191,Zhejiang,China)

Aiming at the problems such as non-uniform illumination, small overlap area and marginalization, the existing stitching methods can not be accurately stitched, and a new stitching method is proposed. Firstly, the HSI color space model is used to divide the cable region to be registered from the image. Then, an image segmentation algorithm based on the cable illumination model is proposed to segment the image of the cable region, and a similar detection formula is constructed to classify the image blocks. The image blocks without characters are directly assigned to white background blocks, and the image blocks are processed by the Otsu’s algorithm to obtain the cable region binary image. Furthermore, an image registration algorithm based on the character width is proposed to obtain the row-to-line correspondence between the overlapping areas in the two cable region images. Finally, a horizontal center line of the overlapping area is stitched to obtain a wide image containing the entire character region. Experimental results show that the proposed method can stitch the cable image accurately, and the splicing effect is good compared with the current mainstream FREAK algorithm.

HSI color space model Similar detection formula Illumination model Image partition Otsu’s algorithm Character width Feature vector

2016-06-14。浙江省重中之重開放基金項(xiàng)目(XRXL1312)；寧波市產(chǎn)業(yè)技術(shù)應(yīng)用重大專項(xiàng)(2016B10020)。池瀟，碩士，主研領(lǐng)域：計(jì)算機(jī)視覺，圖像處理。石守東，副教授。汪瑞琪，碩士。劉華，工程師。

TP391.4

A

10.3969/j.issn.1000-386x.2017.06.035